Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Kỹ thuật tối ưu hóa cho ước lượng vị trí và độ phân tán đa biến vững chắc
Tóm tắt
Việc tính toán ước lượng mẫu thống kê điển hình như trung vị hoặc phương pháp bình phương tối thiểu thường yêu cầu giải quyết một bài toán tối ưu hóa không bị gò bó với hàm mục tiêu lồi, có thể được giải quyết hiệu quả bằng nhiều phương pháp khác nhau. Sự hiện diện của các điểm ngoại lai trong dữ liệu đòi hỏi việc tính toán một ước lượng vững chắc, có thể được định nghĩa là ước lượng thống kê tối ưu cho một tập con chứa ít nhất một nửa số quan sát. Vấn đề phát sinh là một bài toán tối ưu hóa tổ hợp mà thường không thể tính toán được. Các phương pháp thống kê cổ điển cho ước lượng vị trí đa biến $$\varvec{\mu }$$ và ma trận phân tán $$\varvec{\varSigma }$$ dựa trên vector trung bình mẫu và ma trận hiệp phương sai, rất nhạy cảm với sự hiện diện của những quan sát ngoại lai. Chúng tôi đề xuất một phương pháp mới để ước lượng vị trí và độ phân tán vững chắc, bao gồm hai giai đoạn. Ở giai đoạn đầu tiên, một trung tâm không thiên lệch đa biến $$L_{1}$$ - trung vị cho tất cả các quan sát được đạt được thông qua một quy trình mới gọi là ước lượng độ lệch Euclide bị cắt bớt tối thiểu. Trung vị vững chắc này định nghĩa một tập hợp quan sát được sử dụng trong giai đoạn thứ hai để tính toán lặp đi lặp lại tập hợp các điểm ngoại lai vi phạm cấu trúc tương quan của tập dữ liệu. Các thí nghiệm tính toán mở rộng cho thấy phương pháp được đề xuất vượt trội hơn các phương pháp hiện có về độ chính xác, tính vững chắc và thời gian tính toán.
Từ khóa
#0Tài liệu tham khảo
Aggarwal CharuC (2013) Outlier detection in graphs and networks. In: Outlier analysis, pp 343–371. Springer, New York
Agostinelli C, Markatou M (1998) A one-step robust estimator for regression based on the weighted likelihood reweighting scheme. Stat Probab Lett 37:342–350
Bassett GW (1991) Equivariant, monotonic, 50% breakdown estimators. Am Stat 45(2):135–137
Camarinopoulos L, Zioutas G (2002) Formulating robust regression estimation as an optimum allocation problem. J Stat Comput Simul 72(9):687–705
Donoho DL (1982) Breakdown Properties of Multivariate Location Estimators. PhD thesis, Harvard University
Filzmoser Peter, Maronna Ricardo, Werner Mark (2008) Outlier identification in high dimensions. Comput Stat Data Anal 52(3):1694–1711
Gao Jing, Liang Feng, Fan Wei, Wang Chi, Sun Yizhou, Han Jiawei (2010) On community outliers and their efficient detection in information networks. In: Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’10, pp 813–822. New York, NY, USA, ACM
Gnanadesikan R, Kettenring JR (1972) Robust estimates, residuals and outlier detection with multiresponse data. Biometrics 28:81–124
Hawkins DM, Olive DJ (1999) Applications and algorithms for least trimmed sum of absolute deviations regression. Comput Stat Data Anal 32:119–134
Heinrich F, Filzmoser P, Croux C (2012) A comparison of algorithms for the multivariate \(l_{1}\)-median. Comput Stat 27:393–410
Hettich S, Bay SD (1999) The UCI KDD archive. Technical report, University of California, Irvine. Department of Information and Computer Science, Irvine, CA
Lopuhaä H, Rousseeuw PJ (1991) Breakdown points of affine equivariant estimators of multivariate location and covariance matrices. Ann Stat 19(1):229–248
Maronna RA, Zamar RH (2002) Robust estimates of location and dispersion for high dimensional datasets. Am Stat Assoc Am Soc Qual Technometrics 44(4)
Pitsoulis L, Zioutas G (2010) A fast algorithm for robust regression with penalised trimmed squares. Comput Stat 25(4):663–689
Roelant Ella, Van Aelst Stefan, Willems Gert (2009) The minimum weighted covariance determinant estimator. Metrika 70(2):177–204
Rousseeuw PJ (1984) Least median of squares regression. J Am Stat Assoc 79:871–881
Rousseeuw PJ (1985) Multivariate estimation with high breakpoint. Math Stat Assoc B:101–121
Rousseeuw PJ, Leroy AM (1987) Robust regression and outlier detection. Wiley, New York
Rousseeuw PJ, van Driesen K (1999) A fast algorithm for the minimum covariance determinant estimator. Technometrics 41:212–223
Stahel WA (1981) Breakdown of covariance estimators. Technical report, Fachgruppe fur Statistik, ETH Zurich
Tableman M (1994) The asymptotics of the least trimmed absolute deviations (ltad) estimator. Stat Probab Lett 19(5):387–398
Tableman Mara (1994) The influence functions for the least trimmed squares and the least trimmed absolute deviations estimators. Stat Probab Lett 19(4):329–337
Weiszfeld E (1937) Sur le point pour lequel la somme des distances de n points donnés est minimum. Tôhoku Math J 43:355–386
Zioutas G, Avramidis A (2005) Deleting outliers in robust regression with mixed integer programming. Acta Math Appl Sin 21:323–334
Zioutas G, Pitsoulis L, Avramidis A (2009) Quadratic mixed integer programming and support vectors for deleting outliers in robust regression. Ann Oper Res 166:339–353