Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Hình học thông tin của hồi quy tuyến tính mô hình
Tóm tắt
Hồi quy tuyến tính mô hình (MLR) được sử dụng để mô hình hóa chế độ có điều kiện của một phản hồi như là một biến dự đoán tuyến tính của các biến giải thích. Đây là một phương pháp hiệu quả để xử lý các biến phản hồi có phân phối đa chế độ hoặc bị ô nhiễm bởi ngoại lệ. Do tính chất bán tham số của MLR, việc xây dựng một đa tạp mô hình thống kê gặp khó khăn với phương pháp truyền thống. Để vượt qua khó khăn này, chúng tôi xem xét trước góc độ hình học thông tin của thuật toán kỳ vọng - tối đa hóa (EM) cho chế độ. Dựa trên góc độ này, các đa tạp mô hình cho MLR được xây dựng theo các quan sát, và một đa tạp dữ liệu được xây dựng dựa trên phân phối thực nghiệm. Trong bài báo này, thuật toán EM, một biểu diễn hình học của thuật toán EM trong MLR, được chỉ ra là tương đương với thuật toán EM truyền thống của MLR. Độ mạnh mẽ của mô hình MLR cũng được thảo luận dưới khía cạnh hàm ảnh hưởng và hình học thông tin.
Từ khóa
#hồi quy tuyến tính mô hình #hình học thông tin #thuật toán kỳ vọng tối đa hóa #độ mạnh mẽ #phân phối đa chế độTài liệu tham khảo
Amari, S.: Information geometry of the EM and em algorithms for neural networks. Neural Netw. 8(9), 1379–1408 (1995)
Amari, S., Nagaoka, H.: Methods of Information Geometry. American Mathematical Society, New York (2000)
Baldauf, M., Silva, J.S.: On the use of robust regression in econometrics. Econ. Lett. 114(1), 124–127 (2012)
Chen, Y.C., Genovese, C.R., Tibshirani, R.J., Wasserman, L.: Nonparametric modal regression. Ann. Stat. 44(2), 489–514 (2016). https://doi.org/10.1214/15-AOS1373
Dempster, A.P., Laird, N.M., Rubin, D.B.: Maximum likelihood from incomplete data via the EM algorithm. J. R. Stat. Soc. Ser. B 39(1), 1–22 (1977)
Dollinger, M.B., Staudte, R.G.: Influence functions of iteratively reweighted least squares estimators. J. Am. Stat. Assoc. 86(415), 709–716 (1991)
Epanechnikov, V.A.: Non-parametric estimation of a multivariate probability density. Theory Probab. Appl. 14(1), 153–158 (1969)
Fujisawa, H., Eguchi, S.: Robust parameter estimation with a small bias against heavy contamination. J. Multivar. Anal. 99(9), 2053–2081 (2008)
Gannoun, A., Saracco, J., Yu, K.: On semiparametric mode regression estimation. Commun. Stat. Theory Methods 39(7), 1141–1157 (2010)
Grasselli, M.R.: Dual connections in nonparametric classical information geometry. Ann. Inst. Stat. Math. 62(5), 873–896 (2010). https://doi.org/10.1007/s10463-008-0191-3
Hampel, F.R.: The influence curve and its role in robust estimation. J. Am. Stat. Assoc. 69(346), 383–393 (1974)
Hampel, F.R., Ronchetti, E.M., Rousseeuw, P.J., Stahel, W.A.: Robust Statistics—the Approach Based on Influence Functions. Wiley, Amsterdam (1986)
Huber, P.J., Ronchetti, E.M.: Robust Statistics. Wiley, Amsterdam (2011)
Kemp, G.C., Silva, J.S.: Regression towards the mode. J. Econ. 170(1), 92–101 (2012)
Lee, M.J.: Mode regression. J. Econ. 42(3), 337–349 (1989)
Lee, M.J.: Quadratic mode regression. J. Econ. 57(1), 1–19 (1993)
Li, J., Ray, S., Lindsay, B.G.: A nonparametric statistical approach to clustering via mode identification. J. Mach. Learn. Res. 8, 1687–1723 (2007)
Matzner-Lofber, E., Gannoun, A., Gooijer, J.G.D.: Nonparametric forecasting: a comparison of three kernel-based methods. Commun. Stat. Theory Methods 27(7), 1593–1617 (1998). https://doi.org/10.1080/03610929808832180
Parzen, E.: On estimation of a probability density function and mode. Ann. Math. Stat. 33(3), 1065–1076 (1962)
Pistone, G., Sempi, C.: An infinite-dimensional geometric structure on the space of all the probability measures equivalent to a given one. Ann. Stat. 23(5), 1543–1561 (1995)
Takano, K., Hino, H., Akaho, S., Murata, N.: Nonparametric e-mixture estimation. Neural Comput. 28(12), 2687–2725 (2016)
Wand, M.P., Jones, M.C.: Kernel Smoothing. Taylor & Francis, Milton Park (1994)
Yao, W., Li, L.: A new regression model: modal linear regression. Scand. J. Stat. 41(3), 656–671 (2014)
Yao, W., Lindsay, B.G., Li, R.: Local modal regression. J. Nonparametr. Stat. 24(3), 647–663 (2012)
Zhang, J.: Nonparametric information geometry: from divergence function to referential–representational biduality on statistical manifolds. Entropy 15(12), 5384–5418 (2013). https://doi.org/10.3390/e15125384