Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
R-VGAL: một thuật toán Bayes biến thiên tuần tự dành cho các mô hình hỗn hợp tuyến tính tổng quát
Statistics and Computing - 2024
Tóm tắt
Các mô hình với hiệu ứng ngẫu nhiên, chẳng hạn như các mô hình hỗn hợp tuyến tính tổng quát (GLMM), thường được sử dụng để phân tích dữ liệu cụm. Việc suy diễn tham số với những mô hình này rất khó khăn do sự tồn tại của các hiệu ứng ngẫu nhiên đặc thù theo từng cụm, điều này cần phải được tích phân ra khi đánh giá hàm khả năng. Trong bài viết này, chúng tôi đề xuất một thuật toán Bayes biến thiên tuần tự, gọi là Ước lượng Gauss biến thiên đệ quy cho các mô hình biến ẩn (R-VGAL), để ước lượng tham số trong các mô hình GLMM. Thuật toán R-VGAL hoạt động trên dữ liệu theo thứ tự, chỉ cần một lần duy nhất qua dữ liệu, và có thể cung cấp các cập nhật tham số khi có dữ liệu mới mà không cần phải xử lý lại các dữ liệu trước đó. Ở mỗi lần cập nhật, thuật toán R-VGAL yêu cầu gradient và ma trận Hessian của một hàm log-likelihood “một phần” được đánh giá tại quan sát mới, mà thường không có sẵn ở dạng đóng cho các mô hình GLMM. Để vượt qua vấn đề này, chúng tôi đề xuất sử dụng một phương pháp dựa trên lấy mẫu trọng số để ước lượng gradient và ma trận Hessian thông qua các định nghĩa của Fisher và Louis. Chúng tôi nhận thấy rằng R-VGAL có thể không ổn định khi đi qua một vài điểm dữ liệu đầu tiên, nhưng vấn đề này có thể được giảm thiểu bằng cách giới thiệu một yếu tố giảm trong các bước đầu của thuật toán. Qua việc minh họa trên cả bộ dữ liệu giả lập và dữ liệu thực, chúng tôi cho thấy rằng R-VGAL cung cấp các xấp xỉ tốt cho các phân phối hậu nghiệm, rằng nó có thể được làm cho mạnh mẽ qua việc giảm, và rằng nó có hiệu quả tính toán.
Từ khóa
#Mô hình hỗn hợp tuyến tính tổng quát #thuật toán Bayes biến thiên #dữ liệu cụm #ước lượng tham số #gradient #ma trận HessianTài liệu tham khảo
Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, G. S., Davis, A., Dean, J., Devin, M., Ghemawat, S., Goodfellow, I., Harp, A., Irving, G., Isard, M., Jia, Y., Jozefowicz, R., Kaiser, L., Kudlur, M., Levenberg, J., Mané, D., Monga, R., Moore, S., Murray, D., Olah, C., Schuster, M., Shlens, J., Steiner, B., Sutskever, I., Talwar, K., Tucker, P., Vanhoucke, V., Vasudevan, V., Viégas, F., Vinyals, O., Warden, P., Wattenberg, M., Wicke, M., Yu, Y., and Zheng, X. (2015). TensorFlow: large-scale machine learning on heterogeneous systems. Software available from tensorflow.org
Bates, D., Mächler, M., Bolker, B., Walker, S.: Fitting linear mixed-effects models using lme4. J. Stat. Softw. 67(1), 1–48 (2015)
Betancourt, M., Girolami, M.: Hamiltonian Monte Carlo for hierarchical models. Curr. Trends Bayesian Methodol. Appl. 79(30), 2–4 (2015)
Blei, D.M., Kucukelbir, A., McAuliffe, J.D.: Variational inference: a review for statisticians. J. Am. Stat. Assoc. 112(518), 859–877 (2017)
Bonnet, G.: Transformations des signaux aléatoires a travers les systemes non linéaires sans mémoire. Annales des Télécommunications 19, 203–220 (1964)
Bottou, L.: Large-scale machine learning with stochastic gradient descent. In: Proceedings of COMPSTAT’2010: 19th International Conference on Computational Statistics, pp. 177–186. Springer, New York (2010)
Breslow, N.E., Clayton, D.G.: Approximate inference in generalized linear mixed models. J. Am. Stat. Assoc. 88(421), 9–25 (1993)
Broderick, T., Boyd, N., Wibisono, A., Wilson, A.C., Jordan, M.I. (2013). Streaming variational Bayes. In: Proceedings of the 26th International Conference on Neural Information Processing Systems—Volume 2, NIPS’13, pp. 1727–1735. Curran Associates Inc., Red Hook
Cappé, O., Moulines, E., Rydén, T.: Inference in Hidden Markov Models. Springer, New York (2005)
Crowder, M.J.: Inference about the intraclass correlation coefficient in the beta-binomial ANOVA for proportions. J. R. Stat. Soc. B 41(2), 230–234 (1979)
Demidenko, E.: Mixed Models: Theory and Applications with R. Wiley, Hoboken (2013)
Dempster, A.P., Laird, N.M., Rubin, D.B.: Maximum likelihood from incomplete data via the EM algorithm. J. R. Stat. Soc. B 39(1), 1–22 (1977)
Faraway, J.J.: Extending the Linear Model with R: Generalized Linear, Mixed Effects and Nonparametric Regression Models, 2nd edn. CRC Press, New York (2016)
Fitzmaurice, G.M., Laird, N.M.: A likelihood-based method for analysing longitudinal binary responses. Biometrika 80(1), 141–151 (1993)
Fong, Y., Rue, H., Wakefield, J.: Bayesian inference for generalized linear mixed models. Biostatistics 11(3), 397–412 (2010)
Goldstein, H.: Nonlinear multilevel models, with an application to discrete response data. Biometrika 78(1), 45–51 (1991)
Gunawan, D., Kohn, R., Nott, D.: Variational Bayes approximation of factor stochastic volatility models. Int. J. Forecast. 37(4), 1355–1375 (2021)
Hoffman, M.D., Blei, D.M., Wang, C., Paisley, J.: Stochastic variational inference. J. Mach. Learn. Res. 14, 1303–1347 (2013)
Hosmer, D.W., Lemeshow, S., Sturdivant, R.X.: Applied Logistic Regression, 3rd edn. Wiley, Hoboken (2013)
Jansen, M.G.H.: Parameters of the latent distribution in Rasch’s Poisson counts model. In: Fischer, G.H., Laming, D. (eds.) Contributions to Mathematical Psychology, Psychometrics, and Methodology, pp. 319–326. Springer, New York (1994)
Kingma, D.P., Welling, M.: Auto-encoding variational Bayes (2013). arXiv preprint arXiv:1312.6114
Lambert, M., Bonnabel, S., Bach, F.: The recursive variational Gaussian approximation (R-VGA). Stat. Comput. 32(1) (2022)
Naylor, J.C., Smith, A.F.: Applications of a method for the efficient computation of posterior distributions. J. R. Stat. Soc. C 31(3), 214–225 (1982)
Neal, R.: MCMC Using Hamiltonian dynamics. In: Brooks, S., Gelman, A., Jones, G.J., Meng, X.-L. (eds.) Handbook of Markov Chain Monte Carlo. CRC Press, Boca Raton (2011)
Nemeth, C., Fearnhead, P., Mihaylova, L.: Particle approximations of the score and observed information matrix for parameter estimation in state-space models with linear computational cost. J. Comput. Graph. Stat. 25(4), 1138–1157 (2016)
Ong, V.M.-H., Nott, D.J., Smith, M.S.: Gaussian variational approximation with a factor covariance structure. J. Comput. Graph. Stat. 27(3), 465–478 (2018)
Ormerod, J.T., Wand, M.P.: Explaining variational approximations. Am. Stat. 64(2), 140–153 (2010)
Price, R.: A useful theorem for nonlinear devices having Gaussian inputs. IRE Trans. Inf. Theory 4(2), 69–72 (1958)
R Core Team: R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna (2022)
Stan Development Team: RStan: the R interface to Stan. R package version 2(21), 8 (2023)
Tan, L.S., Nott, D.J.: Gaussian variational approximation with sparse precision matrices. Stat. Comput. 28(2018), 259–275 (2018)
Thall, P.F., Vail, S.C.: Some covariance models for longitudinal count data with overdispersion. Biometrics 46(3), 657–671 (1990)
Tierney, L., Kadane, J.B.: Accurate approximations for posterior moments and marginal densities. J. Am. Stat. Assoc. 81(393), 82–86 (1986)
Tokdar, S.T., Kass, R.E.: Importance sampling: a review. WIREs Comput. Stat. 2(1), 54–60 (2010)
Tomasetti, N., Forbes, C., Panagiotelis, A.: Updating variational Bayes: Fast sequential posterior inference. Stat. Comput. 32(1)
Tran, M.-N., Nott, D.J., Kuk, A.Y., Kohn, R.: Parallel variational Bayes for large datasets with an application to generalized linear mixed models. J. Comput. Graph. Stat. 25(2), 626–646 (2016)
Tran, M.-N., Nott, D.J., Kohn, R.: Variational Bayes with intractable likelihood. J. Comput. Graph. Stat. 26(4), 873–882 (2017)
Tuerlinckx, F., Rijmen, F., Verbeke, G., De Boeck, P.: Statistical inference in generalized linear mixed models: a review. Br. J. Math. Stat. Psychol. 59(2), 225–255 (2006)
Verbeke, G., Molenberghs, G., Verbeke, G.: Linear Mixed Models for Longitudinal Data. Springer, New York (1997)
Wakefield, J.: Bayesian and Frequentist Regression Methods. Springer, New York (2013)
Zhao, Y., Staudenmayer, J., Coull, B.A., Wand, M.P.: General design Bayesian generalized linear mixed models. Stat. Sci. 21(1), 35–51 (2006)