Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
MCMC nhảy ngược tổng quát sử dụng mô hình đồ thị
Tóm tắt
Các kỹ thuật chuỗi Markov Monte Carlo đã cách mạng hóa lĩnh vực thống kê Bayes. Sức mạnh của chúng lớn đến mức có thể xử lý cả những tình huống có cấu trúc của mô hình thống kê bản thân còn chưa chắc chắn. Tuy nhiên, việc phân tích các mô hình qua chiều (TD) như vậy không dễ dàng, và phần mềm có sẵn có thể thiếu linh hoạt cần thiết để xử lý những phức tạp của dữ liệu thực, thường vì nó không cho phép mô hình TD trở thành một phần của một mô hình lớn hơn nào đó. Trong bài báo này, chúng tôi mô tả một lớp các mô hình TD có thể áp dụng rộng rãi có thể được biểu diễn bằng một mô hình đồ thị tổng quát, mà có thể được tích hợp vào các cấu trúc đồ thị tùy ý mà không làm ảnh hưởng đáng kể đến cơ chế suy diễn. Chúng tôi cũng trình bày một sự phân tách của thuật toán nhảy quay ngược thành các thành phần trừu tượng và cụ thể cho vấn đề, điều này cung cấp cơ sở hạ tầng cho việc áp dụng phương pháp cho tất cả các mô hình trong lớp đã xem xét. Những phát triển này đại diện cho một bước đầu tiên hướng tới một phương pháp độc lập ngữ cảnh để thực hiện các mô hình TD, điều này sẽ tạo điều kiện cho việc sử dụng của các nhà khoa học ứng dụng trong việc khám phá thực tiễn về sự không chắc chắn của mô hình. Phương pháp của chúng tôi sử dụng nền tảng WinBUGS phổ biến như một động cơ lấy mẫu và chúng tôi minh họa việc sử dụng nó thông qua hai ví dụ đơn giản trong đó sự không chắc chắn của mô hình là một đặc điểm chính.
Từ khóa
#MCMC #mô hình đồ thị #mô hình qua chiều #phân tích thống kê #thống kê BayesTài liệu tham khảo
Al-Awadhi, F., Hurn, M.A., Jennison, C.: Improving the acceptance rates of reversible jump MCMC proposals. Stat. Probab. Lett. 69, 189–198 (2004)
Albert, J.H., Chib, S.: Bayesian analysis of binary and polychotomous response data. J. Am. Stat. Assoc. 88, 669–679 (1993)
Bernardo, J.M., Smith, A.F.M.: Bayesian Theory. Wiley, New York (1994)
Brooks, S.P., Gelman, A.: General methods for monitoring convergence of iterative simulations. J. Comput. Graph. Stat. 7, 434–455 (1998)
Brooks, S.P., Giudici, P.: Convergence assessment for reversible jump MCMC simulations. In: Bernardo, J.M., Berger, J.O., Dawid, A.P., Smith, A.F.M. (eds.) Bayesian Statistics, vol. 6, pp. 733–742. Oxford University Press, Oxford (1999)
Brooks, S.P., Giudici, P., Roberts, G.O.: Efficient construction of reversible jump Markov chain Monte Carlo proposal distributions (with discussion). J. R. Stat. Soc. B 65, 3–55 (2003)
Castelloe, J.M., Zimmerman, D.L.: Convergence assessment for reversible jump MCMC samplers. Technical Report 313, Department of Statistics and Actuarial Science, University of Iowa (2002)
Cowles, M.K., Carlin, B.P.: Markov chain Monte Carlo convergence diagnostics: a comparative review. J. Am. Stat. Assoc. 91, 883–904 (1996)
Denison, D.G., Holmes, C.C.: Bayesian partitioning for estimating disease risk. Biometrics 57, 143–149 (2001)
Denison, D.G.T., Mallick, B.K., Smith, A.F.M.: Automatic Bayesian curve fitting. J. R. Stat. Soc. B 60, 333–350 (1998a)
Denison, D.G.T., Mallick, B.K., Smith, A.F.M.: A Bayesian CART algorithm. Biometrika 85, 363–377 (1998b)
Denison, D.G.T., Mallick, B.K., Smith, A.F.M.: Bayesian MARS. Stat. Comput. 8, 337–346 (1998c)
Denison, D.G.T., Holmes, C.C., Mallick, B.K., Smith, A.F.M.: Bayesian Methods for Non-linear Classification and Regression. Wiley, Chichester (2002)
Draper, N., Smith, H.: Applied Regression Analysis, 2nd edn. Wiley, New York (1981)
Frühwirth-Schnatter, S., Wagner, H.: Data augmentation and Gibbs sampling for regression models of small counts. Technical report, IFAS, Johannes Kepler Universität Linz, Austria, http://www.ifas.jku.at/ (2004)
Gelfand, A.E., Smith, A.F.M.: Sampling-based approaches to calculating marginal densities. J. Am. Stat. Assoc. 85, 398–409 (1990)
Gelman, A., Rubin, D.B.: Inference from iterative simulation using multiple sequences (with discussion). Stat. Sci. 7, 457–511 (1992)
Geman, S., Geman, D.: Stochastic relaxation, Gibbs distributions and the Bayesian restoration of images. IEEE Trans. Pattern Anal. 6, 721–741 (1984)
Gilks, W.R.: Full conditional distributions. In: Gilks, W.R., Richardson, S., Spiegelhalter, D.J. (eds.) Markov Chain Monte Carlo in Practice, pp. 75–88. Chapman & Hall, London (1996)
Green, P.J.: Reversible jump Markov chain Monte Carlo computation and Bayesian model determination. Biometrika 82, 711–732 (1995)
Green, P.J.: Trans-dimensional Markov chain Monte Carlo. In: Green, P.J., Hjort, N.L., Richardson, S. (eds.) Highly Structured Stochastic Systems, pp. 179–206. Oxford University Press, London (2003)
Green, P.J., Mira, A.: Delayed rejection in reversible jump Metropolis-Hastings. Biometrika 88, 1035–1053 (2001)
Harrell, F.E.: Regression Modelling Strategies: With Applications to Linear Models, Logistic Regression, and Survival Analysis. Springer, London (2001)
Hastie, D.I.: (2005). Towards automatic reversible jump Markov chain Monte Carlo. PhD thesis, Statistics Group, University of Bristol, UK
Hastie, T., Tibshirani, R.: Generalized Additive Models. Chapman & Hall, London (1990)
Hastings, W.K.: Monte Carlo sampling-based methods using Markov chains and their applications. Biometrika 57, 97–109 (1970)
Holmes, C.C., Held, L.: Bayesian auxiliary variable models for binary and multinomial regression. Bayesian Anal. 1, 145–168 (2005)
Jasra, A., Stephens, D.A., Holmes, C.C.: Population-based reversible jump Markov chain Monte Carlo. arxiv:0711.0186 (2007)
Johnson, N.L., Kotz, S.: Distributions in Statistics: Continuous Multivariate. Wiley, New York (1972)
Knorr-Held, L., Raßer, G.: Bayesian detection of clusters and discontinuities in disease maps. Biometrics 56, 13–21 (2000)
Lunn, D.J.: Automated covariate selection and Bayesian model averaging in population PK/PD models. J. Pharmacokinet. Pharmacodyn. 35, 85–100 (2008)
Lunn, D.J., Thomas, A., Best, N., Spiegelhalter, D.: WinBUGS—a Bayesian modelling framework: concepts, structure, and extensibility. Stat. Comput. 10, 325–337 (2000)
Lunn, D.J., Whittaker, J.C., Best, N.: A Bayesian toolkit for genetic association studies. Genet. Epidemiol. 30, 231–247 (2006)
Mengersen, K.L., Robert, C.P., Guihenneuc-Jouyaux, C.: MCMC convergence diagnostics: a review. In: Bernardo, J.M., Berger, J.O., Dawid, A.P., Smith, A.F.M. (eds.) Bayesian Statistics, vol. 6, pp. 415–440. Oxford University Press, Oxford (1999)
Metropolis, N., Rosenbluth, A.W., Rosenbluth, M.N., Teller, A.H., Teller, E.: Equations of state calculations by fast computing machines. J. Chem. Phys. 21, 1087–1091 (1953)
Nobile, A., Fearnside, A.T.: Bayesian finite mixtures with an unknown number of components: The allocation sampler. Stat. Comput. 17, 147–162 (2007)
Richardson, S., Green, P.J.: On Bayesian analysis of mixtures with an unknown number of components. J. R. Stat. Soc. B 59, 731–792 (1997)
Spanos, A., Harrell, F.E., Durack, D.T.: Differential diagnosis of acute meningitis: An analysis of the predictive value of initial observations. J. Am. Med. Assoc. 262, 2700–2707 (1989)
Spiegelhalter, D.J., Thomas, A., Best, N.G.: Computation on Bayesian graphical models. In: Bernardo, J.M., Berger, J.O., Dawid, A.P., Smith, A.F.M. (eds.) Bayesian Statistics, vol. 5, pp. 407–425. Oxford University Press, Oxford (1996)
Spiegelhalter, D., Thomas, A., Best, N., Gilks, W.: BUGS 0.5: Bayesian inference Using Gibbs Sampling. Manual (version ii), Medical Research Council Biostatistics Unit, Cambridge (1996)
Spiegelhalter, D., Thomas, A., Best, N., Lunn, D.: WinBUGS User Manual, Version 1.4. Medical Research Council Biostatistics Unit, Cambridge (2003)
Troughton, P.T., Godsill, S.J.: A reversible jump sampler for autoregressive time series, employing full conditionals to achieve efficient model space moves. Technical Report CUED/F-INFENG/TR. 304, Cambridge University Engineering Department, UK (1997)
Waagepetersen, R., Sorensen, D.: A tutorial on reversible jump MCMC with a view toward applications in QTL-mapping. Int. Stat. Rev. 69, 49–61 (2001)
Wakefield, J.C., Smith, A.F.M., Racine-Poon, A., Gelfand, A.E.: Bayesian analysis of linear and non-linear population models by using the Gibbs sampler. Appl. Stat. 43, 201–221 (1994)
Zellner, A.: On assessing prior distributions and Bayesian regression analysis with g prior distributions. In: Goel, P., Zellner, A. (eds.) Bayesian Inference and Decision Techniques—Essays in Honor of Bruno De Finetti, pp. 233–243. Elsevier, Amsterdam (1986)