Phương Pháp Monte Carlo Hamilton phân tách

Statistics and Computing - Tập 24 - Trang 339-349 - 2013
Babak Shahbaba1, Shiwei Lan2, Wesley O. Johnson2, Radford M. Neal3
1Department of Statistics and Department of Computer Science, University of California, Irvine, USA
2Department of Statistics, University of California, Irvine, USA
3Department of Statistics and Department of Computer Science, University of Toronto, Toronto, Canada

Tóm tắt

Chúng tôi chỉ ra rằng thuật toán Monte Carlo Hamilton có thể đôi khi được tăng tốc bằng cách "phân tách" Hamilton theo cách cho phép phần lớn chuyển động trong không gian trạng thái được thực hiện với chi phí tính toán thấp. Một bối cảnh mà điều này khả thi là khi mật độ log của phân phối quan tâm (hàm năng lượng tiềm tàng) có thể được viết dưới dạng log của một mật độ Gaussian, mà là một hàm bậc hai, cộng với một hàm thay đổi chậm. Động lực học Hamilton cho các hàm năng lượng bậc hai có thể được giải quyết phân tích. Với kỹ thuật phân tách, chỉ cần xử lý phần năng lượng thay đổi chậm một cách số, và điều này có thể được thực hiện với một bước kích thước lớn hơn (và do đó, ít bước hơn) so với những gì cần thiết với một mô phỏng trực tiếp của động lực học. Một bối cảnh khác mà phân tách giúp đỡ là khi những thành phần quan trọng nhất của hàm năng lượng tiềm tàng và độ dốc của nó có thể được đánh giá nhanh chóng, trong khi chỉ một phần thay đổi chậm yêu cầu tính toán tốn kém. Với việc phân tách, phần nhanh có thể được xử lý với một bước kích thước nhỏ, trong khi phần tốn kém sử dụng một bước kích thước lớn hơn. Chúng tôi cho thấy rằng cả hai phương pháp phân tách này có thể làm giảm chi phí tính toán của việc lấy mẫu từ phân phối hậu nghiệm cho mô hình hồi quy logistic, sử dụng hoặc là một khoảng Gaussian được căn cứ vào chế độ hậu nghiệm, hoặc một Hamilton được phân tách thành một thành phần phụ thuộc vào chỉ một số ít trường hợp quan trọng, và một thành phần khác liên quan đến một số lượng lớn hơn các trường hợp có ảnh hưởng nhỏ đến phân phối hậu nghiệm.

Từ khóa

#Monte Carlo Hamilton #phân tách Hamilton #hồi quy logistic #mật độ Gaussian #năng lượng tiềm tàng.

Tài liệu tham khảo

Beskos, A., Pinski, F.J., Sanz-Serna, J.M., Stuart, A.M.: Hybrid Monte-Carlo on Hilbert spaces. Stoch. Process. Appl. 121, 2201–2230 (2011) de Campos, D.A., Bernardes, J., Garrido, A., de Sa, J.M., Pereira-Leite, L.: SisPorto 2.0 a program for automated analysis of cardiotocograms. J. Matern.-Fetal Med. 9, 311–318 (2000) Duane, S., Kennedy, A.D., Pendleton, B.J., Roweth, D.: Hybrid Monte Carlo. Phys. Lett. B 195(2), 216–222 (1987) Geyer, C.J.: Practical Markov chain Monte Carlo. Stat. Sci. 7(4), 473–483 (1992) Girolami, M., Calderhead, B.: Riemann manifold Langevin and Hamiltonian Monte Carlo methods (with discussion). J. R. Stat. Soc. B 73(2), 123–214 (2011) Hoffman, M., Gelman, A.: The No-U-Turn sampler: adaptively setting path lengths in Hamiltonian Monte Carlo. arXiv:1111.4246 (2011) Leimkuhler, B., Reich, S.: Simulating Hamiltonian Dynamics. Cambridge University Press, Cambridge (2004) Metropolis, N., Rosenbluth, A.W., Rosenbluth, M.N., Teller, A.H., Teller, E.: Equation of state calculations by fast computing machines. J. Chem. Phys. 21(6), 1087–1092 (1953). doi:10.1063/1.1699114 Neal, R.M.: Probabilistic inference using Markov chain Monte Carlo methods. Technical report CRG-TR-93-1, Department of Computer Science, University of Toronto (1993) Neal, R.M.: MCMC using Hamiltonian dynamics. In: Brooks, S., Gelman, A., Jones, G., Meng, X.L. (eds.) Handbook of Markov Chain Monte Carlo. Chapman and Hall/CRC, London/Boca Raton (2010) Polyanin, A.D., Zaitsev, V.F., Moussiaux, A.: Handbook of First Order Partial Differential Equations. Taylor & Francis, London (2002) Thompson, M.B.: A comparison of methods for computing autocorrelation time. Technical report 1007 (2010) Tierney, L., Kadane, J.B.: Accurate approximations for posterior moments and marginal densities. J. Am. Stat. Assoc. 81, 82–86 (1986)