Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Giải pháp Không xâm lấn cho Vấn đề Cấu trúc Kém của Ma Trận Hiệp phương sai Được Tăng cường Gradient cho Các Quy trình Gauss
Tóm tắt
Các quy trình Gauss (GPs) được sử dụng cho nhiều ứng dụng khác nhau, bao gồm đo lường độ không chắc chắn và tối ưu hóa. Việc cấu trúc kém của ma trận hiệp phương sai cho GPs là điều phổ biến khi sử dụng các loại hạt khác nhau, bao gồm hạt Gaussian, hạt hình tam giác hợp lý và hạt Matérn. Một phương pháp phổ biến để khắc phục vấn đề này là thêm một giá trị cạnh chéo dọc theo đường chéo của ma trận hiệp phương sai. Đối với GPs không được xây dựng với các độ dốc, việc xác định một giá trị cho cạnh chéo đảm bảo số điều kiện của ma trận hiệp phương sai dưới ngưỡng do người dùng đặt là tương đối đơn giản. Tuy nhiên, đối với các GPs được tăng cường độ dốc, chưa có các giới hạn thực tế để chọn giá trị cạnh chéo đảm bảo số điều kiện của ma trận hiệp phương sai được tăng cường độ dốc dưới ngưỡng người dùng đặt. Trong bài báo này, một phương pháp mới được áp dụng để ràng buộc số điều kiện của ma trận hiệp phương sai cho GPs sử dụng hạt Gaussian. Điều này được thực hiện bằng cách sử dụng tái tỷ lệ không đồng nhất cho dữ liệu và một giá trị cạnh chéo khiêm tốn. Phương pháp không xâm lấn này hoạt động cho GPs áp dụng cho các bài toán ở bất kỳ chiều nào và cho phép giữ lại tất cả các điểm dữ liệu. Phương pháp này được áp dụng cho một bộ tối ưu hóa Bayesian sử dụng GP được tăng cường độ dốc để đạt được hội tụ sâu. Nếu không có phương pháp này, số điều kiện cao hạn chế các siêu tham số cho GP và điều này được chứng minh là cản trở việc hội tụ của bộ tối ưu hóa. Nó cũng được chứng minh rằng việc áp dụng phương pháp này cho các hạt hình tam giác hợp lý và hạt Matérn làm giảm tình trạng cấu trúc kém của các ma trận hiệp phương sai được tăng cường độ dốc của chúng. Việc thực hiện phương pháp này đơn giản và được mô tả rõ ràng trong bài báo.
Từ khóa
#Quy trình Gaussian #Ma trận Hiệp phương sai #Tăng cường độ dốc #Hạt Gaussian #Tối ưu hóa BayesianTài liệu tham khảo
Ababou, R., Bagtzoglou, A.C., Wood, E.F.: On the condition number of covariance matrices in kriging, estimation, and simulation of random fields. Math. Geol. 26(1), 99–133 (1994). https://doi.org/10.1007/BF02065878
Andrianakis, I., Challenor, P.G.: The effect of the nugget on Gaussian process emulators of computer models. Comput. Stat. Data Anal. 56(12), 4215–4228 (2012). https://doi.org/10.1016/j.csda.2012.04.020
Dalbey, K.: Efficient and robust gradient enhanced Kriging emulators. Tech. Rep. SAND2013-7022, 1096451 (2013). https://doi.org/10.2172/1096451
Davis, G.J., Morris, M.D.: Six factors which affect the condition number of matrices associated with kriging. Math. Geol. 29(5), 669–683 (1997). https://doi.org/10.1007/BF02769650
Dwight, R., Han, Z.H.: Efficient uncertainty quantification using gradient-enhanced kriging. In: 11th AIAA Non-Deterministic Approaches Conference. American Institute of Aeronautics and Astronautics, Palm Springs, California (2009). https://doi.org/10.2514/6.2009-2276
Eriksson, D., Dong, K., Lee, E., Bindel, D., Wilson, A.G.: Scaling gaussian process regression with derivatives. In: 32nd Conference on Neural Information Processing Systems. Montreal, Canada (2018)
Gramacy, R.B., Lee, H.K.H.: Cases for the nugget in modeling computer experiments. Stat. Comput. 22(3), 713–722 (2012). https://doi.org/10.1007/s11222-010-9224-x
Han, Z.H., Görtz, S., Zimmermann, R.: Improving variable-fidelity surrogate modeling via gradient-enhanced kriging and a generalized hybrid bridge function. Aerosp. Sci. Technol. 25(1), 177–189 (2013). https://doi.org/10.1016/j.ast.2012.01.006
He, X., Chien, P.: On the instability issue of Gradient-Enhanced gaussian process emulators for computer experiments. SIAM/ASA J. Uncertain. Quantif. 6(2), 627–644 (2018). https://doi.org/10.1137/16M1088247
Huang, D., Tang, Y., Zhang, W.: Distribution of roots of cubic equations. Pure Appl. Math. 17(2), 185–188 (2010)
Kostinski, A.B., Koivunen, A.C.: On the condition number of Gaussian sample-covariance matrices. IEEE Trans. Geosci. Remote Sens. 38(1), 329–332 (2000). https://doi.org/10.1109/36.823928
Laurent, L., Le Riche, R., Soulier, B., Boucard, P.A.: An overview of gradient-enhanced metamodels with applications. Arch. Comput. Methods Eng. 26(1), 61–106 (2019). https://doi.org/10.1007/s11831-017-9226-3
March, A., Willcox, K., Wang, Q.: Gradient-based multifidelity optimisation for aircraft design using Bayesian model calibration. Aeronaut. J. 115(1174), 729–738 (2011). https://doi.org/10.1017/S0001924000006473
Ollar, J., Mortished, C., Jones, R., Sienz, J., Toropov, V.: Gradient based hyper-parameter optimisation for well conditioned kriging metamodels. Struct. Multidiscip. Optim. 55(6), 2029–2044 (2017). https://doi.org/10.1007/s00158-016-1626-8
Osborne, M.A., Garnett, R., Roberts, S.J.: Gaussian processes for global optimization. In: 3rd International Conference on Learning and Intelligent Optimization. Trento, Italy (2009)
Rasmussen, C.E., Williams, C.K.I.: Gaussian Processes for Machine Learning. Adaptive Computation and Machine Learning. MIT Press, Cambridge, Mass (2006)
Riley, J.D.: Solving systems of linear equations with a positive definite, Symmetric, but Possibly Ill-Conditioned Matrix. Mathematical tables and other aids to computation pp. 96–101 (1955)
Schulz, E., Speekenbrink, M., Krause, A.: A tutorial on Gaussian process regression: modelling, exploring, and exploiting functions. J. Math. Psychol. 85, 1–16 (2018). https://doi.org/10.1016/j.jmp.2018.03.001
Selby, S.M.: CRC Standard Mathematical Tables, 23rd edn. CRC Press, Cleveland, Ohio (1975)
Shahriari, B., Swersky, K., Wang, Z., Adams, R.P., de Freitas, N.: Taking the human out of the loop: a review of bayesian optimization. Proc. IEEE 104(1), 148–175 (2016). https://doi.org/10.1109/JPROC.2015.2494218
Toal, D.J., Bressloff, N.W., Keane, A.J., Holden, C.M.: The development of a hybridized particle swarm for kriging hyperparameter tuning. Eng. Optim. 43(6), 675–699 (2011). https://doi.org/10.1080/0305215X.2010.508524
Toal, D.J.J., Bressloff, N.W., Keane, A.J.: Kriging hyperparameter tuning strategies. AIAA J. 46(5), 1240–1252 (2008). https://doi.org/10.2514/1.34822
Toal, D.J.J., Forrester, A.I.J., Bressloff, N.W., Keane, A.J., Holden, C.: An adjoint for likelihood maximization. Proc. Royal Soc. A Math., Phys. Eng. Sci. 465(2111), 3267–3287 (2009). https://doi.org/10.1098/rspa.2009.0096
Wu, A., Aoi, M.C., Pillow, J.W.: Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature. arXiv:1704.00060 [stat] (2018)
Wu, J., Poloczek, M., Wilson, A.G., Frazier, P.: Bayesian optimization with gradients. In: 31st Conference on Neural Information Processing Systems. Long Beach, CA, USA (2017)
Zhang, Y., Leithead, W.E.: Exploiting Hessian matrix and trust-region algorithm in hyperparameters estimation of Gaussian process. Appl. Math. Comput. p. 18 (2005)
Zimmermann, R.: On the maximum likelihood training of gradient-enhanced spatial Gaussian processes. SIAM J. Sci. Comput. 35(6), A2554–A2574 (2013). https://doi.org/10.1137/13092229X
Zimmermann, R.: On the condition number anomaly of Gaussian correlation matrices. Linear Algebra Appl. 466, 512–526 (2015). https://doi.org/10.1016/j.laa.2014.10.038
Zingg, D.W., Nemec, M., Pulliam, T.H.: A comparative evaluation of genetic and gradient-based algorithms applied to aerodynamic optimization. Eur. J. Comput. Mech. 17(1–2), 103–126 (2008). https://doi.org/10.3166/remn.17.103-126