Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Phương pháp LBFGS phân tán được tăng cường bằng học máy cho tối ưu hóa phát triển k field: thuật toán, xác thực và ứng dụng
Tóm tắt
Chúng tôi đã phát triển một phiên bản gia tốc hồi quy vector hỗ trợ (SVR) của phương pháp tối ưu hóa phân tán không đạo hàm (DFO) sử dụng công thức cập nhật Hessian BFGS bộ nhớ hạn chế (LBFGS) cho các vấn đề tối ưu hóa phát triển trường dưới bề mặt. Bộ tối ưu D-LBFGS nâng cao SVR được thiết kế để xác định hiệu quả nhiều cực tiểu cục bộ của các vấn đề tối ưu hóa phi tuyến tính cao với sự tác động của tiếng ồn số. Nó hoạt động trên cả các vấn đề tối ưu hóa phát triển trường đơn mục tiêu và đa mục tiêu. Bộ tối ưu DFO D-LBFGS cơ bản chạy nhiều luồng tối ưu hóa song song và sử dụng phương pháp nội suy tuyến tính để xấp xỉ ma trận nhạy cảm của phản ứng mô phỏng đối với các tham số mô hình đang được tối ưu hóa. Tuy nhiên, cách tiếp cận này kém chính xác hơn và làm chậm sự hội tụ. Trong bài báo này, chúng tôi triển khai một biến thể hiệu quả của phương pháp SVR, cụ thể là ε-SVR, và tích hợp nó vào động cơ D-LBFGS theo chế độ đồng bộ trong khung của một thư viện tối ưu hóa đa dụng bên trong nền tảng mô phỏng hồ chứa thế hệ tiếp theo. Vì ε-SVR có một công thức dự đoán dạng kín, chúng tôi tính toán phân tích hàm mục tiêu xấp xỉ và các gradient của nó đối với các biến mô hình đầu vào đang được tối ưu hóa. Chúng tôi nghiên cứu hai phương pháp khác nhau để đề xuất một điểm tìm kiếm mới cho mỗi luồng tối ưu hóa trong mỗi vòng lặp thông qua việc tích hợp liền mạch ε-SVR với bộ tối ưu D-LBFGS. Phương pháp đầu tiên ước lượng ma trận nhạy cảm và các gradient trực tiếp bằng cách sử dụng ε-SVR giả lập phân tích và sau đó giải quyết một bài toán con tin cậy LBFGS (TRS). Phương pháp thứ hai áp dụng phương pháp tìm kiếm khu vực tin cậy LBFGS để tối ưu hóa hàm mục tiêu xấp xỉ bằng cách sử dụng giả lập phân tích ε-SVR trong khu vực hình hộp. Chúng tôi trước tiên chứng minh rằng ε-SVR cung cấp các ước lượng chính xác cho các vectơ gradient trên một tập hợp các bài kiểm tra phân tích phi tuyến tính. Sau đó, chúng tôi báo cáo kết quả của các thí nghiệm số được thực hiện bằng cách sử dụng các thuật toán D-LBFGS mới được đề xuất tăng cường SVR trên cả các vấn đề tối ưu hóa phát triển trường tổng hợp và thực tế. Chúng tôi cho thấy rằng các thuật toán này hoạt động hiệu quả trên các vấn đề tối ưu hóa phi tuyến thực tế chịu tác động của tiếng ồn số. Chúng tôi chỉ ra rằng cả hai biến thể D-LBFGS nâng cao SVR đều hội tụ nhanh hơn và do đó cung cấp một sự tăng tốc đáng kể so với việc triển khai cơ bản của D-LBFGS với phép nội suy tuyến tính.
Từ khóa
#tối ưu hóa phát triển #hồi quy vector hỗ trợ #DFO #LBFGS #tiếng ồn số #phương pháp tối ưu hóa đa mục tiêuTài liệu tham khảo
Alpak, F.O. Simultaneous optimization of well count and placement: algorithm, validation, and field testing. SPE J. 28(01), 147–172 (2023)
Alpak, F.O., Jain, V.: Support-vector regression accelerated well location optimization: algorithm, validation, and field testing. Comput. Geosci. 25, 2033–2054 (2021)
Alpak, F., Jain, V., Wang, Y., Gao, G.: Biobjective optimization of well placement: algorithm, validation, and field testing. SPE J. 27(01), 246–273 (2022)
Alpak, F., Wang, Y., Gao, G., and Vivek, J. Benchmarking and Field-Testing of the Distributed Quasi-Newton Derivative-Free Optimization Method for Field Development Optimization. Paper SPE-206267-MS presented at the SPE Annual Technical Conference and Exhibition, Dubai, UAE (2021)
Bertsekas, D. Nonlinear Programming (3rd ed.). Athena Scientific. ISBN 9781886529007 (2016)
Buhmann, M.D.: Radial Basis Functions: Theory and Implementations. Cambridge University Press, Cambridge, England, Cambridge Monographs on Applied and Computational Mathematics (2003)
Chang, C.-C. and Lin, C.-J. LIBSVM: A library for support vector machines. ACM Trans Intell Syst Technol 2(3), article no. 27: 1–27 (2011)
Chen, C., Jin, L., Gao, G., Weber, D., Vink, J.C., Hohl, D.F., Alpak, F.O., Pirmez, C. Assisted History Matching Using Three Derivative-Free Optimization Algorithms. Paper SPE-154112-MS presented at the SPE Europec/EAGE Annual Conference held in Copenhagen, Denmark, 4–7 June (2012)
Chen, Y., Oliver, D.S., Zhang, D.: Efficient ensemble-based closed-loop production optimization. SPE J. 14(4), 634–645 (2009)
Chen, Y., Oliver, D.S.: Ensemble-based closed-loop optimization applied to Brugge field. SPE Reservoir Eng Eval. 13(1), 56–71 (2010)
Chen, B., Reynolds, A.C.: Ensemble-based optimization of the water-alternating-gas-injection process. SPE J. 21(03), 786–798 (2016)
Conn, A.R., Scheinberg, K., Toint, P.L.: Recent Progress in unconstrained nonlinear optimization without derivatives. Math. Program. 79, 397–414 (1997)
Cortes, C., Vapnik, V.: Support-vector networks. Mach. Learn. 20(3), 273–297 (1995)
De Brabanter, K.: Least-Squares Support Vector Regression with Applications to Large-Scale Data: a Statistical Approach. Faculty of Engineering, Katholieke Universiteit Leuven, Leuven, Belgium, Ph. D. dissertation (2011)
Do, S.T., Reynolds, A.C.: Theoretical connections between optimization algorithms based on an approximation gradient. Comput. Geosci. 17(6), 959–973 (2013)
Dyn, N. Interpolation of Scattered Data by Radial Functions. Topics in Multivariate Approximation: 47–61 (1987)
Fonseca, R.R., Chen, B., Jansen, J.D., Reynolds, A.C.: A stochastic simplex approximate gradient (StoSAG) for optimization under uncertainty. Int J Num Methods Eng. 109, 1756–1776 (2017)
Gao, G., Vink, J.C., Alpak, F.O., Mo, W.: An efficient optimization workflow for field-scale in-situ upgrading developments. SPE J. 20(04), 701–716 (2015)
Gao, G., Vink, J.C., Chen, C., Alpak, F.O, and Du, K. A parallelized and hybrid data-integration algorithm for history matching of geologically complex reservoirs. SPE J. 21(06): 2155–2174 (2016)
Gao, G., Vink, J.C., Chen, C., El Khamra, Y., Tarrahi, M.: Distributed gauss-Newton optimization method for history matching problems with multiple best matches. Comput. Geosci. 21(5–6), 1325–1342 (2017a)
Gao, G., Jiang, H., van Hagen, P.H., Vink, J.C., Wells, T.J.: A gauss-Newton Trust region solver for large scale history matching problems. SPE J. 22(06), 1999–2011 (2017b)
Gao, G., Wang, Y., Vink, J.C., Wells, T.J., Saaf, F.: Distributed quasi-Newton derivative-free optimization method for optimization problems with multiple local optima. Comput. Geosci. 26, 847–863 (2022)
Gao, G., Florez, H., Vink, J.C., Wells, T.J., Saaf, F., Blom, C.: Performance analysis of trust region subproblem solvers for limited-memory distributed BFGS optimization method. Front Appl Math Stat. 7, 673412 (2021)
Gao, G., Jiang, H., Vink, J.C., Chen, C., El Khamra, Y., Ita, J.J.: Gaussian mixture model fitting method for uncertainty quantification by conditioning to production data. Comput. Geosci. 24(2), 663–681 (2020)
Guo, Z., Chen, C., Gao, G., Cao, R., Li, R., Liu, H.: Integration of support vector regression with distributed gauss-Newton optimization method and its applications to the uncertainty assessment of unconventional assets. SPE Reserv. Eval. Eng. 21(4), 1007–1026 (2018a)
Guo, Z., Chen, C., Gao, G., Vink, J.: Enhancing the performance of the distributed gauss-Newton optimization method by reducing the effect of numerical noise and truncation error with support-vector-regression. SPE J. 23(06), 2428–2443 (2018b)
Hastie, T., Tibshirani, R., Friedman, J.: The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd edn. Springer-Verlag, New York (2009)
Jansen, J.D.: Adjoint-based optimization of multi-phase flow through porous media—a review. Comput. Fluids. 46(1), 40–51 (2011)
Joachims, T. Making large-Scale SVM Learning Practical. Advances in Kernel Methods – Support Vector Learning, B. Schölkopf and C. Burges and A. Smola (ed.), MIT-Press (1999)
Karush, W. Minima of Functions of Several Variables with Inequalities as Side Constraints (M.Sc. thesis). Department of Mathematics, University of Chicago, Chicago, Illinois (1939)
Kowalik, J.S., Osborne, M.R.: Methods for Unconstrained Optimization Problems. New York, New York, Elsevier North-Holland (1978)
Kuhn, H.W. and Tucker, A.W. Nonlinear programming. Proceedings of 2nd Berkeley Symposium. Berkeley: University of California Press: 481–492. MR 0047303 (1951)
Lanczos, C. Applied Analysis. Englewood Cliffs, NJ: Prentice Hall: 272–280 (1956)
Lu, H., Gao, G., Florez, H., Vink, J.C., Blom, C., Wells, T.J., and Saaf, F. Solving Gauss-Newton Trust Region Subproblem with Bound Constraints. Paper presented in the 18th Europe Conference on the Mathematics of Geological Reservoirs held in the Hague, the Netherlands, 5–7 September (2022)
Lu, R., Reynolds, A.C.: Joint optimization of well locations, types, drilling order, and controls given a set of potential drilling paths. SPE J. 25(03), 1285–1306 (2020)
Mercer, J.: XVI. Functions of positive and negative type, and their connection with the theory of integral equations. Philosophical transactions of the Royal Society of London. Series a. Containing Papers Math Phys Character. 209, 415–446 (1909)
Micchelli, C. A. Interpolation of Scattered Data: Distance Matrices and Conditionally Positive Definite Functions. In Approximation Theory and Spline Functions: 143–145, Springer, The Netherlands (1984)
NIST Lanczos-3: https://www.itl.nist.gov/div898/strd/nls/data/lanczos3.shtml. Last accessed on 03-June-2022a
NIST MGH09: https://www.itl.nist.gov/div898/strd/nls/data/mgh09.shtml. Last accessed on 16-December-2022b
Nocedal, J., Wright, S.J.: Numerical Optimization. Springer, New York, New York (1999)
Oeuvray, R. Trust Region Methods Based on Radial basis Functions with Application to Biomedical Imaging. Ph.D. thesis, EPFL, Lausanne, Switzerland (2005)
Oeuvray, R., Bierlaire, M.: BOOSTER: a derivative free algorithm based on radial basis functions. Int J Model Simul. 29(1), 26–36 (2009)
Oliver, D.S.: Multiple realization of the permeability field from well-test data. SPE J. 1(2), 145–155 (1996)
Oliver, D.S., Chen, Y.: Recent Progress on reservoir history matching: a review. Comput. Geosci. 15(1), 185–211 (2011)
Oliver, D.S., Reynolds, A.C., and Liu. Inverse Theory for Petroleum Reservoir Characterization and History Matching. Cambridge University Press (2008)
Platt, J. Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines. Microsoft Research, Technical Report: MSR-TR-98-14 (1998)
Powell, M.J.D.: On the Use of Quadratic Models in Unconstrained Minimization without Derivatives. Paper presented at the First International Conference on Optimization Methods and Software held in Hangzhou, China, Dec (2002)
Powell, M.J.D.: Least Frobenius norm updating of quadratic models that satisfy interpolation conditions. Math. Program. 100(1), 183–215 (2004)
Rafiee, J. and Reynolds, A.C.: A Two-Level MCMC Based on the Distributed Gauss-Newton Method for Uncertainty Quantification. The 16th European Conference on the Mathematics of Oil Recovery, Barcelona, Spain, 3–6 September (2018)
Rastrigin, L.A.: Systems of Extremal Control. Mir, Moscow (1974)
Regis, R.G., Shoemaker, C.A.: Improved strategies for radial basis function methods for global optimization. J. Glob. Optim. 37(1), 113–135 (2007)
Smola, A.J., Schölkopf, B.: A tutorial on support vector regression. Stat. Comput. 14(3), 199–222 (2004)
Suykens, J.A., De Brabanter, J., Lukas, L., Vandewalle, J.: Weighted least squares support vector machines: robustness and sparse approximation. Neurocomputing. 48(1–4), 85–105 (2002)
Suykens, J.A., Vandewalle, J.: Least squares support vector machine classifiers. Neural. Process. Lett. 9(3), 293–300 (1999)
Tarantola, A.: Inverse problem theory and methods for model parameter estimation. SIAM. (2005)
Wang, Y., Alpak, F., Gao, G., Chen, C., Vink, J., Wells, T., Saaf, F.: An efficient bi-objective optimization workflow using the distributed quasi-Newton method and its application to well-location optimization. SPE J. 27(01), 364–380 (2022)
Wild, S.M.: MNH: a Derivative Free Optimization Algorithm Using Minimal Norm Hessians. Tenth Copper Mountain Conference on Iterative Methods, April (2008)
Wild, S.M. Derivative Free Optimization Algorithms for Computationally Expensive Functions. Ph.D Thesis, Cornell University (2009)
Wild, S.M., Regis, R.G., Shoemaker, C.A.: ORBIT: optimization by radial basis interpolation in trust-region. SIAM J. Sci. Comput. 30(6), 3197–3219 (2008)
Zhao, H., Li, G., Reynolds, A.C., Yao, J.: Large-scale history matching with quadratic interpolation models. Comput. Geosci. 17, 117–138 (2012)