Thuật Toán Kết Hợp Hỗ Trợ Mô Hình Surrogate Hai Giai Đoạn Để Giải Quyết Các Vấn Đề Tối Ưu Hóa Chi Phí Cao

Complex & Intelligent Systems - Tập 7 - Trang 1391-1405 - 2021
Zhihai Ren1, Chaoli Sun1, Ying Tan1, Guochen Zhang1, Shufen Qin2
1Department of Computer Science and Technology, Taiyuan University of Science and Technology, Taiyuan, China
2Department of Electronic Information and Engineering, Taiyuan University of Science and Technology, Taiyuan, China

Tóm tắt

Các thuật toán tối ưu meta-heuristic hỗ trợ mô hình surrogate đã cho thấy hiệu suất tốt trong việc giải quyết các vấn đề tính toán tốn kém trong điều kiện tài nguyên tính toán hạn chế. So với phương pháp chỉ sử dụng một mô hình surrogate, việc sử dụng các bộ mô hình surrogate đã thể hiện hiệu quả hơn trong việc đạt được giải pháp tối ưu tốt. Trong bài báo này, chúng tôi đề xuất một thuật toán hỗ trợ mô hình surrogate kết hợp theo hai giai đoạn để giải quyết các vấn đề tối ưu hóa chi phí cao. Khung của phương pháp được đề xuất bao gồm hai giai đoạn. Ở giai đoạn đầu tiên, một số tìm kiếm toàn cục sẽ được tiến hành tuần tự để khám phá các tiểu không gian khác nhau của không gian quyết định, và giải pháp với độ không chắc chắn tối đa trong thế hệ cuối cùng của mỗi tìm kiếm toàn cục sẽ được đánh giá bằng cách sử dụng các vấn đề chính xác tốn kém để cải thiện độ chính xác của sự xấp xỉ trên các tiểu không gian tương ứng. Ở giai đoạn thứ hai, tìm kiếm cục bộ được thêm vào để khai thác tiểu không gian, nơi vị trí tốt nhất đã được tìm thấy cho đến thời điểm này, nhằm tìm kiếm một giải pháp tốt hơn cho việc đánh giá tốn kém thực tế. Hơn nữa, các tìm kiếm cục bộ và toàn cục ở giai đoạn thứ hai được thực hiện luân phiên để cân bằng giữa việc khám phá và khai thác. Hai thuật toán tối ưu meta-heuristic khác nhau được sử dụng lần lượt cho tìm kiếm toàn cục và tìm kiếm cục bộ. Để đánh giá hiệu suất của phương pháp được đề xuất, chúng tôi thực hiện các thí nghiệm trên bảy bài toán chuẩn, bài toán tiềm năng Lennard-Jones và một bài toán kiểm tra ràng buộc, và so sánh với năm phương pháp tiên tiến được đề xuất để giải quyết các vấn đề tốn kém. Kết quả thực nghiệm cho thấy phương pháp của chúng tôi có thể đạt được kết quả tốt hơn, đặc biệt là trên các bài toán có độ chiều cao.

Từ khóa

#thuật toán tối ưu #mô hình surrogate #tối ưu hóa chi phí cao #tìm kiếm toàn cục #tìm kiếm cục bộ

Tài liệu tham khảo

Cai X, Gao L, Li X, Qiu H (2019) Surrogate-guided differential evolution algorithm for high dimensional expensive problems. Swarm Evol Comput 48:288–311 Cheng R, Jin Y (2015) A social learning particle swarm optimization algorithm for scalable optimization. Inf Sci 291:43–60 Clarke SM, Griebsch JH, Simpson TW (2004) Analysis of support vector regression for approximation of complex engineering analyses. J Mech Des 127(6):1077–1087 Das S, Suganthan PN (2010) Problem definitions and evaluation criteria for CEC 2011 competition on testing evolutionary algorithms on real world optimization problems. Jadavpur University, Nanyang Technological University, Kolkata, pp 341–359 Das S, Suganthan PN (2011) Differential evolution: a survey of the state-of-the-art. IEEE Trans Evol Comput 15(1):4–31 Deep K, Arya M (2010) Minimization of Lennard-Jones potential using parallel particle swarm optimization algorithm. In: Ranka S, Banerjee A, Biswas KK, Dua S, Mishra P, Moona R, Poon SH, Wang CL (eds) Contemporary computing. Springer, Berlin, Heidelberg, pp 131–140 Diazmanriquez A, Toscano G, Coello CAC (2016) Comparison of metamodeling techniques in evolutionary algorithms. Soft Comput 21(19):5647–5663 Ferrari S, Stengel R (2005) Smooth function approximation using neural networks. IEEE Trans Neural Netw 16(1):24–38 Gonzlez J, Rojas I, Ortega J, Pomares H, Fernndez F, Daz A (2003) Multiobjective evolutionary optimization of the size, shape, and position parameters of radial basis function networks for function approximation. IEEE Trans Neural Netw 14(6):1478–1495 Gutmann HM (2000) A radial basis function method for global optimization. J Global Optim 19(3):201–227 Jin R, Chen W, Simpson TW (2001) Comparative studies of metamodelling techniques under multiple modelling criteria. Struct Multidiscip Optim 23(1):1–13 Jin Y (2011) Surrogate-assisted evolutionary computation: recent advances and future challenges. Swarm Evol Comput 1(2):61–70 Karahan H, Ceylan H, Ayvaz MT (2007) Predicting rainfall intensity using a genetic algorithm approach. Hydrol Process 21(4):470–475 Kattan A, Agapitos A, Ong YS, Alghamedi AA, O’Neill M (2016) GP made faster with semantic surrogate modelling. Inf Sci 355–356:169–185 Kennedy J, Eberhart R (2002) Particle swarm optimization. In: Proceedings of ICNN’95—International Conference on Neural Networks (2002) Lameijer E, Back T, Kok JN, Ijzerman AP (2005) Evolutionary algorithms in drug design. Nat Comput 4(3):177–243 Lian Y, Liou M (2005) Multiobjective optimization using coupled response surface model and evolutionary algorithm. AIAA J 43(6):1316–1325 Liang J, Runarsson T, Mezura-Montes E, Clerc M, Suganthan P, Coello C, Deb K (2006)Problem definitions and evaluation criteria for the CEC 2006 special session on constrained real-parameter optimization. Nangyang Technological University, Singapore, Tech. Rep, vol 41 Lim D, Jin Y, Ong Y, Sendhoff B (2010) Generalizing surrogate-assisted evolutionary computation. IEEE Trans Evol Comput 14(3):329–355 Liu B, Zhang Q, Gielen G (2014) A Gaussian process surrogate model assisted evolutionary algorithm for medium scale expensive optimization problems. IEEE Trans Evol Comput 18(2):180–192 Lu X, Tang K (2012) Classification- and regression-assisted differential evolution for computationally expensive problems. J Comput Sci Technol 27(5):1024–1034 Paenke I, Branke J, Jin Y (2006) Efficient search for robust solutions by means of evolutionary algorithms and fitness approximation. IEEE Trans Evol Comput 10(4):405–420 Regis R (2014) Evolutionary programming for high-dimensional constrained expensive black-box optimization using radial basis functions. IEEE Trans Evol Comput 18:326–347 Schneider PI, Santiago XG, Rockstuhl C, Burger S (2017) Global optimization of complex optical structures using Bayesian optimization based on Gaussian processes. In: Kress BC, Schelkens P (eds) Digital Optical Technologies 2017, vol 10335. International Society for Optics and Photonics, SPIE, Washington, pp 141–149 Simon D (2009) Biogeography-based optimization. IEEE Trans Evol Comput 12:702–713 Stein ML (1987) Large sample properties of simulations using Latin hypercube sampling. Technometrics 29(2):143–151 Storn R, Price K (1997) Differential evolution a simple and efficient heuristic for global optimization over continuous spaces. J Global Optim 11(4):341–359 Suganthan P, Hansen N, Liang J, Deb K, Chen Yp, Auger A, Tiwari S (2005) Problem definitions and evaluation criteria for the CEC 2005 special session on real-parameter optimization. Nat Comput 341–357 Sun C, Ding J, Zeng JC, Jin Y (2016) A fitness approximation assisted competitive swarm optimizer for large scale expensive optimization problems. Memet Comput Sun C, Jin Y, Cheng R, Ding J, Zeng J (2017) Surrogate-assisted cooperative swarm optimization of high-dimensional expensive problems. IEEE Trans Evol Comput 21(4):644–660 Sun C, Jin Y, Zeng J, Yu Y (2015) A two-layer surrogate-assisted particle swarm optimization algorithm. Soft Comput 19(6):1461–1475 Sun C, Zeng J, Pan J, Xue S, Jin Y (2013) A new fitness estimation strategy for particle swarm optimization. Inf Sci 221:355–370 Tian J, Tan Y, Zeng J, Sun C, Jin Y (2019) Multiobjective infill criterion driven Gaussian process-assisted particle swarm optimization of high-dimensional expensive problems. IEEE Trans Evol Comput 23(3):459–472 Wang H, Jin Y, Doherty J (2017) Committee-based active learning for surrogate-assisted particle swarm optimization of expensive problems. IEEE Trans Cybern:1–14 Wang H, Jin Y, Sun C, Doherty J (2019) Offline data-driven evolutionary optimization using selective surrogate ensembles. IEEE Trans Evol Comput 23(2):203–216 Younis A, Dong Z (2010) Trends, features, and tests of common and recently introduced global optimization methods. Eng Optim 42(8):691–718 Yu H, Tan Y, Sun C, Zeng J (2019) A generation-based optimal restart strategy for surrogate-assisted social learning particle swarm optimization. Knowl Based Syst 163:14–25 Yu H, Tan Y, Zeng J, Sun C, Jin Y (2018) Surrogate-assisted hierarchical particle swarm optimization. Inf Sci 454–455:59–72 Zhang Q, Liu W, Tsang E, Virginas B (2010) Expensive multiobjective optimization by MOEA/D with Gaussian process model. IEEE Trans Evol Comput 14:456–474 Zhao D, Xue D (2009) Performance comparison of metamodeling methods from the perspective of sample quality merits. In: 35th Design Automation Conference, vol 5. ASME Zhou Z, Ong YS, Nair PB, Keane AJ, Lum KY (2007) Combining global and local surrogate models to accelerate evolutionary optimization. IEEE Trans Syst Man Cybern Part C (Appl Rev) 37(1):66–76