FMFO: Thuật toán tối ưu hóa mô phỏng ngọn lửa bướm để huấn luyện bộ phân loại perceptron nhiều lớp

Springer Science and Business Media LLC - Tập 53 - Trang 251-271 - 2022
Zhenlun Yang1
1Guangzhou Panyu Polytechnic, Guangzhou, China

Tóm tắt

Là một trong những mạng nơ-ron nhân tạo phổ biến nhất, perceptron nhiều lớp (MLP) đã được áp dụng để giải quyết các vấn đề phân loại trong nhiều ứng dụng. Thách thức chính trong việc ứng dụng MLP là tìm ra bộ trọng số kết nối mạng và độ lệch lý tưởng trong quá trình huấn luyện, nhằm giảm thiểu sai số của MLP trong việc xử lý các tập dữ liệu. Để giải quyết hiệu quả thách thức này, nhiều thuật toán trí tuệ bầy đàn (SI) với khả năng tìm kiếm mạnh mẽ đã được áp dụng để huấn luyện các bộ phân loại MLP. Tuy nhiên, những thuật toán hiện có thường gặp phải vấn đề rơi vào cực tiểu địa phương, hội tụ sớm và tìm kiếm không hiệu quả. Trong nghiên cứu này, một thuật toán tối ưu hóa mô phỏng ngọn lửa bướm mới (FMFO) với khả năng khai thác và khám phá nổi bật được đề xuất, cung cấp một lựa chọn thuận lợi cho việc huấn luyện các bộ phân loại MLP. Để xác minh hiệu suất của FMFO được đề xuất trong việc huấn luyện các bộ phân loại MLP, phương pháp huấn luyện MLP dựa trên FMFO (FMFO-MLP) được đánh giá trên mười một tập dữ liệu phân loại đại diện cho một loạt các tỷ lệ kích thước biến. Thêm vào đó, một số thuật toán SI nổi tiếng và hiện đại mới được phát triển cũng được áp dụng để so sánh với FMFO được đề xuất. Kết quả thực nghiệm cho thấy rằng FMFO được đề xuất vượt trội hơn các thuật toán cạnh tranh khác về việc xấp xỉ giá trị hàm mục tiêu tối ưu và đạt được độ chính xác phân loại. Hơn nữa, FMFO được đề xuất đạt được hiệu suất tính toán cạnh tranh trong các thí nghiệm, xác nhận rằng nó là một bộ tối ưu hóa hiệu quả cho việc huấn luyện các bộ phân loại MLP trong các ứng dụng thực tiễn.

Từ khóa

#perceptron nhiều lớp #tối ưu hóa #thuật toán mô phỏng ngọn lửa bướm #trí tuệ bầy đàn #phân loại

Tài liệu tham khảo

Agrawal U, Arora J, Singh R, Gupta D, Khanna A, Khamparia A (2020) Hybrid wolf-bat algorithm for optimization of connection weights in multi-layer perceptron. ACM Trans Multimed Comput Commun Appl (TOMM) 16(1s):1–20 Mirjalili S, Mirjalili SM, Lewis A (2014) Let a biogeography-based optimizer train your multi-layer perceptron. Inf Sci 269:188–209 Zhang J-R, Zhang Jun, Lok T-M, Lyu MR (2007) A hybrid particle swarm optimization–back-propagation algorithm for feedforward neural network training. Appl Math Comput 185(2):1026–1037 Yang J, Hu Y, Zhang K, Wu Y (2021) An improved evolution algorithm using population competition genetic algorithm and self-correction bp neural network based on fitness landscape. Soft Comput 25 (3):1751–1776 Xu Y, Chen H, Luo J, Zhang Q, Jiao S, Zhang X (2019) Enhanced moth-flame optimizer with mutation strategy for global optimization. Inf Sci 492:181–203 Pelusi D, Mascella R, Tallini L, Nayak J, Naik B, Deng Y (2020) An improved moth-flame optimization algorithm with hybrid search phase. Knowl-Based Syst 191:105277 Ghorbani MA, Kazempour R, Chau K-W, Shamshirband S, Ghazvinei PT (2018) Forecasting pan evaporation with an integrated artificial neural network quantum-behaved particle swarm optimization model: a case study in talesh, northern iran. Eng Appl Comput Fluid Mech 12(1):724–737 Mirjalili S (2015) How effective is the grey wolf optimizer in training multi-layer perceptrons. Appl Intell 43(1):150–161 Gupta S, Deep K, Mirjalili S, Kim JH (2020) A modified sine cosine algorithm with novel transition parameter and mutation operator for global optimization. Expert Syst Appl 154:113395 Mousavirad SJ, Schaefer G, Korovin I, Oliva D (2021) Rde-op: A region-based differential evolution algorithm incorporation opposition-based learning for optimising the learning process of multi-layer neural networks. In: International Conference on the Applications of Evolutionary Computation (Part of EvoStar). Springer, pp 407–420 Mirjalili S (2015) Moth-flame optimization algorithm: A novel nature-inspired heuristic paradigm. Knowl-Based Syst 89:228–249 Shehab M, Abualigah L, Hamad HA, Alabool H, Alshinwan M, Khasawneh AM (2020) Moth–flame optimization algorithm: variants and applications. Neural Comput Appl 32(14):9859–9884 Ma L, Wang C, Xie N-g, Shi M, Ye Y, Lu W (2021) Moth-flame optimization algorithm based on diversity and mutation strategy. Appl Intell 51(8):5836–5872 Lin G-Q, Li L-L, Tseng M-L, Liu H-M, Yuan D-D, Tan RR (2020) An improved moth-flame optimization algorithm for support vector machine prediction of photovoltaic power generation. J Clean Prod 119966:253 Hongwei L, Jianyong L, Liang C, Jingbo B, Yangyang S, Kai L (2019) Chaos-enhanced moth-flame optimization algorithm for global optimization. J Syst Eng Electron 30(6):1144–1159 Anfal M, Abdelhafid H (2017) Optimal placement of pmus in algerian network using a hybrid particle swarm–moth flame optimizer (pso-mfo). Electroteh Electron Autom 65(3):191– 196 Elaziz MA, Ewees AA, Ibrahim RA, Lu S (2020) Opposition-based moth-flame optimization improved by differential evolution for feature selection. Math Comput Simul 168:48–75 Elaziz MA, Yousri D, Mirjalili S (2021) A hybrid harris hawks-moth-flame optimization algorithm including fractional-order chaos maps and evolutionary population dynamics. Adv Eng Softw 154:102973 Sayed GI, Hassanien AE (2018) A hybrid sa-mfo algorithm for function optimization and engineering design problems. Compl Intell Syst 4(3):195–212 Xu Y, Chen H, Heidari AA, Luo J, Zhang Q, Zhao X, Li C (2019) An efficient chaotic mutative moth-flame-inspired optimizer for global optimization tasks. Expert Syst Appl 129:135–155 Khalilpourazari S, Khalilpourazary S (2019) An efficient hybrid algorithm based on water cycle and moth-flame optimization algorithms for solving numerical and constrained engineering optimization problems. Soft Comput 23(5):1699–1722 Yu X, Wang Y, Liang J, Slowik A (2021) A self-adaptive mutation neural architecture search algorithm based on blocks. IEEE Comput Intell Mag 16(3):67–78 O’Neill D, Xue B, Zhang M (2021) Evolutionary neural architecture search for high-dimensional skip-connection structures on densenet style networks. IEEE Transactions on Evolutionary Computation Yu X, Tang T, Liu AX (2019) Large-scale feedforward neural network optimization by a self-adaptive strategy and parameter based particle swarm optimization. IEEE Access 7:52473–52483 Heidari AA, Faris H, Aljarah I, Mirjalili S (2019) An efficient hybrid multilayer perceptron neural network with grasshopper optimization. Soft Comput 23(17):7941–7958 Mohammadi B, Guan Y, Moazenzadeh R, Safari MJS (2021) Implementation of hybrid particle swarm optimization-differential evolution algorithms coupled with multi-layer perceptron for suspended sediment load estimation. Catena 198:105024 Yamany W, Fawzy M, Tharwat A, Hassanien AE (2015) Moth-flame optimization for training multi-layer perceptrons. In: 2015 11th International computer engineering Conference (ICENCO). IEEE, pp 267–272 Gupta S, Deep K (2020) A novel hybrid sine cosine algorithm for global optimization and its application to train multilayer perceptrons. Appl Intell 50(4):993–1026 Zhao R, Wang Y, Hu P, Jelodar H, Yuan C, Li Y, Masood I, Rabbani M (2019) Selfish herds optimization algorithm with orthogonal design and information update for training multi-layer perceptron neural network. Appl Intell 49(6):2339–2381 Ghanem WAHM, Jantan A (2018) A cognitively inspired hybridization of artificial bee colony and dragonfly algorithms for training multi-layer perceptrons. Cogn Comput 10(6):1096–1134 Bansal P, Kumar S, Pasrija S, Singh S (2020) A hybrid grasshopper and new cat swarm optimization algorithm for feature selection and optimization of multi-layer perceptron. Soft Comput 24(20):15463–15489 Kennedy J, Eberhart R (1995) Particle swarm optimization. In: Proceedings of ICNN’95-international conference on neural networks, vol 4. IEEE, pp 1942–1948 Clerc M, Kennedy J (2002) The particle swarm-explosion, stability, and convergence in a multidimensional complex space. IEEE Trans Evol Comput 6(1):58–73 Yang Z, Shi K, Wu A, Qiu M, Hu Y (2019) A hybird method based on particle swarm optimization and moth-flame optimization. In: Proceedings of the 2019 11th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC), vol 2. IEEE, pp 207–210 Li C, Zhang N, Lai X, Zhou J, Xu Y (2017) Design of a fractional-order pid controller for a pumped storage unit using a gravitational search algorithm based on the cauchy and gaussian mutation. Inf Sci 396:162–181 Mirjalili S, Lewis A (2016) The whale optimization algorithm. Adv Eng Softw 95:51–67 Storn R, Price K (1997) Differential evolution–a simple and efficient heuristic for global optimization over continuous spaces. J Glob Optim 11(4):341–359 Saremi S, Mirjalili S, Lewis A (2017) Grasshopper optimisation algorithm: theory and application. Adv Eng Softw 105:30–47 David A, Patrick M, Christopher M, Eamonn K, Cathy B, Seth H, David N (2021) Uci machine learning repository. Website. http://archive.ics.uci.edu/ml/index.php Wilcoxon F (1945) Individual comparisons by ranking methods. biometrics bulletin. Int Biometr Soc 1(6):80–83 Friedman M (1940) A comparison of alternative tests of significance for the problem of m rankings. Ann Math Stat 11(1):86–92 Yang Z, Wu A (2020) A non-revisiting quantum-behaved particle swarm optimization based multilevel thresholding for image segmentation. Neural Comput Appl 32(16):12011–12031