Phân loại nhị phân được đặt dưới dạng lập trình bậc hai có ràng buộc bậc hai và được giải quyết bằng tối ưu hóa bầy đàn

Sādhanā - Tập 41 - Trang 289-298 - 2016
DEEPAK KUMAR1, A G RAMAKRISHNAN1
1Medical Intelligence and Language Engineering (MILE) Laboratory, Department of Electrical Engineering, Indian Institute of Science, Bangalore, India

Tóm tắt

Tối ưu hóa bầy đàn (PSO) được sử dụng trong nhiều bài toán tối ưu tổ hợp. Trong công trình này, các bầy đàn hạt được sử dụng để giải quyết các bài toán lập trình bậc hai với các ràng buộc bậc hai. Ý tưởng chính là sử dụng PSO để di chuyển theo hướng đến giải pháp tối ưu thay vì tìm kiếm trong toàn bộ vùng khả thi. Phân loại nhị phân được đặt thành một bài toán bậc hai có ràng buộc bậc hai và được giải quyết bằng phương pháp được đề xuất. Mỗi lớp trong bài toán phân loại nhị phân được mô phỏng như một elip đa chiều để tạo thành một ràng buộc bậc hai trong bài toán. Các bầy đàn hạt giúp xác định mặt phẳng tối ưu hoặc biên phân loại cho một tập dữ liệu. Kết quả của chúng tôi trên các tập dữ liệu Iris, Pima, Wine, Thyroid, Balance, Bupa, Haberman và TAE cho thấy rằng phương pháp được đề xuất hoạt động tốt hơn so với mạng nơ-ron và hiệu suất gần giống như của máy vector hỗ trợ.

Từ khóa

#tối ưu hóa bầy đàn #lập trình bậc hai #ràng buộc bậc hai #phân loại nhị phân #mặt phẳng phân loại #tập dữ liệu

Tài liệu tham khảo

Dantzig G B 1963 Linear programming. Princeton, NJ : University Press Khachiyan L G 1979 A polynomial algorithm in linear programming. Doklady Akademia Nauk SSSR 244:S 1093– 1096 Karmarkar N 1984 A new polynomial-time algorithm for linear programming. Combinatorica 4: 373–395 Bishop C M 2006 Pattern recognition and machine learning. Springer, Berlin Duda R O, Hart P E and Stork D G 2001 Pattern classification. Wiley Derrac J, García S and Herrera F 2014 Fuzzy nearest neighbor algorithms: Taxonomy, experimental analysis and prospects. Inform. Sci. 260: 98–119 Bishop C M 1995 Neural networks for pattern recognition. Oxford university press Cortes C and Vapnik V 1995 Support-vector networks. Mach. Learn. 20 (3): 273–297 Platt J 1998 Fast training of support vector machines using sequential minimal optimization. In: Schoelkopf B, Burges C, Smola A (eds) Advances in Kernel methods – support vector learning Fernández A, López V, Galar M, Jesus M J and Herrera F 2013 Analysing the classification of imbalanced data-sets with multiple classes: Binarization techniques and ad-hoc approaches. Knowledge-based syst.: 97–110 Galar M, Fernández A, Barrenechea E and Herrera F 2013 EUSBoost: Enhancing ensembles for highly imbalanced data-sets by evolutionary undersampling. Pattern Recognit. 46 (12): 3460–3471 López V, Fernández A, García S, Palade V and Herrera F 2013 An insight into classification with imbalanced data. Empirical results and current trends on using data intrinsic characteristics. Information sciences Gonzalez-Abril L, Velasco F, Angulo C and Ortega J A 2013 A study on output normalization in multiclass SVMs. Pattern Recognit. Lett.: 344–348 Boyd S and Vandenberghe L 2004 Convex optimization: Cambridge University Press Bomze I M 1998 On standard quadratic optimization problems. J. Global Optimiz. 13: 369–387 Bomze I M and Schachinger W 2010 Multi-standard quadratic optimization: interior point methods and cone programming reformulation. Comput. Optimiz. Appl. 45: 237– 256 Kennedy J and Eberhart R C 1995 Particle swarm optimization. In: Proceedings of IEEE International Conference on Neural Networks. IV, pp 1942–1948 Spadoni M and Stefanini L 2012 A differential evolution algorithm to deal with box, linear and quadratic-convex constraints for boundary optimization. J. Global Optimiz. 52 (1): 171–192 Zhan Z -H, Zhang J, Li Y and Chung H S -H 2009 Adaptive particle swarm optimization. IEEE Trans. Syst. Man Cybern. - B: Cybern. 39 (6): 1362–1381 Kennedy J, Eberhart R C and Shi Y 2001 Swarm intelligence. Morgan Kaufmann Publishers, San Francisco Zanella F, Varagnolo D, Cenedese A, Pillonetto G, Schenato L 2012 Multidimensional Newton-Raphson consensus for distributed convex optimization. In: The 2012 American Control Conference (ACC), pp 1079–1084 Matei I, Baras J S 2012 A performance comparison between two consensus-based distributed optimization algorithms. In: 3rd IFAC Workshop on Distributed Estimation and Control in Networked Systems, pp 168–173 Nedi A and Ozdaglar A 2009 Distributed subgradient methods for multi-agent optimization. IEEE Trans. Autom. Control 54 (1): 48–61 Nedi A, Ozdaglar A and Parrilo P A 2010 Constrained consensus and optimization in multi-agent networks. IEEE Trans. Autom. Control 55 (4): 922–938 Boyd S, Parikh N, Chu E, Peleato B and Eckstein J 2010 Distributed optimization and statistical learning via the alternating direction method of multipliers. Foundations Trends Mach. Learn. 3 (1): 1–122 Forero P A, Cano A and Giannakis G B 2010 Consensus-based distributed support vector machines. J. Mach. Learn. Res. 11: 1663–1707 Kennedy J, Eberhart R C 1997 A discrete binary version of the particle swarm algorithm. In: Proceedings of the World Multiconference on Systems, Cybernetics and Informatics, pp 4104–4109 Cervantes A, Galvan I M, Isasi P 2005 A comparison between the Pittsburgh and Michigan approaches for the binary PSO algorithm. In: Congress on evolutionary computation, pp 290–297 UC Irvine Machine Learning Repository 2014 http://archive.ics.uci.edu/ml/ Gonzalez-Abril L, Nuñez H, Angulo C and Velasco F 2014 GSVM : An SVM for handling imbalanced accuracy between classes in bi-classification problems. Appl. Soft Comput. 17: 23–31 Kumar D and Ramakrishnan A G 2014 Quadratically constrained quadratic programming for classification using particle swarms and applications. CoRR. arXiv:1407.6315