Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Support Vector Machines Tự Thích Ứng: Mô Hình và Thí Nghiệm
Tóm tắt
Trong bài báo này, chúng tôi giới thiệu một phương pháp tối ưu hóa hai cấp cho vấn đề lựa chọn mô hình và đặc trưng của máy vector hỗ trợ (SVMs). Một mô hình tối ưu hóa hai cấp được đề xuất để lựa chọn mô hình tốt nhất, trong đó bài toán tối ưu hóa bậc hai lồi tiêu chuẩn của việc huấn luyện SVM được xem như một bài toán con. Giá trị mục tiêu tối ưu của bài toán bậc hai của SVMs được giảm thiểu trong một khoảng khả thi của các tham số nhân tại cấp độ chính của mô hình hai cấp. Vì giá trị mục tiêu tối ưu của bài toán con là một hàm liên tục của các tham số nhân, được xác định một cách ngụ ý trong một vùng nhất định, do đó, lời giải của bài toán hai cấp này luôn tồn tại. Vấn đề lựa chọn đặc trưng cũng có thể được xử lý theo cách tương tự. Hai phương pháp để giải quyết bài toán hai cấp về lựa chọn mô hình và đặc trưng cũng được xem xét. Kết quả thực nghiệm cho thấy rằng phương pháp tối ưu hóa hai cấp cung cấp một công cụ hợp lý cho việc lựa chọn mô hình.
Từ khóa
#máy vector hỗ trợ #tối ưu hóa hai cấp #lựa chọn mô hình #lựa chọn đặc trưng #bài toán bậc hai #tham số nhânTài liệu tham khảo
Bennett KP (1992) Decision tree construction via linear programming. In: Proceedings of the 4th midwest artificial intelligence and cognitive science society, Utica, Illinois, pp 97–102
Bradley PS, Mangasarian OL, Street WN (1998) Feature selection via mathematical programming. INFORMS J Comput 10: 209–217
Chapelle O, Vapnik V (2000) Model selection for support vector machines. In: Leen TK, Solla SA, Muller KR(eds) Advances in neural information processing system, vol 12. MIT Press, Cambridge
Chapelle O, Vapnik V (2002) Choosing multiple parameters for support vector machine. Machine Learn 46: 131–159
Chinneck JW (1994) MINOS(IIS): infeasibility analysis using MINOS. Comput Oper Res 21(1): 1–9
Conn A, Scheinberg K, Toint PhL (1997) Recent progress in unconstrained nonlinear optimization without drivatives. Math Program 79: 397–414
Cristianini N, Shawe-Taylor J (2000) An introduction to support vector machine. Cambridge University Press, London
Fan E (2002) Global optimization of Lennard-Jones atomic clusters. Master Thesis, Department of Computing and Software, McMaster University
Fourer R, Gay D, Kernighan B (2002) AMPL: A mathematical programming language. Duxbury Press/Brooks/Cole Publishing Company
Jaakkola TS, Haussler D (1998) Exploiting generative models in discriminative classifiers. In: Solla SA, Kearns MS, Cohn DA(eds) Advances in neural information processing systems (Cambridgem, MA, USA). MIT Press, Cambridge, pp 487–493
Joachims T (2000) Estimating the generalization performance of a svm efficiently. In: Pat Langley(eds) Proceedings of ICML-00, 17th international conference on machine learning (Stanford, US). Morgan Kaufmann Publishers, San Francisco, pp 431–438
LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, Jackel LJ (1990) Handwritten digit recognition with back-propagation network. In: Advances in neural information processing systems, vol. 2. Morgan Kaufman, San Francisco
LeCun Y, Jackel L, Bottou L, Brunot A, Cortes C, Denker J, Drucker H, Guyon I, Muller U, Sackinger E, Simard P, Vapnik V (1995) Comparison of learning algorithms for handwritten digit recognition. In: Fogelman F, Gallinari P (eds) International conference on artificial neural networks, pp 53–60
Pontil M, Verri A (1998) Object recognition with support vector machines. IEEE Trans. PAMI 20: 637–646
Street WN, Wolberg WH, Mangasarian OL (1993) Nuclear feature extraction for breast tumor diagnosis. IS&T/SPIE: international symposium on electronic imaging: science and technology, vol. 1905. San Jose
Vanderbei RJ (1999) LOQO: An interior point code for quadratic programming. Optim Methods Softw 11: 451–484
Vapnik V (1999) The nature of statistical learning theory. Springer, New York
Weston J, Mukherjee S, Chapelle O, Pontil M, Poggio T, Vapnik V (2000) Feature selection for SVMs. NIPS, pp 668–674