Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Tìm kiếm tuyến tính mới cho việc chọn lựa tham số máy vector hỗ trợ
Tóm tắt
Việc chọn lựa tham số tối ưu cho máy vector hỗ trợ (SVM) từ lâu đã là một chủ đề nghiên cứu nóng bỏng. Nhằm vào phân loại/hồi quy máy vector hỗ trợ (SVC/SVR) sử dụng nhân hàm cơ sở bền vững (RBF), chúng tôi tóm tắt quy tắc đường thô cho tham số hình phạt và độ rộng của nhân, và đề xuất một phương pháp tìm kiếm tuyến tính mới để có được hai tham số tối ưu này. Chúng tôi sử dụng phương pháp đặt trực tiếp với ngưỡng để thiết lập tham số epsilon của SVR. Phương pháp đề xuất xác định trực tiếp lĩnh vực tìm kiếm đúng, qua đó tiết kiệm rất nhiều thời gian tính toán và đạt được độ chính xác cao và ổn định. Phương pháp này có tính cạnh tranh hơn cho cả SVC và SVR. Nó dễ sử dụng và khả thi cho một tập dữ liệu mới mà không cần điều chỉnh nào, vì không cần thiết lập bất kỳ tham số nào.
Từ khóa
#máy vector hỗ trợ #lựa chọn tham số #phân loại #hồi quy #hàm cơ sở bền vững #phương pháp tìm kiếm tuyến tínhTài liệu tham khảo
Ahn, J., 2010. A stable hyperparameter selection for the Gaussian RBF kernel for discrimination. Statist. Anal. Data Min., 3(3):142–148. [doi:10.1002/sam.10073]
Bengio, Y., 2000. Gradient-based optimization of hyper-parameters. Neur. Comput., 12(8):1889–1900. [doi:10. 1162/089976600300015187]
Bi, J., Bennett, K.P., 2003. A geometric approach to support vector regression. Neurocomputing, 55(1–2):79–108. [doi:10.1016/S0925-2312(03)00380-1]
Chapelle, O., Vapnik, V., Bousquet, O., Mukherjee, S., 2002. Choosing multiple parameters for support vector machines. Mach. Learn., 46(1/3):131–159. [doi:10.1023/A: 1012450327387]
Cherkassky, V., Ma, Y.Q., 2004. Practical selection of SVM parameters and noise estimation for SVM regression. Neur. Networks, 17(1):113–126. [doi:10.1016/S0893-6080(03)00169-2]
Cristianini, N., Kandola, J., Elisseeff, A., Shawe-Taylor, J., 2006. On kernel target alignment. Innov. Mach. Learn., 194:205–256. [doi:10.1007/3-540-33486-6_8]
Deng, N.Y., Tian, Y.G., 2004. A New Method in Data Mining—Support Vector Machine. Science Press, Beijing, China (in Chinese).
Duan, K., Keerthi, S.S., Poo, A.N., 2003. Evaluation of simple performance measures for tuning SVM hyperparameters. Neurocomputing, 51:41–59. [doi:10.1016/S0925-2312(02) 00601-X]
Gijsberts, A., Metta, G., Rothkrantz, L., 2010. Evolutionary optimization of least-squares support vector machines. Data Min., 8(4):277–297. [doi:10.1007/978-1-4419-1280-0_12]
Huang, C.L., Dun, J.F., 2008. A distributed PSO-SVM hybrid system with feature selection and parameter optimization. Appl. Soft Comput., 8(4):1381–1391. [doi:10.1016/j.asoc. 2007.10.007]
Huang, C.L., Wang, C.J., 2006. A GA-based feature selection and parameters optimization for support vector machines. Expert Syst. Appl., 31(2):231–240. [doi:10.1016/j.eswa. 2005.09.024]
Keerthi, S.S., Lin, C.J., 2003. Asymptotic behaviors of support vector machines with Gaussian kernel. Neur. Comput., 15(7):1667–1689. [doi:10.1162/089976603321891855]
Kim, D., Song, J., Lee, J., Choi, B., 2007. Support vector machine learning for region-based image retrieval with relevance feedback. ETRI J., 29(5):700–702. [doi:10. 4218/etrij.07.0207.0037]
Lau, K.W., Wu, Q.H., 2008. Local prediction of non-linear time series using support vector regression. Pattern Recogn., 41(5):1539–1547. [doi:10.1016/j.patcog.2007.08.013]
Po, L.M., Ma, W.C., 2002. A novel four-step search algorithm for fast block motion estimation. IEEE Trans. Circ. Syst. Video Technol., 6(3):313–317. [doi:10.1109/76.499840]
Roohi, M., Mirjalily, G., Sadeghi, M.T., 2007. Face Detection Using a Modified SVM-Based Classifier. 7th Int. Conf. on Computational Intelligence and Multimedia Applications, p.356–360. [doi:10.1109/ICCIMA.2007.243]
Sapankevych, N., Sankar, R., 2009. Time series prediction using support vector machines, a survey. IEEE Computat. Intell. Mag., 4(2):24–38. [doi:10.1109/MCI.2009.932254]
Scholkopf, B., Smola, A.J., 2002. Learning with Kernels. MIT Press, Cambridge.
Suykens, J.A.K., Vandewalle, J., de Moor, B., 2001. Optimal control by least squares support vector machines. Neur. Networks, 14(1):23–35. [doi:10.1016/S0893-6080(00)000 77-0]
Vapnik, V., Golowich, S.E., Smola, A., 1997. Support Vector Method for Function Approximation, Regression Estimation, and Signal Processing. Advances in Neural Information Processing Systems 9 — Proc. Conf. on Advances in Neural Information Processing Systems, p.281–287.
Vladimir, N., Vapnik, V., 2000. The Nature of Statistical Learning Theory. Springer Verlag, New York.
Wang, T.Y., Chiang, H.M., 2007. Fuzzy support vector machine for multi-class text categorization. Inform. Process. Manag., 43(4):914–929. [doi:10.1016/j.ipm.2006.09.011]
Zhu, S., Ma, K.K., 1997. A New Diamond Search Algorithm for Fast Block Matching Motion Estimation. Proc. Int. Conf. on Information, Communications and Signal Processing, 1:292–296. [doi:10.1109/ICICS.1997.647106]