Mô Hình Học Tập Bán Giám Sát Trực Tuyến Được Điều Chỉnh Bằng Đa Tạp

Cognitive Computation - Tập 10 - Trang 49-61 - 2017
Shuguang Ding1, Xuanyang Xi2, Zhiyong Liu2,3,4, Hong Qiao2,3,4, Bo Zhang1
1LSEC and Institute of Applied Mathematics, AMSS, Chinese Academy of Sciences, Beijing, China
2State Key Lab of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China
3CAS Centre for Excellence in Brain Science and Intelligence Technology (CEBSIT), Shanghai, China
4Cloud Computing Center, Chinese Academy of Sciences, DongGuan, China

Tóm tắt

Trong quá trình học tập của con người, các mẫu huấn luyện thường được thu nhận một cách liên tiếp. Do đó, nhiều nhiệm vụ học tập của con người thể hiện đặc điểm trực tuyến và bán giám sát, tức là, các quan sát đến lần lượt và các nhãn tương ứng được cung cấp rất rời rạc. Trong bài báo này, chúng tôi đề xuất một mô hình điều chỉnh đa tạp mới trong không gian Hilbert nhân phục hồi (RKHS) để giải quyết các vấn đề học tập bán giám sát trực tuyến (OS2L). Thuật toán được đề xuất, có tên là Điều Chỉnh Đa Tạp Trực Tuyến Dựa Trên Mô Hình (MOMR), được phát triển bằng cách giải quyết một bài toán tối ưu hóa bị ràng buộc. Khác với thuật toán gradient ngẫu nhiên được sử dụng để giải quyết phiên bản trực tuyến của bài toán nguyên thủy của máy vector hỗ trợ Laplacian (LapSVM), thuật toán được đề xuất có thể thu được một lời giải chính xác một cách lặp đi lặp lại bằng cách giải quyết bài toán đối ngẫu Lagrange của nó. Đồng thời, để cải thiện hiệu quả tính toán, một thuật toán nhanh đã được trình bày bằng cách giới thiệu một kỹ thuật xấp xỉ để tính toán đạo hàm của thành phần đa tạp trong mô hình được đề xuất. Hơn nữa, một số chiến lược đệm được giới thiệu để cải thiện khả năng mở rộng của các thuật toán được đề xuất và các kết quả lý thuyết cho thấy tính đáng tin cậy của các thuật toán này. Cuối cùng, các thuật toán được đề xuất được thực nghiệm cho thấy có hiệu suất tương đương với thuật toán điều chỉnh đa tạp theo lô tiêu chuẩn.

Từ khóa

#học bán giám sát #điều chỉnh đa tạp #không gian Hilbert nhân #tối ưu hóa #máy vector hỗ trợ Laplacian

Tài liệu tham khảo

Kivinen J, Smola AJ, Williamson RC. Online learning with kernels. IEEE Trans Sig Process. 2004;52(8):2165–76.

Li GQ, Wen CY, Li ZG, Zhang A, Yang F, Mao K. Model-based online learning with kernels. IEEE Trans Neural Netw Learn Syst. 2013;24(3):356–69.

Duchi J, Hazan E, Singer Y. Adaptive subgradient methods for online learning and stochastic optimization. J Mach Learn Res. 2011;12:2121–59.

Huang KZ, Yang HQ, Lyu MR. Machine learning: modeling data locally and globally. Springer Science & Business Media. 2008.

Orabona F, Keshet J, Caputo B. Bounded kernel-based online learning. J Mach Learn Res. 2009;10: 2643–66.

Ertekin S, Bottou L, Giles CL. Nonconvex online support vector machines. IEEE Trans Pattern Anal Mach Intell. 2011;33(2):368–81.

Hoi SC, Wang JL, Zhao PL. Libol: A library for online learning algorithms. J Mach Learn Res. 2014; 15(1):495–9.

Ding S, Zhang J, Jia H, Qian J. An adaptive density data stream clustering algorithm. Cogn Comput. 2016;8(1):30–8.

Gepperth A, Karaoguz C. A bio-inspired incremental learning architecture for applied perceptual problems. Cogn Comput. 2016;8(5):924–34.

Zhao J, Du C, Sun H, Liu X, Sun J. Biologically motivated model for outdoor scene classification. Cogn Comput. 2015;7(1):20– 33.

Wang D, Qiao H, Zhang B, Wang M. Online support vector machine based on convex Hull vertices selection. IEEE Trans Neural Netw Learn Syst. 2013;24(4):593–609.

Ding SG, Nie XL, Qiao H, Zhang B. Online classification for SAR target recognition based on SVM and approximate convex hull vertices selection. In: 11th World Congress on intelligent control and automation (WCICA); 2014. p. 1473–1478.

Wu PC, Hoi SC, Zhao PL, Xia H, Liu ZY, Miao CY. Online multi-modal distance metric learning with application to image retrieval. IEEE Trans Knowl Data Eng. 2016;28(2):454–67.

Scardapane S, Uncini A. Semi-supervised echo state networks for audio classification. Cogn Comput. 2016;1–11.

Zhang YM, Huang KZ, Geng GG, Liu CL. A fast and robust graph-based transductive learning method. IEEE Trans Neural Netw Learn Syst. 2015;26(9):1979–91.

Zhu XJ, Rogers T, Qian RC, Kalish C. Humans perform semi-supervised classification too. In: Proceedings of the national conference on artificial intelligence. vol. 22. Menlo Park, CA; Cambridge, MA; London; AAAI Press; MIT Press; 1999; 2007. p. 864.

Yang HQ, Huang KZ, King I, Lyu MR. Maximum margin semi-supervised learning with irrelevant data. Neural Netw. 2015;70 :90–102.

Gibson BR, Rogers TT, Zhu XJ. Human semi-supervised learning. Topics Cogn Sci. 2013;5(1):132–72.

Babenko B, Yang MH, Belongie S. Visual tracking with online multiple instance learning. In: IEEE Conference on computer vision and pattern recognition; 2009. p. 983–990.

Grabner H, Leistner C, Bischof H. Semi-supervised on-line boosting for robust tracking. In: Computer Vision–European conference on computer vision. Springer; 2008. p. 234–247.

Dyer KB, Capo R, Polikar R. Compose: a semisupervised learning framework for initially labeled nonstationary streaming data. IEEE Trans Neural Netw Learn Syst. 2014;25(1):12–26.

Kveton B, Philipose M, Valko M, Huang L. Online semi-supervised perception: Real-time learning without explicit feedback. In: IEEE Computer society conference on computer vision and pattern recognition workshops (CVPRW); 2010. p. 15–21.

Farajtabar M, Shaban A, Rabiee HR, Rohban MH. Manifold coarse graining for online semi-supervised learning. In: Machine Learning and Knowledge Discovery in Databases. Springer; 2011. p. 391–406.

Goldberg AB, Li M, Zhu XJ. Online manifold regularization: A new learning setting and empirical study. Springer. 2008;393–407.

Goldberg AB, Zhu XJ, Furger A, Xu JM. OASIS: Online active semi-supervised learning. In: Proceedings of the Twenty-Fifth AAAI conference on artificial intelligence; 2011.

Sun BL, Li GH, Jia L, Zhang H. Online manifold regularization by dual ascending procedure. Math Probl Eng. 2013;2013.

Sun BL, Li GH, Jia L, Huang KH. Online coregularization for multiview semisupervised learning. Sci World J. 2013;2013.

Ding SG, Xi XY, Liu ZY, Qiao H, Zhang B. A novel manifold regularized online semi-supervised learning algorithm. In: International conference on neural information processing. Springer; 2016. p. 597–605.

Slater M. Lagrange multipliers revisited. Springer. 2014.

Belkin M, Niyogi P, Sindhwani V. Manifold regularization: a geometric framework for learning from labeled and unlabeled examples. J Mach Learn Res. 2006;7:2399–434.

Schölkopf B, Herbrich R, Smola AJ. A generalized representer theorem. In: Computational learning theory. Springer; 2001. p. 416–426.

Melacci S, Belkin M. Laplacian support vector machines trained in the primal. J Mach Learn Res. 2011; 12:1149–84.

Dekel O, Shalev-Shwartz S, Singer Y. The forgetron: A kernel-based perceptron on a budget. SIAM J Comput. 2008;37(5):1342–72.

Griva I, Nash SG, Sofer A. Linear and nonlinear optimization. 2009.

LeCun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proc IEEE. 1998;86(11):2278–324.

Heisele B, Poggio T, Pontil M. Face detection in still gray images. AI Memo 1697 Massachusetts Institute of Technology. 2000.

Liu J, Luo J, Shah M. Recognizing realistic actions from videos “in the wild”. In: IEEE Conference on computer vision and pattern recognition, 2009. CVPR 2009. IEEE; 2009. p. 1996–2003.

Wang H, Kläser A, Schmid C, Liu CL. Action recognition by dense trajectories. In: 2011 IEEE Conference on computer vision and pattern recognition (CVPR). IEEE; 2011. p. 3169– 3176.

Thông tin
Thông tin xuất bản

Cognitive Computation

Tập 10

49-61

Thông tin tác giả