Học các đặc trưng riêng biệt cho nhãn thông qua mạng nơ-ron cho phân loại nhiều nhãn

Ling Jia1, Dong Sun1, Yu Shi1, Yi Tan1, Qingwei Gao1, Yixiang Lu1
1School of Electrical Engineering and Automation, AnHui University, Hefei, China

Tóm tắt

Trong học tập nhiều nhãn, việc học các đặc điểm cụ thể cho mỗi nhãn là một chiến lược hiệu quả, và hầu hết các phương pháp phân loại nhiều nhãn hiện có dựa trên các đặc trưng nhãn cụ thể thường sử dụng không gian đặc trưng gốc để học các đặc điểm cụ thể cho mỗi nhãn một cách trực tiếp. Do vấn đề "thảm họa chiều" trong không gian đặc trưng, có thể không phải là chiến lược tối ưu khi trực tiếp tạo ra các đặc điểm cụ thể của nhãn trong không gian đặc trưng gốc. Do đó, bài báo này đề xuất một khuôn khổ học tập nhiều nhãn kết hợp mạng nơ-ron và các đặc trưng nhãn cụ thể. Đầu tiên, mạng nơ-ron dự kiến không gian đặc trưng gốc vào một không gian ánh xạ có độ chiều thấp để học các biểu diễn tiềm năng của không gian đặc trưng có độ chiều thấp, và quá trình ánh xạ đặc trưng phi tuyến này có thể khai thác thông tin đặc trưng tiềm năng bên trong không gian đặc trưng phức tạp. Sau đó, trong không gian ánh xạ có độ chiều thấp, các đặc trưng cụ thể của các nhãn được học bằng cách sử dụng tối thiểu hóa mất mát thực nghiệm. Cuối cùng, một mô hình phân loại nhiều nhãn thống nhất được xây dựng bằng cách xem xét vấn đề tương quan nhãn và tương đồng giữa các thể hiện. Các thí nghiệm rộng rãi được thực hiện trên 12 bộ dữ liệu nhiều nhãn khác nhau và chứng minh tính tổng quát tốt hơn của các phương pháp mà chúng tôi đề xuất.

Từ khóa

#học tập nhiều nhãn #mạng nơ-ron #đặc trưng riêng biệt #không gian ánh xạ #phân loại nhiều nhãn

Tài liệu tham khảo

Gargiulo F, Silvestri S, Ciampi M, De Pietro G (2019) Deep neural network for hierarchical extreme multi-label text classification. Appl Soft Comput 79:125–138 Li Y, Song Y, Luo J (2017) Improving pairwise ranking for multi-label image classification. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 3617–3625 Wen S, Liu W, Yang Y, Zhou P, Guo Z, Yan Z, Chen Y, Huang T (2020) Multilabel image classification via feature/label co-projection. IEEE Trans Syst Man Cybern Syst 51:7250–7259 Gull S, Shamim N, Minhas F (2019) Amap: hierarchical multi-label prediction of biologically active and antimicrobial peptides. Comput Biol Med 107:172–181 Liu L, Tang L, Jin X, Zhou W (2019) A multi-label supervised topic model conditioned on arbitrary features for gene function prediction. Genes 10(1):57 Zhang M-L, Zhou Z-H (2013) A review on multi-label learning algorithms. IEEE Trans Knowl Data Eng 26(8):1819–1837 Boutell MR, Luo J, Shen X, Brown CM (2004) Learning multi-label scene classification. Pattern Recogn 37(9):1757–1771 Zhang M-L, Zhou Z-H (2007) Ml-knn: a lazy learning approach to multi-label learning. Pattern Recogn 40(7):2038–2048 Gong C, Tao D, Yang J, Liu W (2016) Teaching-to-learn and learning-to-teach for multi-label propagation. In: Proceedings of the AAAI conference on artificial intelligence, vol 30 Weng W, Lin Y, Shunxiang W, Li Y, Kang Y (2018) Multi-label learning based on label-specific features and local pairwise label correlation. Neurocomputing 273:385–394 Read J, Pfahringer B, Holmes G, Frank E (2011) Classifier chains for multi-label classification. Mach Learn 85(3):333–359 Zhao W, Kong S, Bai J, Fink D, Gomes C (2021) Learning high-order label correlation for multi-label classification via attention-based variational autoencoders. arXiv preprint arXiv:2103.06375 Guo B, Hou C, Nie F, Yi D (2016) Pervised multi-label dimensionality reduction. In: 2016 IEEE 16th international conference on data mining (ICDM. IEEE), pp 919–924 Øyvind MK, Cristina S-R, Maria BF, Robert J (2019) Noisy multi-label semi-supervised dimensionality reduction. Pattern Recogn 90:257–270 Zhang M-L, Lei W (2014) Lift: multi-label learning with label-specific features. IEEE Trans Pattern Anal Mach Intell 37(1):107–120 Huang J, Li G, Huang Q, Wu X (2015) Learning label specific features for multi-label classification. In: 2015 IEEE international conference on data mining. IEEE, pp 181–190 Huang J, Li G, Huang Q, Xindong W (2017) Joint feature selection and classification for multilabel learning. IEEE Trans Cybern 48(3):876–889 Zhang M-L, Zhou Z-H (2006) Multilabel neural networks with applications to functional genomics and text categorization. IEEE Trans Knowl Data Eng 18(10):1338–1351 Bello M, Nápoles G, Sánchez R, Bello R, Vanhoof K (2020) Deep neural network to extract high-level features and labels in multi-label classification problems. Neurocomputing 413:259–270 Nam J, Kim J, Mencía EL, Gurevych I, Furnkranz J (2014) Large-scale multi-label text classification–revisiting neural networks. Joint European conference on machine learning and knowledge discovery in databases. Springer, Berlin, pp 437–452 Weizhi Liao Yu, Wang YY, Zhang X, Ma P (2020) Improved sequence generation model for multi-label classification via cnn and initialized fully connection. Neurocomputing 382:188–195 Wang J, Yang Y, Mao J, Huang Z, Huang C, Xu W (2016) Cnn-rnn: a unified framework for multi-label image classification. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 2285–2294 Zhang M-L (2009) M l-rbf: Rbf neural networks for multi-label learning. Neural Process Lett 29(2):61–74 Huimin L, Zhang M, Xing X, Li Y, Shen HT (2020) Deep fuzzy hashing network for efficient image retrieval. IEEE Trans Fuzzy Syst 29(1):166–176 Xie Y, Zhang J, Xia Y, Shen C (2020) A mutual bootstrapping model for automated skin lesion segmentation and classification. IEEE Trans Med Imaging 39(7):2482–2493 Hinton GE, Salakhutdinov RR (2006) Reducing the dimensionality of data with neural networks. Science 313(5786):504–507 Cheng Y, Zhao D, Wang Y, Pei G (2019) Multi-label learning with kernel extreme learning machine autoencoder. Knowl-Based Syst 178:1–10 Parwez MA, Abulaish M et al (2019) Multi-label classification of microblogging texts using convolution neural network. IEEE Access 7:68678–68691 Zhu J, Liao S, Lei Z, Li SZ (2017) Multi-label convolutional neural network based pedestrian attribute classification. Image Vis Comput 58:224–229 Nam J, Mencía EL, Kim HJ, Fürnkranz J (2017) Maximizing subset accuracy with recurrent neural networks in multi-label classification. In: Proceedings of the 31st international conference on neural information processing systems, pp 5419–5429 Chen SF, Chen YC, Yeh CK, Wang YCF (2018) Order-free rnn with visual attention for multi-label classification. In: Thirty-Second AAAI conference on artificial intelligence Rui H, Liuyue K (2021) Local positive and negative label correlation analysis with label awareness for multi-label classification. Int J Mach Learn Cybern 12:1–14 Bidgoli AA, Ebrahimpour-komleh H, Rahnamayan S (2021) A novel binary many-objective feature selection algorithm for multi-label data classification. Int J Mach Learn Cybern 12(7):2041–2057 Huang J, Qin F, Zheng X, Cheng Z, Yuan Z, Zhang W, Huang Q (2019) Improving multi-label classification with missing labels by learning label-specific features. Inf Sci 492:124–146 Zhu W, Li W, Jia X (2020) Multi-label learning with local similarity of samples. In: 2020 International joint conference on neural networks (IJCNN). IEEE, pp 1–8 Zhu Y, Kwok JT, Zhou Z-H (2017) Multi-label learning with global and local label correlation. IEEE Trans Knowl Data Eng 30(6):1081–1094 Jie B, Zhang D, Cheng B, Shen D, Initiative ADN (2015) Manifold regularized multitask feature learning for multimodality disease classification. Hum Brain Mapp 36(2):489–507 Han H, Mengxing Huang Yu, Zhang XY, Feng W (2019) Multi-label learning with label specific features using correlation information. IEEE Access 7:11474–11484 Gersho A, Gray RM (2012) Vector quantization and signal compression, vol 159. Springer, Berlin Abdel-Ghaffar KAS (2019) Sets of binary sequences with small total hamming distances. Inf Process Lett 142:27–29 Beck A, Teboulle M (2009) A fast iterative shrinkage-thresholding algorithm for linear inverse problems. SIAM J Imag Sci 2(1):183–202 Lin Z, Ganesh A, Wright J, Wu L, Chen M, Ma Y (2009) Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix. Coordinated Science Laboratory Report no. UILU-ENG-09-2214, DC-246 Wang Y, Zheng W, Cheng Y, Zhao D (2020) Joint label completion and label-specific features for multi-label learning algorithm. Soft Comput 24(9):6553–6569 Tan Y, Sun D, Shi Y, Gao L, Gao Q, Lu Y (2021) Bi-directional mapping for multi-label learning of label-specific features. Appl Intell 52:1–20