Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Chuyển giao học không giám sát với cấu trúc học tiểu không gian đa lớp
Tóm tắt
Các phương pháp chuyển giao học không giám sát thường khai thác dữ liệu nguồn có nhãn để học một bộ phân loại cho dữ liệu mục tiêu không có nhãn với phân phối khác nhưng có liên quan. Tuy nhiên, hầu hết các phương pháp chuyển giao học hiện có sử dụng ma trận nhị phân 0-1 làm nhãn, điều này làm giảm đáng kể tính linh hoạt của chuyển giao học. Một hạn chế lớn khác là các phương pháp này bị ảnh hưởng bởi các đặc trưng thừa thãi và nhiễu tồn tại trong dữ liệu liên miền. Để giải quyết đồng thời hai vấn đề này, bài báo này đề xuất một phương pháp chuyển giao học redirect (RTL) cho chuyển giao học không giám sát với cấu trúc học tiểu không gian đa lớp. Cụ thể, ở lớp đầu tiên, chúng tôi đầu tiên học một tiểu không gian vững chắc, nơi dữ liệu từ các miền khác nhau có thể được xen kẽ tốt. Điều này được thực hiện bằng cách tái cấu trúc mỗi mẫu mục tiêu với đại diện hạng thấp nhất của các mẫu nguồn. Ngoài ra, việc áp dụng độ thưa $$L_{2,1}$$ -norm vào thành phần hồi quy và thành phần điều chỉnh mang lại tính vững chắc chống lại nhiễu và hoạt động trong việc chọn các đặc trưng thông tin một cách tương ứng. Ở lớp thứ hai, chúng tôi tiếp tục giới thiệu một chiến lược nhãn chuyển giao trong đó các nhãn nhị phân nghiêm ngặt được nới lỏng thành các giá trị liên tục cho mỗi dữ liệu. Để xử lý hiệu quả các nhãn không xác định của miền mục tiêu, chúng tôi xây dựng các nhãn giả lặp đi lặp lại cho các mẫu mục tiêu không có nhãn nhằm cải thiện khả năng phân biệt trong phân loại. Sự ưu việt của phương pháp của chúng tôi trong các nhiệm vụ phân loại được xác nhận trên một số tập dữ liệu liên miền.
Từ khóa
#chuyển giao học không giám sát #học tiểu không gian đa lớp #nhãn giả #phân loại dữ liệu liên miềnTài liệu tham khảo
Kan M, Wu J, Shan S, Chen X (2013) Domain adaptation for face recognition: Targetize source domain bridged by common subspace. Int J Comput Vis 109:94–109
Pan SJ, Yang Q (2010) A survey on transfer learning. IEEE Trans Knowl Data Eng 22(10):1345–1359. https://doi.org/10.1109/TKDE.2009.191
Si Y, Pu J, Zang S, Sun L (2021) Extreme learning machine based on maximum weighted mean discrepancy for unsupervised domain adaptation. IEEE Access 9:2283–2293. https://doi.org/10.1109/ACCESS.2020.3047448
Zhang L, Wang S, Huang G-B, Zuo W, Yang J, Zhang D (2019) Manifold criterion guided transfer learning via intermediate domain generation. IEEE Trans Neural Netw Learn Syst 30(12):3759–3773. https://doi.org/10.1109/TNNLS.2019.2899037
Deng W, Liao Q, Zhao L, Guo D, Kuang G, Hu D, Liu L (2021) Joint clustering and discriminative feature alignment for unsupervised domain adaptation. IEEE Trans Image Process 30:7842–7855. https://doi.org/10.1109/TIP.2021.3109530
Wu S, Gao G, Li Z, Wu F, Jing X-Y (2020) Unsupervised visual domain adaptation via discriminative dictionary evolution. Pattern Anal Appl 23(4):1665–1675. https://doi.org/10.1007/s10044-020-00881-w
Prabono AG, Yahya BN, Lee S-L (2021) Hybrid domain adaptation for sensor-based human activity recognition in a heterogeneous setup with feature commonalities. Pattern Anal Appl 24(4):1501–1511. https://doi.org/10.1007/s10044-021-00995-9
Zhang Y, Ye H, Davison BD (2021) Adversarial reinforcement learning for unsupervised domain adaptation. In: 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 635–644. https://doi.org/10.1109/WACV48630.2021.00068
Lei W, Ma Z, Lin Y, Gao W (2021) Domain adaption based on source dictionary regularized rkhs subspace learning. Pattern Anal Appl 24(4):1513–1532
Pan SJ, Tsang IW, Kwok JT, Yang Q (2011) Domain adaptation via transfer component analysis. IEEE Trans Neural Netw 22(2):199–210. https://doi.org/10.1109/TNN.2010.2091281
Zhang J, Li W, Ogunbona P (2017) Joint geometrical and statistical alignment for visual domain adaptation. arXiv. https://doi.org/10.48550/ARXIV.1705.05498. https://arxiv.org/abs/1705.05498
Si S, Tao D, Geng B (2010) Bregman divergence-based regularization for transfer subspace learning. IEEE Trans Knowl Data Eng 22(7):929–942. https://doi.org/10.1109/TKDE.2009.126
Long M, Wang J, Ding G, Sun J, Yu PS (2013) Transfer feature learning with joint distribution adaptation. In: 2013 IEEE International Conference on Computer Vision, pp. 2200–2207. https://doi.org/10.1109/ICCV.2013.274
Han N, Wu J, Fang X, Xie S, Zhan S, Xie K, Li X (2020) Latent elastic-net transfer learning. IEEE Trans Image Process 29:2820–2833. https://doi.org/10.1109/TIP.2019.2952739
Wan M, Chen X, Zhan T, Yang G, Tan H, Zheng H (2023) Low-rank 2d local discriminant graph embedding for robust image feature extraction. Pattern Recogn 133:109034. https://doi.org/10.1016/j.patcog.2022.109034
Wan M, Yao Y, Zhan T, Yang G (2022) Supervised low-rank embedded regression (slrer) for robust subspace learning. IEEE Trans Circuits Syst Video Technol 32(4):1917–1927. https://doi.org/10.1109/TCSVT.2021.3090420
Shao M, Castillo C, Gu Z, Fu Y (2012) Low-rank transfer subspace learning. In: 2013 IEEE 13th International Conference on Data Mining, pp. 1104–1109. IEEE Computer Society, Los Alamitos, CA, USA. https://doi.org/10.1109/ICDM.2012.102. https://doi.ieeecomputersociety.org/10.1109/ICDM.2012.102
Xu Y, Fang X, Wu J, Li X, Zhang D (2016) Discriminative transfer subspace learning via low-rank and sparse representation. IEEE Trans Image Process 25(2):850–863. https://doi.org/10.1109/TIP.2015.2510498
Zhang L, Fu J, Wang S, Zhang D, Dong Z, Chen CLP (2020) Guide subspace learning for unsupervised domain adaptation. IEEE Trans Neural Netw Learn Syst 31(9):3374–3388. https://doi.org/10.1109/TNNLS.2019.2944455
Xiang S, Nie F, Meng G, Pan C, Zhang C (2012) Discriminative least squares regression for multiclass classification and feature selection. IEEE Trans Neural Netw Learn Syst 23(11):1738–1754. https://doi.org/10.1109/TNNLS.2012.2212721
Zhang X-Y, Wang L, Xiang S, Liu C-L (2015) Retargeted least squares regression algorithm. IEEE Trans Neural Netw Learn Syst 26(9):2206–2213. https://doi.org/10.1109/TNNLS.2014.2371492
Peng Z, Zhang W, Han N, Fang X, Kang P, Teng L (2020) Active transfer learning. IEEE Trans Circuits Syst Video Technol 30(4):1022–1036. https://doi.org/10.1109/TCSVT.2019.2900467
Hu Y, Zhang D, Ye J, Li X, He X (2013) Fast and accurate matrix completion via truncated nuclear norm regularization. IEEE Trans Pattern Anal Mach Intell 35(9):2117–2130. https://doi.org/10.1109/TPAMI.2012.271
Zhang Z, Lai Z, Xu Y, Shao L, Wu J, Xie G-S (2017) Discriminative elastic-net regularized linear regression. IEEE Trans Image Process 26(3):1466–1481. https://doi.org/10.1109/TIP.2017.2651396
Jhuo I-H, Liu D, Lee DT, Chang S-F (2012) Robust visual domain adaptation with low-rank reconstruction. In: 2012 IEEE Conference on Computer Vision and Pattern Recognition, pp. 2168–2175. https://doi.org/10.1109/CVPR.2012.6247924
Boyd S, Parikh N, Chu E, Peleato B, Eckstein J (2011) Distributed optimization and statistical learning via the alternating direction method of multipliers. Found Trends Mach Learn 3(1):1–122. https://doi.org/10.1561/2200000016
Eckstein J, Bertsekas D (1992) On the Douglas-Rachford splitting method and the proximal point algorithm for maximal monotone operators. Math Program 55:293–318. https://doi.org/10.1007/BF01581204
Krizhevsky A, Sutskever I, Hinton GE (2012) Imagenet classification with deep convolutional neural networks. In: Proceedings of the 25th International conference on neural information processing systems, pp. 1097–1105. Curran Associates Inc., Red Hook, NY, USA
Wang J, Chen Y, Feng W, Yu H, Huang M, Yang Q (2020) Transfer learning with dynamic distribution adaptation. ACM Trans Intell Syst Technol (TIST) 11(1):1–25
Gong B, Shi Y, Sha F, Grauman K (2012) Geodesic flow kernel for unsupervised domain adaptation. In: 2012 IEEE conference on computer vision and pattern recognition, pp. 2066–2073. https://doi.org/10.1109/CVPR.2012.6247911
Wan M, Chen X, Zhao C, Zhan T, Yang G (2022) A new weakly supervised discrete discriminant hashing for robust data representation. Inf Sci 611:335–348. https://doi.org/10.1016/j.ins.2022.08.015
Long M, Wang J, Sun J, Yu PS (2015) Domain invariant transfer kernel learning. IEEE Trans Knowl Data Eng 27(6):1519–1532. https://doi.org/10.1109/TKDE.2014.2373376
Ma X, Zhang T, Xu C (2019) Gcan: Graph convolutional adversarial network for unsupervised domain adaptation. In: 2019 IEEE/CVF conference on computer vision and pattern recognition (CVPR), pp. 8258–8268. https://doi.org/10.1109/CVPR.2019.00846
van der Maaten L, Hinton G (2008) Visualizing data using t-sne. J Mach Learn Res 9(86):2579–2605
Zou H, Hastie T, Tibshirani R (2006) Sparse principal component analysis. J Comput Graph Stat 15(2):265–286
Liu G, Lin Z, Yan S, Sun J, Yu Y, Ma Y (2013) Robust recovery of subspace structures by low-rank representation. IEEE Trans Pattern Anal Mach Intell 35(1):171–184. https://doi.org/10.1109/tpami.2012.88
Cai J-F, Candès EJ, Shen Z (2010) A singular value thresholding algorithm for matrix completion. SIAM J Optim 20(4):1956–1982. https://doi.org/10.1137/080738970