Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Bảo vệ quyền riêng tư dữ liệu trong thích ứng miền bằng cách tạo thô và hoàn thiện
The Visual Computer - Trang 1-18 - 2023
Tóm tắt
Việc phân đoạn tự động các cơ quan hoặc mô là cực kỳ quan trọng cho việc chẩn đoán và điều trị sớm. Các phương pháp học sâu hiện có thường cần một lượng lớn dữ liệu chú thích hoặc sử dụng các phương pháp thích ứng miền không giám sát (UDA) với dữ liệu miền nguồn đã được gán nhãn để đào tạo mô hình cho dữ liệu miền mục tiêu không có gán nhãn. Các phương pháp được đề cập ở trên yêu cầu truy cập vào dữ liệu của miền nguồn. Tuy nhiên, trong hình ảnh y tế, dữ liệu miền nguồn từ một bệnh viện thường bị hạn chế do quy định về quyền riêng tư dữ liệu bệnh nhân. Do đó, rất cần thiết phải thực hiện thích ứng miền bảo vệ quyền riêng tư, đồng thời cải thiện hiệu suất của mô hình trên dữ liệu miền mục tiêu và bảo tồn quyền riêng tư của dữ liệu miền nguồn. Nhằm đạt được Thích Ứng Miền Không Có Nguồn (SFUDA), chúng tôi đề xuất một khung hai giai đoạn là Tạo thô và Hoàn thiện để trích xuất các đặc trưng và kiến thức liên quan từ mô hình đã được đào tạo trước và bảo vệ quyền riêng tư của bệnh nhân. Cụ thể, trong giai đoạn Tạo thô, các thống kê theo lô được cập nhật bằng cách sử dụng dữ liệu miền mục tiêu không có gán nhãn để giảm thiểu dịch chuyển phân phối đặc trưng. Sau đó, một phương pháp giảm thiểu entropy trọng số phi tham số được sử dụng để giảm khoảng cách miền thêm nữa. Trong giai đoạn Hoàn thiện, chúng tôi hướng đến việc cải thiện khả năng tổng quát của mô hình bằng cách gia tăng khả năng chịu r noise của đại diện đặc trưng, dẫn đến một đại diện đặc trưng mục tiêu có tính tổng quát hơn. Ngoài ra, chúng tôi đề xuất đào tạo nhãn giả dựa trên khoảng cách đặc trưng trọng số theo độ tin cậy để tận dụng kiến thức từ các mẫu có độ tin cậy cao. Phương pháp được đề xuất được đánh giá trên hai thách thức chuyển giao miền y tế, (1) phân đoạn gan từ MRI sang CT và (2) phân đoạn hình ảnh đáy mắt giữa các miền. Các thí nghiệm rộng rãi và các nghiên cứu loại trừ đã chứng minh sự vượt trội của các phương pháp được đề xuất so với các phương pháp SFUDA hiện tại với một khoảng cách lớn. Phương pháp được đề xuất vượt trội hơn so với các phương pháp UDA trước đó mà truy cập vào dữ liệu miền nguồn.
Từ khóa
Tài liệu tham khảo
Yan, C., Gong, B., Wei, Y., Gao, Y.: Deep multi-view enhancement hashing for image retrieval. IEEE Trans. Pattern Anal. Mach. Intell. 43(4), 1445–1451 (2020)
Yan, C., Li, Z., Zhang, Y., Liu, Y., Ji, X., Zhang, Y.: Depth image denoising using nuclear norm and learning graph model. ACM Trans. Multimedia Comput., Commun., Appl. (TOMM) 16(4), 1–17 (2020)
Yan, C., Hao, Y., Li, L., Yin, J., Liu, A., Mao, Z., Chen, Z., Gao, X.: Task-adaptive attention for image captioning. IEEE Trans. Circuits Syst. Video Technol. 32(1), 43–51 (2021)
Yan, C., Meng, L., Li, L., Zhang, J., Wang, Z., Yin, J., Zhang, J., Sun, Y., Zheng, B.: Age-invariant face recognition by multi-feature fusion and decomposition with self-attention. ACM Trans. Multimedia Comput. Commun., Appl. (TOMM) 18(1), 1–18 (2022)
Wang, Z., Zou, N., Shen, D., Ji, S.: Non-local u-nets for biomedical image segmentation. In: Proceedings of the AAAI conference on artificial intelligence, vol. 34, pp. 6315–6322 (2020)
Zheng, H., Zhang, Y., Yang, L., Wang, C., Chen, D.Z.: An annotation sparsification strategy for 3d medical image segmentation via representative selection and self-training. In: Proceedings of the AAAI Conference on Artificial Intelligence. vol. 34, pp. 6925–6932 (2020)
Wang, J., Liu, X., Wang, F., Zheng, L., Gao, F., Zhang, H., Zhang, X., Xie, W., Wang, B.: Automated interpretation of congenital heart disease from multi-view echocardiograms. Med. Image Anal. 69, 101942 (2021)
Ozturk, T., Talo, M., Yildirim, E.A., Baloglu, U.B., Yildirim, O., Acharya, U.R.: Automated detection of Covid-19 cases using deep neural networks with x-ray images. Comput. Biol. Med. 121, 103792 (2020)
Vu, T.H., Jain, H., Bucher, M., Cord, M., Pérez, P.: Advent: adversarial entropy minimization for domain adaptation in semantic segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2517–2526 (2019)
Wang, S., Yu, L., Li, K., Yang, X., Fu, C.W., Heng, P.A.: Boundary and entropy-driven adversarial learning for fundus image segmentation. In: International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 102–110. Springer (2019)
Liu, X., Liu, X., Hu, B., Ji, W., Xing, F., Lu, J., You, J., Kuo, C.C.J., Fakhri, G.E., Woo, J.: Subtype-aware unsupervised domain adaptation for medical diagnosis. arXiv preprint arXiv:2101.00318 (2021)
Zeng, G., Schmaranzer, F., Lerch, T.D., Boschung, A., Zheng, G., Burger, J., Gerber, K., Tannast, M., Siebenrock, K., Kim, Y.J., et al.: Entropy guided unsupervised domain adaptation for cross-center hip cartilage segmentation from MRI. In: International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 447–456. Springer (2020)
Saito, K., Watanabe, K., Ushiku, Y., Harada, T.: Maximum classifier discrepancy for unsupervised domain adaptation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3723–3732 (2018)
Cui, H., Yuwen, C., Jiang, L., Xia, Y., Zhang, Y.: Bidirectional cross-modality unsupervised domain adaptation using generative adversarial networks for cardiac image segmentation. Comput. Biol. Med. 136, 104726 (2021)
Li, C., Lin, X., Mao, Y., Lin, W., Qi, Q., Ding, X., Huang, Y., Liang, D., Yu, Y.: Domain generalization on medical imaging classification using episodic training with task augmentation. Comput. Biol. Med. 141, 105144 (2022)
Kundu, J.N., Venkat, N., Babu, R.V., et al.: Universal source-free domain adaptation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4544–4553 (2020)
Nelakurthi, A.R., Maciejewski, R., He, J.: Source free domain adaptation using an off-the-shelf classifier. In: 2018 IEEE International Conference on Big Data (Big Data), pp. 140–145. IEEE (2018)
Bateson, M., Kervadec, H., Dolz, J., Lombaert, H., Ayed, I.B.: Source-relaxed domain adaptation for image segmentation. In: International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 490–499. Springer (2020)
Liu, X., Xing, F., Yang, C., El Fakhri, G., Woo, J.: Adapting off-the-shelf source segmenter for target medical image segmentation. In: International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 549–559. Springer (2021)
Eastwood, C., Mason, I., Williams, C.K., Schölkopf, B.: Source-free adaptation to measurement shift via bottom-up feature restoration. arXiv preprint arXiv:2107.05446 (2021)
Klingner, M., Termöhlen, J.A., Ritterbach, J., Fingscheidt, T.: Unsupervised batchnorm adaptation (UBNA): a domain adaptation method for semantic segmentation without using source domain representations. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 210–220 (2022)
Chen, C., Liu, Q., Jin, Y., Dou, Q., Heng, P.A.: Source-free domain adaptive fundus image segmentation with denoised pseudo-labeling. In: International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 225–235. Springer (2021)
Paul, S., Khurana, A., Aggarwal, G.: Unsupervised adaptation of semantic segmentation models without source data. arXiv preprint arXiv:2112.02359 (2021)
Prabhu Teja, S., Fleuret, F.: Uncertainty reduction for model adaptation in semantic segmentation. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 9613–9623 (2021)
Liang, J., Hu, D., Feng, J.: Do we really need to access the source data? Source hypothesis transfer for unsupervised domain adaptation. In: International Conference on Machine Learning, pp. 6028–6039. PMLR (2020)
Belharbi, S., Rony, J., Dolz, J., Ayed, I.B., McCaffrey, L., Granger, E.: Min-max entropy for weakly supervised pointwise localization. arXiv preprint arXiv:1907.12934 (2019)
Chen, M., Weinberger, K., Sha, F., Bengio, Y.: Marginalized denoising auto-encoders for nonlinear representations. In: International Conference on Machine Learning, pp. 1476–1484. PMLR (2014)
Kavur, A.E., Gezer, N.S., Barış, M., Aslan, S., Conze, P.H., Groza, V., Pham, D.D., Chatterjee, S., Ernst, P., Özkan, S., et al.: Chaos challenge-combined (CT-MR) healthy abdominal organ segmentation. Med. Image Anal. 69, 101950 (2021)
Bilic, P., Christ, P.F., Vorontsov, E., Chlebus, G., Chen, H., Dou, Q., Fu, C.W., Han, X., Heng, P.A., Hesser, J., et al.: The liver tumor segmentation benchmark (lits). arXiv preprint arXiv:1901.04056 (2019)
Orlando, J.I., Fu, H., Breda, J.B., van Keer, K., Bathula, D.R., Diaz-Pinto, A., Fang, R., Heng, P.A., Kim, J., Lee, J., et al.: Refuge challenge: a unified framework for evaluating automated methods for glaucoma assessment from fundus photographs. Med. Image Anal. 59, 101570 (2020)
Fumero, F., Alayón, S., Sanchez, J.L., Sigut, J., Gonzalez-Hernandez, M.: Rim-one: an open retinal image database for optic nerve evaluation. In: 2011 24th International Symposium on Computer-based Medical Systems (CBMS), pp. 1–6. IEEE (2011)
Sivaswamy, J., Krishnadas, S., Chakravarty, A., Joshi, G., Tabish, A.S., et al.: A comprehensive retinal image dataset for the assessment of glaucoma from the optic nerve head analysis. JSM Biomed. Imaging Data Pap. 2(1), 1004 (2015)
Toldo, M., Maracani, A., Michieli, U., Zanuttigh, P.: Unsupervised domain adaptation in semantic segmentation: a review. Technologies 8(2), 35 (2020)
Ganin, Y., Lempitsky, V.: Unsupervised domain adaptation by backpropagation. In: International Conference on Machine Learning, pp. 1180–1189. PMLR (2015)
Tsai, Y.H., Sohn, K., Schulter, S., Chandraker, M.: Domain adaptation for structured output via discriminative patch representations. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 1456–1465 (2019)
Zhang, Y., Liu, T., Long, M., Jordan, M.: Bridging theory and algorithm for domain adaptation. In: International Conference on Machine Learning, pp. 7404–7413. PMLR (2019)
Zhu, J.Y., Park, T., Isola, P., Efros, A.A.: Unpaired image-to-image translation using cycle-consistent adversarial networks. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 2223–2232 (2017)
Yang, Y., Soatto, S.: FDA: Fourier domain adaptation for semantic segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4085–4095 (2020)
Lei, H., Liu, W., Xie, H., Zhao, B., Yue, G., Lei, B.: Unsupervised domain adaptation based image synthesis and feature alignment for joint optic disc and cup segmentation. IEEE J Biomed Health Inf. 26(1), 90–102 (2021)
Zou, Y., Yu, Z., Kumar, B., Wang, J.: Unsupervised domain adaptation for semantic segmentation via class-balanced self-training. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 289–305 (2018)
Zhang, Y., David, P., Foroosh, H., Gong, B.: A curriculum domain adaptation approach to the semantic segmentation of urban scenes. IEEE Trans. Pattern Anal. Mach. Intell. 42(8), 1823–1841 (2019)
Zhang, Y., David, P., Gong, B.: Curriculum domain adaptation for semantic segmentation of urban scenes. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 2020–2030 (2017)
Grandvalet, Y., Bengio, Y., et al.: Semi-supervised learning by entropy minimization. CAP 367, 281–296 (2005)
Li, Y., Wang, N., Shi, J., Hou, X., Liu, J.: Adaptive batch normalization for practical domain adaptation. Pattern Recogn. 80, 109–117 (2018)
Karani, N., Erdil, E., Chaitanya, K., Konukoglu, E.: Test-time adaptable neural networks for robust medical image segmentation. Med. Image Anal. 68, 101907 (2021)
He, Y., Carass, A., Zuo, L., Dewey, B.E., Prince, J.L.: Self domain adapted network. In: International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 437–446. Springer (2020)
He, Y., Carass, A., Zuo, L., Dewey, B.E., Prince, J.L.: Autoencoder based self-supervised test-time adaptation for medical image analysis. Med. Image Anal. 72, 102136 (2021)
Yang, Z., Xia, W., Lu, Z., Chen, Y., Li, X., Zhang, Y.: Hypernetwork-based personalized federated learning for multi-institutional ct imaging. arXiv preprint arXiv:2206.03709 (2022)
Li, X., Jiang, M., Zhang, X., Kamp, M., Dou, Q.: Fedbn: Federated learning on non-iid features via local batch normalization. arXiv preprint arXiv:2102.07623 (2021)
Ioffe, S., Szegedy, C.: Batch normalization: accelerating deep network training by reducing internal covariate shift. In: International conference on machine learning, pp. 448–456. PMLR (2015)
Ronneberger, O., Fischer, P., Brox, T.: U-net: convolutional networks for biomedical image segmentation. In: International Conference on Medical image computing and computer-assisted intervention, pp. 234–241. Springer (2015)
Chen, L.C., Papandreou, G., Kokkinos, I., Murphy, K., Yuille, A.L.: Deeplab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFS. IEEE Trans. Pattern Anal. Mach. Intell. 40(4), 834–848 (2017)
Danielsson, P.E.: Euclidean distance mapping. Comput. Graph. Image Process. 14(3), 227–248 (1980)
Wang, X, Hua, Z,, Li, J.: Cross-UNet: dual-branch infrared and visible image fusion framework based on cross-convolution and attention mechanism. Vis. Comput., 1–18 (2022)
Agrawal, T., Choudhary, P.: Segmentation and classification on chest radiography: a systematic survey. Vis. Comput. 1–39 (2022)
Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., Chen, L.C.: Mobilenetv2: Inverted residuals and linear bottlenecks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4510–4520 (2018)
Richter, S.R., Vineet, V., Roth, S., Koltun, V.: Playing for data: ground truth from computer games. In: European Conference on Computer Vision, pp. 102–118. Springer (2016)
Cordts, M., Omran, M., Ramos, S., Rehfeld, T., Enzweiler, M., Benenson, R., Franke, U., Roth, S., Schiele, B.: The cityscapes dataset for semantic urban scene understanding. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3213–3223 (2016)
Zhao, R., Qian, B., Zhang, X., Li, Y., Wei, R., Liu, Y., Pan, Y.: Rethinking dice loss for medical image segmentation. In: 2020 IEEE International Conference on Data Mining (ICDM), pp. 851–860. IEEE (2020)
Lai, H., Luo, Y., Zhang, G., Shen, X., Li, B., Lu, J.: Toward accurate polyp segmentation with cascade boundary-guided attention. Vis. Comput. 1–17 (2022)
Chen, X., Jiang, S., Guo, L., Chen, Z., Zhang, C.: Whole brain segmentation method from 2.5 d brain MRI slice image based on triple U-Net. Vis. Comput. 1–12 (2021)
Liu, X., Xing, F., Stone, M., Zhuo, J., Reese, T., Prince, J.L., El Fakhri, G., Woo, J.: Generative self-training for cross-domain unsupervised tagged-to-cine mri synthesis. In: International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 138–148. Springer (2021)