Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Kết hợp hình ảnh y tế đa phương thức sử dụng Auto-encoder xếp chồng trong miền NSCT
Tóm tắt
Kết hợp hình ảnh y tế là một quá trình nhằm kết hợp những thông tin quan trọng từ những hình ảnh có các phương thức khác nhau của cùng một cơ quan trong cơ thể con người để tạo ra một hình ảnh tổng hợp nhiều thông tin hơn. Trong những năm gần đây, các phương pháp học sâu (DL) đã đạt được những bước đột phá quan trọng trong lĩnh vực kết hợp hình ảnh nhờ vào hiệu suất vượt trội của chúng. Các phương pháp DL trong kết hợp hình ảnh đã trở thành một chủ đề hoạt động năng nổ do khả năng trích xuất đặc trưng và đại diện dữ liệu cao. Trong công trình này, auto-encoder xếp chồng (SSAE), một loại mạng nơ-ron sâu chung, được khai thác trong kết hợp hình ảnh y tế. SSAE là một kỹ thuật hiệu quả cho việc trích xuất đặc trưng không cần giám sát. Nó có khả năng đại diện cho dữ liệu phức tạp cao. Phương pháp kết hợp đề xuất được thực hiện như sau. Đầu tiên, các hình ảnh nguồn được phân tích thành các băng tần hệ số tần số thấp và cao với biến đổi contourlet không bị lấy mẫu (NSCT). NSCT là một kỹ thuật phân tích đa quy mô linh hoạt và vượt trội hơn các kỹ thuật phân tích truyền thống ở nhiều khía cạnh. Sau đó, SSAE được áp dụng để trích xuất đặc trưng nhằm có được một đại diện thưa thớt và sâu từ các hệ số tần số cao. Tiếp theo, tần số không gian được tính toán cho các đặc trưng thu được để được sử dụng trong việc kết hợp các hệ số tần số cao. Sau đó, một quy tắc kết hợp dựa trên giá trị tối đa được áp dụng để kết hợp các hệ số băng tần tần số thấp. Hình ảnh tích hợp cuối cùng được thu được bằng cách áp dụng NSCT ngược. Phương pháp đề xuất đã được áp dụng và đánh giá trên nhiều nhóm phương thức hình ảnh y tế khác nhau. Kết quả thực nghiệm chứng minh rằng phương pháp đề xuất có thể hiệu quả trong việc kết hợp các hình ảnh y tế đa phương thức, đồng thời duy trì thông tin chi tiết một cách hoàn hảo.
Từ khóa
#Kết hợp hình ảnh y tế #Học sâu #Auto-encoder xếp chồng #Biến đổi contourlet không bị lấy mẫu #Trích xuất đặc trưngTài liệu tham khảo
Halalli B, Makandar A: Computer Aided Diagnosis - Medical Image Analysis Techniques. In: Breast Imaging. InTech, 2018.
Abdulla AA: Efficient computer‐aided diagnosis technique for leukaemia cancer detection. IET Image Process 14:4435–4440. https://doi.org/10.1049/iet-ipr.2020.0978, 2020.
Liu Y, Chen X, Cheng J, Peng H: A medical Image Fusion Method Based on Convolutional Neural Networks. In: 20th International Conference on Information Fusion, Fusion 2017 - Proceedings. pp 1–7, 2017
Huang B, Yang F, Yin M, et al: A Review of Multimodal Medical Image Fusion Techniques. Comput Math Methods Med 2020:. https://doi.org/10.1155/2020/8279342, 2020.
Liu Y, Chen X, Wang Z, et al: Deep Learning for Pixel-level Image Fusion: Recent Advances and Future Prospects. Inf Fusion 42:158–173. https://doi.org/10.1016/j.inffus.2017.10.007, 2018.
Kaur H, Koundal D, Kadyan V: Image Fusion Techniques: A Survey. Arch Comput Methods Eng. https://doi.org/10.1007/s11831-021-09540-7, 2021
Tawfik N, Elnmer HA, Fakhr M, et al: Survey Study of Multimodality Medical Image Fusion Methods. Multimed Tools Appl 1–28. https://doi.org/10.1007/s11042-020-08834-5, 2020.
Balachander B, Dhanasekaran D: Comparative Study of Image Fusion Techniques in Spatial and Transform Domain. ARPN J Eng Appl Sci 11:5779–5783, 2016.
Tirupal T, Mohan BC, Kumar SS: Multimodal Medical Image Fusion Techniques – A Review. Curr Signal Transduct Ther 15:. https://doi.org/10.2174/1574362415666200226103116, 2020.
Yadav SP, Yadav S: Image Fusion Using Hybrid Methods in Multimodality Medical Images. Med Biol Eng Comput 58:669–687. https://doi.org/10.1007/s11517-020-02136-6, 2020.
Ganasala P, Kumar V: CT and MR image fusion scheme in nonsubsampled contourlet transform domain. J Digit Imaging 27:407–418. https://doi.org/10.1007/s10278-013-9664-x, 2014.
Arif M, Wang G: Fast Curvelet Transform Through Genetic Algorithm for Multimodal Medical Image Fusion. Soft Comput 24:1815–1836. https://doi.org/10.1007/s00500-019-04011-5, 2020.
Kayani BN, Mirza AM, Bangash A, Iftikhar H: Pixel & Feature Level Multiresolution Image Fusion Based on Fuzzy Logic. Innov Adv Tech Comput Inf Sci Eng Springer 129–132, 2007.
Hermessi H, Mourali O, Zagrouba E: Multimodal medical image fusion review: Theoretical background and recent advances. Signal Processing 183:. https://doi.org/10.1016/j.sigpro.2021.108036, 2021.
Xia K jian, Yin H sheng, Wang J qiang: A novel Improved Deep Convolutional Neural Network Model for Medical Image Fusion. Cluster Comput 1:1–13. https://doi.org/10.1007/s10586-018-2026-1, 2018.
Hou R, Zhou D, Nie R, et al: Brain CT and MRI Medical Image Fusion Using Convolutional Neural Networks and A dual-Channel Spiking Cortical Model. Med Biol Eng Comput 887–900. https://doi.org/10.1007/s11517-018-1935-8, 2019.
Hermessi H, Mourali O, Zagrouba E: Convolutional Neural Network-Based Multimodal Image Fusion Via Similarity Learning in The shearlet Domain. Neural Comput Appl 30:2029–2045. https://doi.org/10.1007/s00521-018-3441-1, 2018.
Liu X, Mei W, Du H: Multi-modality Medical Image Fusion Based on Image Decomposition Framework and Nonsubsampled Shearlet Transform. Biomed Signal Process Control 40:343–350. https://doi.org/10.1016/j.bspc.2017.10.001, 2018.
Xia J, Lu Y, Tan L: Research of Multimodal Medical Image Fusion Based on Parameter-Adaptive Pulse-Coupled Neural Network and Convolutional Sparse Representation. Comput Math Methods Med 2020:. https://doi.org/10.1155/2020/3290136, 2020.
Xu X, Shan D, Wang G, Jiang X: Multimodal Medical Image Fusion Using PCNN Optimized by the QPSO Algorithm. Appl Soft Comput J 46:588–595. https://doi.org/10.1016/j.asoc.2016.03.028, 2016.
Subbiah Parvathy V, Pothiraj S, Sampson J: A novel Approach in Multimodality Medical Image Fusion Using Optimal Shearlet and Deep Learning. Int J Imaging Syst Technol 1–13. https://doi.org/10.1002/ima.22436, 2020.
Maqsood S, Javed U: Multi-modal Medical Image Fusion based on Two-scale Image Decomposition and Sparse Representation. Biomed Signal Process Control 57:. https://doi.org/10.1016/j.bspc.2019.101810, 2020.
B.Rajalingam RP: Multimodal Medical Image Fusion based on Deep Learning Neural Network for Clinical Treatment Analysis. Int J ChemTech Res 11:160–176. https://doi.org/10.20902/ijctr.2018.110621, 2018.
Yin M, Liu X, Liu Y, Chen X: Medical Image Fusion With Parameter-Adaptive Pulse Coupled-Neural Network in Nonsubsampled Shearlet Transform Domain. IEEE Trans Instrum Meas 1–16. https://doi.org/10.1109/TIM.2018.2838778, 2018.
Yin F, Gao W, Song Z: Medical Image Fusion based on Feature Extraction and Sparse Representation. Int J Biomed Imaging 2017:. https://doi.org/10.1155/2017/3020461, 2017.
Rajalingam B, Priya R, Bhavani R: Multimodal Medical Image Fusion Using Hybrid Fusion Techniques for Neoplastic and Alzheimer’s Disease Analysis. J Comput Theor Nanosci 16:1320–1331. https://doi.org/10.1166/jctn.2019.8038, 2019.
Prakash O, Park CM, Khare A, et al: Multiscale Fusion of Multimodal Medical Images Using Lifting Scheme based Biorthogonal Wavelet Transform. Optik (Stuttg) 182:995–1014. https://doi.org/10.1016/j.ijleo.2018.12.028, 2019.
Tawfik N, Elnemr HA, Fakhr M, et al: Hybrid pixel-feature fusion system for multimodal medical images. J Ambient Intell Humaniz Comput 1–18. https://doi.org/10.1007/s12652-020-02154-0, 2021.
Bhardwaj J, Nayak A, Gambhir D: Multimodal Medical Image Fusion Based on Discrete Wavelet Transform and Genetic Algorithm. In: International Conference on Innovative Computing and Communications. Springer Singapore, pp 1047–1057, 2021.
Veshki FG, Ouzir N, Vorobyov S, Ollila E: Coupled Feature Learning for Multimodal Medical Image Fusion. arXiv Prepr arXiv 2102:1–12, 2021.
Zhang H, Yan W, Zhang C, Wang L: Research on Image Fusion Algorithm Based on NSST Frequency Division and Improved LSCN. Mob Networks Appl. https://doi.org/10.1007/s11036-020-01728-8, 2021.
da Cunha AL, Zhou J, Do MN: The Nonsubsampled Contourlet Transform: Theory, design, and applications. IEEE Trans Image Process 15:3089–3101. https://doi.org/10.1109/TIP.2006.877507, 2006.
Hossain F, Alsharif MR, Yamashita K: A New Image Enhancement Method Based on Nonsubsampled Contourlet Transform. In: International Conference on Advanced Communication and Networking. Springer Berlin Heidelberg, pp 74–80, 2010.
Supratak A, Li L, Guo Y: Feature Extraction with Stacked Autoencoders for Epileptic Seizure Detection. In: 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, EMBC 2014. pp 4184–4187, 2014.
Vareka L, Mautner P: Stacked Autoencoders for The P300 Component Detection. Front Neurosci 11:1–9. https://doi.org/10.3389/fnins.2017.00302, 2017.
Singh V, Verma NK, Islam ZU, Cui Y: Feature Learning Using Stacked Autoencoder for Shared and Multimodal Fusion of Medical Images. Comput Intell Theor Appl Futur Dir I:53–66. https://doi.org/10.1007/978-981-13-1132-1, 2019.
Liu G, Bao H, Han B: A Stacked Autoencoder-Based Deep Neural Network for Achieving Gearbox Fault Diagnosis. Math Probl Eng 2018:. https://doi.org/10.1155/2018/5105709, 2018.
Eskicioglu AM, Fisher PS: Image Quality Measures and Their Performance. In: IEEE Transactions on communications. IEEE, pp 2959–2965, 1995.
Vadivel A, Sural S, Majumdar AK: Human Color Perception in The HSV Space and its Application in Histogram Generation for Image Retrieval. In: Color Imaging X: Processing, Hardcopy, and Applications. International Society for Optics and Photonics, p 598, 2005.
Bora DJ, Gupta AK, Khan FA: Comparing the Performance of L*A*B* and HSV Color Spaces with Respect to Color Image Segmentation. Int J Emerg Technol Adv Eng 5:192–203, 2015.
Nandal A, Rosales HG: Enhanced image fusion using directional contrast rules in fuzzy transform domain. Springerplus 5:. https://doi.org/10.1186/s40064-016-3511-8, 2016.
El-Hoseny HM, El-Rahman WA, El-Shafai W, et al: Efficient Multi-scale Non-sub-sampled Shearlet Fusion System Based on Modified Central Force Optimization and Contrast Enhancement. Infrared Phys Technol 102:102975. https://doi.org/10.1016/j.infrared.2019.102975, 2019.
Haghighat MBA, Aghagolzadeh A, Seyedarabi H: A non-reference Image Fusion Metric Based on Mutual Information of Image Features. Comput Electr Eng 37:744–756. https://doi.org/10.1016/j.compeleceng.2011.07.012, 2011.
Xydeas CS, Petrovid V: Objective Image Fusion Performance Measure. Electron Lett 36:308–309. https://doi.org/10.1017/CBO9781107415324.004, 2000.
Xia J, Chen Y, Chen A, Chen Y: Medical Image Fusion Based on Sparse Representation and PCNN in NSCT Domain. Comput Math Methods Med 2018:. https://doi.org/10.1155/2018/2806047, 2018.
Shahdoosti HR, Tabatabaei Z: MRI and PET/SPECT image fusion at feature level using ant colony based segmentation. Biomed Signal Process Control 47:63–74. https://doi.org/10.1016/j.bspc.2018.08.017, 2019.
Tan W, Tiwari P, Pandey HM, et al: Multimodal medical image fusion algorithm in the era of big data. Neural Comput Appl 2:. https://doi.org/10.1007/s00521-020-05173-2, 2020.
Tirupal T, Chandra Mohan B, Srinivas Kumar S: Multimodal medical image fusion based on yager’s intuitionistic fuzzy sets. Iran J Fuzzy Syst 16:33–48. https://doi.org/10.22111/IJFS.2019.4482, 2019.
Ganasala P, Kumar V: Feature-Motivated Simplified Adaptive PCNN-Based Medical Image Fusion Algorithm in NSST Domain. J Digit Imaging 29:73–85. https://doi.org/10.1007/s10278-015-9806-4, 2016.
Ramlal SD, Sachdeva J, Kamal C, Niranjan A: Multimodal medical image fusion using non-subsampled shearlet transform and pulse coupled neural network incorporated with morphological gradient. Signal, Image Video Process 12:1479–1487. https://doi.org/10.1007/s11760-018-1303-z, 2018.
Yang Y, Que Y, Huang S, Lin P: Multimodal Sensor Medical Image Fusion Based on Type-2 Fuzzy Logic in NSCT Domain. IEEE Sens J 16:3735–3745. https://doi.org/10.1109/JSEN.2016.2533864, 2016.
Zhu Z, Chai Y, Yin H, et al: A novel Dictionary Learning Approach for Multi-modality Medical Image Fusion. Neurocomputing 214:471–482. https://doi.org/10.1016/j.neucom.2016.06.036, 2016.