GAN để tổng hợp CT từ dữ liệu MRI T2 trọng số hướng tới điều trị bức xạ hỗ trợ MRI

Amit Ranjan1, Debanshu Lalwani1, Rajiv Misra1
1Department of Computer Science and Engineering, Indian Institute of Technology Patna, Bihta, India

Tóm tắt

Trong lĩnh vực y tế, quá trình tổng hợp hình ảnh đa chế độ gặp phải nhiều vấn đề, chẳng hạn như sự không đồng bộ ngữ cảnh, biến dạng hình ảnh, nhòe hình ảnh và mất thông tin chi tiết. Mục tiêu cơ bản của nghiên cứu này là giải quyết các vấn đề này trong việc ước lượng các hình ảnh chụp cắt lớp tổng hợp (sCT) từ hình ảnh chụp cộng hưởng từ T2 (MRI) nhằm đạt được điều trị bức xạ (RT) dựa trên MRI. Chúng tôi đề xuất một mạng đối kháng sinh điều kiện (cGAN) với nhiều khối dư để ước lượng sCT từ hình ảnh MRI T2 trọng số, sử dụng tập dữ liệu 367 hình ảnh ghép đôi não MR-CT. Một số mô hình học sâu tiên tiến đã được triển khai để tạo ra sCT, bao gồm mô hình Pix2Pix, mô hình U-Net, mô hình autoencoder và các kết quả của chúng đã được so sánh tương ứng. Kết quả với tập dữ liệu hình ảnh ghép đôi MR-CT cho thấy mô hình được đề xuất với chín khối dư trong kiến trúc bộ sinh đã cho kết quả lỗi tuyệt đối trung bình nhỏ nhất (MAE) là $$0.030 \pm 0.017$$ , và giá trị sai số bình phương trung bình (MSE) là $$0.010 \pm 0.011$$ , và sản xuất hệ số tương quan Pearson (PCC) lớn nhất là $$0.954 \pm 0.041$$ , giá trị SSIM là $$0.823 \pm 0.063$$ và giá trị tỷ số tín hiệu trên tiếng ồn đỉnh (PSNR) là $$21.422 \pm 3.964$$ , tương ứng. Chúng tôi đã đánh giá chất lượng kết quả của mình bằng cách so sánh hình ảnh tổng hợp sCT với CT gốc của hình ảnh MRI tương ứng. So sánh định lượng và định tính của công trình này chứng minh rằng mô hình cGAN dựa trên học sâu có thể được sử dụng để ước lượng hình ảnh sCT từ một hình ảnh MRI trọng số T2 tham chiếu. Độ chính xác tổng thể của mô hình được đề xuất của chúng tôi vượt trội hơn so với các mô hình học sâu tiên tiến khác.

Từ khóa

#Tổng hợp hình ảnh chụp cắt lớp #mạng đối kháng sinh điều kiện #hình ảnh chụp cộng hưởng từ #y học #điều trị bức xạ

Tài liệu tham khảo

Maspero M, Savenije MH, Dinkla AM, Seevinck PR, Intven MP, Jurgenliemk-Schulz IM, van den Berg CA (2018) Dose evaluation of fast synthetic-CT generation using a generative adversarial network for general pelvis MR-only radiotherapy. Phys Med Biol 63(18):185001 Maspero M, Bentvelzen LG, Savenije MH, Guerreiro F, Seravalli E, Janssens GO, Philippens ME (2020) Deep learning-based synthetic CT generation for paediatric brain MR-only photon and proton radiotherapy. Radiother Oncol 153:197–204 Goodfellow I, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Bengio Y (2014) Generative adversarial nets. Adv Neural Inf Process Syst 27:2672–2680 Isola P, Zhu JY, Zhou T, Efros AA (2017) Image-to-image translation with conditional adversarial networks, pp 1125–1134 Sjölund J, Forsberg D, Andersson M, Knutsson H (2015) Generating patient specific pseudo-CT of the head from MR using atlas-based regression. Phys Med Biol 60(2):825 Arabi H, Koutsouvelis N, Rouzaud M, Miralbell R, Zaidi H (2016) Atlas-guided generation of pseudo-CT images for MRI-only and hybrid PET-MRI-guided radiotherapy treatment planning. Phys Med Biol 61(17):6531 Edmund JM, Kjer HM, Van Leemput K, Hansen RH, Andersen JA, Andreasen D (2014) A voxel-based investigation for MRI-only radiotherapy of the brain using ultra short echo times. Phys Med Biol 59(23):7501 Berker Y, Franke J, Salomon A, Palmowski M, Donker HC, Temur Y, Schulz V (2012) MRI-based attenuation correction for hybrid PET/MRI systems: a 4-class tissue segmentation technique using a combined ultrashort-echo-time/Dixon MRI sequence. J Nucl Med 53(5):796–804 Arabi H, Dowling JA, Burgos N, Han X, Greer PB, Koutsouvelis N, Zaidi H (2018) Comparative study of algorithms for synthetic CT generation from MRI: consequences for MRI-guided radiation planning in the pelvic region. Med Phys 45(11):5218–5233 Huynh T, Gao Y, Kang J, Wang L, Zhang P, Lian J, Shen D (2015) Estimating CT image from MRI data using structured random forest and auto-context model. IEEE Trans Med Imaging 35(1):174–183 Xiang L, Wang Q, Nie D, Zhang L, Jin X, Qiao Y, Shen D (2018) Deep embedding convolutional neural network for synthesizing CT image from T1-Weighted MR image. Med Image Anal 47:31–44 Sun C, Guo S, Zhang H, Li J, Ma S, Li X (2017) Liver lesion segmentation in CT images with MK-FCN. IEEE, pp 1794–1798 Emami H, Dong M, Nejad-Davarani SP, Glide-Hurst CK (2018) Generating synthetic CTs from magnetic resonance images using generative adversarial networks. Med Phys 45(8):3627–3636 Kazemifar S, McGuire S, Timmerman R, Wardak Z, Nguyen D, Park Y, Owrangi A (2019) MRI-only brain radiotherapy: Assessing the dosimetric accuracy of synthetic CT images generated using a deep learning approach. Radiother Oncol 136:56–63 Yang Q, Yan P, Zhang Y, Hengyong Yu, Shi Y, Mou X, Kalra MK, Zhang Y, Sun L, Wang G (2018) Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss. IEEE Trans Med Imaging 37(6):1348–1357 Frid-Adar M, Diamant I, Klang E, Amitai M, Goldberger J, Greenspan H (2018) GAN-based synthetic medical image augmentation for increased CNN performance in liver lesion classification. Neurocomputing 321:321–331 Shin HC, Tenenholtz NA, Rogers JK, Schwarz CG, Senjem ML, Gunter JL, Andriole KP, Michalski M (2018) Medical image synthesis for data augmentation and anonymization using generative adversarial networks. Springer, Cham, pp 1–11 Yang G, Yu S, Dong H, Slabaugh G, Dragotti PL, Ye X, Liu F et al (2017) DAGAN: Deep de-aliasing generative adversarial networks for fast compressed sensing MRI reconstruction. IEEE Trans Med imaging 37(6):1310–1321 Armanious K, Jiang C, Fischer M, Küstner T, Hepp T, Nikolaou K, Gatidis S, Yang B (2020) MedGAN: Medical image translation using GANs. Comput Med Imaging Graph 79:101684 Nie D, Trullo R, Lian J, Petitjean C, Ruan S, Wang Q, Shen D (2017) Medical image synthesis with context-aware generative adversarial networks. In: International conference on medical image computing and computer-assisted intervention. Springer, Cham, pp 417–425 Dar SU, Yurt M, Karacan L, Erdem A, Erdem E, Çukur T (2019) Image synthesis in multi-contrast mri with conditional generative adversarial networks. IEEE Trans Med Imaging 38(10):2375–2388 Dar SUH, Yurt M, Shahdloo M, Ildız ME, Tınaz B, Çukur T (2020) Prior-guided image reconstruction for accelerated multi-contrast MRI via generative adversarial networks. IEEE J Sel Topics Signal Process 14(6):1072–1087 Johnson KA, Alex BJ (2020) Whole Brain Atlas. http://www.med.harvard.edu/AANLIB/home.html. Accessed 27 Nov Li C, Wand M (2016) Precomputed real-time texture synthesis with Markovian generative adversarial networks. Springer, Cham, pp 702–716 Tustison NJ, Avants BB, Cook PA, Zheng Y, Egan A, Yushkevich PA, Gee JC (2010) N4ITK: improved N3 bias correction. IEEE Trans Med Imaging 29(6):1310–1320 Otsu N (1979) A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern 9(1):62–66 Cox IJ, Roy S, Hingorani SL (1995) Dynamic histogram warping of image pairs for constant image brightness, vol 2. IEEE, pp 366–369