Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Nâng cao độ phân giải hình ảnh trong vi hình huỳnh quang hội tụ bằng học sâu
Tóm tắt
Hình ảnh quang siêu phân giải là rất quan trọng trong nghiên cứu các quá trình tế bào. Kỹ thuật vi hình huỳnh quang siêu phân giải hiện tại bị hạn chế bởi yêu cầu sử dụng các fluorophore đặc biệt hoặc hệ thống quang học phức tạp, hoặc thời gian thu thập và tính toán lâu dài. Trong công trình này, chúng tôi giới thiệu một kỹ thuật siêu phân giải dựa trên học sâu trong vi hình huỳnh quang hội tụ. Chúng tôi thiết kế một mạng chú ý hai kênh (TCAN), tận dụng cả các biểu diễn không gian và nội dung tần số để học cách ánh xạ chính xác hơn từ hình ảnh phân giải thấp sang hình ảnh phân giải cao. Chương trình này linh hoạt với những thay đổi về kích thước pixel và thiết lập hình ảnh, cho phép mô hình tối ưu tổng quát cho các phương pháp vi hình huỳnh quang khác không thấy trong tập huấn luyện. Thuật toán của chúng tôi được xác nhận trên các cấu trúc sinh học đa dạng và hình ảnh huỳnh quang hội tụ hai màu của vi ống, cải thiện độ phân giải từ ~ 230 nm xuống ~ 110 nm. Cuối cùng nhưng không kém phần quan trọng, chúng tôi chứng minh việc chụp ảnh siêu phân giải tế bào sống bằng cách tiết lộ các cấu trúc chi tiết và tính không ổn định động của vi ống.
Từ khóa
#hình ảnh quang siêu phân giải #vi hình huỳnh quang hội tụ #học sâu #mạng chú ý hai kênh #vi ốngTài liệu tham khảo
Sage D, Kirshner H, Pengo T, Stuurman N, Min J, Manley S, et al. Quantitative evaluation of software package for single-molecule localization microscopy. Nat Methods. 2015;12(8):717–24.
Rust M, Bates M, Zhuang X. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM). Nat Methods. 2006;3(10):793–6.
Gustafsson MGL. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy. J Microsc. 2000;198:82–7.
Agarwal K, Macháň R. Multiple signal classification algorithm for super-resolution fluorescence microscopy. Nat Commun. 2016;7:13752.
Hell SW, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy. Opt Lett. 1994;19:780–2.
Wang C, Taki M, Sato Y, Tamura Y, Yaginuma H, Okada Y, et al. A photostable fluorescent marker for the superresolution live imaging of the dynamic structure of the mitochondrial cristae. Proc Natl Acad Sci U S A. 2019;116(32):15817–22.
Vicidomini G, Bianchini P, Diaspro A. STED super-resolved microscopy. Nat Methods. 2018;15(3):173–82.
Yang Z, Sharma A, Qi J, Peng X, Lee DY, Hu R, Lin D, Qu J. J Seung Kim, “Super-resolution fluorescent materials: an insight into design and bioimaging applications.” Chem Soc Rev. 2016;45:4651–67.
Wang H, Rivenson Y, Jin Y, Wei Z, Gao R, Günaydɪn H, et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy. Nat Methods. 2019;16:103–10.
Qiao C, Li D, Guo Y, Liu C, Jiang T, Dai Q, et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy. Nat Methods. 2021;18:194–202.
Patterson J. A Gibson, deep learning: a Practitioner’s approach: O’Reilly Media; 2017.
LeCun Y, Bengio Y, Hinton G. Deep learning. Nat. 2015;521(7533):436–44.
He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE; 2016. p. 770–8.
Zhang K, Zuo W, Chen Y, Meng D, Zhang L. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising. IEEE Trans Image Process. 2017;26(7):3142–55.
Ouyang W, Aristov A, Lelek M, Hao X, Zimmer C. Deep learning massively accelerates super-resolution localization microscopy. Nat Biotechnol. 2018;36:460–8.
Kermany DS, Goldbaum M, Cai W, Valentim CCS, Liang H, Baxter SL, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning. Cell. 2018;172:1122–31.
Wang N, Yan W, Qu Y, Ma S, Li SZ, Qiu M. Intelligent designs in nanophotonics: from optimization towards inverse creation. PhotoniX. 2021;2:22.
Wang K, Zhang MM, Tang J, Wang L, Hu L, Wu X, et al. Deep learning wavefront sensing and aberration correction in atmospheric turbulence. PhotoniX. 2021;2:8.
O Ronneberger, P Fischer, T Brox, “U-net: convolutional networks for biomedical image segmentation,” arXiv: 1505.04597 (2015).
Maas AL, Hannun AY, Ng AY. Rectifier nonlinearities improve neural network acoustic model. In: 30th International Conference on Machine Learning (ICML). Atlanta: IMLS; 2013. p. 6–11.
Huang G, Liu Z, Van Der Maaten L, Weinberger KQ. Densely connected convolutional networks. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Hawaii: IEEE; 2017. p. 2261–9.
D Hendrycks, K Gimpel, “Gaussian error linear units (GELUs),” arXiv: 1606.08415 (2016).
Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks. In: 14th International Conference on Artificial Intelligence and Statistics (AISTATS). Fort Lauderdale: Society for Artificial Intelligence and Statistics; 2011.
Wang Z, Bovik AC, Sheikh HR, Simoncelli EP. Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process. 2004;13:600–12.
DP Kingma, J Ba, “Adam: a method for stochastic optimization,” arXiv: 1412.6980 (2014).
Paszke A. Automatic differentiation in PyTorch. In: in 31st Conference on Neural Information Processing Systems. Long Beach: NeurIPS Foundation; 2017.
Pan SJ, Yang Q. A survey on transfer learning. IEEE T Knowl Data En. 2010;22(10):1345–59.
Castello M, Tortarolo G, Buttafava M, Deguchi T, Villa F, Koho S, Pesce L, Oneto M, Pelicci S, Lanzanó L, Bianchini P, Sheppard CJR, Diaspro A, Tosi A, Vicidomini G. A robust and versatile platform for image scanning microscopy enabling super-resolution FLIM. Nat Methods. 2019;16:175–8.
Descloux A, Grußmayer KS, Radenovic A. Parameter-free image resolution estimation based on decorrelation analysis. Nat Methods. 2019;16:918–24.
Isola P, Zhu J-Y, Zhou T, Efros AA. Image-to-image translation with conditional adversarial networks. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Hawaii: IEEE; 2017. p. 5967–76.
IJ Goodfellow, J Pouget-Abadie, M Mirza, B Xu, D Warde-Farley, S Ozair, A Courville, Y Bengio, “Generative adversarial networks,” arXiv: 1406.2661 (2014).
Girshick R. Fast R-CNN. In: 2015 IEEE International Conference on Computer Vision (ICCV). Santiago: IEEE; 2015. p. 1440–8.
Zhao H, Gallo O, Frosio I, Kautz J. Loss functions for image restoration with neural networks. IEEE T Comput Imag. 2017;3(1):47–57.
Guo Y, Li D, Zhang S, Yang Y, Liu J-J, Wang X, Liu C, Milkie DE, Moore RP, Tulu US, Kiehart DP, Hu J, Schwartz JL, Betzig E, Li D. Visualizing intracellular organelle and cytoskeletal interactions at nanoscale resolution on millisecond timescales. Cell. 2018;175:1430–42.
Gudimchuk NB, McIntosh JR. Regulation of microtubule dynamics, mechanics and function through the growing tip. Nat. Rev. Mol. Cell Bio. 2021;22:777–95.
Bálint Š IV, Vilanova ÁSÁ, Lakadamyali M. Correlative live-cell and superresolution microscopy reveals cargo transport dynamics at microtubule intersections. Proc Natl Acad Sci U S A. 2013;110(9):3375–80.
Huang X, Fan J, Li L, Liu H, Wu R, Wu Y, et al. Fast, long-term, super-resolution imaging with hessian structured illumination microscopy. Nat Biotechnol. 2018;36(5):451–9.
Dogterom M, Koenderink GH. Actin-microtubule crosstalk in cell biology. Nat Rev Mol Cell Bio. 2019;20:38–54.