Một phương pháp tái cấu trúc hình ảnh siêu phân giải hiệu quả dựa trên mạng nơ-ron tích chập sâu chuẩn hóa dựa trên entropy không gian

Multimedia Tools and Applications - Tập 81 - Trang 18737-18753 - 2022
R. Ramya1, M. Senthilmurugan2
1Sri Balaji Vidyapeeth (Deemed to be University), Pondicherry, India
2AVC College of Engineering, Mayiladuthurai, India

Tóm tắt

Mục tiêu chính của Siêu Phân Giải (SR) là thu được hình ảnh chất lượng cao với độ phân giải cao từ những hình ảnh Độ Phân Giải Thấp (LR). Trong nhiều hệ thống thị giác máy tính, SR từ một hình ảnh đơn lẻ đóng một vai trò thiết yếu. Một vấn đề lớn trong tái cấu trúc ảnh SR là việc thu nhận hình ảnh có độ phân giải cao (HR) từ một hình ảnh LR đơn lẻ hoặc nhiều hình ảnh LR có sự thay đổi dưới pixel. Hiện nay, phương pháp dựa trên học máy đã được phát triển từ các hình ảnh HR cho các hình ảnh LR với chất lượng tốt hơn. Công trình này trình bày một mạng nơ-ron tích chập sâu (SNDCN) dựa trên chuẩn hóa entropy không gian (SPED) để tái cấu trúc SR với các hiện tượng không mong muốn được giảm thiểu. Ban đầu, các hình ảnh đầu vào LR được tiền xử lý bằng cách sử dụng bộ lọc làm mịn tuyến tính trọng số thích ứng (AWLS). Sau đó, các hình ảnh đã được làm mịn qua xử lý được áp dụng kỹ thuật ngưỡng kép thời gian thực thích ứng (ARDT) để bảo tồn các cạnh. Ở đây, quá trình bảo tồn cạnh sử dụng ARDT nhằm nâng cao chất lượng hình ảnh. Cuối cùng, SNDCN được sử dụng để xây dựng các hình ảnh SR. Kết quả thực nghiệm của kỹ thuật này chứng minh rằng các thước đo hiệu suất khác nhau đạt được việc tái cấu trúc hình ảnh siêu phân giải tốt hơn so với các phương pháp hiện có. Ngoài ra, phương pháp đề xuất hoàn thành quy trình tái cấu trúc trong 18 giây và đạt được giá trị PSNR 34 dB cho hệ số tỉ lệ 4, cho thấy sự nổi bật của phương pháp đề xuất so với các phương pháp hiện tại.

Từ khóa

#Siêu phân giải #mạng nơ-ron tích chập sâu #giả lập ảnh #tiền xử lý hình ảnh #bảo tồn cạnh.

Tài liệu tham khảo

Bai K, Liao X, Zhang Q, Jia X, Liu S (2020) Survey of learning based single image super-resolution reconstruction technology. Pattern Recognit Image Anal 30(4):567–577 Chen Y, Wang J, Chen X, Zhu M, Yang K, Wang Z, Xia R (2019) Single-image super-resolution algorithm based on structural self-similarity and deformation block features. IEEE Access 7:58791–58801 Du J, Wang L, Gholipour A, He Z and Jia Y (2018) Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network. In: 2018 IEEE international conference on bioinformatics and biomedicine (BIBM), pp 349–355 Fang F, Li J, Zeng T (2020) Soft-edge assisted network for single image super-resolution. IEEE Trans Image Process 29:4656–4668 Ha VK, Ren J, Xu X, Liao W, Zhao S, Ren J, Yan G (2020 Dec) Optimized highway deep learning network for fast single image super-resolution reconstruction. J Real-Time Image Proc 17(6):1961–1970 Jiang J, Ma X, Chen C, Lu T, Wang Z, Ma J (2017) Single image super-resolution via locally regularized anchored neighborhood regression and nonlocal means. IEEE Trans Multimed 19(1):15–26 Kim J-H and Lee J-S (2018) Deep residual network with enhanced upscaling module for super-resolution In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp 7 Kim J, Lee JK and Lee KM (2016) Accurate image super-resolution using very deep convolutional networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1646-1654 Lai W-S, Huang J-B, Ahuja N, Yang M-H (2018) Fast and accurate image super-resolution with deep laplacian pyramid networks. IEEE Trans Pattern Anal Mach Intell 41(11):2599–2613 Lin G, Wu Q, Qiu L, Huang X (2018) Image super-resolution using a dilated convolutional neural network. Neurocomputing 275:1219–1230 Liu P and Hong Y (2019) Single image super-resolution using adaptive upsampling convolutional network. In: 2019 IEEE 8th joint international information technology and artificial intelligence conference (ITAIC), pp 726-730 Liu Y, Yao J, Lu X, Xia M, Wang X, Liu Y (2018) RoadNet: learning to comprehensively analyze road networks in complex urban scenes from high-resolution remotely sensed images. IEEE Trans Geosci Remote Sens 57(4):2043–2056 Nandi D, Karmakar J, Kumar A, Mandal MK (2019) Sparse representation based multi-frame image super-resolution reconstruction using adaptive weighted features. IET Image Process 13(4):663–672 Qin J, Huang Y, Wen W (2020) Multi-scale feature fusion residual network for single image super-resolution. Neurocomputing 379:334–342 Qiu D, Zheng L, Zhu J, Huang D (2021) Multiple improved residual networks for medical image super-resolution. Futur Gener Comput Syst 116:200–208 Sánchez-García E, Balaguer-Beser Á, Almonacid-Caballer J, Pardo-Pascual JE (2019) A new adaptive image interpolation method to define the shoreline at sub-pixel level. Remote Sens 11(16):1880 Solanki P, Israni D, Shah A (2018) An efficient satellite image super resolution technique for shift-variant images using improved new edge directed interpolation. Stat Optim Inf Comput 6(4):619–632 Song T-A, Chowdhury SR, Yang F, Dutta J (2020) Super-resolution PET imaging using convolutional neural networks. IEEE Trans Comput Imaging 6:518–528 Suryanarayana G, Dhuli R (2017) Super-resolution image reconstruction using dual-mode complex diffusion-based shock filter and singular value decomposition. Circuit Syst Signal Process 36(8):3409–3425 Tang Y, Huang J, Zhang F, Gong W (2020) Deep residual networks with a fully connected reconstruction layer for single image super-resolution. Neurocomputing 405:186–199 Wang X, Zhou D, Zeng N, Yu X, Hu S (2018) Super-resolution image reconstruction using surface fitting with hierarchical structure. J Vis Commun Image Represent 53:65–75 Wu Z, Wang H (2016) Super-resolution reconstruction of SAR image based on non-local means denoising combined with BP neural network.arXiv preprint arXiv:1612.04755 Yang CY, Ma C, Yang MH (2014) Single-image super-resolution: a benchmark. In: European Conference on Computer Vision, pp 372–386 Yang Q, Zhang Y, Zhao T, Chen YQ (2018) Single image super-resolution using self-optimizing mask via fractional-order gradient interpolation and reconstruction. ISA Trans 82:163–171 Yang C, Qi D, Cao F, He Y, Wang X, Wen W, Tian J, Jia T, Sun Z, Zhang S (2019) Improving the image reconstruction quality of compressed ultrafast photography via an augmented Lagrangian algorithm. J Opt 21(3):035703 Yoon Y, Jeon H-G, Yoo D, Lee J-Y, Kweon IS (2017) Light-field image super-resolution using convolutional neural network. IEEE Signal Process Lett 24(6):848–852 Zeng K, Ding S, Jia W (2019) Single image super-resolution using a polymorphic parallel CNN. Appl Intell 49(1):292–300 Zhang Y, Fan Q, Bao F, Liu Y, Zhang C (2018) Single-image super-resolution based on rational fractal interpolation. IEEE Trans Image Process 27(8):3782–3797 Zheng H, Zeng K, Guo D, Ying J, Yang Y, Peng X, Huang F, Chen Z, Qu X (2018) Multi-contrast brain MRI image super-resolution with gradient-guided edge enhancement. IEEE Access 6:57856–57867