Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Siêu phân giải hình ảnh stereo chính xác bằng cách sử dụng mạng tàn dư tăng cường sự chú ý không gian
Tóm tắt
Hình ảnh stereo có thể cải thiện hiệu suất siêu phân giải (SR) bằng cách cung cấp thông tin bổ sung từ một góc nhìn khác. Tuy nhiên, các phương pháp SR stereo dựa trên CNN hiện có chỉ hướng dẫn việc tái tạo các đặc tính tần số cao một cách gián tiếp, điều này cản trở khả năng biểu diễn của mạng. Để giải quyết vấn đề này, chúng tôi trước tiên giới thiệu cơ chế chú ý không gian vào SR stereo và đề xuất mô-đun tăng cường chú ý không gian (SAEM) tương ứng. SAEM có thể nắm bắt các tương quan đặc tính theo không gian và trực tiếp hướng dẫn việc tái tạo các đặc tính tần số cao trong chiều không gian. Bài báo này trình bày một mạng siêu phân giải tăng cường chú ý không gian mới (SAESRnet) cho hình ảnh stereo. Khả năng biểu diễn của mạng được tăng cường bởi SAEM, vì các thử nghiệm rộng rãi cho thấy SAESRnet của chúng tôi có thể đạt được độ chính xác tốt hơn và cải thiện về mặt hình ảnh so với các phương pháp SR stereo hiện có khác. Phương pháp của chúng tôi có thể vượt trội hơn PASSRnet với các mức tăng lần lượt là 0.30 dB, 0.26 dB và 0.26 dB xét về PSNR trên các bộ dữ liệu thử nghiệm Middlebury, KITTI2012 và KITTI2015. Ngoài ra, kết quả của các thí nghiệm cũng chứng minh rằng SAEM của chúng tôi cũng có thể có tác động tích cực đến việc cải thiện hiệu suất của siêu phân giải hình ảnh đơn (SISR).
Từ khóa
#siêu phân giải hình ảnh #hình ảnh stereo #mạng tàn dư #cơ chế chú ý không gianTài liệu tham khảo
Ahn N, Kang B, Sohn K (2018) Fast, accurate, and lightweight super-resolution with cascading residual network. In: Proceedings of the European conference on computer vision (ECCV), pp 252–268
Barzegar S, Sharifi A, Manthouri M (2020) Super-resolution using lightweight detailnet network. Multimed Tools Appl 79:1119–1136
Bhavsar AV, Rajagopalan AN (2010) Resolution enhancement in multi-image stereo. IEEE Trans Pattern AnalMach Intell 32(9):1721–1728
Chang K, Ding PLK, Li B (2018) Single image super resolution using joint regularization. IEEE Signal Proc Lett 25(4):596–600
Chen C, Qing C, Xu X, Dickinson P (2021) Cross parallax attention network for stereo image super-resolution. IEEE Trans Multimed 24:202–216
Chu J, Zhang J, Lu W, Huang X (2018) A novel multiconnected convolutional network for super-resolution. IEEE Signal Proc Lett 25(7):946–950
Dai T, Cai J, Zhang Y, Xia S.-T, Zhang L (2019) Second-order attention network for single image super-resolution. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp 11065–11074
Dong C, Loy CC, He K, Tang X (2014) Learning a deep convolutional network for image super-resolution. In: European conference on computer vision. Springer, pp 184–199
Geiger A, Lenz P, Urtasun R (2012) Are we ready for autonomous driving? the kitti vision benchmark suite. In: 2012 IEEE conference on computer vision and pattern recognition. IEEE, pp 3354–3361
Haris M, Shakhnarovich G, Ukita N (2018) Deep back-projection networks for super-resolution. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1664–1673
He K, Zhang X, Ren S, Sun J (2016) Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 770–778
Hu J, Shen L, Sun G (2018) Squeeze-and-excitation networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 7132–7141
Huang J (2020) Image super-resolution reconstruction based on generative adversarial network model with double discriminators. Multimed Tools Appl 79:29639–29662
Jeon DS, Baek S-H, Choi I, Kim MH (2018) Enhancing the spatial resolution of stereo images using a parallax prior. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1721–1730
Kim J, Lee JK, Lee KM (2016) Accurate image super-resolution using very deep convolutional networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1646–1654
Kim J, Lee JK, Lee KM (2016) Deeply-recursive convolutional network for image super-resolution. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1637–1645
Kingma D, Ba J (2015) Adam: a method for stochastic optimization. In: International Conference on Learning Representations (Poster)
Lai W-S, Huang J-B, Ahuja N, Yang M-H (2017) Deep laplacian pyramid networks for fast and accurate super-resolution. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 5835–5843
Li K, Wu Z, Peng K-C, Ernst J, Fu Y (2018) Tell me where to look: Guided attention inference network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 9215–9223
Li F, Cong R, Bai H, He Y (2020) Deep interleaved network for single image super-resolution with asymmetric co-attention. In: IJCAI, pp 537–543
Lim B, Son S, Kim H, Nah Sm, Lee KM (2017) Enhanced deep residual networks for single image super-resolution. In: Proceedings of the IEEE conference on computer vision and pattern recognition workshops, pp 1132–1140
Menze M, Geiger A (2015) Object scene flow for autonomous vehicles. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 3061–3070
Scharstein D (2014) H. Hirschm¨uller, Y. Kitajima, G. Krathwohl, N. Nesic, X. Wang and P. Westling, “high-resolution stereo datasets with subpixel-accurate ground truth,” in German Conf. For. Pattern Recogn 8753:31–42
Shen P, Zhang L, Wang M, Yin G (2021) Deeper super-resolution generative adversarial network with gradient penalty for sonar image enhancement. Multimed Tools Appl 80:28087–28107
Shi W, Caballero J, Huszár F, Totz J, Aitken AP, Bishop R, Rueckert D, Wang Z (2016) Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1637–1645
Song Z, Zhao X, Jiang H (2021) Gradual deep residual network for super-resolution. Multimed Tools Appl 80:9765–9778
Tai Y, Yang J, Liu X (2017) Image super-resolution via deep recursive residual network. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 2790–2798
Wang F, Jiang M, Qian C, Yang S, C. Li, Zhang H, Wang X, Tang X (2017) Residual attention network for image classification. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 6450–6458
Wang L, Wang Y, Liang Z, Lin Z, Yang J, An W, Guo Y (2019) Learning parallax attention for stereo image super-resolution. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp 12242–12251
Wang Y, Wang L, Yang J, An W, Guo Y (2019) Flickr1024: A large-scale dataset for stereo image super-resolution. In: Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops
Woo S, Park J, Lee J-Y, Kweon IS (2018) CBAM: Convolutional block attention module. In: Proceedings of the European conference on computer vision (ECCV), pp 3–19
Yang H, Tong J, Dou Q, Xiao L, Jeon G, Yang X (2021) Wide receptive field networks for single image super-resolution. Multimed Tools Appl 81:4859–4876
Ying X, Wang Y, Wang L, Sheng W, An W, Guo Y (2020) A stereo attention module for stereo image super-resolution. IEEE Signal Proc Lett 27:496–500
Zhang Y, Li K, Li K, Wang L, Zhong B and Fu Y (2018) Image super-resolution using very deep residual channel attention networks. In: Proceedings of the European conference on computervision (ECCV), pp 286–301
Zhang Y, Tian Y, Kong Y, Zhong B, Fu Y(2018) Residual dense network for image super-resolution. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 2472–2481
Zhu X, Guo K, Fang H, Chen L, Ren S Hu B (n.d.) “Cross View Capture for Stereo Image Super-Resolution,” in IEEE Transactions on Multimedia, https://doi.org/10.1109/TMM.2021.3092571