Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Mạng nơ-ron sinh biểu diễn hồi tiếp đa cấp độ và chú ý toàn cục cho việc loại bỏ mưa trong hình ảnh đơn
Tóm tắt
Việc loại bỏ mưa là một bước tiền xử lý thiết yếu cho nhiều nhiệm vụ thị giác máy tính, chẳng hạn như lái xe tự động dựa trên thị giác. Các phương pháp hiện có thường phụ thuộc vào thông tin trước biết hoặc cấu trúc mạng xác định và do đó gặp khó khăn với chi phí tính toán cao. Để nâng cao hiệu suất để đáp ứng yêu cầu thời gian thực của lái xe tự động, chúng tôi đề xuất một mạng nơ-ron hồi tiếp học residual đa cấp độ mới với cơ chế chú ý toàn cục và kiến trúc mạng residual. Trong mạng Hồi tiếp Đa cấp độ Residual và Chú ý Toàn cục (tắt là RMRGN), chúng tôi sử dụng mô hình giai đoạn hồi tiếp để từng bước khai thác thông tin ngữ cảnh toàn cầu và chi tiết hình ảnh nhằm loại bỏ các vệt mưa một cách từ từ. Cơ chế chú ý toàn cục cho phép chúng tôi tập trung vào ý nghĩa ngữ cảnh ở mỗi giai đoạn hồi tiếp, từ đó giúp mạng phân biệt giữa các vệt mưa và hình ảnh không có mưa. Bằng cách khám phá thông tin chú ý, chúng tôi tiến thêm một bước nữa bằng cách đề xuất một mạng học residual sâu đa cấp để loại bỏ các vệt mưa trong một hình ảnh đơn. Các kết quả thực nghiệm toàn diện cho thấy RMRGN hoạt động hiệu quả hơn so với các phương pháp hiện đại nhất trong việc loại bỏ các vệt mưa.
Từ khóa
#mạng nơ-ron hồi tiếp #loại bỏ mưa #học residual #chú ý toàn cục #thị giác máy tính #lái xe tự độngTài liệu tham khảo
Cao Y, Xu J, Lin S, Wei F, Hu H (2019) Gcnet: Non-local networks meet squeeze-excitation networks and beyond. In: Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, pp 00,
Chen YL, Hsu CT (2013) A generalized low-rank appearance model for spatio-temporally correlated rain streaks. In: Proceedings of the IEEE international conference on computer vision, pp 1968–1975
Collins Robert T, Lipton Alan J, Takeo K, Hironobu F, David D, Yanghai T, David T, Nobuyoshi E, Osamu H, Peter B et al (2000) A system for video surveillance and monitoring. VSAM Final Rep 1(2000):1–68
Eigen D, Krishnan D, Fergus R (2013) Restoring an image taken through a window covered with dirt or rain. In: Proceedings of the IEEE international conference on computer vision, pp 633–640
Fan Z, Wu H, Fu X , Hunag Y, Ding X (2018) Residual-guide feature fusion network for single image deraining. arXiv preprint arXiv: 1804.07493
Farenzena M , Bazzani L , Perina A , Murino V , Cristani M (2010) Person re-identification by symmetry-driven accumulation of local features. In: 2010 IEEE computer society conference on computer vision and pattern recognition, pp 2360–2367. IEEE
Fu X, Huang J, Ding X, Liao Y, Paisley J (2017) Clearing the skies: a deep network architecture for single-image rain removal. IEEE Trans Image Process 26(6):2944–2956
Fu X, Huang J, Zeng D, Huang Y, Ding X, Paisley J (2017) Removing rain from single images via a deep detail network. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 3855–3863
Fu X, Liang B, Huang Y, Ding X, Paisley J (2019) Lightweight pyramid networks for image deraining. IEEE Trans Neural Netw Learn Syst 31(6):1794–1807
Han P, Liu G, Huang S, Yuan W, Lu Z (2016) Segmentation with selectively propagated constraints. In: International conference on neural information processing, pp 585–592. Springer
Han P, Shang S, Sun A, Zhao P, Zheng K, Zhang X (2021) Point-of-interest recommendation with global and local context. IEEE Trans Knowl Data Eng
He K, Sun J, Tang X (2012) Guided image filtering. IEEE Trans Pattern Anal Mach Intell 35(6):1397–1409
He K, Zhang X, Ren S, Sun J (2016) Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 770–778
Hu H, Gu J, Zhang Z, Dai J, Wei Y (2018) Relation networks for object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 3588–3597
Huynh-Thu Q, Ghanbari M (2008) Scope of validity of PSNR in image/video quality assessment. Electron Lett 44(13):800–801
Itti L, Koch C, Niebur E (1998) A model of saliency-based visual attention for rapid scene analysis. IEEE Trans Pattern Anal Mach Intell 20(11):1254–1259
Kang LW, Lin CW, Fu YH (2011) Automatic single-image-based rain streaks removal via image decomposition. IEEE Trans Image Process 21(4):1742–1755
Kingma DP, Ba J (2014) A method for stochastic optimization. arXiv:1412.6980
Li X, Wu J, Lin Z, Liu H, Zha H (2018) Recurrent squeeze-and-excitation context aggregation net for single image deraining. In: Proceedings of the European Conference on Computer Vision (ECCV)
Li Y, Tan RT, Guo X, Lu J, Brown MS (2016) Rain streak removal using layer priors. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 2736–2744
Lin H, Li Y, Fu X, Ding X, Huang Y, Paisley J (2020) Rain o’er me: Synthesizing real rain to derain with data distillation. IEEE Trans Image Process 29:7668–7680
Luo Y, Xu Y, Ji H (2015) Removing rain from a single image via discriminative sparse coding. In: Proceedings of the IEEE International Conference on Computer Vision, pp 3397–3405
Maji S, Berg AC, Malik J (2008) Classification using intersection kernel support vector machines is efficient. In: 2008 IEEE conference on computer vision and pattern recognition, pp 1–8. IEEE
Mandic D, Chambers J (2001) Recurrent neural networks for prediction: learning algorithms, architectures and stability. Wiley, New York
Mirza M, Osindero S (2014) Conditional generative adversarial nets. arXiv:1411.1784
Nair V, Hinton GE (2010) Rectified linear units improve restricted boltzmann machines. In: Icml
Niu Y, Lu Z, Huang S, Han P, Wen JR (2015) Weakly supervised matrix factorization for noisily tagged image parsing. In: IJCAI
Paszke A, Gross S, Chintala S, Chanan G, Yang E, DeVito Z, Lin Z, Desmaison A, Antiga L, Lerer A, Automatic differentiation in pytorch, Alban Desmaison
Ren D, Zuo W, Hu Q, Zhu P, Meng D (2019) Progressive image deraining networks: A better and simpler baseline. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp 3937–3946
Simonyan K, Zisserman A (2014) Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv: 1409.1556
Sun H, Ang MH, Rus D (2019) A convolutional network for joint deraining and dehazing from a single image for autonomous driving in rain. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp 962–969. IEEE
Szegedy C, Liu W, Jia Y, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V, Rabinovich A (2015) Going deeper with convolutions. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1–9
Tomasi C, Manduchi R (1998) Bilateral filtering for gray and color images. In: Sixth international conference on computer vision (IEEE Cat. No. 98CH36271), pp 839–846. IEEE
Wang X, Girshick R, Gupta A, Kaiming H (2018) Non-local neural networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 7794–7803
Wang Z, Bovik AC, Sheikh HR, Simoncelli EP (2004) Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process 13(4):600–612
Wei W, Meng D, Zhao Q, Xu Z, Wu Y (2019) Semi-supervised transfer learning for image rain removal. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 3877–3886
Xingjian SH, Chen Z, Wang H, Yeung DY, Wong WK, Woo WC (2015) Convolutional lstm network: A machine learning approach for precipitation nowcasting. In: Advances in neural information processing systems, pp 802–810
Yang W, Tan RT, Feng J, Liu J, Guo Z, Yan S (2017) Deep joint rain detection and removal from a single image. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1357–1366
Yu F, Koltun V (2015) Multi-scale context aggregation by dilated convolutions. arXiv: 1511.07122
Zhang H, Dana K, Shi J, Zhang Z, Wang X, Tyagi A (2018) Context encoding for semantic segmentation. In: Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pp 7151–7160
Zhang H, Sindagi V, Patel VM (2019) Image de-raining using a conditional generative adversarial network. IEEE Trans Circuits Syst Video Technol 30(11):3943–3956
Zhu L, Fu CW, Lischinski D, Heng PA (2017) Joint bi-layer optimization for single-image rain streak removal. In: Proceedings of the IEEE international conference on computer vision, pp 2526–2534