Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Căn chỉnh khung hình video cảnh phức tạp và loại bỏ mưa bằng cách kết hợp đa khung hình với mạng nơ-ron sâu
Tóm tắt
Mưa là một hiện tượng thời tiết phổ biến. Việc thu thập thông tin nền rõ ràng và chính xác khi quay video ngoài trời trong mưa là rất khó khăn. Đồng thời, những video này thường có độ sâu nền phức tạp và cảnh động mạnh mẽ. Để giải quyết vấn đề này, chúng tôi đề xuất một phương pháp hai giai đoạn để loại bỏ mưa trong video thông qua việc căn chỉnh các khung hình liền kề và kết hợp đa khung hình. Đối với các khung hình liền kề, đặc biệt là cho những cảnh động phức tạp lớn, chúng tôi kết hợp dòng quang học và sự khớp siêu điểm để đạt được sự căn chỉnh tinh vi của nội dung cảnh ở mức pixel và mức ngữ nghĩa. Dòng quang học được sử dụng để tiền xử lý việc căn chỉnh khung hình toàn cục. Trong khi đó, bởi vì phạm vi độ sâu cảnh hình ảnh lớn, chúng tôi phân đoạn hình ảnh cần loại bỏ mưa thành các đơn vị cảm nhận nhỏ hơn là siêu điểm (SP). Điều này giúp cân bằng nội dung cảnh của các khung hình liền kề tốt hơn và các chi tiết nội dung được bảo toàn. Các khung hình liền kề đã được căn chỉnh sẽ được sử dụng làm đầu vào cho quá trình kết hợp loại bỏ mưa tiếp theo. Ở giai đoạn kết hợp đa khung hình, một mạng nơ-ron sâu loại bỏ mưa kết hợp đa khung hình được thiết kế, sử dụng thông tin tạm thời và không gian từ nhiều khung hình để bù đắp và phục hồi các chi tiết của hình ảnh cần loại bỏ mưa, và xuất ra hình ảnh sạch. Các thí nghiệm cho thấy phương pháp của chúng tôi có thể đạt được kết quả loại bỏ mưa tốt. Kiểm tra hình ảnh cho thấy mưa đã được loại bỏ một cách hiệu quả hơn. Các thí nghiệm mở rộng trên loạt video tổng hợp và thực tế với dấu hiệu mưa xác nhận sự vượt trội của phương pháp đề xuất so với các phương pháp tiên tiến trước đó.
Từ khóa
#Loại bỏ mưa #căn chỉnh khung hình #mạng nơ-ron sâu #video phức tạp #kết hợp đa khung hìnhTài liệu tham khảo
Jiang T-X, Huang T-Z, Zhao X-L, Deng L-J, Wang Y (2018) Fastderain: a novel video rain streak removal method using directional gradient priors. IEEE Trans Image Process 28(4):2089–2102
Chen J, Tan CH, Hou J, Chau LP, Li H (2018) Robust video content alignment and compensation for rain removal in a CNN framework. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 6286–6295
Kang L-W, Lin C-W, Yu-Hsiang F (2011) Automatic single-image-based rain streaks removal via image decomposition. IEEE Trans Image Process 21(4):1742–1755
Luo Y, Xu Y, Ji H (2015) Removing rain from a single image via discriminative sparse coding. In: Proceedings of the IEEE international conference on computer vision, pp 3397–3405
Li Y, Tan RT, Guo X, Lu J, Brown MS (2016) Rain streak removal using layer priors. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 2736–2744
Fu X, Huang J, Zeng D, Huang Y, Ding X, Paisley J (2017) Removing rain from single images via a deep detail network. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 3855–3863
Yang W, Tan RT, Feng J, Liu J, Guo Z, Yan S (2017) Deep joint rain detection and removal from a single image. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1357–1366
Garg K, Nayar SK (2006) Photorealistic rendering of rain streaks. ACM Trans Gr (TOG) 25(3):996–1002
Jiang TX, Huang TZ, Zhao XL, Deng LJ, Wang Y (2017) A novel tensor-based video rain streaks removal approach via utilizing discriminatively intrinsic priors. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 4057–4066
Kim J-H, Sim J-Y, Kim C-S (2015) Video deraining and desnowing using temporal correlation and low-rank matrix completion. IEEE Trans Image Process 24(9):2658–2670
Fu YH, Kang LW, Lin CW, Hsu CT (2011) Single-frame-based rain removal via image decomposition. In: 2011 IEEE international conference on acoustics, speech and signal processing (ICASSP), IEEE, pp. 1453–1456
Chang Y, Yan L, Zhong S (2017) Transformed low-rank model for line pattern noise removal. In: Proceedings of the IEEE international conference on computer vision, pp 1726–1734
Zheng X, Liao Y, Guo W, Fu X, Ding X (2013) Single-image-based rain and snow removal using multi-guided filter. In: International conference on neural information processing, Springer, pp 258–265
Ding X, Chen L, Zheng X, Huang Y, Zeng D (2016) Single image rain and snow removal via guided l0 smoothing filter. Multimedia Tools Appl 75(5):2697–2712
Gu S, Meng D, Zuo W, Zhang L (2017) Joint convolutional analysis and synthesis sparse representation for single image layer separation. In: Proceedings of the IEEE international conference on computer vision, pp 1708–1716
Xueyang F, Huang J, Ding X, Liao Y, Paisley J (2017) Clearing the skies: a deep network architecture for single-image rain removal. IEEE Trans Image Process 26(6):2944–2956
Zhang H, Sindagi V, Patel VM (2019) Image de-raining using a conditional generative adversarial network. IEEE Trans Circuits Syst Video Technol 30(11):3943–3956
Fan Z, Wu H, Fu X, Huang Y, Ding X (2018) Residual-guide network for single image deraining. In: Proceedings of the 26th ACM international conference on multimedia, pp 1751–1759
Ren D, Zuo W, Hu Q, Zhu P, Meng D (2019) Progressive image deraining networks: a better and simpler baseline. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 3937–3946
Yang W, Tan RT, Feng J, Guo Z, Yan S, Liu J (2019) Joint rain detection and removal from a single image with contextualized deep networks. IEEE Trans Pattern Anal Mach Intell 42(6):1377–1393
Li R, Cheong LF, Tan RT (2019) Heavy rain image restoration: Integrating physics model and conditional adversarial learning. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 1633–1642
Wang H, Xie Q, Zhao Q, Meng D (2020) A model-driven deep neural network for single image rain removal. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 3103–3112
Chen C, Li H (2021) Robust representation learning with feedback for single image deraining. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 7742–7751
Huang H, Yu A, He R (2021) Memory oriented transfer learning for semi-supervised image deraining. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 7732–7741
Starik S, Werman M (2003) Simulation of rain in videos. In: Texture workshop, ICCV, vol 2, pp 406–409
Garg K, Nayar SK (2004) Detection and removal of rain from videos. In: Proceedings of the 2004 IEEE computer society conference on computer vision and pattern recognition, 2004. CVPR 2004, vol 1, IEEE, pp I–I
Garg K, Nayar SK (2007) Vision and rain. Int J Comput Vis 75(1):3–27
Kang LW, Lin CW, Lin CT, Lin YC (2012) Self-learning-based rain streak removal for image/video. In: 2012 IEEE international symposium on circuits and systems (ISCAS), IEEE, pp- 1871–1874
Chen YL, Hsu CT (2013) A generalized low-rank appearance model for spatio-temporally correlated rain streaks. In: Proceedings of the IEEE international conference on computer vision, pp 1968–1975
Wei W, Yi L, Xie Q, Zhao Q, Meng D, Xu Z (2017) Should we encode rain streaks in video as deterministic or stochastic? In: Proceedings of the IEEE international conference on computer vision, pp 2516–2525
Wang Y, Huang T-Z, Zhao X-L, Jiang T-X (2020) Video deraining via nonlocal low-rank regularization. Appl Math Model 79:896–913
Ren W, Tian J, Han Z, Chan A, Tang Y (2017) Video desnowing and deraining based on matrix decomposition. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 4210–4219
Li M, Xie Q, Zhao Q, Wei W, Gu S, Tao J, Meng D (2018) Video rain streak removal by multiscale convolutional sparse coding. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 6644–6653
Liu J, Yang W, Yang S, Guo Z (2018) Erase or fill? Deep joint recurrent rain removal and reconstruction in videos. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 3233–3242
Yang W, Liu J, Feng J (2019) Frame-consistent recurrent video deraining with dual-level flow. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 1661–1670
Yang W, Tan RT, Wang S, Liu J (2020) Self-learning video rain streak removal: when cyclic consistency meets temporal correspondence. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp 1720–1729
Yang W, Tan RT, Feng J, Wang S, Cheng B, Liu J (2021) Recurrent multi-frame deraining: combining physics guidance and adversarial learning. IEEE Trans Pattern Anal Mach Intel
Zongsheng Yue, Jianwen Xie, Qian Zhao, Deyu Meng (2021) Semi-supervised video deraining with dynamical rain generator. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 642–652
Achanta R, Shaji A (2010) Kevin Smith. Pascal Fua, and Sabine Süsstrunk. Slic superpixels. Technical report, Aurelien Lucchi
Olaf Ronneberger, Philipp Fischer, Thomas Brox (2015) U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer
Huynh-Thu Q, Ghanbari M (2008) Scope of validity of psnr in image/video quality assessment. Electron Lett 44(13):800–801
Wang Z, Bovik AC, Sheikh HR, Simoncelli EP (2004) Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process 13(4):600–612
Mittal A, Soundararajan R, Bovik AC (2012) Making a “completely blind’’ image quality analyzer. IEEE Signal Process Lett 20(3):209–212
Panetta K, Gao C, Agaian S (2015) Human-visual-system-inspired underwater image quality measures. IEEE J Oceanic Eng 41(3):541–551
Gunnar Farnebäck (2003) Two-frame motion estimation based on polynomial expansion. In Scandinavian conference on Image analysis, pages 363–370. Springer