Học Tập Chọn Lọc Wavelet Attention cho Việc Khôi Phục Hình Ảnh Đơn Trong Điều Kiện Mưa

Springer Science and Business Media LLC - Tập 129 - Trang 1282-1300 - 2021
Huaibo Huang1,2,3, Aijing Yu1,2,3, Zhenhua Chai4, Ran He1,5,2,3, Tieniu Tan1,5,2,3
1National Laboratory of Pattern Recognition, CASIA, Beijing, China
2Center for Research on Intelligent Perception and Computing, CASIA, Beijing, China
3School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China
4Vision Intelligence Center, AI Platform, Meituandianping Group, Beijing, China
5Center for Excellence in Brain Science and Intelligence Technology, CAS, Beijing, China

Tóm tắt

Việc khôi phục hình ảnh sạch từ một hình ảnh có mưa được gọi là khôi phục hình ảnh đơn trong điều kiện mưa. Các phương pháp hiện nay đã sử dụng các kỹ thuật học sâu để loại bỏ mưa khỏi hình ảnh đơn bằng cách tận dụng một số thông tin trước đó. Tuy nhiên, do sự đa dạng về hình thức của các vệt mưa và sự tích tụ, rất khó để phân tách thông tin mưa và nền trong không gian nhúng, điều này dẫn đến việc khôi phục không chính xác. Để giải quyết vấn đề này, bài báo này đề xuất một phương pháp học tập lựa chọn wavelet attention bằng cách học một loạt bản đồ wavelet attention để hướng dẫn việc phân tách thông tin mưa và nền trong cả không gian và miền tần số. Khía cạnh chính của phương pháp của chúng tôi là sử dụng biến đổi wavelet để học nội dung và cấu trúc của các đặc trưng có mưa vì các đặc trưng tần số cao nhạy hơn với sự suy giảm do mưa, trong khi các đặc trưng tần số thấp giữ lại nhiều nội dung nền hơn. Trước tiên, chúng tôi phát triển một mạng mã hóa - giải mã wavelet attention chọn lọc để học các bản đồ wavelet attention hướng dẫn sự phân tách giữa các đặc trưng có mưa và nền ở nhiều thang đo khác nhau. Trong khi đó, chúng tôi giới thiệu định hình wavelet và không định hình vào mạng mã hóa - giải mã, việc này cho thấy sự vượt trội trong việc học các biểu diễn ngày càng trừu tượng trong khi vẫn giữ lại các chi tiết nền. Ngoài ra, chúng tôi đề xuất việc học căn chỉnh tiềm ẩn để giám sát các đặc trưng nền cũng như tăng cường dữ liệu đào tạo để cải thiện độ chính xác của việc khôi phục. Cuối cùng, chúng tôi sử dụng một mạng phân biệt phân cấp dựa trên wavelet attention chọn lọc để cải thiện tính chân thực hình ảnh của các kết quả được tạo ra cả toàn cục lẫn cục bộ. Các thử nghiệm rộng rãi trên các tập dữ liệu tổng hợp và thực tế chứng minh rằng phương pháp đề xuất đạt được kết quả hấp dẫn hơn cả về định lượng lẫn định tính so với các phương pháp hiện tại tiên tiến nhất.

Từ khóa

#khôi phục hình ảnh #mưa #học sâu #wavelet attention #phân tách thông tin

Tài liệu tham khảo

Billings, S. A., & Wei, H. L. (2005). A new class of wavelet networks for nonlinear system identification. IEEE Transactions on Neural Networks, 16(4), 862–874.

Chen, X., Xu, C., Yang, X., & Tao, D. (2018). Attention-gan for object transfiguration in wild images. In European conference on computer vision, pp. 164–180.

De Silva, D., Vithanage, H., Fernando, K., & Piyatilake, I. (2020). Multi-path learnable wavelet neural network for image classification. In International conference on machine vision, vol. 11433, p. 1143310.

Deco, G., & Zihl, J. (2001). A neurodynamical model of visual attention: Feedback enhancement of spatial resolution in a hierarchical system. Journal of Computational Neuroscience, 10(3), 231–253.

Deng, X., Yang, R., Xu, M., & Dragotti, P. L. (2019). Wavelet domain style transfer for an effective perception-distortion tradeoff in single image super-resolution. In IEEE international conference on computer vision, pp. 3076–3085.

Eigen, D., Krishnan, D., & Fergus, R. (2013). Restoring an image taken through a window covered with dirt or rain. In IEEE international conference on computer vision, pp. 633–640.

Fan, Z., Wu, H., Fu, X., Huang, Y., & Ding, X. (2018). Residual-guide network for single image deraining. In ACM international conference on multimedia, pp. 1751–1759.

Fu, X., Huang, J., Ding, X., Liao, Y., & Paisley, J. (2017a). Clearing the skies: A deep network architecture for single-image rain removal. IEEE Transactions on Image Processing, 26(6), 2944–2956.

Fu, X., Huang, J., Zeng, D., Huang, Y., Ding, X., & Paisley, J. (2017b). Removing rain from single images via a deep detail network. In IEEE conference on computer vision and pattern recognition, pp. 3855–3863.

Fu, X., Liang, B., Huang, Y., Ding, X., & Paisley, J. (2019). Lightweight pyramid networks for image deraining. IEEE Transactions on Neural Networks and Learning Systems.

Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets. In Advances in neural information processing systems, pp. 2672–2680.

Hu, J., Shen, L., & Sun, G. (2018). Squeeze-and-excitation networks. In IEEE conference on computer vision and pattern recognition, pp. 7132–7141.

Hu, X., Fu, C. W., Zhu, L., & Heng, P. A. (2019). Depth-attentional features for single-image rain removal. In IEEE conference on computer vision and pattern recognition, pp. 8022–8031.

Huang, H., He, R., Sun, Z., & Tan, T. (2017). Wavelet-srnet: A wavelet-based cnn for multi-scale face super resolution. In IEEE international conference on computer vision, pp. 1689–1697.

Huang, H., He, R., Sun, Z., & Tan, T. (2019). Wavelet domain generative adversarial network for multi-scale face hallucination. International Journal of Computer Vision, 127(6–7), 763–784.

Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2017). Image-to-image translation with conditional adversarial networks. In IEEE conference on computer vision and pattern recognition, pp. 1125–1134.

Kang, L. W., Lin, C. W., & Fu, Y. H. (2011). Automatic single-image-based rain streaks removal via image decomposition. IEEE Transactions on Image Processing, 21(4), 1742–1755.

Kuen, J., Wang, Z., & Wang, G. (2016). Recurrent attentional networks for saliency detection. In IEEE conference on computer vision and pattern recognition, pp. 3668–3677.

Li, G., He, X., Zhang, W., Chang, H., Dong, L., & Lin, L. (2018a). Non-locally enhanced encoder-decoder network for single image de-raining. In ACM international conference on multimedia, pp. 1056–1064.

Li, R., Cheong, L. F., & Tan, R. T. (2017). Single image deraining using scale-aware multi-stage recurrent network. arXiv:1712.06830.

Li, R., Cheong, L. F., & Tan, R. T. (2019). Heavy rain image restoration: Integrating physics model and conditional adversarial learning. In IEEE conference on computer vision and pattern recognition, pp. 1633–1642.

Li, X., Wu, J., Lin, Z., Liu, H., & Zha, H. (2018b). Recurrent squeeze-and-excitation context aggregation net for single image deraining. In European conference on computer vision, pp. 254–269.

Li, Y., Tan, R. T., Guo, X., Lu, J., & Brown, M. S. (2016). Rain streak removal using layer priors. In IEEE conference on computer vision and pattern recognition, pp. 2736–2744.

Lim, B., Son, S., Kim, H., Nah, S., & Mu Lee, K. (2017). Enhanced deep residual networks for single image super-resolution. In IEEE conference on computer vision and pattern recognition workshops, pp. 136–144.

Liu, P., Zhang, H., Zhang, K., Lin, L., & Zuo, W. (2018). Multi-level wavelet-cnn for image restoration. In IEEE conference on computer vision and pattern recognition workshops, pp. 773–782.

Luo, Y., Xu, Y., & Ji, H. (2015). Removing rain from a single image via discriminative sparse coding. In IEEE international conference on computer vision, pp. 3397–3405.

Mallat, S. (1996). Wavelets for a vision. Proceedings of the IEEE, 84(4), 604–614.

Mallat, S. G. (1989). A theory for multiresolution signal decomposition: The wavelet representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 11(7), 674–693.

Mao, X., Li, Q., Xie, H., Lau, R. Y., Wang, Z., & Smolley, S. P. (2017). Least squares generative adversarial networks. In IEEE international conference on computer vision, pp. 2813–2821.

Mirza, M., & Osindero, S. (2014). Conditional generative adversarial nets. arXiv:1411.1784.

Pan, J., Liu, S., Sun, D., Zhang, J., Liu, Y., Ren, J., Li, Z., Tang, J., Lu, H., Tai, Y. W., et al. (2018). Learning dual convolutional neural networks for low-level vision. In IEEE conference on computer vision and pattern recognition, pp. 3070–3079.

Provenzi, E., & Caselles, V. (2014). A wavelet perspective on variational perceptually-inspired color enhancement. International Journal of Computer Vision, 106(2), 153–171.

Qian, R., Tan, R. T., Yang, W., Su, J., & Liu, J. (2018). Attentive generative adversarial network for raindrop removal from a single image. In IEEE conference on computer vision and pattern recognition, pp. 2482–2491.

Ren, D., Zuo, W., Hu, Q., Zhu, P., & Meng, D. (2019). Progressive image deraining networks: A better and simpler baseline. In IEEE conference on computer vision and pattern recognition, pp. 3937–3946.

Rensink, R. A. (2000). The dynamic representation of scenes. Visual Cognition, 7(1–3), 17–42.

Szu, H. H., Telfer, B. A., & Kadambe, S. L. (1992). Neural network adaptive wavelets for signal representation and classification. Optical Engineering, 31(9), 1907–1917.

Treisman, A. (1982). Perceptual grouping and attention in visual search for features and for objects. Journal of Experimental Psychology: Human Perception and Performance, 8(2), 194.

Treisman, A. M., & Gelade, G. (1980). A feature-integration theory of attention. Cognitive Psychology, 12(1), 97–136.

Wang, F., Jiang, M., Qian, C., Yang, S., Li, C., Zhang, H., Wang, X., & Tang, X. (2017). Residual attention network for image classification. In IEEE conference on computer vision and pattern recognition, pp. 3156–3164.

Wang, G., Sun, C., & Sowmya, A. (2019a). Erl-net: Entangled representation learning for single image de-raining. In IEEE international conference on computer vision, pp. 5644–5652.

Wang, T., Yang, X., Xu, K., Chen, S., Zhang, Q., & Lau, R. W. (2019b). Spatial attentive single-image deraining with a high quality real rain dataset. In IEEE conference on computer vision and pattern recognition, pp. 12270–12279.

Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., & He, X. (2018). Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In IEEE conference on computer vision and pattern recognition, pp. 1316–1324.

Yang, J., Kannan, A., Batra, D., & Parikh, D. (2017a). Lr-gan: Layered recursive generative adversarial networks for image generation. arXiv:1703.01560.

Yang, W., Tan, R. T., Feng, J., Liu, J., Guo, Z., & Yan, S. (2017b). Deep joint rain detection and removal from a single image. In IEEE conference on computer vision and pattern recognition, pp. 1357–1366.

Yang, W., Liu, J., Yang, S., & Guo, Z. (2019a). Scale-free single image deraining via visibility-enhanced recurrent wavelet learning. IEEE Transactions on Image Processing, 28(6), 2948–2961.

Yang, W., Tan, R. T., Wang, S., Fang, Y., & Liu, J. (2019b). Single image deraining: From model-based to data-driven and beyond. arXiv:1912.07150.

Yasarla, R., & Patel, V. M. (2019). Uncertainty guided multi-scale residual learning-using a cycle spinning cnn for single image de-raining. In IEEE conference on computer vision and pattern recognition, pp. 8405–8414.

Yoo, J., Uh, Y., Chun, S., Kang, B., & Ha, J. W. (2019). Photorealistic style transfer via wavelet transforms. In IEEE international conference on computer vision, pp. 9036–9045.

You, S., Tan, R. T., Kawakami, R., Mukaigawa, Y., & Ikeuchi, K. (2015). Adherent raindrop modeling, detectionand removal in video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(9), 1721–1733.

Yuan, B., Wang, C., Jiang, F., Long, M., Yu, P. S., & Liu, Y. (2019). Waveletfcnn: A deep time series classification model for wind turbine blade icing detection. arXiv:1902.05625.

Zagoruyko, S., & Komodakis, N. (2016). Paying more attention to attention: Improving the performance of convolutional neural networks via attention transfer. arXiv:1612.03928.

Zhang, H., & Patel, V. M. (2018). Density-aware single image de-raining using a multi-stream dense network. In IEEE conference on computer vision and pattern recognition, pp. 695–704.

Zhang, H., Goodfellow, I., Metaxasm D., & Odena, A. (2018). Self-attention generative adversarial networks. arXiv:1805.08318.

Zhang, H., Sindagi, V., & Patel, V. M. (2019). Image de-raining using a conditional generative adversarial network. IEEE Transactions on Circuits and Systems for Video Technology.

Zhang, Q., & Benveniste, A. (1992). Wavelet networks. IEEE Transactions on Neural Networks, 3(6), 889–898.

Zhang, R. (2019). Making convolutional networks shift-invariant again. In International conference on machine learning, pp. 7324–7334.

Zhong, Z., Shen, T., Yang, Y., Linm Z., & Zhang, C. (2018). Joint sub-bands learning with clique structures for wavelet domain super-resolution. In Advances in neural information processing systems, pp. 165–175.

Zhu, L., Fu, C. W., Lischinski, D., & Heng, P. A. (2017). Joint bi-layer optimization for single-image rain streak removal. In IEEE international conference on computer vision, pp. 2526–2534.

Thông tin
Thông tin xuất bản

Springer Science and Business Media LLC

Tập 129

1282-1300

Thông tin tác giả