Khử sương từ hình ảnh đơn bằng mô hình mạng nơ-ron đa tỉ lệ kép

Signal, Image and Video Processing - Tập 17 - Trang 1643-1651 - 2022
Yong Wang1, Xinchao Li1
1College of Communication Engineering, Jilin University, Changchun, China

Tóm tắt

Hình ảnh được thu từ các hệ thống thu nhận hình ảnh trong những cảnh có sương mù hoặc khói thường chứa các chi tiết bị thiếu, màu sắc nhạt và độ sáng giảm. Để giải quyết vấn đề này, mô hình mạng nơ-ron đa tỉ lệ kép dựa trên lý thuyết AOD được đề xuất trong bài báo này. Đầu tiên, hai tham số, đó là hệ số truyền sáng và hệ số lớp khí quyển, của mô hình tán xạ khí quyển được kết hợp thành một tham số duy nhất. Mô hình mạng nơ-ron mới được đề xuất trong bài báo này sau đó được sử dụng để huấn luyện tham số này. Mô hình mạng được đề xuất bao gồm hai mô-đun đa tỉ lệ và một mô-đun ánh xạ. Để trích xuất các đặc điểm hình ảnh hoàn hảo hơn, bài báo thiết kế hai mô-đun đa tỉ lệ cho việc trích xuất đặc điểm. Các tham số tích chập của Mô-đun đa tỉ lệ 1 được thiết kế để giữ nguyên kích thước của hình ảnh gốc trong quá trình trích xuất đặc điểm bằng cách thêm pooling, sampling, v.v. Sau mỗi phép toán tích chập, mô-đun đa tỉ lệ 2 sử dụng nhiều hạt nhân tích chập kích thước nhỏ cho tích chập, trong đó phép toán concat được thêm vào để kết nối tốt hơn các hạt nhân riêng lẻ, mô-đun ánh xạ ánh xạ các hình ảnh bị sương mù lên bản đồ đặc điểm đã được trích xuất và có khả năng trích xuất nhiều chi tiết hơn từ hình ảnh gốc để đạt được kết quả khử sương tốt hơn sau quá trình xử lý. Huấn luyện được thực hiện để suy ra mô hình tham số thống nhất cho việc khử sương hình ảnh, và cuối cùng, hình ảnh đã được khử sương được thu nhận bằng cách sử dụng mô hình ước lượng tham số này. Kết quả thực nghiệm cho thấy mô hình được đề xuất trong bài báo này không chỉ vượt trội hơn mạng AOD về tỉ số tín hiệu đỉnh trên nhiễu, sự tương đồng cấu trúc và góc nhìn chủ quan mà còn vượt qua các phương pháp học sâu và truyền thống chủ đạo về mặt khử sương hình ảnh; hơn nữa, các hình ảnh đã được khử sương được tối ưu hóa về chi tiết, màu sắc và độ sáng. Ngoài ra, các thí nghiệm loại bỏ đã chứng minh rằng tất cả các cấu trúc trong bài báo này là cần thiết.

Từ khóa

#khử sương #mạng nơ-ron đa tỉ lệ #tán xạ khí quyển #đặc điểm hình ảnh #đào tạo mô hình

Tài liệu tham khảo

He, K., Sun, J., Tang, X.: Single image haze removal using dark channel prior. IEEE T. Pattern Anal. Mach. Intell. 33(12), 2341–2353 (2011). https://doi.org/10.1109/TPAMI.2010.168

Tarel, J., Hautière, N.: Fast visibility restoration from a single color or gray level image. In: 2009 IEEE 12th Int. Conf. Comput. Vis. pp 2201–2208 (2009). https://doi.org/10.1109/ICCV.2009.5459251

Sulami, M., Glatzer, I., Fattal, R., Werman, M.: Automatic recovery of the atmospheric light in hazy images. In: 2014 IEEE Int. Conf. Comput. Photogr. pp 1–11 (2014)

Cai, B., Xu, X., Jia, K., Qing, C., Tao, D.: DehazeNet: an end-to-end system for single image haze removal. IEEE Trans. Image Process. 25(11), 5187–5198 (2016). https://doi.org/10.1109/TIP.2016.2598681

Li, B., Zhao, J., Fu, H.: DLT-Net: deep learning transmittance network for single imagehaze removal. Signal Image Video Process. 14(6), 1245–1253 (2020). https://doi.org/10.1007/s11760-020-01665-9

Li, B., Peng, X., Wang, Z., Xu, J., Feng, D.: AOD-Net: All-in-One Dehazing Network, In: 2017 IEEE Int. Conf. Comput. Vis. pp 4780–4788 (2017). https://doi.org/10.1109/ICCV.2017.511

Zhang, S., He, F., Ren, W., Yao, J.: Joint learning of image detail and transmission map for single image dehazing. Vis. Comput. 36, 305–316 (2020). https://doi.org/10.1007/s00371-018-1612-9

Wang, A., Wang, W., Liu, J., Gu, N.: AIPNet: image-to-image single image dehazing with atmospheric illumination prior. IEEE T. Image Process. 28(1), 381–393 (2019). https://doi.org/10.1109/TIP.2018.2868567

Santra, S., Mondal, R., Chanda, B.: Learning a patch quality comparator for single image dehazing. IEEE T. Image Process. 27(9), 4598–4607 (2018). https://doi.org/10.1109/TIP.2018.2841198

Huang, Y., Wang, Y., Su, Z.: Single image dehazing via a joint deep modeling. In: 2018 25th IEEE Int. Conf. Image Process. pp 2840–2844 (2018). https://doi.org/10.1109/ICIP.2018.8451663

Zhang, S., He, F., Yao, J.: Single image dehazing using deep convolution neural networks. Pac. RIM Conf. Multimed. 10735, 128–137 (2017). https://doi.org/10.1007/978-3-319-77380-3_13

Chen, D., He M., Fan, Q., Liao, J., Zhang, L., Hou, D., Yuan, L., Hua, G.: Gated context aggregation network for image dehazing and deraining. In: 2019 IEEE Winter Conf. Appl. Comput. Vis. pp 1375–1383 (2019). https://doi.org/10.1109/WACV.2019.00151

Kim, G., Ha, S., and Kwon, J.: Adaptive patch based convolutional neural network for robust dehazing. In: 2018 25th IEEE Int. Conf. Image Process. pp 2845–2849, (2018). https://doi.org/10.1109/ICIP.2018.8451252

Li, C., Guo, J., Porikli, F., Fu, H., Pang, Y.: A cascaded convolutional neural network for single image dehazing. IEEE Access 6, 24877–24887 (2018). https://doi.org/10.1109/ACCESS.2018.2818882

Song, Y., Li, J., Wang, X., Chen, X.: Single image dehazing using ranking convolutional neural network. IEEE T. Multimed. 20(6), 1548–1560 (2018). https://doi.org/10.1109/TMM.2017.2771472

Ren, W., Liu, S., Zhang, H., Pan, J., Cao, X., Yang, M. H.: Single image dehazing via multi-scale convolutional neural networks. Eur. Conf. Comput. Vis. pp 154–169 (2016)

You, Y., Lu, C., Wang, W., Tang, C.: Relative CNN-RNN: learning relative atmospheric visibility from images. IEEE T. Image Process. 28(1), 45–55 (2019). https://doi.org/10.1109/TIP.2018.2857219

Liu, K., He, L., Ma, S., Gao, S., Bi, D.: A sensor image dehazing algorithm based on feature learning. Sensors 18, 2606 (2018). https://doi.org/10.3390/s18082606

Xiao, J., Zhou, J., Lei, J., Xu, C., Sui, H.: Image hazing algorithm based on generative adversarial networks. IEEE Access 8, 15883–15894 (2020). https://doi.org/10.1109/ACCESS.2019.2962784

Li, R., Pan, J., Li, Z., Tang, J.: Single Image dehazing via conditional generative adversarial network. In: 2018 IEEE/CVF Conf. Comput. Vis. Pattern Recogn. pp 8202–8211 (2018). https://doi.org/10.1109/CVPR.2018.00856

Liu, W., Hou, X., Duan, J., Qiu, G.: End-to-End single image fog removal using enhanced cycle consistent adversarial networks. IEEE T. Image Process. 29, 7819–7833 (2020). https://doi.org/10.1109/TIP.2020.3007844

Pan, G.: Research on image defogging, effect assessment and application, Doctoral thesis, Hunan: Central South University, (2012). https://oss.wanfangdata.com.cn/file/download/degree_Y2200026.aspx

Narasimhan, S. G., Nayar, S. K.: Removing weather effects from monochrome images. In: Proc. 2001 IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recogn. 2, II-II (2001), https://doi.org/10.1109/CVPR.2001.990956.

Qin, X., Wang, Z., Bai, Y., Xie, X., Jia, H.: FFA-Net: feature fusion attention network for single image dehazing. Proc. AAAI Conf. Artif. Intell. 34(07), 11908–11915 (2020)

Chen, D., et al.: Gated context aggregation network for image dehazing and deraining. IEEE Winter Conf. Appl. Comput. Vision (WACV) 2019, 1375–1383 (2019). https://doi.org/10.1109/WACV.2019.00151

Wu, H., Qu, Y., Lin, S., Zhou, J., Qiao, R., Zhang, Z., Xie, Y., Ma, L.: Contrastive learning for compact single image dehazing. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10551–10560 (2021).

Zhao, S., Zhang, L., Shen, Y., Zhou, Y.: RefineDNet: a weakly supervised refinement framework for single image dehazing. IEEE Trans. Image Process. 30, 3391–3404 (2021)

Ren, W., et al.: Gated fusion network for single image dehazing. IEEE/CVF Conf. Comput. Vision Pattern Recogn. 2018, 3253–3261 (2018). https://doi.org/10.1109/CVPR.2018.00343

Liu, X., Ma, Y., Shi, Z., Chen, J.: Griddehazenet: Attention-based multi-scale network for image dehazing. In: Proceedings of the IEEE/CVF international conference on computer vision, pp. 7314–7323 (2019).

Malav, R., Kim, A., Sahoo, S.R., Pandey, G.: DHSGAN: An End to End dehazing network for fog and smoke. In: conference paper [J].lecture notes in computer science (including subseries lecture notes in artificial intelligence and lecture notes in Bioinformatics), Vol. 11365, pp. 593–608 (2019)

Park, J., Han, D.K., Ko, H.: Fusion of heterogeneous adversarial networks for single image dehazing. IEEE Trans. Image Process. (2020). https://doi.org/10.1109/TIP.2020.2975986

Li, Y., Liu, Y., Yan, Q., Zhang, K.: Deep dehazing network with latent ensembling architecture and adversarial learning. IEEE Trans. Image Process. 30, 1354–1368 (2021). https://doi.org/10.1109/TIP.2020.3044208

Jiao, W., Jia, X., Liu, Y., Jiang, Q., Sun, Z.: Single image mixed dehazing method based on numerical iterative model and DehazeNet. PLoS One 16(7), e0254664 (2021). https://doi.org/10.1371/journal.pone.0254664

Liu, J., Wang, S., Wang, X., Ju, M., Zhang, D.: A review of remote sensing image dehazing. Sensors 21(11), 3926 (2021). https://doi.org/10.3390/s21113926.PMID:34200320;PMCID:PMC8201244

Chung, W.Y., Kim, S.Y., Kang, C.H.: Image dehazing using LiDAR generated grayscale depth prior. Sensors 22(3), 1199 (2022). https://doi.org/10.3390/s22031199.PMID:35161944;PMCID:PMC8839317

Ngo, D., Lee, S., Ngo, T.M., Lee, G.D., Kang, B.: Visibility restoration: a systematic review and meta-analysis. Sensors 21(8), 2625 (2021). https://doi.org/10.3390/s21082625.PMID:33918021;PMCID:PMC8069147

Ancuti, C.O., Ancuti, C., Timofte, R.: NH-HAZE: an image dehazing benchmark with non-homogeneous hazy and haze-free images, In: IEEE CVPR NTIRE Workshop, (2020)

Ancuti, C.O., Ancuti, C., Vasluianu, F.A., Timofte, R. et al.: NTIRE 2020 Challenge on NonHomogeneous Dehazing, In: IEEE CVPR NTIRE Workshop, (2020)

Thông tin
: []
Thông tin xuất bản

Signal, Image and Video Processing

Tập 17

1643-1651

Thông tin tác giả