Phương pháp khử sương cho hình ảnh đơn dựa trên mô hình lặp số và DehazeNet

PLoS ONE - Tập 16 Số 7 - Trang e0254664
Wenjiang Jiao1, Xingwu Jia2, Yuetong Liu3, Qun Jiang3, Ziyi Sun3
1School of Software, Shandong University, Jinan, China
2Vehicle Management Office, Shandong Provincial Public Security Department, Jinan, China
3School of Computer Science and Technology, Shandong University of Finance and Economics, Jinan, China

Tóm tắt

Là một trong những hiện tượng thời tiết bất lợi phổ biến nhất, hiện tượng sương mù đã gây ra tác động tiêu cực đến nhiều hệ thống thị giác máy tính. Để loại bỏ ảnh hưởng của sương, trong lĩnh vực xử lý ảnh, việc khử sương đã được nghiên cứu một cách chuyên sâu và nhiều thuật toán khử sương tiên tiến đã được đề xuất. Các phương pháp dựa trên mô hình vật lý và các phương pháp học sâu là hai phương pháp cạnh tranh cho việc khử sương trong ảnh đơn, nhưng vẫn là một vấn đề thách thức để đạt được sự trung thực và hiệu quả khử sương đồng thời trong các cảnh có sương thực tế. Trong công trình này, một mô hình lặp hỗn hợp được đề xuất, kết hợp phương pháp dựa trên mô hình vật lý với phương pháp dựa trên học máy để khôi phục các hình ảnh rõ nét chất lượng cao và có hiệu suất tốt trong việc duy trì các thuộc tính tự nhiên và hoàn toàn loại bỏ sương. Không giống như các nghiên cứu trước đây, chúng tôi đầu tiên chia nhỏ hình ảnh thành các vùng khác nhau theo mật độ sương để tính toán chính xác ánh sáng khí quyển phục vụ cho việc khôi phục các hình ảnh không có sương. Sau đó, kênh tối và DehazeNet được sử dụng để ước tính đồng thời truyền dẫn nhằm thúc đẩy hình ảnh rõ nét cuối cùng không có sương, gần giống hơn với cảnh thực tế. Cuối cùng, một chiến lược lặp số được áp dụng để tối ưu hóa thêm ánh sáng khí quyển và truyền dẫn. Các thí nghiệm rộng rãi đã chứng minh rằng phương pháp của chúng tôi vượt trội hơn các phương pháp tiên tiến hiện tại trên các tập dữ liệu tổng hợp và dữ liệu thực tế. Hơn nữa, để chỉ ra tính phổ quát của phương pháp đề xuất, chúng tôi còn áp dụng nó cho các tập dữ liệu viễn thám, điều này cũng tạo ra các kết quả thị giác thỏa mãn.

Từ khóa

#khử sương #thị giác máy tính #xử lý ảnh #mô hình vật lý #học sâu #ánh sáng khí quyển #truyền dẫn #DehazeNet

Tài liệu tham khảo

SG Narasimhan, 2002, Vision and the atmosphere, International Journal of Computer Vision, 48, 233, 10.1023/A:1016328200723

R Fattal, 2008, Single image dehazing, ACM Transactions on Graphics, 27, 1, 10.1145/1360612.1360671

Tan RT. Visibility in bad weather from a single image. IEEE Conference on Computer Vision and Pattern Recognition. 2008; 1–8.

Q Zhu, 2015, A fast single image haze removal algorithm using color attenuation prior, IEEE Transactions on Image Processing, 24, 3522, 10.1109/TIP.2015.2446191

Berman D, Treibitz T, Avidan S. Non-local image dehazing. IEEE Conference on Computer Vision and Pattern Recognition. 2016; 2341–2353.

K He, 2011, Single image haze removal using dark channel prior, IEEE Transactions on Pattern Analysis and Machine Intelligence, 33, 2341, 10.1109/TPAMI.2010.168

R Fattal, 2014, Dehazing using color-lines, ACM Transactions on Graphics, 34, 1, 10.1145/2651362

Q Liu, 2018, Single image dehazing with depth-aware non-local total variation regularization, IEEE Transactions on Image Processing, 27, 5178, 10.1109/TIP.2018.2849928

KB Gibson, 2012, An investigation of dehazing effects on image and video coding, IEEE Transactions on Image Processing, 21, 662, 10.1109/TIP.2011.2166968

K He, 2013, Guided image filtering, IEEE Transactions on Pattern Analysis and Machine Intelligence, 35, 1397, 10.1109/TPAMI.2012.213

Meng G, Wang Y, Duan J, Xiang S, Pan C. Efficient image dehazing with boundary constraint and contextual regularization. IEEE International Conference on Computer Vision. 2013; 617–624.

P Wang, 2019, A novel dehazing method for color fidelity and contrast enhancement on mobile devices, IEEE Transactions on Consumer Electronics, 65, 47, 10.1109/TCE.2018.2884794

J Long, 2014, Single remote sensing image dehazing, IEEE Geoscience and Remote Sensing Letters, 11, 59, 10.1109/LGRS.2013.2245857

Z Sun, 2020, ICycleGAN: Single image dehazing based on iterative dehazing model and CycleGAN, Computer Vision and Image Understanding, 203, 103

X Pan, 2015, Haze removal for a single remote sensing image based on deformed haze imaging model, IEEE Signal Processing Letters, 22, 1806, 10.1109/LSP.2015.2432466

H Jiang, 2018, Single image dehazing for visible remote sensing based on tagged haze thickness maps, Remote Sensing Letters, 9, 627, 10.1080/2150704X.2018.1456701

Y Zhang, 2020, Single image numerical iterative dehazing method based on local physical features, IEEE Transactions on Circuits and Systems for Video Technology, 30, 3544, 10.1109/TCSVT.2019.2939853

Y Song, 2018, Single image dehazing using ranking convolutional neural network, IEEE Transactions on Multimedia, 20, 1548, 10.1109/TMM.2017.2771472

Li B, Peng X, Wang Z, Xu J, Feng D. AOD-Net: All-in-one dehazing network. IEEE International Conference on Computer Vision. 2017; 4770–4778.

Ren W, Ma L, Zhang J, Pan J, Cao X, Liu W, et al. Gated fusion network for single image dehazing. IEEE Conference on Computer Vision and Pattern Recognition. 2018; 3253–3261.

Li R, Pan J, Li Z, Tang J. Single image dehazing via conditional generative adversarial network. IEEE Conference on Computer Vision and Pattern Recognition. 2018; 8202–8211.

Engin D, Genc A, Ekenel HK. Cycle-dehaze: Enhanced CycleGAN for single image dehazing. IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2018; 825–833.

Liu X, Ma Y, Shi Z, Chen J. GridDehazeNet: Attention-based multi-scale network for image dehazing. IEEE International Conference on Computer Vision. 2019; 7313–7322.

Shao Y, Li L, Ren W, Gao C, Sang N. Domain adaptation for image dehazing. IEEE Conference on Computer Vision and Pattern Recognition. 2020; 2805–2814.

Hong M, Xie Y, Li C, Qu Y. Distilling image dehazing with heterogeneous task imitation. IEEE Conference on Computer Vision and Pattern Recognition. 2020; 3459–3468.

T Song, 2020, Simultaneous deep stereo matching and dehazing with feature attention, International Journal of Computer Vision, 128, 799, 10.1007/s11263-020-01294-2

Z Gu, 2019, Single remote sensing image dehazing using a prior-based dense attentive network, Remote Sensing, 11, 3008, 10.3390/rs11243008

A Hu, 2020, Unsupervised haze removal for high-resolution optical remote-sensing images based on improved generative adversarial networks, Remote Sensing, 12, 4162, 10.3390/rs12244162

Y Qu, 2019, Enhanced pix2pix dehazing network, IEEE Conference on Computer Vision and Pattern Recognition, 8152

J Zhang, 2020, FAMED-Net: A fast and accurate multi-scale end-to-end dehazing network, IEEE Transactions on Image Processing, 29, 72, 10.1109/TIP.2019.2922837

Dong H, Pan J, Xiang L, Hu Z, Yang M. Multi-scale boosted dehazing network with dense feature fusion. IEEE Conference on Computer Vision and Pattern Recognition. 2020; 2154–2164.

B Cai, 2016, DehazeNet: An end-to-end system for single image haze removal, IEEE Transactions on Image Processing, 25, 5187, 10.1109/TIP.2016.2598681

Ren W, Liu S, Zhang H, Pan J, Cao X, Yang M. Single image dehazing via multi-scale convolutional neural networks. European Conference on Computer Vision. 2016; 154–169.

Zhang H, Patel V. Densely connected pyramid dehazing network. IEEE Conference on Computer Vision and Pattern Recognition. 2018; 3194–3203.

H Jiang, 2018, Multi-scale residual convolutional neural network for haze removal of remote sensing images, Remote Sensing, 10, 945, 10.3390/rs10060945

D Fourure, 2017, Residual conv-deconv grid network for semantic segmentation, British Machine Vision Conference

Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention. 2015; 234–241.

J Brendan, 2007, Clustering by passing messages between data points, Science, 315, 972, 10.1126/science.1136800

Goodfellow I, Warde-Farley D, Mirza M, Courville A, Bengio Y. Maxout networks. 30th International Conference on Machine Learning. 2013; 1319–1327.

B Li, 2019, Benchmarking single-image dehazing and beyond, IEEE Transactions on Image Processing, 28, 492, 10.1109/TIP.2018.2867951

Zhang Y, Ding L, Sharma G. HazeRD: An outdoor scene dataset and benchmark for single image dehazing. IEEE International Conference on Image Processing. 2017; 3205–3209.

G Cheng, 2016, A survey on object detection in optical remote sensing images, ISPRS Journal of Photogrammetry and Remote Sensing, 117, 11, 10.1016/j.isprsjprs.2016.03.014

G Cheng, 2014, Multi-class geospatial object detection and geographic image classification based on collection of part detectors, ISPRS Journal of Photogrammetry and Remote Sensing, 98, 119, 10.1016/j.isprsjprs.2014.10.002

G Cheng, 2017, Remote sensing image scene classification: Benchmark and state of the art, Proceedings of the IEEE, 105, 1865, 10.1109/JPROC.2017.2675998

Y Long, 2017, Accurate object localization in remote sensing images based on convolutional neural networks, IEEE Transactions on Geoscience and Remote Sensing, 55, 2486, 10.1109/TGRS.2016.2645610

Z Xiao, 2015, Elliptic fourier transformation-based histograms of oriented gradients for rotationally invariant object detection in remote-sensing images, International Journal of Remote Sensing, 36, 618, 10.1080/01431161.2014.999881

Xia G, Bai X, Ding J, Zhu Z, Belongie S, Luo J, et al. DOTA: A large-scale dataset for object detection in aerial images. IEEE Conference on Computer Vision and Pattern Recognition. 2018; 3974–3983.

Thông tin
Thông tin xuất bản

PLoS ONE

Tập 16 Số 7

e0254664

Thông tin tác giả