Hướng tới cải thiện chất lượng hình ảnh của hiệu ứng khử sương với Cycle-GAN cải tiến

Neural Computing and Applications - Tập 35 Số 7 - Trang 5277-5290 - 2023
Liu, Xiaochen1, Zhang, Tao1, Zhang, Jiawei2
1Southeast University, Nanjing, China
2North University of China, Taiyuan, China

Tóm tắt

Khử sương hình ảnh là một vấn đề cơ bản trong thị giác máy tính. Tuy nhiên, việc có được hình ảnh GT cho việc đào tạo mạng khử sương có giám sát gần như là không thể thực hiện trong thế giới thực. Do đó, khử sương hình ảnh không giám sát mang lại ý nghĩa lớn. Trong bài báo này, chúng tôi đề xuất một Mạng Đối kháng Tạo chu trình (Cycle-GAN) dựa trên Bộ phân biệt Đồng đẳng Isomerism (HID) hỗ trợ bởi Mô-đun Tạo chi tiết (DGM) nhằm đạt được khử sương hình ảnh trong điều kiện đào tạo không giám sát. Để cho phép bộ tạo phục hồi các chi tiết của toàn bộ hình ảnh, đặc biệt là trong các hình ảnh có cấu trúc phức tạp, DGM được phát triển để cải thiện hiệu suất chi tiết của kết quả khử sương. Tiếp theo, HID được đề xuất nhằm nâng cao hiệu suất khử sương dựa trên các đặc trưng không đồng nhất và Sự chú ý Kênh-Không gian (CSA) và bổ sung cho DGM thông qua hướng dẫn đa dạng tới bộ tạo. Sau đó, các hàm mất mát được cập nhật theo nhiệm vụ khử sương hình ảnh dựa trên Cycle-GAN trong điều kiện học không giám sát. Cuối cùng, kết quả thí nghiệm dưới nghiên cứu loại trừ và so sánh với các phương pháp hiện đại cho thấy phương pháp được đề xuất đạt được kết quả hấp dẫn cả về trải nghiệm hình ảnh và các chỉ số định lượng trên nhiều tập dữ liệu khác nhau.

Từ khóa

#khử sương #thị giác máy tính #mạng đối kháng #Cycle-GAN #cải thiện chi tiết #học không giám sát #chỉ số định lượng

Tài liệu tham khảo

citation_journal_title=Neural Comput Appl; citation_title=A new standardisation and selection framework for real-time image dehazing algorithms from multi-foggy scenes based on fuzzy Delphi and hybrid multi-criteria decision analysis methods; citation_author=K Abdulkareem, N Arbaiy, AA Zaidan; citation_volume=33; citation_issue=4; citation_publication_date=2020; citation_pages=1029-1054; citation_doi=10.1007/s00521-020-05020-4; citation_id=CR1 citation_journal_title=Neural Comput Appl; citation_title=A joint deep neural networks-based method for single nighttime rainy image enhancement; citation_author=ZH Shi, YN Feng, MH Zhao; citation_volume=32; citation_issue=7; citation_publication_date=2020; citation_pages=1913-1926; citation_doi=10.1007/s00521-019-04501-5; citation_id=CR2 citation_journal_title=IEEE Trans Circuits Syst Video Technol; citation_title=Multi-level fusion and attention-guided CNN for image Dehazing; citation_author=XQ Zhang, T Wang, WH Luo; citation_volume=31; citation_issue=11; citation_publication_date=2021; citation_pages=4162-4173; citation_doi=10.1109/TCSVT.2020.3046625; citation_id=CR3 citation_journal_title=IEEE Trans Image Process; citation_title=Referenceless prediction of perceptual fog density and perceptual image defogging; citation_author=LK Choi, J You, AC Bovik; citation_volume=24; citation_issue=11; citation_publication_date=2015; citation_pages=3888-4390; citation_doi=10.1109/TIP.2015.2456502; citation_id=CR4 citation_journal_title=IEEE Signal Process Lett; citation_title=Fusion-based variational image dehazing; citation_author=A Galdran, J Vazquez-Corral, D Pardo; citation_volume=24; citation_issue=2; citation_publication_date=2017; citation_pages=151-155; citation_id=CR5 citation_journal_title=Multimed Tools Appl; citation_title=Learning intensity and detail mapping parameters for dehazing; citation_author=XH Lian, YW Pang, AP Yang; citation_volume=77; citation_issue=12; citation_publication_date=2018; citation_pages=15695-15720; citation_doi=10.1007/s11042-017-5142-7; citation_id=CR6 citation_journal_title=IET Image Proc; citation_title=Enhancement algorithm for high visibility of underwater images; citation_author=M Mathur, N Goel; citation_publication_date=2021; citation_doi=10.1049/ipr2.12210; citation_id=CR7 citation_journal_title=IEEE Trans Pattern Anal Mach Intell; citation_title=Single image haze removal using dark channel prior; citation_author=KM He, J Sun, XO Tang; citation_volume=33; citation_issue=12; citation_publication_date=2011; citation_pages=2341-2353; citation_doi=10.1109/TPAMI.2010.168; citation_id=CR8 Berman D, Treibitz T and Avidan S (2016) Non-local image dehazing. In: IEEE conference on computer vision and pattern recognition (CVPR), pp 1674–1682 citation_journal_title=IEEE Trans Multimed; citation_title=Fast image dehazing method based on linear transformation; citation_author=WC Wang, XH Yuan, XJ Wu; citation_volume=19; citation_issue=6; citation_publication_date=2017; citation_pages=1142-1155; citation_doi=10.1109/TMM.2017.2652069; citation_id=CR10 citation_journal_title=SIViP; citation_title=Single image dehazing using elliptic curve scattering model; citation_author=Y Yang, C Liu; citation_publication_date=2021; citation_doi=10.1007/s11760-021-01876-8; citation_id=CR11 Li BY, Peng XL, Wang ZY et al. (2017) AOD-Net: all-in-one dehazing network. In: IEEE international conference on computer vision, pp 4770–4778 citation_journal_title=IEEE Trans Image Process; citation_title=DehazeNet: an end-to-end system for single image haze removal; citation_author=BL Cai, XM Xu, K Jia; citation_volume=25; citation_issue=11; citation_publication_date=2016; citation_pages=5187-5198; citation_doi=10.1109/TIP.2016.2598681; citation_id=CR13 Fahim M, Jung HY (2021) Single image dehazing using end-to-end deep-dehaze network. Electronics 10(7) citation_journal_title=Neurocomputing; citation_title=NLDN: non-local dehazing network for dense haze removal; citation_author=SD Zhang, FZ He, WQ Ren; citation_volume=410; citation_publication_date=2020; citation_pages=363-373; citation_doi=10.1016/j.neucom.2020.06.041; citation_id=CR15 citation_journal_title=Visual Computer; citation_title=DRCDN: learning deep residual convolutional dehazing networks; citation_author=SD Zhang, FZ He; citation_volume=36; citation_issue=9; citation_publication_date=2019; citation_pages=1797-1808; citation_doi=10.1007/s00371-019-01774-8; citation_id=CR16 citation_journal_title=IEEE Trans Circuits Syst Video Technol; citation_title=Visual haze removal by a unified generative adversarial network; citation_author=YW Pang, J Xie, XL Li; citation_volume=29; citation_issue=11; citation_publication_date=2019; citation_pages=3211-3221; citation_doi=10.1109/TCSVT.2018.2880223; citation_id=CR17 Deniz E, Anil G and Hazim K (2018) Cycle-Dehaze: enhanced CycleGAN for single image dehazing. In: 2018 IEEE/CVF conference on computer vision and pattern recognition workshops, pp 938–946 citation_journal_title=IEEE Trans Image Process; citation_title=Fusion of heterogeneous adversarial networks for single image dehazing; citation_author=J Park, DK Han, H Ko; citation_volume=29; citation_publication_date=2020; citation_pages=4721-4732; citation_doi=10.1109/TIP.2020.2975986; citation_id=CR19 citation_journal_title=Comput Vis Image Underst; citation_title=ICycleGAN: single image dehazing based on iterative dehazing model and CycleGAN; citation_author=ZY Sun, YF Zhang, FX Bao; citation_volume=203; citation_publication_date=2021; citation_pages=103133; citation_doi=10.1016/j.cviu.2020.103133; citation_id=CR20 citation_journal_title=Sensors; citation_title=Unsupervised dark-channel attention-guided CycleGAN for single-image dehazing; citation_author=JH Chen, C Wu, H Chen; citation_volume=20; citation_issue=21; citation_publication_date=2020; citation_pages=6000; citation_doi=10.3390/s20216000; citation_id=CR21 citation_journal_title=IEEE Trans Image Process; citation_title=Unsupervised single image dehazing using dark channel prior loss; citation_author=A Golts, D Freedman, M Elad; citation_volume=29; citation_publication_date=2020; citation_pages=2692-2701; citation_doi=10.1109/TIP.2019.2952032; citation_id=CR22 citation_journal_title=Adv Neural Inform Process Syst; citation_title=Generative adversarial nets; citation_author=IJ Goodfellow, J Pouget-Abadie, M Mirza; citation_volume=27; citation_publication_date=2014; citation_pages=2672-2680; citation_id=CR23 Zhu JY, Park T, Isola P (2017) Unpaired image-to-image translation using cycle-consistent adversarial networks. In: IEEE international conference on computer vision, pp 2242–2251 Kingma D, Ba J (2014) Adam: a method for stochastic optimization. In: International conference on learning representations. ISSN 09252312. https://doi.org/10.1145/1830483.1830503 . URL: http://arxiv.org/abs/1412.6980 citation_journal_title=IEEE Signal Process Lett; citation_title=Making a completely blind image quality analyzer; citation_author=A Mittal, R Soundararajan, AC Bovik; citation_volume=20; citation_issue=3; citation_publication_date=2013; citation_pages=209-212; citation_doi=10.1109/LSP.2012.2227726; citation_id=CR26 citation_title=What’s wrong with mean-squared error; citation_inbook_title=Digital images and human vision; citation_publication_date=1993; citation_pages=207-220; citation_id=CR27; citation_author=B Girod; citation_publisher=MIT Press citation_journal_title=IEEE Trans Image Process; citation_title=Image quality assessment: from error visibility to structural similarity; citation_author=Z Wang, AC Bovik, HR Sheikh; citation_volume=13; citation_issue=4; citation_publication_date=2004; citation_pages=600-612; citation_doi=10.1109/TIP.2003.819861; citation_id=CR28 Thanh LT, Thanh DNH, Hue NM et al (2019) Single image dehazing based on adaptive histogram equalization and linearization of gamma correction. In: Proceedings of 2019 25th Asia-Pacific conference on communications (APCC), pp 36–40 Liu XH, Ma YR, Shi ZH et al (2019) GridDehazeNet: attention-based multi-scale network for image dehazing. In: IEEE international conference on computer vision, pp 7313–7322 Dong H, Pan JS, Xiang L et al (2020) Multi-scale boosted dehazing network with dense feature fusion. In: IEEE conference on computer vision and pattern recognition citation_journal_title=Signal Process; citation_title=Image dehazing by artificial multiple-exposure image fusion; citation_author=A Galdran; citation_volume=149; citation_publication_date=2018; citation_pages=135-147; citation_doi=10.1016/j.sigpro.2018.03.008; citation_id=CR32 citation_journal_title=Int J Comp Vision; citation_title=You only look yourself: unsupervised and untrained single image dehazing neural network; citation_author=BY Li, YB Guo, SH Gu; citation_volume=129; citation_issue=5; citation_publication_date=2021; citation_pages=1754-1767; citation_doi=10.1007/s11263-021-01431-5; citation_id=CR33 Chen ZY, Wang YC, Yang Y et al. (2021) PSD: principled synthetic-to-real dehazing guided by physical priors. In: 2021 IEEE/CVF conference on computer vision and pattern recognition, pp 7176–7185 Zhou XZ, Su WJ, Lu LW et al. (2020) Deformable DETR:deformable transformers for end-to-end object detection. In: International conference on learning representations, URL: https://arxiv.org/abs/2010.04159