Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Từ cục bộ đến toàn cầu: mạng lưới nâng cao đặc trưng đa nhóm cho việc loại bỏ sương mù không đồng nhất và dày đặc
Tóm tắt
Trong vài năm qua, nghiên cứu về việc loại bỏ sương mù từ ảnh đơn đã phát triển nhanh chóng. Mặc dù đã có những nỗ lực này, việc loại bỏ hoàn toàn sương mù dày đặc vẫn là một thách thức, đặc biệt trong các trường hợp phức tạp trong thế giới thực. Sương mù trong thế giới thực là không đồng nhất và đa dạng (nhẹ hoặc dày). Trong trường hợp không đồng nhất, cấu trúc của ảnh có thể bị phá hủy. Hơn nữa, quy trình loại bỏ sương mù dày thường dẫn đến biến dạng màu sắc, mất chi tiết và làm mờ cấu trúc, điều này làm tăng độ khó cho việc phục hồi ảnh. Để giải quyết những vấn đề này, chúng tôi đề xuất một mạng lưới nâng cao đặc trưng đa nhóm (MGFEN) dựa trên mô hình hợp nhất ngữ cảnh toàn cầu và địa phương để loại bỏ sương mù một cách dần dần. Khác với các phương pháp trước đây, chúng tôi phát triển một mô-đun hợp nhất đặc trưng toàn cầu (GFF) mà nhìn nhận từ một góc độ toàn cầu hơn để trích xuất đặc trưng và thực hiện hợp nhất chú ý với các đặc trưng tần số cao được thu được từ kim tự tháp Laplace để duy trì hiệu quả thông tin cấu trúc của ảnh và loại bỏ các dị vật do sương mù không đồng nhất gây ra. Chúng tôi cũng thiết kế một mô-đun nâng cao dư đặc trưng (FRE) để cải thiện chi tiết ảnh và nâng cao độ trung thực màu sắc bằng cách nâng cao các dư kiện hiệu quả từng nhóm một. Kết quả thí nghiệm trên các tập dữ liệu khác nhau cho thấy MGFEN của chúng tôi thiết lập hiệu suất hàng đầu mới cho việc loại bỏ sương mù không đồng nhất và dày đặc trong thế giới thực cả về các chỉ số khách quan và chất lượng hình ảnh với khả năng phục hồi cấu trúc và màu sắc tốt hơn.
Từ khóa
#sương mù #loại bỏ sương mù #nâng cao đặc trưng #học sâu #phục hồi hình ảnhTài liệu tham khảo
Ancuti CO, Ancuti C, Sbert M et al (2019) Dense-haze: a benchmark for image dehazing with dense-haze and haze-free images [C]//2019 IEEE international conference on image processing (ICIP). IEEE 1014–1018
Ancuti CO, Ancuti C, Timofte R et al (2018) O-haze: a dehazing benchmark with real hazy and haze-free outdoor images [C]// Proceedings of the IEEE conference on computer vision and pattern recognition workshops. 754–762
Berman D, Avidan S (2016) Non-local image dehazing [C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 1674–1682
Berman D, Treibitz T, Avidan S (2018) Single image dehazing using haze-lines [J]. IEEE Trans Pattern Anal Mach Intell 42(3):720–734
Bu Q, Luo J, Ma K, Feng H, Feng J (2020) An enhanced pix2pix dehazing network with guided filter layer [J]. Appl Sci 10(17):5898
Chen Y, Li W, Sakaridis C et al (2018) Domain adaptive faster r-cnn for object detection in the wild [C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 3339–3348
Chen Z, Wang Y, Yang Y et al (2021) PSD: Principled synthetic-to-real dehazing guided by physical priors [C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 7180–7189
Dong H, Pan J, Xiang L et al (2020) Multi-scale boosted dehazing network with dense feature fusion [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2157–2167
Gao SH, Cheng MM, Zhao K et al (2019) Res2net: A new multi-scale backbone architecture [J]. IEEE Trans Pattern Anal Mach Intell 43(2):652–662 Y-net-26
Girshick R (2015) Fast r-cnn [C]// Proceedings of the IEEE international conference on computer vision. 1440–1448
Guo CL, Yan Q, Anwar S et al (2022) Image Dehazing Transformer with Transmission-Aware 3D Position Embedding [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 5812–5820
Hassan H, Mishra P, Ahmad M, Bashir AK, Huang B, Luo B (2022) Effects of haze and dehazing on deep learning-based vision models [J]. Appl Intell 52:1–19
He K, Sun J, Tang X (2010) Single image haze removal using dark channel prior [J]. IEEE Trans Pattern Anal Mach Intell 33(12):2341–2353
Hong M, Xie Y, Li C et al (2020) Distilling image dehazing with heterogeneous task imitation [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 3462–3471
Huang Y, Chen X (2021) Single remote sensing image dehazing using a dual-step cascaded residual dense network [C]//2021 IEEE international conference on image processing (ICIP). IEEE 3852–3856
Kan S, Zhang Y, Zhang F et al (2022) A GAN-based input-size flexibility model for single image dehazing [J]. Signal Process Image Commun 102:116599
Khan S, Naseer M, Hayat M, Zamir SW, Khan FS, Shah M (2022) Transformers in vision: a survey [J]. ACM Comput Surv (CSUR) 54(10s):1–41
Li B, Peng X, Wang Z et al (2017) Aod-net: All-in-one dehazing network [C]//Proceedings of the IEEE international conference on computer vision. 4770–4778
Li B, Ren W, Fu D, Tao D, Feng D, Zeng W, Wang Z (2018) Benchmarking single-image dehazing and beyond [J]. IEEE Trans Image Process 28(1):492–505
Lin TY, Dollár P, Girshick R et al (2017) Feature pyramid networks for object detection [C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2117–2125
Liu W, Anguelov D, Erhan D et al (2016) Ssd: single shot multibox detector [C]// European conference on computer vision. Springer, Cham, 21–37
Liu S, Huang D, Wang Y (2019) Learning spatial fusion for single-shot object detection [J]. arXiv preprint arXiv:1911.09516
Liu X, Ma Y, Shi Z et al (2019) Griddehazenet: Attention-based multi-scale network for image dehazing [C]// Proceedings of the IEEE/CVF international conference on computer vision. 7314–7323
Liu S, Qi L, Qin H et al (2018) Path aggregation network for instance segmentation [C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 8759–8768
Liu H, Wu Z, Li L et al (2022) Towards Multi-Domain Single Image Dehazing via Test-Time Training [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 5831–5840
Middleton WEK (1952) Vision through the atmosphere [M]. University of Toronto Press
Qin X, Wang Z, Bai Y et al (2020) FFA-Net: Feature fusion attention network for single image dehazing [C]// Proceedings of the AAAI Conference on Artificial Intelligence. 34(07):11908–11915
Ren W, Ma L, Zhang J et al (2018) Gated fusion network for single image dehazing [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 3253–3261
Sakaridis C, Dai D, Hecker S et al (2018) Model adaptation with synthetic and real data for semantic dense foggy scene understanding [C]//Proceedings of the European Conference on Computer Vision (ECCV). 687–704
Sakaridis C, Dai D, Van Gool L (2018) Semantic foggy scene understanding with synthetic data [J]. Int J Comput Vis 126(9):973–992
Shao Y, Li L, Ren W et al (2020) Domain adaptation for image dehazing [C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2808–2817
Shao X, Wei C, Shen Y, Wang Z (2020) Feature enhancement based on CycleGAN for nighttime vehicle detection [J]. IEEE Access 9:849–859
Sharma T, Agrawal I, Verma NK (2020) CSIDNet: compact single image dehazing network for outdoor scene enhancement [J]. Multimed Tools Appl 79(41):30769–30784
Song Y, He Z, Qian H et al (2022) Vision Transformers for Single Image Dehazing [J]. arXiv preprint arXiv:2204.03883
Wang C, Fan W, Wu Y, Su Z (2020) Weakly supervised single image dehazing [J]. J Vis Commun Image Represent 72:102897
Wang T, Zhao L, Huang P, Zhang X, Xu J (2021) Haze concentration adaptive network for image dehazing [J]. Neurocomputing 439:75–85
Wu H, Qu Y, Lin S et al (2021) Contrastive learning for compact single image dehazing [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 10551–10560
Yang Y, Wang C, Liu R et al (2022) Self-Augmented Unpaired Image Dehazing via Density and Depth Decomposition [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2037–2046
Yang HH, Yang CHH, Tsai YCJ (2020) Y-net: multi-scale feature aggregation network with wavelet structure similarity loss function for single image dehazing [C]// ICASSP 2020-2020 IEEE international conference on acoustics, speech and signal processing (ICASSP). IEEE 2628–2632
Yu Y, Liu H, Fu M et al (2021) A two-branch neural network for non-homogeneous dehazing via ensemble learning [C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 193–202
Zamir SW, Arora A, Khan S et al (2022) Restormer: Efficient transformer for high-resolution image restoration [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 5728–5739
Zhang H, Cisse M, Dauphin YN et al (2018) mixup: Beyond Empirical Risk Minimization [C]// International Conference on Learning Representations
Zhang X, Dong H, Pan J et al (2021) Learning to restore hazy video: A new real-world dataset and a new method [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 9239–9248
Zhao W, Zhao Y, Feng L, Tang J (2022) Attention optimized deep generative adversarial network for removing uneven dense haze [J]. Symmetry 14(1):1
Zotti C, Luo Z, Humbert O et al (2017) GridNet with automatic shape prior registration for automatic MRI cardiac segmentation [C]//international workshop on statistical atlases and computational models of the heart. Springer, Cham, 73–81