Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Mạng đa kênh sâu tái hồi đa quy mô dựa trên sự chú ý đa dạng cho đánh giá chất lượng hình ảnh không tham chiếu
Tóm tắt
Với sự phát triển của công nghệ mạng nơ-ron tích chập (CNN), Đánh giá Chất lượng Hình ảnh Không Tham chiếu (NR-IQA) dựa trên CNN đã thu hút sự chú ý của nhiều học giả. Tuy nhiên, hầu hết các phương pháp trước đó đã cải thiện hiệu suất đánh giá bằng cách tăng độ sâu của mạng lưới và các cơ chế trích xuất đặc trưng khác nhau. Điều này có thể gây ra một số vấn đề như thiếu sót trong việc trích xuất đặc trưng, mất mát chi tiết và sự biến mất của gradient do số lượng mẫu có nhãn hạn chế trong cơ sở dữ liệu hiện tại. Để học cách biểu diễn đặc trưng một cách hiệu quả hơn, bài báo này đề xuất Mạng Đa kênh Sâu Tái hồi Đa Quy mô Dựa trên Sự Chú ý (ATDRMN), có khả năng đánh giá chính xác chất lượng hình ảnh mà không cần dựa vào hình ảnh tham chiếu. Mạng lưới này là một mạng nơ-ron tích chập hai kênh với hình ảnh gốc và hình ảnh gradient làm đầu vào. Trong hai mạng con, Khối Trích Xuất Đặc Trưng Đa Quy mô Dựa trên Sự Chú ý (AMFEB) và Mạng Tầng Tích Chập Cải Tiến (IASPP-Net) được đề xuất nhằm mở rộng thông tin đặc trưng cần chú ý và thu được các mức đặc trưng phân cấp khác nhau. Cụ thể, mỗi AMFEB tận dụng tối đa các đặc trưng hình ảnh trong các kernel tích chập có kích thước khác nhau để mở rộng thông tin đặc trưng, và đưa các đặc trưng này vào cơ chế chú ý để học các trọng số tương ứng của chúng. Đầu ra của mỗi AMFEB được mở rộng bởi thuật toán tích chập rỗng trong IASPP-Net nhằm thu được nhiều thông tin bối cảnh hơn và học các đặc trưng phân cấp của nó. Cuối cùng, nhiều AMFEB và IASPP-Net được kết hợp sâu và tái hồi để tiếp tục thu được thông tin đặc trưng hiệu quả nhất, sau đó các đặc trưng đầu ra được đưa vào mạng hồi quy để đánh giá chất lượng cuối cùng. Kết quả thực nghiệm trên bảy cơ sở dữ liệu cho thấy phương pháp đề xuất có độ ổn định tốt và vượt trội so với các phương pháp NR-IQA tiên tiến nhất.
Từ khóa
#Đánh giá chất lượng hình ảnh không tham chiếu #mạng nơ-ron tích chập #mạng sâu #trích xuất đặc trưng #cơ chế chú ý.Tài liệu tham khảo
Wang Z, Bovik AC (2002) Universal image quality index. IEEE Sign Process Lett 9(3):81–84
Wang Z, Bovik A, Sheikh H (2004) Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process 2004:600–612
Zhang L, Mou X (2011) FSIM: a feature similarity index for image quality assessment. IEEE Trans Image Process 20(8):2378–2386
Zhang L, Shen Y, Li H (2014) VSI: a visual saliency-induced index for perceptual image quality assessment. IEEE Trans Image Process 2014:427
Wang Z, Simoncelli P (2005) Reduced-reference image quality assessment using a wavelet-domain natural image statistic model. Proc SPIE 5666:149–159
Soundararajan R, Bovik AC (2012) Rred indices: reduced reference entropic differencing for image quality assessment. IEEE Trans Image Process 21(2):517–526
Mittal A, Moorthy AK, Bovik AC (2012) No-reference image quality assessment in the spatial domain. IEEE Trans Image Process A Publ IEEE Signal Process Soc 21(12):4695–4708
Moorthy AK, Bovik AC (2011) Blind image quality assessment: from natural scene statistics to perceptual quality. IEEE Trans Image Process A Publ IEEE Signal Process Soc 20(12):3350
Mittal A, Soundararajan R, Bovik AC (2013) Making a completely blind image quality analyzer. IEEE Signal Process Lett 20(3):209–212
Krizhevsky A, Sutskever I, Geoffrey E (2012) Hinton, Imagenet classification with deep convolutional neural networks. In: International conference on neural information processing systems, pp 1097–1105
Simonyan K, Zisserman A (2014) Two-stream convolutional networks for action recognition in videos. Adv Neural Inf Process Syst 27:568–576
Gong D, Yang J, Liu L, Zhang Y, Reid I, Shen C, Hengel A van den, Shi Q (2017) From motion blur to motion flow: a deep learning solution for removing heterogeneous motion blur. In Computer vision and pattern recognition, pp 1827–1836
Zhang L, Wei W, Zhang Y, Shen C, van den Hengel A, Shi Q (2018) Cluster sparsity field: an internal hyperspectral imagery prior for reconstruction. Int J Comput Vis 2018:1–25
Yang J, Gong D, Liu L, Shi Q (2018) Seeing deeply and bidirectionally: a deep learning approach for single image reflection removal. In European conference on computer vision (ECCV)
Yang Q, Gong D, Zhang Y (2018) Two-stream convolutional networks for blind image quality assessment. IEEE Trans Image Process 28:2200–2211
Kang L, Ye P, Li Y, Doermann D (2014) Convolutional neural networks for no-reference image quality assessment. In: Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp 1733–1740
Dash PP, Wong A, Mishra A, VeNICE (2017) A very deep neural network approach to no-reference image assessment. In: Proc. IEEE Int. Conf. Ind. Technol. (ICIT), Toronto, QN, Canada, vol 43, pp 1091–1096
Li Y, Po LM, Feng L, Yuan F (2016) No-reference image quality assessment with deep convolutional neural networks. In Proc. IEEE Int. Conf. Digit. Signal Process. (DSP), Beijing, China, pp 685–689
Kim J, Lee S (2017) Fully deep blind image quality predictor. IEEE J Select Top Signal Process 11(1):206–220
Pan D, Shi P, Hou M et al (2018) Blind predicting similar quality map for image quality assessment. In: Proceedings of IEEE conference on computer vision and pattern recognition, pp 6373C6382
Zuo L, Wang H, Fu J (2016) Screen content image quality assessment via convolutional neural network. In Proc. IEEE Int. Conf. Image Process. (ICIP), Phoenix, AZ, USA, pp 2082–2086
Lin K Y, Wang G (2018) Hallucinated-IQA: no-reference image quality assessment via adversarial learning. In: 2018 IEEE/CVF conference on computer vision and pattern recognition (CVPR), IEEE
Guan J, Yi S, Zeng X et al (2017) Visual importance and distortion guided deep image quality assessment framework. IEEE Trans Mult 19:2505–2520
Xu L et al (2017) Multi-task rank learning for image quality assessment. IEEE Trans Circ Syst Video Technol 27(9):1833–1843
Zhang W, Martin RR, Liu H (2018) A saliency dispersion measure for improving saliency-based image quality metrics. IEEE Trans Circ Syst Video Technol 28(6):1462–1466
Po L et al (2019) A novel patch variance biased convolutional neural network for no-reference image quality assessment. IEEE Trans Circ Syst Video Technol 29(4):1223–1229
Li, Fang F, Mei K, Zhang G (2018) Multi-scale residual network for image super-resolution. In Proc. Eur. Conf. Comput. Vis., pp 527–542
Zhang W, Ma K, Yan J, Deng D, Wang Z (2020) Blind image quality assessment using a deep bilinear convolutional neural network. IEEE Trans Circ Syst Video Technol 30(1):36–47
Wang C, Shao M et al (2022) Dual-pyramidal image inpainting with dynamic normalization. IEEE Trans Circ Syst Video Technol. https://doi.org/10.1109/TCSVT.2022.3165587
Sun W, Min X, Zhai G et al (2021) Blind quality assessment for in-the-wild images via hierarchical feature fusion and iterative mixed database training[J]. arXiv preprint arXiv:2105.14550
Li F, Zhang Y et al (2021) MMMNet: an end-to-end multi-task deep convolution neural network with multi-scale and multi-hierarchy fusion for blind image quality assessment. IEEE Trans Circ Syst Video Technol 31:4798–4811
Sheikh H, Sabir M, Bovik A (2006) A statistical evaluation of recent full reference image quality assessment algorithms. IEEE Trans Image Process 15(11):3440–3451
Larson C, Chandler M (2010) Most apparent distortion: full-reference image quality assessment and the role of strategy. J Electron Imaging 19(1):011006
Ponomarenko N, Lukin V, Zelensky A et al (2009) TID2008-a database for evaluation of full-reference visual quality assessment metrics. Adv Modern Radio Electron 10(4):30–45
Ponomarenko N et al (2015) Image database TID2013: peculiarities, results and perspectives. Signal Process Image Commun 2015:57–77
Lin H, Hosu V, Saupe D (2019) KADID-10k: A large-scale artificially distorted IQA database. In: Proc. 11th Int. Conf. Qual. Multimedia Exper. (QoMEX), pp 1–3
Jayaraman D, Mittal A, Moorthy AK, Bovik AC (2012) Objective quality assessment of multiply distorted images. In: Proceedings of the conference record of the forty sixth asilomar conference on signals, systems and computers (ASILOMAR), IEEE, pp 1693–1697
Deepti G, Alan C (2015) Massive online crowdsourced study of subjective and objective picture quality. IEEE Trans Image Process 25(1):372–387
Zhang W, Ma K, Zhai G et al (2021) Uncertainty-aware blind image quality assessment in the laboratory and wild. IEEE Trans Image Process 2021:3474–3486
Ye P, Kumar J, Kang L, Doermann D (2012) Unsupervised feature learning framework for no-reference image quality assessment. In: Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp 1098–1105
Xu J, Ye P, Li Q, Du H, Liu Y, Doermann D (2016) Blind image quality assessment based on high order statistics aggregation. IEEE Trans Image Process 25(9):4444–4457
Ren H, Chen D, Wang Y (2018) RAN4IQA: restorative adversarial nets for no-reference image quality assessment. In: Proc. 32nd AAAI Conf. Artif. Intell., pp 7308–7314
Liu X, Weijer J, Bagdanov AD (2017) RankIQA: learning from rankings for no-reference image quality assessment[J]. IEEE Comput Soc
Chen D, Wang Y, Gao W (2020) No-reference image quality assessment: an attention driven approach. IEEE Trans Image Process 29(99):6496–6506
Ghadiyaram D, Bovik AC (2017) Perceptual quality prediction on authentically distorted images using a bag of features approach. J Vis 2017:32–32
Kim J, Lee S (2017) Fully deep blind image quality predictor. IEEE J Sel Top Signal Process 11(1):206–220
Kim J, Zeng H, Ghadiyaram D, Lee S, Zhang L, Bovik AC (2017) Deep convolutional neural models for picture-quality prediction: challenges and solutions to data-driven image quality assessment. IEEE Signal Proc Mag 34(6):130–141
Bosse S, Maniry D, Mller K et al (2017) Deep neural networks for no-reference and full-reference image quality assessment. IEEE Trans Image Process 27(1):206–219
Kim J, Nguyen A, Ahn S, Luo C, Lee S (2018) Multiple level feature-based universal blind image quality assessment model. In Proc ICIP, pp 291–295
Wu J, Zhang M, Li L, Dong W, Lin GW (2019) No-reference image quality assessment with visual pattern degradation. Inf Sci 2019:487–500
Chen X, Zhang Q, Lin M et al (2019) No-reference color image quality assessment: from entropy to perceptual quality. J Image Video Proc 2019:258
Yang S, Jiang Q, Lin W, Wang Y (2019) SGDNet: an end-to-end saliency-guided deep neural network for no-reference image quality assessment. In: Proc. ACM international conference on multimedia association for computing machinery, pp 1383–1391
Dendi S, Dev C et al (2019) Generating image distortion maps using convolutional autoencoders with application to no reference image quality assessment. IEEE Signal Process Lett 26(1):89–93
Rajchel M, Oszust M (2021) No-reference image quality assessment of authentically distorted images with global and local statistics[J]. Signal Image Video Process 15(1):83–91
Yang X, Wang T, Ji G (2020) No-reference image quality assessment via structural information fluctuation. IET Image Proc 14(2):384–396
Wu J, Ma J, Liang F, Dong W, Shi G, Lin W (2020) End-to-end blind image quality prediction with cascaded deep neural network. IEEE Trans Image Process 2020:7414–7426
Xue W, Zhang L, Mou X (2013) Learning without human scores for blind image quality assessment. In Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp 995–1002
Min X, Zhai G, Gu K, Liu Y et al (2018) Blind image quality estimation via distortion aggravation. IEEE Trans Broadcast 64(2):508–517
Li D, Jiang T, Lin W, Jiang M (2018) Which has better visual quality: the clear blue sky or a blurry animal? IEEE Trans Multimedia 21(5):1221–1234
Su S, Yan Q, Zhu Y et al (2020) Blindly assess image quality in the wild guided by a self-adaptive hyper network. In Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp 3667–3676
Kang L, Ye P, Li Y, Doermann D (2015) Simultaneous estimation of image quality and distortion via multi-task convolutional neural networks. In: Proc. IEEE Int. Conf. Image Process (ICIP), pp 2791–2795
Xue W, Mou X, Zhang L, Bovik AC, Feng X (2014) Blind image quality assessment using joint statistics of gradient magnitude and Laplacian features. IEEE Trans Image Process 23(11):4850–4862