Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Khôi phục tranh tường cổ qua mô hình hai nhánh hướng dẫn thông tin cấu trúc
Tóm tắt
Các bức tranh tường cổ là di sản văn hóa quan trọng cho việc khám phá các nền văn minh cổ đại và có giá trị nghiên cứu lớn. Do tiếp xúc lâu dài với môi trường, các bức tranh tường cổ thường bị hư hại (suy thoái) như nứt, trầy xước, ăn mòn, mất sơn, và thậm chí là rơi ra một vùng lớn. Việc bảo vệ và phục hồi những bức tranh tường cổ bị hư hại này là công việc cấp thiết. Kỹ thuật điền bù tranh tường đề cập đến việc lấp đầy các vùng bị hư hại bằng cách tái cấu trúc các yếu tố cấu trúc và kết cấu của hình ảnh tranh tường. Hầu hết các phương pháp điền bù tranh tường hiện có không thể lấp đầy các nội dung mất mát chứa các cấu trúc phức tạp và họa tiết đa dạng vì họ bỏ qua tầm quan trọng của hướng dẫn cấu trúc. Trong bài viết này, chúng tôi đề xuất một mô hình hai nhánh hướng dẫn cấu trúc dựa trên mạng đối kháng sinh điều kiện (GAN) cho việc điền bù tranh tường cổ. Trong mô hình được đề xuất, quá trình điền bù tranh tường có thể được chia thành hai giai đoạn: tái cấu trúc cấu trúc và phục hồi nội dung. Hai giai đoạn này được thực hiện thông qua việc sử dụng một mạng tái cấu trúc cấu trúc (SRN) và một mạng phục hồi nội dung (CRN), tương ứng. Trong giai đoạn tái cấu trúc cấu trúc, SRN sử dụng khối tích chập có cổng và khối tích chập Fourier nhanh (FFC) để tái cấu trúc các cấu trúc bị mất của các bức tranh tường bị hư hại. Trong giai đoạn phục hồi nội dung, CRN sử dụng các cấu trúc (được tạo ra bởi SRN) để hướng dẫn việc phục hồi nội dung bị mất của các bức tranh tường. Chúng tôi thiết kế một bộ mã hóa song song hai nhánh để cải thiện chất lượng phục hồi kết cấu và màu sắc cho các vùng bị mất của các bức tranh tường. Hơn nữa, chúng tôi đề xuất một mô-đun chú ý tầng cascade có khả năng nắm bắt thông tin liên quan theo thời gian dài trong các đặc trưng sâu. Điều này giúp giảm thiểu vấn đề nhòe kết cấu và lệch màu. Chúng tôi thực hiện các thí nghiệm trên cả các bức tranh tường bị hư hại giả lập và thực tế, và so sánh kết quả điền bù của chúng tôi với bốn phương pháp cạnh tranh khác. Kết quả thí nghiệm cho thấy mô hình mà chúng tôi đề xuất vượt trội hơn các phương pháp khác về độ rõ nét của kết cấu, tính nhất quán về màu sắc và tính liên tục của cấu trúc của các hình ảnh tranh tường được phục hồi. Ngoài ra, kết quả điền bù tranh tường của mô hình chúng tôi có thể đạt được những chỉ số đánh giá định lượng tương đối cao.
Từ khóa
Tài liệu tham khảo
Yue YQ. Condition surveys of deterioration and research of wall paintings in Maijishan cave-temple. Study Nat Cult Herit. 2019;4(2):127–31 (in Chinese with an English abstract).
Bertalmio M, Sapiro G, Caselles V, et al. Image inpainting. Proceedings of the 27th annual conference on Computer graphics and interactive techniques. 2000: 417-424.
Jaidilert S, Farooque G. Crack detection and images inpainting method for Thai mural painting images. 2018 IEEE 3rd International Conference on Image, Vision and Computing (ICIVC). IEEE, 2018: 143–148.
Chen Y, Ai YP, Guo HG. Inpainting algorithm for Dunhuang Mural based on improved curvature-driven diffusion model. J Comput-Aided Design Comput Graph. 2020;32(05):787–96 (in Chinese with an English abstract).
Criminisi A, Perez P, Toyama K. Object removal by exemplar-based inpainting. 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings. IEEE, 2003, 2: II-II.
Jiao LJ, Wang WJ, Li BJ, et al. Wutai mountain mural inpainting based on improved block matching algorithm. J Comput-Aided Design Comput Graph. 2019;31(01):118–25 (in Chinese with an English abstract).
Cao J, Li Y, Zhang Q, et al. Restoration of an ancient temple mural by a local search algorithm of an adaptive sample block. Herit Sci. 2019;7(1):1–14. https://doi.org/10.1186/s40494-019-0281-y.
Wang H, Li Q, Zou Q. Inpainting of Dunhuang murals by sparsely modeling the texture similarity and structure continuity. J Comput Cult Herit (JOCCH). 2019;12(3):1–21.
Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: feature learning by inpainting. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2536–2544.
Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks. Commun ACM. 2020;63(11):139–44.
Wang N, Wang W, Hu W, et al. Thanka mural inpainting based on multi-scale adaptive partial convolution and stroke-like mask. IEEE Trans Image Process. 2021;30:3720–33. https://doi.org/10.1109/TIP.2021.3064268.
Cao J, Zhang Z, Zhao A, et al. Ancient mural restoration based on a modified generative adversarial network. Herit Sci. 2020;8(1):1–14. https://doi.org/10.1186/s40494-020-0355-x.
Lv C, Li Z, Shen Y, et al. SeparaFill: two generators connected mural image restoration based on generative adversarial network with skip connect. Herit Sci. 2022;10(1):1–13. https://doi.org/10.1186/s40494-022-00771-w.
Schmidt A, Madhu P, Maier A, et al. ARIN: adaptive resampling and instance normalization for robust blind inpainting of Dunhuang Cave Paintings. 2022 Eleventh international conference on image processing theory, tools and applications (IPTA). IEEE, 2022: 1–6. https://doi.org/10.1109/IPTA54936.2022.9784144.
Li J, Wang H, Deng Z, et al. Restoration of non-structural damaged murals in Shenzhen Bao’an based on a generator-discriminator network. Herit Sci. 2021;9(1):1–14. https://doi.org/10.1186/s40494-020-00478-w.
Yu T, Lin C, Zhang S, et al. End-to-end partial convolutions neural networks for Dunhuang grottoes wall-painting restoration. Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. 2019: 0-0.
Li L, Zou Q, Zhang F, et al. Line drawing guided progressive inpainting of mural damages. arXiv preprint arXiv:2211.06649, 2022.
Ciortan IM, George S, Hardeberg JY. Colour-balanced edge-guided digital inpainting: applications on artworks. Sensors. 2021;21(6):2091.
Canny J. A computational approach to edge detection. IEEE Trans Pattern Anal Mach Intell. 1986;6:679–98.
Chi L, Jiang B, Mu Y. Fast Fourier convolution. Adv Neural Inf Process Syst. 2020;33:4479–88.
Brigham EO, Morrow RE. The fast Fourier transform. IEEE Spectrum. 1967;4(12):63–70.
Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 5505–5514.
Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1125–1134.
Wang T C, Liu M Y, Zhu J Y, et al. High-resolution image synthesis and semantic manipulation with conditional gans. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 8798–8807.
Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.
Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution. European conference on computer vision. Cham: Springer; 2016. p. 694–711.
Gatys L A, Ecker A S, Bethge M. Image style transfer using convolutional neural networks. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2414–2423.
Wang N, Zhang Y, Zhang L. Dynamic selection network for image inpainting. IEEE Trans Image Process. 2021;30:1784–98.
Li J, Wang N, Zhang L, et al. Recurrent feature reasoning for image inpainting. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 7760–7768.
Nazeri K, Ng E, Joseph T, et al. Edgeconnect: generative image inpainting with adversarial edge learning. arXiv preprint arXiv:1901.00212, 2019.
Li X, Guo Q, Lin D, et al. MISF: multi-level interactive Siamese filtering for high-fidelity image inpainting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 1869-1878.
Gupta P, Srivastava P, Bhardwaj S, et al. A modified PSNR metric based on HVS for quality assessment of color images. 2011 International Conference on Communication and Industrial Application. IEEE, 2011: 1–4.
Hore A, Ziou D, Image quality metrics: PSNR vs. SSIM. 20th international conference on pattern recognition. IEEE. 2010;2010:2366–9.
Zhang R, Isola P, Efros A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 586–595.
Ma DG, Tang P, Zhao LJ, et al. Review of data augmentation for image in deep learning. J Image Graph. 2021;26(03):487–502 (in Chinese with an English abstract).
Liu G, Reda F A, Shih K J, et al. Image inpainting for irregular holes using partial convolutions. Proceedings of the European conference on computer vision (ECCV). 2018: 85–100.