Phương pháp đăng ký hình ảnh UAV mới dựa trên lan truyền xác suất có ràng buộc hình học

Multimedia Tools and Applications - Tập 77 - Trang 24143-24163 - 2018
Shuangming Zhao1, Guorong Yu1, Yunfan Cui1
1School of Remote Sensing and Information Engineering, Wuhan University, Wuhan, China

Tóm tắt

Đăng ký hình ảnh là một bước quan trọng trong lĩnh vực thị giác máy tính. Tuy nhiên, phương pháp dựa trên biến đổi đặc trưng không đổi tỷ lệ (SIFT) truyền thống thường gặp nhiều lỗi không khớp khi được sử dụng để đăng ký hình ảnh từ thiết bị bay không người lái (UAV) với sự xoay chuyển rõ ràng, thay đổi góc nhìn và kết cấu tương tự. Để giải quyết vấn đề này, chúng tôi xây dựng bài toán khớp hình ảnh như một bài toán tối thiểu hóa năng lượng của Mô hình Ngẫu nhiên Markov (MRF) và đề xuất một khung đăng ký hình ảnh chính xác và nhanh chóng. Đầu tiên, một thuật toán SIFT được sử dụng để trích xuất các điểm quan trọng và một thuật toán gọi là "Trọng tâm" (CoM) được khai thác để gán một hướng duy nhất cho mỗi điểm thay vì SIFT, vì SIFT có thể gây ra sự mơ hồ trong quá trình tiếp theo; thứ hai, dựa trên mối quan hệ không gian lân cận địa phương giữa một điểm đặc trưng và các điểm hàng xóm của nó, một khái niệm mới về ràng buộc không gian địa phương được đề xuất để mô tả tính đồng nhất hình học giữa chúng và được đưa vào một thuật toán lan truyền niềm tin để có được các kết quả khớp ban đầu; cuối cùng, các lỗi không khớp dư thừa được loại bỏ thông qua thuật toán Random Sample Consensus (RANSAC), trong khi đó các tham số biến đổi được ước lượng. Kết quả thí nghiệm chứng minh rằng khung đề xuất có thể cải thiện đáng kể hiệu suất đăng ký trong đăng ký hình ảnh UAV.

Từ khóa

#đăng ký hình ảnh #SIFT #UAV #lan truyền niềm tin #RANSAC

Tài liệu tham khảo

Aguilar W, Martinez-Perez ME, Frauel Y, Escolano F, Lozano MA, Espinosa-Romero A (2007) Graph-based methods for retinal mosaicing and vascular characterization. In: International workshop on graph-based representations in pattern recognition, Springer, pp 25–36 Aguilar W, Frauel Y, Escolano F, Martinez-Perez ME, Espinosa-Romero A, Lozano MA (2009) A robust graph transformation matching for non-rigid registration. Image Vis Comput 27(7):897–910. https://doi.org/10.1016/j.imavis.2008.05.004 Argyriou V, Vlachos T (2003) Estimation of sub-pixel motion using gradient cross-correlation. Electron Lett 39(13):980–982 Bay H, Ess A, Tuytelaars T, Van Gool L (2008) Speeded-up robust features (SURF). Comput Vis Image Underst 110(3):346–359 Brown LG (1992) A survey of image registration techniques. ACM Comput Surv (CSUR) 24(4):325–376 Bulatov D, Rottensteiner F, Schulz K (2012) Context-based urban terrain reconstruction from images and videos. In: Proceedings of the XXII ISPRS congress of the international society for photogrammetry and remote sensing ISPRS annals, Melbourne, p 3 Colomina I, Molina P (2014) Unmanned aerial systems for photogrammetry and remote sensing: a review. ISPRS J Photogramm Remote Sens 92:79–97 Evangelidis GD, Psarakis EZ (2008) Parametric image alignment using enhanced correlation coefficient maximization. IEEE Trans Pattern Anal Mach Intell 30(10):1858–1865 Feng S, Deng L, Shu G, Wang F, Deng H, Ji K (2012) A subpixel registration algorithm for low PSNR images. In: 2012 I.E. Fifth International Conference on Advanced Computational Intelligence (ICACI), IEEE, pp 626–630 Gauglitz S, Turk M, Höllerer T (2011) Improving keypoint orientation assignment. In: BMVC, pp 1–11 Guizar-Sicairos M, Thurman ST, Fienup JR (2008) Efficient subpixel image registration algorithms. Opt Lett 33(2):156–158 Ke Y, Sukthankar R (2004) PCA-SIFT: a more distinctive representation for local image descriptors. In: CVPR 2004. Proceedings of the 2004 I.E. computer society conference on computer vision and pattern recognition, 2004, IEEE, pp II–II Kolmogorov V (2006) Convergent tree-reweighted message passing for energy minimization. IEEE Trans Pattern Anal Mach Intell 28(10):1568–1583 Kupfer B, Netanyahu NS, Shimshoni I (2015) An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images. IEEE Geosci Remote Sens Lett 12(2):379–383. https://doi.org/10.1109/lgrs.2014.2343471 Li B, Ye H (2012) RSCJ: robust sample consensus judging algorithm for remote sensing image registration. IEEE Geosci Remote Sens Lett 9(4):574–578 Lowe DG (1999) Object recognition from local scale-invariant features. In: The proceedings of the seventh IEEE international conference on computer vision, 1999, IEEE, pp 1150–1157 Lowe DG (2004) Distinctive image features from scale-invariant keypoints. Int J Comput Vis 60(2):91–110 Ma J, Zhou H, Zhao J, Gao Y, Jiang J, Tian J (2015) Robust feature matching for remote sensing image registration via locally linear transforming. IEEE Trans Geosci Remote Sens 53(12):6469–6481. https://doi.org/10.1109/tgrs.2015.2441954 Zeng T, Yang W, Wu H UAV remote sensing image processing and classification in Wenchuan earthquake district. In: Sixth International Symposium on Multispectral Image Processing and Pattern Recognition, 2009. SPIE, p 6. https://doi.org/10.1117/12.832957 Morel J-M, Yu G (2009) ASIFT: a new framework for fully affine invariant image comparison. SIAM J Imag Sci 2(2):438–469. https://doi.org/10.1137/080732730 Qiaoliang L, Guoyou W, Jianguo L, Shaobo C (2009) Robust scale-invariant feature matching for remote sensing image registration. IEEE Geosci Remote Sens Lett 6(2):287–291. https://doi.org/10.1109/lgrs.2008.2011751 Q-s C, Defrise M, Deconinck F (1994) Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition. IEEE Trans Pattern Anal Mach Intell 16(12):1156–1168 Salvo G, Caruso L, Scordo A (2014) Urban traffic analysis through an UAV. Procedia Soc Behav Sci 111:1083–1091. https://doi.org/10.1016/j.sbspro.2014.01.143 senseFly dataset. https://www.sensefly.com/drones/example-datasets.html Shi X, Jiang J (2015) Point-matching method for remote sensing images with background variation. J Appl Remote Sens 9(1):095046–095046 Szeliski R, Zabih R, Scharstein D, Veksler O, Kolmogorov V, Agarwala A, Tappen M, Rother C (2006) A comparative study of energy minimization methods for markov random fields. Comput Vis ECCV 2006:16–29 Tagare HD, Rao M (2015) Why does mutual-information work for image registration? A deterministic explanation. IEEE Trans Pattern Anal Mach Intell 37(6):1286–1296 Tola E, Lepetit V, Fua P (2010) Daisy: an efficient dense descriptor applied to wide-baseline stereo. IEEE Trans Pattern Anal Mach Intell 32(5):815–830 USC-SIPI dataset. http://sipi.usc.edu/database/database.php Uss ML, Vozel B, Dushepa VA, Komjak VA, Chehdi K (2014) A precise lower bound on image subpixel registration accuracy. IEEE Trans Geosci Remote Sens 52(6):3333–3345 Wainwright MJ, Jordan MI (2008) Graphical models, exponential families, and variational inference. Found Trends Mach Learn 1(1–2):1–305 Wainwright M, Jaakkola T, Willsky A (1998) MAP estimation via agreement on (hyper) trees: message-passing and linear programming approaches. In: Proceedings of the annual allerton conference on communication control and computing, 2002. vol 3. The University, pp 1565–1575 Weiss Y, Freeman WT (2001) On the optimality of solutions of the max-product belief-propagation algorithm in arbitrary graphs. IEEE Trans Inf Theory 47(2):736–744 Xu Q, Zhang Y, Li B (2014) Improved SIFT match for optical satellite images registration by size classification of blob-like structures. Remote Sens Lett 5(5):451–460. https://doi.org/10.1080/2150704x.2014.917774 Yang L, Tian Z, Zhao W, Wen J, Yan W (2016) Robust image registration using adaptive coherent point drift method. J Appl Remote Sens 10(2):025014–025014 Yi Z, Zhiguo C, Yang X (2008) Multi-spectral remote image registration based on SIFT. Electron Lett 44(2):107. https://doi.org/10.1049/el:20082477 Yue W, Wenping M, Maoguo G, Linzhi S, Licheng J (2015) A novel point-matching algorithm based on fast sample consensus for image registration. IEEE Geosci Remote Sens Lett 12(1):43–47. https://doi.org/10.1109/lgrs.2014.2325970 Zhou F, Yang W, Liao Q (2012) A coarse-to-fine subpixel registration method to recover local perspective deformation in the application of image super-resolution. IEEE Trans Image Process 21(1):53–66 Zhou C, Zhou JH, Fan DH (2014) The study of a fast sub-pixel registration method for remote sensing image. In: Advanced materials research, trans tech publ, pp 3877–3880 Zitová B, Flusser J (2003) Image registration methods: a survey. Image Vis Comput 21(11):977–1000. https://doi.org/10.1016/s0262-8856(03)00137-9