Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Ước lượng chính xác các điểm đặc trưng dựa trên mặt phẳng chiếu riêng lẻ trong chuỗi video
Tóm tắt
Sự ổn định và số lượng sự khớp đặc trưng trong chuỗi video là một trong những vấn đề then chốt cho việc theo dõi đặc trưng và một số ứng dụng liên quan. Các phương pháp khớp hiện có dựa trên việc phát hiện đặc trưng, thường bị ảnh hưởng bởi điều kiện ánh sáng, tiếng ồn hoặc chướng ngại vật, và điều này sẽ ảnh hưởng trực tiếp đến kết quả khớp. Trong bài báo này, chúng tôi đề xuất một phương pháp dự đoán chính xác cho việc ước lượng điểm quan tâm trong chuỗi video bằng cách trích xuất bản đồ ổn định cho mỗi điểm chưa phát hiện trong mặt phẳng chiếu phù hợp của nó, dựa trên các điểm đặc trưng đồng phẳng đã được phát hiện ở các khung hình liền kề. Phương pháp dự đoán được đề xuất phá vỡ hạn chế của các phương pháp trước đó chủ yếu dựa vào việc phát hiện đặc trưng. Các thử nghiệm của chúng tôi cho thấy phương pháp của chúng tôi không chỉ dự đoán các đặc trưng một cách chính xác mà còn làm phong phú thêm các mối tương ứng, kéo dài chiều dài theo dõi của các đặc trưng.
Từ khóa
#video sequence #feature matching #feature tracking #interest point estimation #stability #projection planeTài liệu tham khảo
Ackermann, H., Rosenhahn, B.: Trajectory reconstruction for affine structure-from-motion by global and local constraints. In: 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 2890–2897. IEEE (2009)
Barath, D., Hajder, L.: A theory of point-wise homography estimation. Pattern Recognit. Lett. 94, 7–14 (2017)
Bay, H., Tuytelaars, T., Van Gool, L.: Surf: speeded up robust features. In: European Conference on Computer Vision, pp. 404–417. Springer (2006)
Berg, A.C., Berg, T.L., Malik, J.: Shape matching and object recognition using low distortion correspondences. In: CVPR (1), pp. 26–33. Citeseer (2005)
Calonder, M., Lepetit, V., Strecha, C., Fua, P.: Brief: binary robust independent elementary features. In: European Conference on Computer Vision, pp. 778–792. Springer (2010)
Cho, M., Lee, J., Lee, K.M.: Feature correspondence and deformable object matching via agglomerative correspondence clustering. In: 2009 IEEE 12th International Conference on Computer Vision, pp. 1280–1287. IEEE (2009)
Cho, M., Lee, K.M.: Progressive graph matching: making a move of graphs via probabilistic voting. In: 2012 IEEE Conference on Computer Vision and Pattern Recognition, pp. 398–405. IEEE (2012)
DeTone, D., Malisiewicz, T., Rabinovich, A.: Superpoint: self-supervised interest point detection and description. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 224–236 (2018)
Erlik Nowruzi, F., Laganiere, R., Japkowicz, N.: Homography estimation from image pairs with hierarchical convolutional networks. In: Proceedings of the IEEE International Conference on Computer Vision, pp. 913–920 (2017)
Fischler, M.A., Bolles, R.C.: Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM 24(6), 381–395 (1981)
Geneva, P., Maley, J., Huang, G.: An efficient Schmidt-EKF for 3d visual-inertial slam. In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2019)
Harris, C.G., Stephens, M., et al.: A combined corner and edge detector. In: Alvey Vision Conference, vol. 15, pp. 10–5244. Citeseer (1988)
Hartley, R., Zisserman, A.: Multiple View Geometry in Computer Vision. Cambridge University Press, Cambridge (2003)
Hu, Y.T., Lin, Y.Y.: Progressive feature matching with alternate descriptor selection and correspondence enrichment. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 346–354 (2016)
Ilg, E., Saikia, T., Keuper, M., Brox, T.: Occlusions, motion and depth boundaries with a generic network for disparity, optical flow or scene flow estimation. In: Proceedings of the European Conference on Computer Vision (ECCV), pp. 614–630 (2018)
Jacobs, D.W.: Linear fitting with missing data for structure-from-motion. Comput. Vis. Image Underst. 82(1), 57–81 (2001)
Jianbo, S., Tomasi, C.: Good features to track. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 593–600 (1994)
Jin, Y., Tao, L., Di, H., Rao, N.I., Xu, G.: Background modeling from a free-moving camera by multi-layer homography algorithm. In: 2008 15th IEEE International Conference on Image Processing, pp. 1572–1575. IEEE (2008)
Leutenegger, S., Chli, M., Siegwart, R.: Brisk: Binary robust invariant scalable keypoints. In: 2011 IEEE International Conference on Computer Vision (ICCV), pp. 2548–2555. IEEE (2011)
Li, J., Hu, Q., Ai, M.: 4fp-structure: a robust local region feature descriptor. Photogramm. Eng. Remote Sens. 83(12), 813–826 (2017)
Li, J., Hu, Q., Ai, M., Zhong, R.: Robust feature matching via support-line voting and affine-invariant ratios. ISPRS J. Photogramm. Remote Sens. 132, 61–76 (2017)
Lin, T.Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., Zitnick, C.L.: Microsoft coco: common objects in context. In: European Conference on Computer Vision, pp. 740–755. Springer (2014)
Lowe, D.G.: Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vis. 60(2), 91–110 (2004)
Ma, J., Zhao, J., Tian, J., Yuille, A.L., Tu, Z.: Robust point matching via vector field consensus. IEEE Trans. Image Process. 23(4), 1706–1721 (2014)
Ma, J., Zhou, H., Zhao, J., Gao, Y., Jiang, J., Tian, J.: Robust feature matching for remote sensing image registration via locally linear transforming. IEEE Trans. Geosci. Remote Sens. 53(12), 6469–6481 (2015)
Mueller, M., Smith, N., Ghanem, B.: A benchmark and simulator for UAV tracking. In: European Conference on Computer Vision, pp. 445–461. Springer (2016)
Ono, Y., Trulls, E., Fua, P., Yi, K.M.: Lf-net: learning local features from images. In: Advances in Neural Information Processing Systems, pp. 6234–6244 (2018)
Rublee, E., Rabaud, V., Konolige, K., Bradski, G.R.: Orb: an efficient alternative to sift or surf. In: ICCV, vol. 11, p. 2. Citeseer (2011)
Tomasi, C., Kanade, T.: Shape and motion from image streams under orthography: a factorization method. Int. J. Comput. Vis. 9(2), 137–154 (1992)
Triggs, B., McLauchlan, P.F., Hartley, R.I., Fitzgibbon, A.W.: Bundle adjustment a modern synthesis. In: International Workshop on Vision Algorithms, pp. 298–372. Springer (1999)
Vedaldi, A., Fulkerson, B.: Vlfeat: an open and portable library of computer vision algorithms. In: Proceedings of the 18th ACM International Conference on Multimedia, pp. 1469–1472. ACM (2010)
Wang, C., Wang, L., Liu, L.: Progressive mode-seeking on graphs for sparse feature matching. In: European Conference on Computer Vision, pp. 788–802. Springer (2014)
Weinmann, M., Weinmann, M., Hinz, S., Jutzi, B.: Fast and automatic image-based registration of TLS data. ISPRS J. Photogramm. Remote Sens. 66(6), S62–S70 (2011)
Wu, C., et al.: Visualsfm: a visual structure from motion system (2011)
Yan, Q., Yang, L., Liang, C., Liu, H., Hu, R., Xiao, C.: Geometrically based linear iterative clustering for quantitative feature correspondence. In: Computer Graphics Forum, vol. 35, pp. 1–10. Wiley Online Library (2016)
Zhang, G., Liu, H., Dong, Z., Jia, J., Wong, T.T., Bao, H.: Efficient non-consecutive feature tracking for robust structure-from-motion. IEEE Trans. Image Process. 25(12), 5957–5970 (2016)
Zitova, B., Flusser, J.: Image registration methods: a survey. Image Vis. Comput. 21(11), 977–1000 (2003)