Cảm nhận nền cho bộ theo dõi bộ lọc tương quan

Yushan Zhang1, Jianan Li1, Fan Wu1, Lingyue Wu1, Tingfa Xu1,2
1School of Optics and Photonics, Image Engineering & Video Technology Lab, Beijing Institute of Technology, Beijing, China
2Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education of China, Beijing, China

Tóm tắt

Theo dõi đối tượng hình ảnh là một trong những nhiệm vụ cơ bản nhất trong lĩnh vực thị giác máy tính, và nó có nhiều ứng dụng trong nhiều lĩnh vực như giám sát công cộng, tương tác người-máy, robot học, v.v. Gần đây, các bộ theo dõi dựa trên bộ lọc tương quan phân biệt (DCF) đã đạt được kết quả hứa hẹn trong các vấn đề theo dõi ngắn hạn. Hầu hết các bộ theo dõi này tập trung vào việc trích xuất các đặc điểm đáng tin cậy từ tiền cảnh của các hình ảnh đầu vào để xây dựng một mô tả mạnh mẽ và thông tin về mục tiêu. Tuy nhiên, thường thì bối cảnh nền của hình ảnh chứa thông tin xung quanh mục tiêu thường giống nhau giữa các khung hình liên tiếp và do đó có thể có ích cho việc xác định vị trí của mục tiêu. Trong bài báo này, chúng tôi đề xuất một điều khoản quy định cảm nhận nền để khai thác thêm thông tin nền hữu ích của mục tiêu. Cụ thể, mô tả không hợp lệ của mục tiêu có thể được tránh khi thông tin nền hoặc tiền cảnh trở nên không đáng tin cậy bằng cách gán tầm quan trọng tương tự cho cả hai. Hơn nữa, một chiến lược cập nhật mô hình mới cũng được đề xuất. Thay vì cập nhật mô hình từng khung hình, chúng tôi giới thiệu một điểm số đánh giá đầu ra, dùng để giám sát quá trình theo dõi và chọn kết quả có độ tin cậy cao cho việc cập nhật mô hình, do đó đặt ra một hướng đi mới để tránh sự hỏng hóc của mô hình. Các thí nghiệm rộng rãi trên tập dữ liệu OTB-100 đã chứng minh hiệu quả của phương pháp BPCF được đề xuất, đạt được điểm AUC là 0.689 và vượt trội hơn hầu hết các phương pháp tiên tiến hiện nay.

Từ khóa

#Theo dõi đối tượng #bộ lọc tương quan #cảm nhận nền #thị giác máy tính #cập nhật mô hình

Tài liệu tham khảo

J Henriques, R Caseiro, P Martins, J Batista, in European Conference on Computer Vision. Exploiting the circulant structure of tracking-by-detection with kernels (2012), pp. 702-715. M Danelljan, F. S. Khan, M Felsberg, J. V. D. Weijer, in IEEE Conference on Computer Vision and Pattern Recognition. Adaptive color attributes for real-time visual tracking (2014), pp. 1090–1097. M Danelljan, G Bhat, F. S. Khan, M Felsberg, in IEEE Conference on Computer Vision and Pattern Recognition. ECO: Efficient Convolution Operators for Tracking (2017), pp. 21–26. M Danelljan, A Robinson, F. S. Khan, M Felsberg, in European Conference on Computer Vision. Beyond correlation filters: learning continuous convolution operators for visual tracking (2016), pp. 472-488. R. Yao, S. Xia, F. Shen, Y. Zhou, Q. Niu, Exploiting spatial structure from parts for adaptive kernelized correlation filter tracker. IEEE Signal Process Lett 23, 658–662 (2016) M. Danelljan, G. Häger, F.S. Khan, M. Felsberg, Discriminative scale space tracking. IEEE Trans Pattern Anal Machine Intell 39, 1561–1575 (2016) M Wang, Y Liu, Z Huang, Large margin object tracking with circulant feature maps. IEEE Conference on Computer Vision and Pattern Recognition (2017), pp. 4800-4808. M Danelljan, G Häger, F. S. Khan, M Felsberg, in IEEE International Conference on Computer Vision. Learning spatially regularized correlation filters for visual tracking (2015), pp. 4310–4318. J.F. Henriques, C Rui, P Martins, J Batista, High-speed tracking with kernelized correlation filters. IEEE Transactions on Pattern Analysis & Machine Intelligence 37, 583-596 (2014). D.S. Bolme, J.R. Beveridge, B.A. Draper, Y.M. Lui, in IEEE Conference on Computer Vision and Pattern Recognition. Visual object tracking using adaptive correlation filters (2010), pp. 2544–2550. F Li, C Tian, W Zuo, L Zhang, M. H. Yang, in IEEE Conference on Computer Vision and Pattern Recognition. Learning spatial-temporal regularized correlation filters for visual tracking (2018), pp. 4904-4913. Z He, Y Fan, J Zhuang, Y Dong, H. L. Bai, In IEEE International Conference on Computer Vision Workshop. Correlation filters with weighted convolution responses (2017), pp. 1992-2000. C Sun, D Wang, H Lu, M.H. Yang, in IEEE Conference on Computer Vision and Pattern Recognition. Learning spatial-aware regressions for visual tracking (2018), pp. 8962-8970 E. Gundogdu, A.A. Alatan, Good features to correlate for visual tracking. IEEE Transactions on Image Process. 27(2526-2540) (2018) T. Xu, Z.H. Feng, X.J. Wu, J. Kittler, Learning adaptive discriminative correlation filters via temporal consistency preserving spatial feature selection for robust visual object tracking. IEEE Trans Image Process 28, 5596–5609 (2019) B Huang, T Xu, B Liu, B Yuan, Context constraint and pattern memory for long-term correlation tracking. Neurocomputing. In Press, https://doi.org/10.1016/j.neucom.2019.10.021 B. Huang, T. Xu, S. Jiang, Y. Bai, Y. Chen, SVTN: Siamese Visual Tracking Networks with Spatially Constrained Correlation Filter and Saliency Prior Context Model. IEEE Access. 7, 144339–144353 (2019) N Dalal, B Triggs, in IEEE Conference on Computer Vision and Pattern Recognition. Histograms of oriented gradients for human detection (2005), pp. 886-893. M Danelljan, G Häger, F.S. Khan, M Felsberg, in Scandinavian Conference on Image Analysis. Coloring channel representations for visual tracking (2015), pp. 117–129. C Sun, D Wang, H Lu, M. H. Yang, in IEEE Conference on Computer Vision and Pattern Recognition. Correlation tracking via joint discrimination and reliability learning (2018), pp. 489-497. M Kristan, A Leonardis, J Matas, M Felsberg, Z He, et al, in IEEE International Conference on Computer Vision Workshop. The visual object tracking vot2017 challenge results (2017), pp. 1949-1972. Y. Wu, J. Lim, M.H. Yang, Object tracking benchmark. IEEE Trans Pattern Anal Machine Intell 37, 1834–1848 (2015) K Simonyan, A Zisserman, Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556 (2014). O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, et al., Imagenet large scale visual recognition challenge. Int J Comput Vision 115, 211–252 (2015) J Zhang, S Ma, S Sclaroff, in European Conference on Computer Vision. MEEM: robust tracking via multiple experts using entropy minimization (2014), pp. 188-203. M Danelljan, G Häger, F. S. Khan, M Felsberg, in IEEE International Conference on Computer Vision (ICCV) Workshops. Convolutional features for correlation filter based visual tracking (2015), pp. 59-66. L Bertinetto, J Valmadre, S Golodetz, O Miksik, P. H. S. Torr, in IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Staple: complementary learners for real-time tracking (2016), pp. 1401-1409. L Bertinetto, J Valmadre, J. F. Henriques, A Vedaldi, P. H. Torr, in European Conference on Computer Vision (ECCV) Workshops. Fully-Convolutional Siamese Networks for Object Tracking (2016), pp. 850-865. M Danelljan, G Häger, F. S. Khan, M Felsberg, Accurate scale estimation for robust visual tracking. In BMVC (2014)