Các phương pháp nhận diện bước đi trong video

Programming and Computer Software - Tập 45 - Trang 213-220 - 2019
A. Sokolova1, A. Konushin1,2
1National Research University, Higher School of Economics, Moscow, Russia
2Lomonosov Moscow State University, Moscow, Russia

Tóm tắt

Hành vi đi bộ của con người là một chỉ số sinh trắc học quan trọng cho phép xác định một người từ khoảng cách xa mà không cần tiếp xúc trực tiếp. Nhờ vào những đặc điểm này, mà các phương pháp xác định danh tính khác như dấu vân tay hay mống mắt không có, việc nhận dạng con người qua cách đi đã trở nên rất phổ biến trong nhiều lĩnh vực nơi hệ thống giám sát video có thể được sử dụng. Với sự phát triển của các kỹ thuật thị giác máy tính, nhiều phương pháp khác nhau cho việc xác định con người dựa trên chuyển động trong video đã xuất hiện. Những phương pháp này dựa vào các đặc điểm sinh trắc học tự nhiên (bộ xương của con người, hình dáng, và sự thay đổi của chúng trong quá trình đi) cũng như các đặc điểm trừu tượng được đào tạo tự động không có cơ sở vật lý. Các phương pháp hiện đại kết hợp các thuật toán cổ điển của phân tích video và hình ảnh cùng với các phương pháp mới cho kết quả tốt trong các bài toán liên quan đến thị giác máy tính, chẳng hạn như nhận diện con người qua khuôn mặt và ngoại hình hoặc nhận diện hành động và cử chỉ. Tuy nhiên, do số lượng lớn các điều kiện có thể ảnh hưởng đến cách đi của một người và sự thể hiện của nó trong video, vấn đề xác định danh tính một người qua cách đi vẫn chưa có giải pháp chính xác đủ. Nhiều phương pháp bị khớp quá mức với các điều kiện được trình bày trong các cơ sở dữ liệu mà chúng được đào tạo, điều này hạn chế khả năng áp dụng của chúng trong thực tế. Trong bài báo này, chúng tôi cung cấp một tổng quan về các phương pháp nhận dạng bước đi tiên tiến, phân tích và so sánh chúng trên một số bộ video phổ biến và cho các cách diễn đạt khác nhau của vấn đề nhận diện.

Từ khóa

#nhận diện bước đi #sinh trắc học #thị giác máy tính #phân tích video #hệ thống giám sát

Tài liệu tham khảo

Arseev, S., Konushin, A., and Liutov, V., Human recognition by appearance and gait, Programming and Computer Software, 2018, pp. 258–265. Bashir, K., Xiang, T., and S, G., Gait recognition using gait entropy image, Proceedings of 3rd International Conference on Crime Detection and Prevention, 2009, pp. 1–6. Belhumeur, P.N., Hespanha, J.a.P., and Kriegman, D.J., Eigenfaces vs. fisherfaces: Recognition using class specific linear projection, IEEE Trans. Pattern Anal. Mach. Intell., 1997, vol. 19, no. 7, pp. 711–720. Chen, C., Liang, J., Zhao, H. Hu, H., and Tian, J., Frame difference energy image for gait recognition with incomplete silhouettes, Pattern Recognit. Lett., 2009, vol. 30, no. 11, pp 977–984. Castro, F.M., Marín-Jiménez, M.J., Guil, N., and Pérez de la Blanca, N., Automatic learning of gait signatures for people identification, Advances in Computational Intelligence, 2017. pp. 257–270. Castro, F.M., Marín-Jiménez, M., and Medina Carnicer, R., Pyramidal Fisher Motion for multiview gait recognition, 22nd International Conference on Pattern Recognition, 2014, pp. 692–1697. Dalal, N. and Triggs, B., Histograms of oriented gradients for human detection, Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), 2005, vol. 01, pp. 886–893. Deng, M., Wang, C., Cheng, F., and Zeng, W., Fusion of spatial-temporal and kinematic features for gait recognition with deterministic learning, Pattern Recognit., 2017, vol. 67, pp. 186–200. Feng, Y., Li, Y., and Luo, J., Learning effective gait features using LSTM, International Conference on Pattern Recognition, 2016, pp. 325–330. He, Y., Zhang, J., Shan, H., and Wang, L., Multi-task gans for view-specific feature learning in gait recognition, IEEE TIFS, 2019, vol. 14, no. 1, pp. 102–113. Han, J. and Bhanu, B., Individual recognition using gait energy image, IEEE Trans. Pattern Anal. Mach. Intell., 2006, vol. 28, pp. 316–322. Hofmann, M., Geiger, J., Bachmann, S., Schuller, B., and Rigoll, G., The TUM Gait from Audio, Image and Depth (GAID) database: Multimodal recognition of subjects and traits, J. Visual Com. Image Repres., 2014, vol. 25, no. 1, pp.195–206. Iwama, H., Okumura, M., Makihara, Y., and Yagi, Y., The OU-ISIR gait database comprising the large population dataset and performance evaluation of gait recognition, IEEE Trans. on Information Forensics and Security, 2012, 7, Issue 5, pp. 1511–1521. Laptev, I., Marszalek, M., Schmid, C., and Rozenfeld, B., Learning realistic human actions from movies, IEEE Conference on Computer Vision & Pattern Recognition (CVPR 2008), 2008, pp. 1–8. Li, C., Sun, S., Chen, X., and Min, X., Cross-view gait recognition using joint Bayesian, Proc. SPIE 10420, Ninth International Conference on Digital Image Processing (ICDIP 2017), 2017. Liu, Y., Zhang, J., Wang, C., and Wang, L., Multiple HOG templates for gait recognition, Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), 2012. pp. 2930–2933. Makihara, Y., Sagawa, R., Mukaigawa, Y., Echigo, T., and Yagi, Y., Gait recognition using a view transformation model in the frequency domain, Computer Vision – ECCV 2006, 2006, pp. 151–163. Makihara, Y., Suzuki, A., Muramatsu, D., Li, X., and Yagi, Y., Joint intensity and spatial metric learning for robust gait recognition, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6786–6796. Mansur, A., Makihara, Y., Muramatsu, D., and Yagi, Y., Cross-view gait recognition using view-dependent discriminative analysis, 2014 IEEE/IAPR International Joint Conference on Biometrics (IJCB 2014), 2014. Marín-Jiménez, M., Castro, F., Guil, N., de la Torre, F., and Medina Carnicer, R., Deep multi-task learning for gait-based biometrics, IEEE International Conference on Image Processing (ICIP), 2017. Muramatsu, D., Makihara, Y., and Yagi, Y., View transformation model incorporating quality measures for cross-view gait recognition, IEEE Transactions on Cybernetics, 2015, vol. 46. Muramatsu, D., Makihara, Y., and Yagi, Y., Cross-view gait recognition by fusion of multiple transformation consistency measures, IET Biometrics, 2015, vol. 4. Shiraga, K., Makihara, Y., Muramatsu, D., Echigo, T., and Yagi, Y., GEINet: View-invariant gait recognition using a convolutional neural network, 2016 International Conference on Biometrics (ICB), 2016, pp. 1–8. Simonyan, K. and Zisserman, A., Two-stream convolutional networks for action recognition in videos, Proceedings of the 27th International Conference on Neural Information Processing Systems (NIPS’14), 2014, vol. 1, pp. 568–576. Sokolova, A. and Konushin, A., Gait recognition based on convolutional neural networks, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, vol. XLII-2/W4, pp. 207–212. Sokolova, A. and Konushin, A., Pose-based deep gait recognition, IET Biometrics, 2018. Takemura, N., Makihara, Y., and Muramatsu, D., On input/output architectures for convolutional neural network-based cross-view gait recognition, IEEE Trans. Circuits Syst. Video Technol., 2017, vol. 1, p. 1. Thapar, D., Nigam, A., Aggarwal, D., and Agarwal, P., VGR-net: A view invariant gait recognition network, IEEE 4th International Conference on Identity, Security, and Behavior Analysis (ISBA), 2018, pp. 1–8. Tong, S., Fu, Y., Ling, H., and Zhang, E., Gait identification by joint spatial-temporal feature, Biometric Recognition, 2017, pp. 457–465. Whytock, T., Belyaev, A., and Robertson, N.M., Dynamic distance-based shape features for gait recognition, J. Math. Imaging and Vision, 2014, vol. 50, no. 3, pp. 314–326. Wu, Z., Huang, Y., Wang, L., Wang, X., and Tan, T., A comprehensive study on cross-view gait based human identification with deep cnns, IEEE Trans. on Pattern Analysis and Machine Intelligence, 2016, p. 39. Yang, Y., Tu, D., and Li, G., Gait recognition using flow histogram energy image, 22nd International Conference on Pattern Recognition, 2014, pp. 444–449. Yu, S., Chen, H., Reyes, E.B.G., and Poh, N., GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Network, 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2017, pp. 532–539. Yu, S., Chen, H., Wang, Q., Shen, L., and Huang, Y., Invariant feature extraction for gait recognition using only one uniform model, Neurocomputing, 2017, vol. 239, pp. 81–93. Yu, S., Tan, D., and Tan, T., A Framework for evaluating the Effect of view angle, clothing and carrying condition on gait recognition, Proc. of the 18’th International Conference on Pattern Recognition (ICPR), 2006, vol. 4, pp. 441–444. Zhang, C., Liu, W., Ma, H., and Fu, H., Siamese neural network based gait recognition for human identification, IEEE International Conference on Acoustics, Speech and Signal Processing, 2016, pp. 2832–2836. Zhang, X., Sun, S., Li, C., Zhao, X., and Hu, Y., Deepgait: A learning deep convolutional representation for gait recognition, Biometric Recognition, 2017, pp. 447–456.