Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Phân loại bài tập và phân đoạn sự kiện trong video Kiểm tra Thần kinh Trẻ em Hammersmith
Tóm tắt
Các kỹ thuật xử lý hình ảnh và video đang được sử dụng phổ biến trong các ứng dụng khoa học y tế. Các hệ thống dựa trên thị giác máy tính đã thành công trong việc thay thế nhiều quy trình y tế thủ công như phân tích các tham số vật lý và sinh học, cũng như khám bệnh cho bệnh nhân. Những hệ thống này ngày càng trở nên phổ biến nhờ vào khả năng hoạt động mạnh mẽ và tính khách quan mà chúng mang lại cho nhiều quy trình y tế khác nhau. Kiểm tra Thần kinh Trẻ em Hammersmith (HINE) là một bộ các bài kiểm tra vật lý được thực hiện trên trẻ em từ 3 đến 24 tháng tuổi có rối loạn thần kinh. Tuy nhiên, các bài kiểm tra này được chấm điểm thông qua quan sát bằng mắt, điều này có thể rất chủ quan. Do đó, cách tiếp cận hỗ trợ thị giác máy tính có thể được sử dụng để hỗ trợ các chuyên gia trong quy trình chấm điểm. Trong bài báo này, chúng tôi giới thiệu một phương pháp phân loại bài tập tự động thông qua phân tích hình ảnh các video HINE được ghi lại tại bệnh viện. Chúng tôi đã sử dụng các đặc trưng biến đổi không tỉ lệ (scale-invariant feature transform) để tạo ra một túi từ (bag-of-words) từ các khung hình của các chuỗi video. Tần suất của các từ hình ảnh này sau đó được sử dụng để phân loại các chuỗi video bằng cách sử dụng mô hình Markov ẩn (HMM). Chúng tôi cũng trình bày một phương pháp phân đoạn sự kiện trong các video dài có chứa nhiều hơn hai bài tập. Phân đoạn sự kiện kết hợp với bộ phân loại có thể giúp tự động lập chỉ mục các chuỗi video dài và liên tục của bộ HINE. Khung phương pháp mà chúng tôi đề xuất là một bước tiến trong quá trình tự động hóa các bài kiểm tra HINE thông qua các phương pháp dựa trên thị giác máy tính. Chúng tôi đã thực hiện các thử nghiệm trên một tập dữ liệu gồm 70 video HINE. Đã phát hiện ra rằng phương pháp đề xuất có thể phân loại các bài tập thành công với độ chính xác lên đến 84%. Công trình này có ứng dụng trực tiếp trong phân tích tự động hoặc bán tự động các bài kiểm tra “treo dọc” và “treo bụng” của HINE. Mặc dù một số bài kiểm tra quan trọng như “kéo lên ngồi,” “nghiêng bên” hoặc “đo góc khép” đã được giải quyết bằng các kỹ thuật hướng dẫn hình ảnh và video, vẫn còn nhiều cơ hội để cải thiện hơn nữa.
Từ khóa
#Phân loại bài tập #phân đoạn sự kiện #Kiểm tra Thần kinh Trẻ em Hammersmith #thị giác máy tính #xử lý hình ảnh #xử lý videoTài liệu tham khảo
Zhang, R., Vogler, C., Metaxas, D.: Human gait recognition at sagittal plane. Image Vis. Comput. 25(3), 321–330 (2007)
Liu, Q., Sclabassi, R., Sun, M.: Change detection in epilepsy monitoring video based on Markov random field theory. In: Proceedings of International Symposium on Intelligent Signal Processing and Communication Systems, pp. 63–66 (2004)
Viola, P., Jones., M.J., Snow, D.: Detecting pedestrians using patterns of motion and appearance. In: Ninth IEEE International Conference on Computer Vision, pp. 734–741 (2003)
Singh, S., Hsiao, H.: Infant telemonitoring system. In: Proceedings of the 25th Annual International Conference of the IEEE on Engineering in Medicine and Biology Society, vol. 2, pp. 1354–1357 (2003)
Nishida, Y., Motomura, Y., Kitamura, K., Mizoguchi, H.: Infant behavior simulation based on an environmental model and a developmental behavior model. In: Proceedings of IEEE International Conference on Systems, Man and Cybernetics, vol. 2, pp. 1555–1560 (2004)
Dubowitz, L., Dubowitz, V., Mercuri, E.: The Neurological Assessment of the Preterm and Full Term Infant, Clinics in Developmental Medicine. Heinemann, London (2000)
Romeo, D., Guzzetta, A., Scoto, M., Cioni, M., Patusi, P., Mazzone, D., Romeo, M.: Early neurologic assessment in preterm infants: integration of traditional neurologic examination and observation of general movements. Eur. J. Paediatr. Neurol. 12(3), 183–189 (2008)
Dogra, D., Majumdar, A., Sural, S., Mukherjee, J., Mukherjee, S., Singh, A.: Analysis of adductors angle measurement in hammersmith infant neurological examinations using mean shift segmentation and feature point based object tracking. Comput. Biol. Med. 42(9), 925–934 (2012)
Dogra, D.P., Badri, V., Majumdar, A.K., Sural, S., Mukherjee, J., Mukherjee, S., Singh, A.: Video analysis of Hammersmith lateral tilting examination using Kalman filter guided multi-path tracking. Med. Biol. Eng. Comput. 52(9), 759–772 (2014)
Dogra, D.P., Majumdar, A.K., Sural, S., Mukherjee, J., Mukherjee, S., Singh, A.: Automatic adductors angle measurement for neurological assessment of post-neonatal infants during follow up. Pattern Recognit. Mach. Intell. Lect. Notes Comput. Sci. 6744, 160–166 (2011)
Dogra, D.P., Majumdar, A.K., Sural, S., Mukherjee, J., Mukherjee, S., Singh, A.: Toward automating Hammersmith pulled-to-sit examination of infants using feature point based video object tracking. IEEE Trans. Neural Syst. Rehabil. Eng. 20(1), 38–47 (2012)
Romeo, D., Cioni, M., Scoto, M., Mazzone, L., Palermo, F., Romeo, M.: Neuromotor development in infants with cerebral palsy investigated by the Hammersmith Infant Neurological Examination during the first year of age. Eur. J. Paediatr. Neurol. 12(1), 24–31 (2008)
Dey, P., Dogra, D.P., Roy, P.P., Bhaskar, H.: Autonomous vision-guided approach for the analysis and grading of vertical suspension tests during HINE. In: Proceedings of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 863–866 (2016)
Roy, S., Dogra, D.P., Bhattacharya, S., Saha, B., Biswas, A., Majumdar, A.K., Mukhopadhyay, J., Majumdar, B., Singh, A., Paria, A., Mukherjee, S.: A web enabled health information system for Neonatal Intensive Care Unit (NICU). In: Proceedings of the 7th IEEE World Congress on Services (SERVICES), pp. 451–458 (2011)
Dogra, D.P., Nandam, K., Majumdar, A.K., Sural, S., Mukhopadhyay, J., Majumdar, B., Mukherjee, S., Singh, A.: A tool for automatic Hammersmith infant neurological examination. E-Health Med. Commun. 2(2), 1–13 (2011)
Ansari, A.F., Roy, P.P., Dogra, D.P.: Posture recognition in HINE exercises. In: Proceedings of International Conference on Computer Vision and Image Processing (CVIP) (2016)
Poleg, Y., Arora, C., Peleg, S.: Temporal segmentation of egocentric videos. In: CVPR, pp. 2537–2544 (2014)
Ballan, L., Bertini, M., Bimbo, A.D., Serra, G.: Action categorization in soccer videos using string kernels. In: Seventh International Workshop on Content-Based Multimedia Indexing, pp. 13–18 (2009)
Lowe, D.G.: Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vis. 60(2), 91–110 (2004)
Luhn, H.P.: A statistical approach to mechanized encoding and searching of literary information. IBM J. Res. Dev. 1(4), 315 (1957)
Jones, K.S.: A statistical interpretation of term specificity and its application in retrieval. J. Doc. 28, 11–21 (1972)
Chai, J., Ngan, K.: Face segmentation using skin-color map in videophone applications. IEEE Trans. Circuits Syst. Video Technol. 9(4), 551–564 (1999)
Hu, J., Lim, S.G., Brown, M.K.: Writer independent on-line handwriting recognition using an HMM approach. Pattern Recogn. 33(1), 133–147 (2000)
Huang, X.D., Arikiand, Y., Jack, M.A.: Hidden Markov Models for Speech Recognition. Edinburgh University Press, Edinburgh (1990)
Yang, J., Xu, Y.: Hidden Markov model for gesture recognition. Technical Report, Robotics Institute, Carnegie Mellon University, 10 (1994)
Barron, J.L., Fleet, D.J., Beauchemin, S.S.: Performance of optical flow techniques. Int. J. Comput. Vision. 12(1), 43–77 (1994)
Baccouche, M., Mamalet, F., Wolf, C., Garcia, C., Baskurt, A.: Action classification in soccer videos with long short-term memory recurrent neural networks. In: 20th International Conference on Artificial Neural Networks, pp. 154–159 (2010)
Graves, A., Schmidhuber, J.: Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Networks. 18(5), 602–610 (2005)
Guo, Z., Hall, R.W.: Parallel thinning with two-subiteration algorithms. Commun. ACM 32(3), 359–373 (1989)