Nhận diện hoạt động theo cách tận dụng trong hệ sinh thái cảm biến IoT thông qua Học chuyển giao đa phương thức

Springer Science and Business Media LLC - Tập 53 - Trang 3169-3197 - 2021
Oresti Banos1, Alberto Calatroni2, Miguel Damas1, Hector Pomares1, Daniel Roggen3, Ignacio Rojas1, Claudia Villalonga4
1Department of Computer Architecture and Computer Technology, Research Center for Information and Communication Technologies of the University of Granada (CITIC-UGR), Granada, Spain
2Bonsai Systems GmbH, Zurich, Switzerland
3Sensor Technology Research Centre, University of Sussex, Brighton, United Kingdom
4School of Engineering and Technology, Universidad Internacional de La Rioja, Logroño, Spain

Tóm tắt

Việc nhận diện các hoạt động của con người một cách liền mạch và liên tục hiện đã gần hơn bao giờ hết nhờ vào hàng loạt cảm biến được triển khai quanh người dùng. Tuy nhiên, việc đào tạo các hệ thống nhận diện vẫn tiếp tục tiêu tốn nhiều thời gian và tài nguyên, khi mà các bộ dữ liệu phải được thu thập theo từng trường hợp cụ thể cho từng thiết lập cảm biến mà một người có thể gặp trong cuộc sống hàng ngày. Công trình này trình bày một phương pháp thay thế dựa vào học chuyển giao để đào tạo một cách cơ hội các hệ thống cảm biến mục tiêu hoặc chưa thấy từ các hệ thống cảm biến nguồn đã tồn tại. Phương pháp này sử dụng các kỹ thuật nhận dạng hệ thống để học một hàm ánh xạ tự động chuyển đổi tín hiệu từ miền cảm biến nguồn sang miền cảm biến mục tiêu và ngược lại. Việc này có thể thực hiện cho các tín hiệu cảm biến cùng hoặc khác phương thức. Hai mô hình chuyển giao được đề xuất để dịch các hệ thống nhận diện dựa trên hoặc là mẫu hoạt động hoặc là mô hình hoạt động, tùy thuộc vào đặc điểm của cả hệ thống cảm biến nguồn và cảm biến mục tiêu. Các phương pháp chuyển giao được đề xuất được đánh giá trong một kịch bản tương tác giữa người và máy tính, nơi mà việc chuyển giao được thực hiện giữa các cảm biến đeo trên cơ thể được đặt ở các vị trí khác nhau, và giữa các cảm biến đeo và cảm biến camera độ sâu môi trường. Kết quả cho thấy một sự chuyển giao tốt có thể thực hiện chỉ với vài giây dữ liệu, không phụ thuộc vào hướng của sự chuyển giao và cho các phương thức cảm biến tương tự và khác nhau.

Từ khóa

#nhận diện hoạt động #học chuyển giao #hệ sinh thái cảm biến #cảm biến IoT #tương tác người máy.

Tài liệu tham khảo

Lin J, Wei Yu, Zhang N, Yang X, Zhang H, Zhao W (2017) A survey on internet of things: architecture, enabling technologies, security and privacy, and applications. IEEE Internet Things J 4(5):1125–1142 Chen L, Nugent CD (2019) Human activity recognition and behaviour analysis. Springer, Berlin Lukowicz P, Hanser F, Szubski C, Schobersberger W (2006) Detecting and interpreting muscle activity with wearable force sensors. In: Pervasive computing, pp 101–116 Amft O (2010) A wearable earpad sensor for chewing monitoring. In: IEEE sensors conference, pp 222–227 Banos O, Damas M, Pomares H, Prieto A, Rojas I (2012) Daily living activity recognition based on statistical feature quality group selection. Expert Syst Appl 39(9):8013–8021 Wang F, Liu J (2010) Networked wireless sensor data collection: issues, challenges, and approaches. IEEE Commun Surv Tutor 13(4):673–687 Roggen D, Troester G, Lukowicz P, Ferscha L, Millan JR, Chavarriaga R (2013) Opportunistic human activity and context recognition. Computer 46(2):36–45 Guo B, Zhang D, Wang Z, Zhiwen Yu, Zhou X (2013) Opportunistic IoT: exploring the harmonious interaction between human and the internet of things. J Netw Comput Appl 36(6):1531–1539 Villalonga C, Pomares H, Rojas I, Banos O (2017) MIMU-wear: ontology-based sensor selection for real-world wearable activity recognition. Neurocomputing 250:76–100 Pan SJ, Yang Q (2009) A survey on transfer learning. IEEE Trans Knowl Data Eng 22(10):1345–1359 Lester J, Choudhury T, Borriello G (2006) A practical approach to recognizing physical activities. In: Proceedings of pervasive computing, pp 1–16 Chavarriaga R, Bayati H, Del Millán J (2013) Unsupervised adaptation for acceleration-based activity recognition: robustness to sensor displacement and rotation. Pers Ubiquit Comput 17(3):479–490 Foerster K, Roggen D, Troester G (2009) Unsupervised classifier self-calibration through repeated context occurences: is there robustness against sensor displacement to gain? In: International symposium on wearable computers, pp 77–84, Linz, Austria Kunze K, Lukowicz P (2008) Dealing with sensor displacement in motion-based onbody activity recognition systems. In: International conference on ubiquitous computing, pp 20–29 Kunze K, Bahle G, Lukowicz P, Partridge K (2010) Can magnetic field sensors replace gyroscopes in wearable sensing applications? In: International symposium on wearable computers Kunze K, Lukowicz P (2014) Sensor placement variations in wearable activity recognition. IEEE Pervasive Comput 13(4):32–41 Kunze K, Lukowicz P, Partridge K, Begole B (2009) Which way am i facing: inferring horizontal device orientation from an accelerometer signal. In: International symposium on wearable computers, pp 149–150 Yurtman A, Barshan B (2017) Activity recognition invariant to sensor orientation with wearable motion sensors. Sensors 17(8):1838 Yurtman A, Barshan B, Fidan B (2018) Activity recognition invariant to wearable sensor unit orientation using differential rotational transformations represented by quaternions. Sensors 18(8):2725 Banos O, Damas M, Guillen A, Herrera L-J, Pomares H, Rojas I, Villalonga C (2015) Multi-sensor fusion based on asymmetric decision weighting for robust activity recognition. Neural Process Lett 42(1):5–26 Banos O, Damas M, Pomares H, Rojas I (2012) On the use of sensor fusion to reduce the impact of rotational and additive noise in human activity recognition. Sensors 12(6):8039–8054 Banos O, Toth MA, Damas M, Pomares H, Rojas I (2014) Dealing with the effects of sensor displacement in wearable activity recognition. Sensors 14(6):9995–10023 Lam A, Roy-Chowdhury AK, Shelton CR (2010) Interactive event search through transfer learning. In: Asian conference on computer vision. Springer, Berlin, pp 157–170 Pan SJ, Tsang IW, Kwok JT, Yang Q (2011) Domain adaptation via transfer component analysis. IEEE Trans Neural Netw 22(2):199–210 Nater F, Tommasi T, Grabner H, Van Gool L, Caputo B (2011) Transferring activities: updating human behavior analysis. In: IEEE international conference on computer vision workshops, pp 1737–1744 Al-Halah Z, Rybok L, Stiefelhagen R (2016) Transfer metric learning for action similarity using high-level semantics. Pattern Recogn Lett 72:82–90 Zheng VW, Hu DH, Yang Q (2009) Cross-domain activity recognition. In: International conference on ubiquitous computing, pp 61–70 Hu DH, Zheng VW, Yang Q (2011) Cross-domain activity recognition via transfer learning. Pervasive Mob Comput 7(3):344–358 Chiang Y, Hsu JY (2012) Knowledge transfer in activity recognition using sensor profile. In: International conference on ubiquitous intelligence computing and international conference on autonomic trusted computing, pp 180–187 Feuz K, Cook DJ (2014) Heterogeneous transfer learning for activity recognition using heuristic search techniques. Int J Pervasive Comput Commun 10(4):393–418 Ying JJ-C, Lin B-H, Tseng VS, Hsieh S-Y (2015) Transfer learning on high variety domains for activity recognition. In: ASE BigData and social informatics. ACM, pp 37:1–37:6 Feuz KD, Cook DJ (2015) Transfer learning across feature-rich heterogeneous feature spaces via feature-space remapping (FSR). ACM Trans Intell Syst Technol 6(1):3:1–3:27 Chen W-H, Cho P-C, Jiang Y-L (2017) Activity recognition using transfer learning. Sens Mater 29(7):897–904 Morales FJO, Roggen D (2016) Deep convolutional feature transfer across mobile activity recognition domains, sensor modalities and locations. In: Proceedings of the 2016 ACM international symposium on wearable computers. ACM, pp 92–99 Rokni SA, Ghasemzadeh H (2018) Autonomous training of activity recognition algorithms in mobile sensors: a transfer learning approach in context-invariant views. IEEE Trans Mob Comput 17(8):1764–1777 Calatroni A, Villalonga C, Roggen D, Troester G. (2009) Context cells: towards lifelong learning in activity recognition systems. In: European conference on smart sensing and context, pp 121–134 Calatroni A, Roggen D, Troester G (2011) Automatic transfer of activity recognition capabilities between body-worn motion sensors: training newcomers to recognize locomotion. In: International conference on networked sensing systems Sjoeberg J, Zhang Q, Ljung L, Benveniste A, Delyon B, Glorennec P-Y, Hjalmarsson H, Juditsky A (1995) Nonlinear black-box modeling in system identification: a unified overview. Automatica 31(12):1691–1724 Hong X, Mitchell RJ, Chen S, Harris CJ, Li K, Irwin GW (2008) Model selection approaches for non-linear system identification: a review. Int J Syst Sci 39(10):925–946 Pota HR (1996) MIMO systems-transfer function to state-space. IEEE Trans Educ 39(1):97–99 Berndt DJ, Clifford J (1994) Using dynamic time warping to find patterns in time series. In: AAAI—KDD workshop, pp 359–370 Ye L, Keogh E (2011) Time series shapelets: a novel technique that allows accurate, interpretable and fast classification. Data Min Knowl Disc 22(1–2):149–182 Xsens Technologies B.V. (2009) XM-B technical documentation. http://www.xsens.com Biswas KK, Basu SK (2011) Gesture recognition using microsoft kinect®. In: International conference on automation, robotics and applications. IEEE, pp 100–103 Hongyong T, Youling Y (2012) Finger tracking and gesture recognition with kinect. In: International conference on computer and information technology, pp 214–218 Foerster K, Biasiucci A, Chavarriaga R, Millan JDR, Roggen D, Troester G (2010) On the use of brain decoded signals for online user adaptive gesture recognition systems. In: International conference on pervasive computing, pp 427–444 Förster K, Monteleone S, Calatroni A, Roggen D, Tröster G (2010) Incremental KNN classifier exploiting correct—error teacher for activity recognition. In: International conference on machine learning and applications, pp 445–450 Cover TM, Hart PE (1967) Nearest neighbor pattern classification. IEEE Trans Inf Theory 13(1):21–27 Yazdizadeh A, Khorasani K (2002) Adaptive time delay neural network structures for nonlinear system identification. Neurocomputing 47(1–4):207–240 Oussar Y, Dreyfus G (2001) How to be a gray box: dynamic semi-physical modeling. Neural Netw 14(9):1161–1172 Rey VF, Hevesi P, Kovalenko O, Lukowicz P (2019) Let there be IMU data: generating training data for wearable, motion sensor based activity recognition from monocular RGB videos. In: Proceedings of the 2019 ACM international joint conference on pervasive and ubiquitous computing and proceedings of the 2019 ACM international symposium on wearable computers, pp 699–708 Al-Halah Z, Rybok L, Stiefelhagen R (2014) What to transfer? High-level semantics in transfer metric learning for action similarity. In: International conference on pattern recognition, pp 2775–2780