Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Mô hình phát hiện buồn ngủ mới sử dụng các đặc trưng tổng hợp của đầu, mắt và biểu cảm khuôn mặt
Tóm tắt
Buồn ngủ là nguyên nhân chính gây ra tai nạn giao thông hiện nay, theo dữ liệu hiện có. Buồn ngủ có thể khiến nhiều mạng sống quý giá rơi vào nguy hiểm. Việc phát hiện buồn ngủ sớm và chính xác có thể cứu sống. Sử dụng các kỹ thuật thị giác máy tính và học sâu, nghiên cứu này đề xuất một phương pháp mới để phát hiện tình trạng buồn ngủ của tài xế ở giai đoạn sớm với độ chính xác cao hơn. Trong mô hình mà chúng tôi phát triển, chúng tôi đã xem xét những đặc trưng tạm thời quan trọng nhất như góc tư thế đầu (Yaw, Pitch và Roll), tâm điểm di chuyển của đồng tử và khoảng cách cho đặc trưng cảm xúc giúp phát hiện trạng thái buồn ngủ chính xác hơn. Phương pháp của chúng tôi giải quyết khả năng bị che khuất khung hình ở giai đoạn ban đầu thông qua việc áp dụng tiêu chí che khuất dựa trên mối quan hệ khoảng cách giữa các tâm đồng tử và chiều dài ngang của mắt. Kết quả là, nó đã vượt trội hơn các phương pháp hiện có về độ chính xác và tính nhất quán của hệ thống tổng thể. Hơn nữa, các đặc trưng thu được từ các khung hình chính xác được sử dụng làm dữ liệu đào tạo và kiểm thử bởi mạng bộ nhớ dài ngắn để phân loại trạng thái của tài xế. Tại đây, các kết quả được trình bày dưới góc độ diện tích dưới đường cong - điểm số đường cong nhận diện hoạt động.
Từ khóa
#buồn ngủ #phát hiện #thị giác máy tính #học sâu #mô hình tài xế #đặc trưng cảm xúc #độ chính xácTài liệu tham khảo
Sadeghniiat-Haghighi K, Yazdi Z (2015) Fatigue management in the workplace. Ind Psychiat J 24(1):12
Dong Y, Hu Z, Uchimura K, Murayama N (2010) Driver inattention monitoring system for intelligent vehicles: a review. IEEE Trans Intell Transp Syst 12(2):596–614. https://doi.org/10.1109/TITS.2010.2092770
Road Accidents in India (2018) https://morth.nic.in/sites/default/filesAccidednt.pdf, pp 1–125, Accessed [2 March 2021].
Wheaton AG, Shults RA, Chapman DP, Ford ES, Croft JB (2014) Drowsy driving and risk behaviors—10 states and Puerto Rico, 2011–2012. MMWR. Morbidity and mortality weekly report, 63(26), 557. https://www.ncbi.nlm.nih.gov/pubmed/24990488
CDC (2013) Drowsy driving 19 states and the district of Columbia, 2009–2010. MMWR Morb Mortal Wkly Rep., 63:1033. https://www.cdc.gov/mmwr/preview/mmwrhtml/mm6151a1.htm
Wei CS, Wang YT, Lin CT, Jung TP (2018) Toward drowsiness detection using non-hair-bearing EEG-based braincomputer interfaces. IEEE Trans Neural Syst Rehabil Eng 26(2):400–406. https://doi.org/10.1109/TNSRE.2018.2790359
Cui Y, Xu Y, Wu D (2019) EEG-based driver drowsiness estimation using feature weighted episodic training. IEEE Trans Neural Syst Rehabil Eng 27(11):2263–2273. https://doi.org/10.1109/TNSRE.2019.2945794
Garg H (2020) Drowsiness detection of a driver using conventional computer vision application. In: 2020 international conference on power electronics & IoT applications in renewable energy and its control (PARC), pp 50–53. IEEE. https://doi.org/10.1109/PARC49193.2020.236556
Pandey NN, Muppalaneni NB (2021) Temporal and spatial feature based approaches in drowsiness detection using deep learning technique. J Real-Time Image Proc. https://doi.org/10.1007/s11554-021-01114-x
Ghoddoosian R, Galib M, Athitsos V (2019) A realistic dataset and baseline temporal model for early drowsiness detection. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops, http://www.cv-foundation.org/
Tsuzuki Y, Mizusako M, Yasushi M, Hashimoto H (2019) Sleepiness detection system based on facial expressions. In: IECON 2019–45th annual conference of the IEEE Industrial electronics society, vol 1, pp 6934–6939. IEEE. https://doi.org/10.1109/IECON.2019.8927215
Dasgupta A, Rahman D, Routray A (2018) A smart phone based drowsiness detection and warning system for automotive drivers. IEEE Trans Intell Transp Syst 20(11):4045–4054. https://doi.org/10.1109/TITS.2018.2879609
Wang Y, Huang R, Guo L (2019) Eye gaze pattern analysis for fatigue detection based on GP-BCNN with ESM. Pattern Recogn Lett 123:61–74. https://doi.org/10.1016/j.patrec.2019.03.013
Joshi A, Kyal S, Banerjee S, Mishra T (2020) In-the-wild drowsiness detection from facial expressions. In: 2020 IEEE intelligent vehicles symposium (IV), pp 207–212. IEEE. https://doi.org/10.1109/IV47402.2020.9304579
Johns MW (2003) The amplitude-velocity ratio of blinks: a new method for monitoring drowsiness. Sleep, 26(SUPPL.)
McIntire LK, McKinley RA, Goodyear C, McIntire JP (2014) Detection of vigilance performance using eye blinks. Appl Ergon 45(2):354–362. https://doi.org/10.1016/j.apergo.2013.04.020
Yan WJ, Wu Q, Liu YJ, Wang SJ, Fu X (2013) CASME database: a dataset of spontaneous micro-expressions collected from neutralized faces. In: 2013 10th IEEE international conference and workshops on automatic face and gesture recognition (FG), pp 1–7. https://doi.org/10.1109/FG.2013.6553799
Yan WJ, Li X, Wang SJ, Zhao G, Liu YJ, Chen YH, Fu X (2014) CASME II: An improved spontaneous micro expression database and the baseline evaluation. PLoS ONE 9(1):e86041. https://doi.org/10.1371/journal.pone.0086041
Yin H, Su Y, Liu Y, Zhao D (2016) A driver fatigue detection method based on multi-sensor signals. In: 2016 IEEE winter conference on applications of computer vision (WACV), pp 1–7. https://doi.org/10.1109/WACV.2016.7477672
RLDD: dataset created by The University of Texas at Arlington in 2019. https://sites.google.com/view/utarldd/home. Accessed 10 Jan 2020.
Åkerstedt T, Gillberg M (1990) Subjective and objective sleepiness in the active individual. Int J Neurosci 52(1–2):29–37. https://doi.org/10.3109/00207459008994241
Choi IH, Kim YG (2014) Head pose and gaze direction tracking for detecting a drowsy driver. In: 2014 international conference on big data and smart computing (BIGCOMP), pp 241–244. IEEE. https://doi.org/10.1109/BIGCOMP.2014.6741444
Kazemi V, Sullivan J (2014) One millisecond face alignment with an ensemble of regression trees. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1867–1874. http://www.cv-foundation.org/
skvar: Installation and Usage- Jan 2, 2020. https://pypi.org/project/opencv-python/ (2020). Accessed 15 Jan 2020
Zhihong W, Xiaohong X (2011) Study on histogram equalization. In: International symposium on intelligence information processing and trusted computing, pp 177–179. IEEE Computer Society. https://doi.org/10.1109/IPTC.2011.52
Kubinger W, Vincze M, Ayromlou M (1998) The role of gamma correction in colour image processing. In: 9th European signal processing conference (EUSIPCO 1998), pp 1–4. IEEE.
Adrian Rosebrock (2019). Eye motion tracking, https://www.youtube.com/watch?v= kbdbZFT9NQI. Accessed 20 Jan 2020.
Ji Y, Wang S, Lu Y, Wei J, Zhao Y (2018) Eye and mouth state detection algorithm based on contour feature extraction. J Electron Imaging 27(5):051205. https://doi.org/10.1117/1.JEI.27.5.051205
Madarkar J, Sharma P (2020) Head pose estimation of face: angle of roll, yaw, and pitch of the face image. In: International conference on machine learning, image processing, network security and data sciences, pp 228–242. https://link.springer.com/book/https://doi.org/10.1007/978-981-15-6315-7
Aditi Mittal (2019) Understanding RNN and LSTM,. https://towardsdatascience.com/understanding-rnn-andlstm-f7cdf6dfc 14e. Accessed 20 Jan 2020.
Hochreiter S, Schmidhuber J (1997) Long short-term memory. Neural Comput 9(8):1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
Greff K, Srivastava RK, Koutník J, Steunebrink BR, Schmidhuber J (2016) LSTM: A search space odyssey. IEEE Trans Neural Netw Learn Syst 28(10):2222–2232. https://doi.org/10.1109/TNNLS.2016.2582924
Lei G, Xiaoyu L, Zhitao X, Yuelong L (2018) Real-time driver fatigue detection based on morphology infrared features and deep learning. Infrared Laser Eng 47(2): 203009–0203009. https://doi.org/10.3788/IRLA201847.0203009
Guo JM, Markoni H (2019) Driver drowsiness detection using hybrid convolutional neural network and long short-term memory. Multimedia Tools Appl 78(20):29059–29087. https://doi.org/10.1007/s11042-018-6378-6
Picot A, Charbonnier S, Caplier A (2010) Drowsiness detection based on visual signs: blinking analysis based on high frame rate video. In: IEEE instrumentation & measurement technology conference proceedings, pp 801–804. https://doi.org/10.1109/IMTC.2010.5488257