Mạng nơ-ron hồi tiếp tăng cường có thể giải thích cho việc phát hiện nói dối bằng phân tích căng thẳng giọng nói

Multimedia Tools and Applications - Tập 83 Số 11 - Trang 32277-32299
Fatma M. Talaat1
1Faculty of Artificial Intelligence, Kafrelsheikh University, Kafrelsheikh, 33516, Egypt

Tóm tắt

Tóm tắtViệc phát hiện nói dối là một khía cạnh quan trọng trong các tương tác của con người, ảnh hưởng đến mọi người trong cuộc sống hàng ngày. Các cá nhân thường dựa vào nhiều tín hiệu khác nhau, chẳng hạn như giao tiếp bằng lời nói và không lời, đặc biệt là biểu cảm trên khuôn mặt, để xác định xem ai đó có trung thực hay không. Mặc dù các hệ thống phát hiện nói dối tự động có thể hỗ trợ trong việc nhận diện các tín hiệu này, nhưng các phương pháp hiện tại bị giới hạn do thiếu dữ liệu phù hợp để kiểm tra hiệu suất của chúng trong các tình huống thực tế. Dù có nhiều nỗ lực nghiên cứu để phát triển các phương pháp phát hiện nói dối hiệu quả và đáng tin cậy, vẫn còn là một công trình đang tiếp tục. Biểu đồ polygraph, phân tích căng thẳng giọng nói và phân tích giãn đồng tử là một số phương pháp hiện nay được sử dụng cho nhiệm vụ này. Trong nghiên cứu này, chúng tôi đề xuất một thuật toán phát hiện mới dựa trên Mạng nơ-ron hồi tiếp tăng cường (ERNN) với khả năng giải thích AI. ERNN, dựa trên kiến trúc trí nhớ ngắn hạn và dài hạn (LSTM), đã được tối ưu hóa bằng cách sử dụng logic mờ để xác định các siêu tham số. Mô hình LSTM sau đó đã được tạo ra và đào tạo bằng cách sử dụng một tập dữ liệu các bản ghi âm từ các cuộc phỏng vấn với một nhóm được chọn ngẫu nhiên. ERNN được đề xuất đạt độ chính xác 97,3%, điều này có ý nghĩa thống kê trong vấn đề phân tích căng thẳng giọng nói. Những kết quả này gợi ý rằng có thể phát hiện các mẫu trong giọng nói của những cá nhân trải qua căng thẳng một cách có thể giải thích.

Từ khóa


Tài liệu tham khảo

Ekman P (2009) Lie catching and microexpressions. Philos Decept 1:118–138

Haggard EA, Isaacs KS (1966) Micromomentary facial expressions as indicators of ego mechanisms in psychotherapy. In Methods of Research in Psychotherapy; Springer: Boston, MA, USA, pp. 154–165. [CrossRef]

Wu Z, Singh B, Davis L, Subrahmanian V (2018) Deception detection in videos. In Proceedings of the AAAI Conference on Artificial Intelligence, New Orleans, LA, USA

Pérez-Rosas V, Mihalcea R, Narvaez A, Burzo M (2014) A multimodal dataset for deception detection. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC, Reykjavik, Iceland, pp. 3118–3122

Ding M, Zhao A, Lu Z, Xiang T, Wen JR (2019) Face-focused cross-stream network for deception detection in videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA. [CrossRef]

Tsiamyrtzis P, Dowdall J, Shastri D, Pavlidis IT, Frank M, Ekman P (2007) Imaging facial physiology for the detection of deceit. Int J Comput Vis 71:197–214 [CrossRef]

Dcosta M, Shastri D, Vilalta R, Burgoon JK, Pavlidis I (2015) Perinasal indicators of deceptive behavior. In Proceedings of the 2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), Ljubljana, Slovenia Volume 1, pp. 1–8

Baierle I, Benitez G, Nara E, Schaefer J, Sellitto M (2020) Influence of open innovation variables on the competitive edge of small and medium enterprises. J Open Innov Technol Mark Complex 6:179 [CrossRef]

Porter S, ten Brinke L (2010) The truth about lies: What works in detecting high-stakes deception? Leg Criminol Psycho 15:57–75 [CrossRef]

Mohamed FB, Faro SH, Gordon NJ, Platek SM, Ahmad H, Williams JM (2006) Brain mapping of deception and truth telling about an ecologically valid situation: Functional MR imaging and polygraph investigation—Initial experience. Radiology 238:679–688 [CrossRef]

Vrij A (2008) Detecting Lies and Deceit: Pitfalls and Opportunities. John Wiley & Sons, Hoboken NJ

Frank MG, Menasco MA, Osullivan M (2008) Human behavior and deception detection. InWiley Handbook of Science and Technology for Homeland Security. Hoboken, NJ, USA: JohnWiley & Sons, Inc. pp. 1–12.

Council NR (2003) The Polygraph and Lie Detection. The National Academies Press, Washington, DC

Office of Technology Assessment’s (1983) Scientific validity of polygraph testing: a research review and evaluation. Technical report, U.S. Congress

Damphousse K (2009) Voice stress analysis: Only 15 percent of lies about drug use detected in field test. NIJ J 259

Liu XF (2004) Voice stress analysis: Detecion of deception. Master’s thesis, Department of Computer Science – The University of Sheffield

Lipton ZC (2016) The mythos of model interpretability. arXiv preprint arXiv:1606.03490

Ribeiro MT, Singh S, Guestrin C (2016) "Why Should I Trust You?” Explaining the Predictions of Any Classifier. arXiv preprint arXiv:1602.04938

Nurçin F, Imanov E, Işın A, UzunOzsahin D (2017) Lie detection on pupil size by back propagation neural network. Procedia Comput Sci 120:417–421

Palena N, Caso L, Vrij A (2018) Detecting lies via a theme-selection strategy. Front Psychol 9(2018). https://doi.org/10.3389/fpsyg.2018.02775

Dede G, Sazli M (2010) Speech recognition with artificial neural networks. Digit Signal Process 20:763–768

Rothkrantz LJ, Wiggers P, Wees JW, Vark RJ (2004) Voice stress analysis. International Conference on Text, Speech and Dialogue

Ben-Shakhar G, Elaad E (2003) The validity of psychophysiological detection of information with the Guilty Knowledge Test: A meta-analytic review. J Appl Psychol 88(1):131–151

Kulasinghe Y (2019) Using EEG and machine learning to perform lie detection (preprint)

Han J, Zheng W, Cui H, Li Y (2022) A novel explainable enhanced recurrent neural network for lie detection using voice stress analysis. Expert Syst Appl 187:115141. https://doi.org/10.1016/j.eswa.2021.115141

Krishnamurthy G, Majumder N, Poria S, Cambria E (2018) A deep learning approach for multimodal deception detection

Taye MM (2023) Understanding of machine learning with deep learning: architectures, workflow, applications and future directions. Computers. 12(5):91. https://doi.org/10.3390/computers12050091

Almatarneh NA, Alshahwan N, Ahmad I (2022) Ensemble of LSTM networks for lie detection using voice stress analysis. Pattern Recogn Lett 153:19–25. https://doi.org/10.1016/j.patrec.2021.07.030

Goyal A, Verma A, Lall B (2023) Explainable lie detection using attention-based recurrent neural networks on voice stress analysis. Int J Speech Technol 26(1):67–82. https://doi.org/10.1007/s10772-022-09802-5

Sun C, Ma Y, Zeng Z, Wu J, Wu Z (2023) Multimodal lie detection using audio and video signals based on convolutional and recurrent neural networks. Information Fusion 85:117–127. https://doi.org/10.1016/j.inffus.2022.04.011

Sharma R, Kumar A, Sharma R, Pandey AK (2023) Voice stress analysis using bi-directional long short-term memory neural networks for deception detection. J Ambient Intell Humaniz Comput 14(1):197–207. https://doi.org/10.1007/s12652-022-04358-0

Kang D, Heo J, Kim J (2023) Explainable lie detection using attention mechanism in recurrent neural networks for voice stress analysis. J Ambient Intell Humaniz Comput 14(3):3315–3325. https://doi.org/10.1007/s12652-022-04342-8

Yang L, Zhang Y, Wang Q, Li Q (2023) Detecting deceptive speech patterns using bidirectional gated recurrent units and voice stress analysis. Pattern Anal Appl 26(1):247–259. https://doi.org/10.1007/s10044-021-00977-9

Winata GI, Kampman OP, Fung P (2018) Attention-based LSTM for psychological stress detection from spoken language using distant supervision. arXiv preprint arXiv:1805.12307 

Truth Detection/Deception Detection/Lie Detection | Kaggle. https://www.kaggle.com/datasets/thesergiu/truth-detectiondeception-detectionlie-detection

Talaat FM (2022) Effective deep Q-networks (EDQN) strategy for resource allocation based on optimized reinforcement learning algorithm. Multimedia Tools and Applications 81(17). https://doi.org/10.1007/s11042-022-13000-0

Talaat FM (2022) Effective prediction and resource allocation method (EPRAM) in fog computing environment for smart healthcare system. Multimed Tools Appl

Talaat FM, Samah A, Nasr AA (2022) A new reliable system for managing virtual cloud network. Comput Mater Continua 73(3):5863–5885. https://doi.org/10.32604/cmc.2022.026547

El-Rashidy N, ElSayed NE, El-Ghamry A, Talaat FM (2022) Prediction of gestational diabetes based on explainable deep learning and fog computing. Soft Comput 26(21):11435–11450

El-Rashidy Nora, Ebrahim Nesma, el Ghamry Amir, Talaat Fatma M (2022) Utilizing fog computing and explainable deep learning techniques for gestational diabetes prediction. Neural Comput Applic. https://doi.org/10.1007/s00521-022-08007-5

Hanaa S, Fatma BT (2022) Detection and Classification Using Deep Learning and Sine-Cosine FitnessGrey Wolf Optimization. Bioengineering 10(1):18. https://doi.org/10.3390/bioengineering10010018

Talaat FM (2023) Real-time facial emotion recognition system among children with autism based on deep learning and IoT. Neural Comput Appl 35(3). Dhttps://doi.org/10.1007/s00521-023-08372-9

Talaat FM (2023) Crop yield prediction algorithm (CYPA) in precision agriculture based on IoT techniques and climate changes. Neural Comput Appl 35(2). https://doi.org/10.1007/s00521-023-08619-5

Hassan E, El-Rashidy N, Talaat FM (2022) Review: Mask R-CNN Models. https://doi.org/10.21608/njccs.2022.280047

Siam AI, Gamel SA, Talaat FM (2023) Automatic stress detection in car drivers based on non-invasive physiological signals using machine learning techniques. Neural Comput Appl. https://doi.org/10.1007/s00521-023-08428-w

Talaat FM, Adel Gamel S (2023) A2M-LEUK: attention-augmented algorithm for blood cancer detection in children. Neural Comput Appl. https://doi.org/10.1007/s00521-023-08678-8

Gamel SA, Hassan E, El-Rashidy N et al (2023) Exploring the effects of pandemics on transportation through correlations and deep learning techniques. Multimed Tools Appl. https://doi.org/10.1007/s11042-023-15803-1