Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Mô hình học sâu lai dựa trên cơ chế chú ý cho nhận diện cảm xúc từ EEG
Tóm tắt
Nhận diện cảm xúc dựa trên điện não đồ (EEG) đã nhận được nhiều sự quan tâm trong những năm gần đây và có ngày càng nhiều nghiên cứu về nhận diện cảm xúc sử dụng học sâu. Việc trích xuất các đặc trưng phân biệt cho nhận diện cảm xúc là một thách thức khó khăn. Để giải quyết vấn đề này, một mô hình học sâu lai dựa trên cơ chế chú ý được đề xuất nhằm nhận diện cảm xúc từ EEG. Phương pháp được đề xuất trích xuất thông tin đặc trưng quan trọng và đạt hiệu quả phân loại xuất sắc. Đầu tiên, các đặc trưng entropy vi phân của dữ liệu EEG được trích xuất và tổ chức theo vị trí điện cực. Tiếp theo, mã hóa chập được sử dụng để mã hóa tín hiệu EEG và trích xuất các đặc trưng không gian, và cơ chế chú ý theo băng tần được giới thiệu để gán trọng số thích ứng cho các băng tần khác nhau. Cuối cùng, một mạng bộ nhớ ngắn hạn- dài hạn được sử dụng để trích xuất các đặc trưng theo thời gian, và cơ chế chú ý theo thời gian được sử dụng để thu thập thông tin thời gian quan trọng. Hiệu suất của mô hình đề xuất được phân tích trên các cơ sở dữ liệu cảm xúc chuẩn như DEAP và SEED cho nhiệm vụ phân loại. Kết quả thực nghiệm về độ chính xác đạt 85.86% và 84.27% trên các bộ dữ liệu DEAP và 92.47% trên các bộ dữ liệu SEED. Phân tích thực nghiệm cho thấy mô hình được đề xuất có thể nhận diện cảm xúc một cách hiệu quả và có hiệu suất phân loại tốt.
Từ khóa
#nhận diện cảm xúc #điện não đồ #học sâu #cơ chế chú ý #phân loạiTài liệu tham khảo
Safayari, A., Bolhasani, H.: Depression diagnosis by deep learning using EEG signals: a systematic review. Med. Novel Technol. Devices 12, 100102 (2021)
Ahern, G.L., Schwartz, G.E.: Differential lateralization for positive and negative emotion in the human brain: EEG spectral analysis. Neuropsychologia 23(6), 745–755 (1985)
Zhang, Y., Cheng, C., Zhang, Y.: Multimodal emotion recognition based on manifold learning and convolution neural network. Multimed. Tools Appl. 81(23), 33253–33268 (2022)
Broek, E.: Ubiquitous emotion-aware computing. Pers. Ubiquit. Comput. 17, 53–67 (2013)
Zhu, J.Y., Zheng, W.L., Lu, B.L.: Cross-subject and cross-gender emotion classification from EEG. World Congr. Med. Phys. Biomed. Eng. 51, 1188–1191 (2015)
Zhuang, N., Zeng, Y., Tong, L., Zhang, C., Zhang, H., Yan, B.: Emotion recognition from EEG signals using multidimensional information in EMD domain. Biomed. Res. Int. 2017, 8317357 (2017)
Kamble, K.S., Sengupta, J.: Ensemble machine learning-based affective computing for emotion recognition using dual-decomposed EEG signals. IEEE Sens. J. 22(3), 2496–2507 (2022)
Radhakrishnan, M., Ramamurthy, K., Choudhury, K.K., Won, D., Manoharan, T.A.: Performance analysis of deep learning models for detection of autism spectrum disorder from EEG signals. Traitement du Signal 38(3), 853–863 (2021)
Song, T.F., Zheng, W.M., Song, P., Cui, Z.: EEG emotion recognition using dynamical graph convolutional neural networks. IEEE Trans. Affect. Comput. 11(3), 532–541 (2018)
Wen, Z.Y., Xu, R.F., Du, J.C.: A novel convolutional neural networks for emotion recognition based on EEG signal. In: International Conference on Security, Pattern Analysis, and Cybernetics (SPAC), pp. 672–677. IEEE (2017)
Liu, Y., Ding, Y., Li, C., Cheng, J., Song, R., Wan, F., Chen, X.: Multi-channel EEG-based emotion recognition via a multi-level features guided capsule network. Comput. Biol. Med. 123, 103927 (2020)
Zhang, Y., Cheng, C., Wang, S., Xia, T.: Emotion recognition using heterogeneous convolutional neural networks combined with multimodal factorized bilinear pooling. Biomed. Signal Process. Control 77, 103877 (2022)
Zhang, Y., Cheng, C., Zhang, Y.D.: Multimodal emotion recognition using a hierarchical fusion convolutional neural network. IEEE Access 9, 7943–7951 (2021)
Zheng, W.L., Guo, H.T., Lu, B.L.: Revealing critical channels and frequency bands for emotion recognition from EEG with deep belief network. In: 7th International IEEE/EMBS Conference on Neural Engineering (NER), pp. 154–157. IEEE (2015)
Mathur, N., Gupta, A., Jaswal, S., Verma, R.: Deep learning helps EEG signals predict different stages of visual processing in the human brain. Biomed. Signal Process. Control 70, 102996 (2021)
Li, J.P., Zhang, Z.X., He, H.G.: Hierarchical convolutional neural networks for EEG-based emotion recognition. Cogn. Comput. 10, 368–380 (2018)
Moon, S., Jang, S., Lee, J.: Convolutional neural network approach for EEG-based emotion recognition using brain connectivity and its spatial information. In: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 2556–2560, IEEE (2018)
Xing, X.F., Li, Z.Q., Xu, T.Y., Shu, L., Hu, B., Xu, X.M.: SAE+LSTM: a new framework for emotion recognition from multi-channel EEG. Front Neurorobot. 13, 37 (2019)
Ma, J.X., Tang, H, Zheng, W.L., Lu, B.L.: Emotion recognition using multimodal residual LSTM network. In: 27th (ACM) International Conference on Multimedia, pp. 176–183. ACM (2019)
Feng, L., Cheng, C., Zhao, M., Deng, H., Zhang, Y.: EEG-based emotion recognition using spatial–temporal graph convolutional LSTM with attention mechanism. IEEE J. Biomed. Health Inform. 26(11), 5406–5417 (2022)
Chen, J.X., Jiang, D.M., Zhang, Y.N.: A hierarchical bidirectional GRU model with attention for EEG-based emotion classification. IEEE Access 7, 118530–118540 (2019)
Lan, Y.T., Liu, W., Lu, B.L.: Multimodal emotion recognition using deep generalized canonical correlation analysis with an attention mechanism. In: International Joint Conference on Neural Networks (IJCNN), pp. 1–6. IEEE (2020)
Yang, Y.L., Wu, Q.F., Fu, Y.Z., Chen, X.W.: Continuous convolutional neural network with 3D input for EEG-based emotion recognition. In: International Conference on Neural Information Processing, pp. 433–443. Springer (2018)
Shen, F.Y., Dai, G.J., Lin, G., Zhang, J.H., Kong, W.Z., Zeng, H.: EEG-based emotion recognition using 4D convolutional recurrent neural network. Cogn. Comput. 14, 815–828 (2020)
Yang, Z.C., Yang, D.Y., Dyer, C., He, X.D., Smola, A., Hovy, E.: Hierarchical attention networks for document classification. In: Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480–1489. ACL (2016)
Koelstra, S., Muhl, C., Soleymani, M., Lee, J.: DEAP: a database for emotion analysis using physiological signals. IEEE Trans. Affect. Comput. 3(1), 18–31 (2012)
Zheng, W.L., Lu, B.L.: Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks. IEEE Trans. Auton. Ment. Dev. 7(3), 162–175 (2015)
Topic, A., Russo, M.: Emotion recognition based on EEG feature maps through deep learning network. Eng. Sci. Technol. Int. J. 24(6), 1442–1454 (2021)
Zhong, Q.H., Zhu, Y.S., Cai, D.L., Xiao, L.W., Zhang, H.: Electroencephalogram access for emotion recognition based on a deep hybrid network. Front. Hum. Neurosci. 14, 589001 (2020)
Sharma, R., Pachori, R.B., Sircar, P.: Automated emotion recognition based on higher order statistics and deep learning algorithm. Biomed. Signal Process. Control 58, 101867 (2020)
Wang, F., Wu, S.C., Zhang, W.W., Xu, Z.F., Zhang, Y.H., Wu, C.D., Coleman, S.: Emotion recognition with convolutional neural network and EEG-based EFDMs. Neuropsychologia 146, 107506 (2020)
Du, X., Ma, C., Zhang, G., Li, J., Lai, Y.K., Zhao, G., Deng, X., Liu, Y., Wang, H.: An efficient LSTM network for emotion recognition from multichannel EEG signals. IEEE Trans. Affect. Comput. 13(3), 1528–1540 (2022)
Iyer, A., Das, S.S., Teotia, R., Maheshwari, S., Sharma, R.R.: CNN and LSTM based ensemble learning for human emotion recognition using EEG recordings. Multimed. Tools Appl. (2022). https://doi.org/10.1007/s11042-022-12310-7