Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Một phương pháp tự động để phân tích cảm xúc dựa trên khía cạnh trong các bài đánh giá ứng dụng sử dụng máy học và học sâu
Tóm tắt
Các bài đánh giá ứng dụng chứa đựng một lượng lớn thông tin phản hồi từ người dùng có thể được sử dụng để hỗ trợ các chuyên gia phần mềm hiểu rõ hơn về nhu cầu của người dùng, xác định các vấn đề liên quan đến chất lượng, chẳng hạn như mối quan tâm về quyền riêng tư và hiệu suất thấp, và đánh giá mức độ hài lòng của người dùng đối với các tính năng của ứng dụng. Một cách hiệu quả để trích xuất thông tin này là sử dụng Phân tích Cảm xúc Dựa trên Khía cạnh (ABSA). Vai trò của ABSA trong các bài đánh giá ứng dụng là xác định tất cả các khía cạnh của ứng dụng được đánh giá và gán một độ nghiêng cảm xúc cho từng khía cạnh. Bài báo này nhằm xây dựng các mô hình ABSA sử dụng các phương pháp Máy học được giám sát (ML) và Học sâu (DL). Kỹ thuật tự động của chúng tôi nhằm (1) xác định đại diện văn bản và các tính năng cụ thể cho nhiệm vụ hữu ích và hiệu quả nhất trong cả Phát hiện Danh mục Khía cạnh (ACD) và Độ nghiêng tỉnh cảm Danh mục Khía cạnh, (2) điều tra thực nghiệm hiệu suất của các mô hình ML thông thường khi được sử dụng cho nhiệm vụ ABSA của các bài đánh giá ứng dụng, và (3) so sánh thực nghiệm hiệu suất của các mô hình ML và DL trong bối cảnh nhiệm vụ ABSA. Chúng tôi đã xây dựng các mô hình sử dụng các thuật toán/kiến trúc khác nhau và thực hiện tinh chỉnh siêu tham số. Ngoài ra, chúng tôi đã trích xuất một tập hợp các đặc điểm liên quan cho các mô hình ML và thực hiện một nghiên cứu loại bỏ để phân tích sự đóng góp của chúng đối với hiệu suất. Nghiên cứu thực nghiệm của chúng tôi cho thấy mô hình ML được đào tạo bằng thuật toán Hồi quy Logistic và nhúng BERT đã vượt trội hơn các mô hình khác. Mặc dù ML có hiệu suất vượt trội hơn DL, các mô hình DL không yêu cầu các đặc điểm được tạo thủ công và cho phép học tốt hơn về các đặc điểm khi được đào tạo với dữ liệu nhiều hơn.
Từ khóa
Tài liệu tham khảo
Aljamaan, H., Alazba, A.: Software defect prediction using tree-based ensembles. In: Proceedings of the 16th ACM International Conference on Predictive Models and Data Analytics in Software Engineering, pp. 1–10 (2020)
Alturaief, N., Aljamaan, H., Baslyman, M.: Aware: Aspect-based sentiment analysis dataset of apps reviews for requirements elicitation. In: 2021 36th IEEE/ACM International Conference on Automated Software Engineering Workshops (ASEW), pp. 211–218 (2021). IEEE
Bird, S., Klein, E., Loper, E.: Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit. O’Reilly Media, Inc., Beijing (2009)
Brownlee, J.: Master Machine learning algorithms: discover how they work and implement them from scratch. Machine Learning Mastery (2016)
Chawla, N.V., Bowyer, K.W., Hall, L.O., Kegelmeyer, W.P.: Smote: synthetic minority over-sampling technique. J. Artif. Intell. Res. 16, 321–357 (2002)
Chen, X., Chen, C., Zhang, D., Xing, Z.: Sethesaurus: wordnet in software engineering. IEEE Transactions on Software Engineering (2019)
Church, K.W., Hanks, P.: Word association norms, mutual information, and lexicography. Comput. Linguist. 16(1), 22–29 (1990)
Devlin, J., Chang, M.-W., Lee, K., Toutanova, K.: Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805 (2018)
Dong, L., Wei, F., Tan, C., Tang, D., Zhou, M., Xu, K.: Adaptive recursive neural network for target-dependent twitter sentiment classification. In: Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, vol. 2: Short Papers, pp. 49–54 (2014)
Geron, A.: Hands-on Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. O’Reilly Media, Sebastopol (2017)
Groen, E.C., Seyff, N., Ali, R., Dalpiaz, F., Doerr, J., Guzman, E., Hosseini, M., Marco, J., Oriol, M., Perini, A., et al.: The crowd in requirements engineering: the landscape and challenges. IEEE Softw. 34(2), 44–52 (2017)
Gu, X., Kim, S.: What parts of your apps are loved by users? In: 30th IEEE/ACM International Conference on Automated Software Engineering, pp. 760–770 (2015). IEEE
Guzman, E., El-Haliby, M., Bruegge, B.: Ensemble methods for app review classification: An approach for software evolution (n). In: 2015 30th IEEE/ACM International Conference on Automated Software Engineering (ASE), pp. 771–776 (2015). IEEE
Guzman, E., Ibrahim, M., Glinz, M.: A Little Bird Told Me: Mining Tweets for Requirements and Software Evolution. In: Proceedings - 2017 IEEE 25th International Requirements Engineering Conference, RE 2017, pp. 11–20 (2017). https://doi.org/10.1109/RE.2017.88
Guzman, E., Maalej, W.: How do users like this feature? a fine grained sentiment analysis of app reviews. In: 2014 IEEE 22nd International Requirements Engineering Conference (RE), pp. 153–162 (2014). https://doi.org/10.1109/RE.2014.6912257
Han, J., Pei, J., Kamber, M.: Classification: basic concepts. In: Data Mining: Concepts and Techniques. Elsevier Science & Technology (2011)
Hochreiter, S., Schmidhuber, J.: Long short-term memory. Neural Comput. 9(8), 1735–1780 (1997)
Kirange, D., Deshmukh, R.R., Kirange, M.: Aspect based sentiment analysis semeval-2014 task 4. Asian J. Comput. Sci. Inf. Technol. (AJCSIT) 4 (2014)
Kiritchenko, S., Zhu, X., Cherry, C., Mohammad, S.: Nrc-canada-2014: detecting aspects and sentiment in customer reviews. In: Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pp. 437–442 (2014)
Kralj Novak, P., Smailović, J., Sluban, B., Mozetič, I.: Sentiment of emojis. PloS one 10(12), 0144296 (2015)
Kujala, S., Kauppinen, M., Lehtola, L., Kojo, T.: The role of user involvement in requirements quality and project success. In: 13th IEEE International Conference on Requirements Engineering (RE’05), pp. 75–84 (2005). IEEE
Kumar, A., Kohail, S., Kumar, A., Ekbal, A., Biemann, C.: Iit-tuda at semeval-2016 task 5: beyond sentiment lexicon: Combining domain dependency and distributional semantics features for aspect based sentiment analysis. In: Proceedings of the 10th International Workshop on Semantic Evaluation, pp. 1129–1135 (2016)
LeCun, Y., Bengio, Y., et al.: Convolutional networks for images, speech, and time series. Handb. Brain Theory Neural Netw. 3361(10), 1995 (1995)
Li, Y., Jia, B., Guo, Y., Chen, X.: Mining User Reviews for Mobile App Comparisons. In: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, vol. 1, pp. 1–15 (2017). https://doi.org/10.1145/3130935
Liu, Y., Li, Y., Guo, Y., Zhang, M.: Stratify mobile app reviews: E-lda model based on hot “entity” discovery. In: 2016 12th International Conference on Signal-Image Technology & Internet-Based Systems (SITIS), pp. 581–588 (2016). IEEE
Luiz, W., Viegas, F., Alencar, R., Mourão, F., Salles, T., Carvalho, D., Gonçalves, M.A., Rocha, L.: A feature-oriented sentiment rating for mobile app reviews. In: Proceedings of the 2018 World Wide Web Conference, pp. 1909–1918 (2018)
Maalej, W., Pagano, D.: On the socialness of software. In: IEEE 9th International Conference on Dependable, Autonomic and Secure Computing, pp. 864–871 (2011). IEEE
Malik, H., Shakshuki, E.M., Yoo, W.-S.: Comparing mobile apps by identifying ‘hot’ features. Fut. Gener. Comput. Syst. 107, 659–669 (2020)
Martens, D., Maalej, W.: Release early, release often, and watch your users’ emotions: lessons from emotional patterns. IEEE Softw. 36(5), 32–37 (2019)
Mohammad, S., Turney, P.: Emotions evoked by common words and phrases: Using Mechanical Turk to create an emotion lexicon. In: Proceedings of the NAACL HLT 2010 Workshop on Computational Approaches to Analysis and Generation of Emotion in Text, pp. 26–34. Association for Computational Linguistics, Los Angeles, CA (2010). https://aclanthology.org/W10-0204
Mohammad, S.M., Turney, P.D.: Crowdsourcing a word-emotion association lexicon. Comput. Intell. 29(3), 436–465 (2013)
Pagano, D., Maalej, W.: User feedback in the appstore: an empirical study. In: 2013 21st IEEE International Requirements Engineering Conference, RE 2013 - Proceedings, pp. 125–134 (2013). https://doi.org/10.1109/RE.2013.6636712
Panichella, S., Di Sorbo, A., Guzman, E., Visaggio, C.A., Canfora, G., Gall, H.C.: How can i improve my app? Classifying user reviews for software maintenance and evolution. In: 2015 IEEE 31st International Conference on Software Maintenance and Evolution, ICSME 2015 - Proceedings, pp. 281–290 (2015). https://doi.org/10.1109/ICSM.2015.7332474
Pontiki, M., Galanis, D., Papageorgiou, H., Androutsopoulos, I., Manandhar, S., AL-Smadi, M., Al-Ayyoub, M., Zhao, Y., Qin, B., De Clercq, O., et al.: Semeval-2016 task 5: aspect based sentiment analysis. In: ProWorkshop on Semantic Evaluation (SemEval-2016), pp. 19–30 (2016). Association for Computational Linguistics
Pontiki, M., Galanis, D., Pavlopoulos, J., Papageorgiou, H., Androutsopoulos, I., Manandhar, S.: SemEval-2014 Task 4: aspect based sentiment analysis. In: Proceedings of the 8th International Workshop on Semantic Evaluation, pp. 27–35 (2014). https://doi.org/10.3115/v1/s14-2004
Princeton University: About WordNet (2010). https://wordnet.princeton.edu
Qian, Z., Shen, B., Mo, W., Chen, Y.: Satiindicator: Leveraging user reviews to evaluate user satisfaction of sourceforge projects. In: 2016 IEEE 40th Annual Computer Software and Applications Conference (COMPSAC), vol. 1, pp. 93–102 (2016). IEEE
Ramos, J., et al.: Using tf-idf to determine word relevance in document queries. In: Proceedings of the First Instructional Conference on Machine Learning, vol. 242, pp. 29–48 (2003). Citeseer
Řehůřek, R., Sojka, P.: Software framework for topic modelling with large corpora. In: Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, pp. 45–50. ELRA, Valletta, Malta (2010). http://is.muni.cz/publication/884893/en
Rocha, L., Mourão, F., Silveira, T., Chaves, R., Sá, G., Teixeira, F., Vieira, R., Ferreira, R.: Saci: sentiment analysis by collective inspection on social media content. J. Web Semant. 34, 27–39 (2015)
Seyff, N., Graf, F., Maiden, N.: Using mobile re tools to give end-users their own voice. In: 18th IEEE International Requirements Engineering Conference, pp. 37–46 (2010). IEEE
Shah, F.A., Sabanin, Y., Pfahl, D.: Feature-based evaluation of competing apps. In: Proceedings of the International Workshop on App Market Analytics, pp. 15–21 (2016)
Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C.D., Ng, A.Y., Potts, C.: Recursive deep models for semantic compositionality over a sentiment treebank. In: Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631–1642 (2013)
Stade, M., Scherr, S.A., Mennig, P., Elberzhager, F., Seyff, N.: Don’t worry, be happy–exploring users’ emotions during app usage for requirements engineering. In: 2019 IEEE 27th International Requirements Engineering Conference (RE), pp. 375–380 (2019). IEEE
Stanik, C., Haering, M., Maalej, W.: Classifying multilingual user feedback using traditional machine learning and deep learning. In: Proceedings - 2019 IEEE 27th International Requirements Engineering Conference Workshops, REW 2019, pp. 220–226 (2019) arXiv:1909.05504. https://doi.org/10.1109/REW.2019.00046
Su, Y., Wang, Y., Yang, W.: Mining and comparing user reviews across similar mobile apps. In: 2019 15th International Conference on Mobile Ad-Hoc and Sensor Networks (MSN), pp. 338–342 (2019). IEEE
Tait, P., Vessey, I.: The effect of user involvement on system success: a contingency approach. MIS Quart. 1, 91–108 (1988)
Tang, D., Qin, B., Feng, X., Liu, T.: Effective lstms for target-dependent sentiment classification. arXiv preprint arXiv:1512.01100 (2015)
Tang, D., Qin, B., Liu, T.: Aspect level sentiment classification with deep memory network. arXiv preprint arXiv:1605.08900 (2016)
Thelwall, M., Buckley, K., Paltoglou, G., Cai, D., Kappas, A.: Sentiment strength detection in short informal text. J. Am. Soc. Inf. Sci. Technol. 61(12), 2544–2558 (2010)
Thüring, M., Mahlke, S.: Usability, aesthetics and emotions in human-technology interaction. Int. J. Psychol. 42(4), 253–264 (2007)
Tsai, Y.-L., Wang, Y.-C., Chung, C.-W., Su, S.-C., Tsai, R.T.-H.: Aspect-category-based sentiment classification with aspect-opinion relation. In: 2016 Conference on Technologies and Applications of Artificial Intelligence (TAAI), pp. 162–169 (2016). IEEE
Turney, P.D., Littman, M.L.: Measuring praise and criticism: inference of semantic orientation from association. ACM Trans. Inf. Syst. 21(4), 315–346 (2003)
van Solingen, R., Berghout, E.: The Goal/Question/Metric Method: A Practical Guide for Quality Improvement of Software Development. McGraw-Hill, Berkshire, England (1999)
Villarroel, L., Bavota, G., Russo, B., Oliveto, R., Di Penta, M.: Release planning of mobile apps based on user reviews. In: Proceedings - International Conference on Software Engineering, vol. 14-22-May-, pp. 14–24 (2016). https://doi.org/10.1145/2884781.2884818
Wang, Y., Huang, M., Zhu, X., Zhao, L.: Attention-based lstm for aspect-level sentiment classification. In: Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 606–615 (2016)
Williams, G., Mahmoud, A.: Mining Twitter Feeds for Software User Requirements. In: Proceedings - 2017 IEEE 25th International Requirements Engineering Conference, RE 2017, pp. 1–10 (2017). https://doi.org/10.1109/RE.2017.14
Wright, H.K., Kim, M., Perry, D.E.: Validity concerns in software engineering research. In: Proceedings of the FSE/SDP Workshop on Future of Software Engineering Research, pp. 411–414 (2010)
Zhao, L., Zhao, A.: Sentiment analysis based requirement evolution prediction. Futur. Internet 11(2), 52 (2019)
Zheng, S., Xia, R.: Left-center-right separated neural network for aspect-based sentiment analysis with rotatory attention. arXiv preprint arXiv:1802.00892 (2018)
Zowghi, D., Coulin, C.: In: Aurum, A., Wohlin, C. (eds.) Requirements Elicitation: A Survey of Techniques, Approaches, and Tools, pp. 19–46. Springer, Berlin, Heidelberg (2005). https://doi.org/10.1007/3-540-28244-0_2