Có cần một người điều khiển (Wizard-of-Oz) cho việc thực hành hội thoại do robot dẫn dắt trong một ngôn ngữ thứ hai?
Tóm tắt
Phần lớn các nghiên cứu trước đây về hội thoại giữa con người và robot trong ngôn ngữ thứ hai đều được thực hiện với sự hỗ trợ của một người điều khiển Wizard-of-Oz. Lý do là việc nhận dạng giọng nói tự động đối với lời nói hội thoại không phải bản ngữ được coi là không đáng tin cậy và nhiệm vụ quản lý hội thoại trong việc lựa chọn các câu robot phù hợp trong một lượt nói nhất định là phức tạp trong các cuộc đối thoại xã hội. Nghiên cứu này do đó điều tra xem việc thực hành hội thoại do robot dẫn dắt trong một ngôn ngữ thứ hai với các cặp người học trưởng thành có thể được một robot tự động quản lý hay không. Đầu tiên, chúng tôi điều tra mức độ chính xác và khả năng hiểu của các bản sao lời nói từ người học ngôn ngữ thứ hai khi được thực hiện bởi một công nghệ nhận diện giọng nói tiên tiến. Chúng tôi phát hiện ra tỷ lệ sai sót từ vựng tương đối cao (41%) và một phần đáng kể (42%) của các câu nói được đánh giá là không thể hiểu hoặc chỉ có thể hiểu một phần bởi người đọc. Sau đó, chúng tôi đánh giá mức độ phù hợp của việc lựa chọn câu nói robot, khi được thực hiện thủ công dựa trên các bản sao giọng nói hoặc tự động sử dụng (a) các chuỗi câu nói robot được định trước, (b) một mô hình ngôn ngữ tiên tiến tổng quát mà lựa chọn các câu nói dựa trên đầu vào của người học hoặc câu nói trước đó của robot, hoặc (c) một phương pháp thống kê tùy chỉnh được huấn luyện dựa trên các quan sát về lựa chọn của người điều khiển trong các cuộc hội thoại trước đó. Kết quả cho thấy câu nói robot phù hợp hoặc ít nhất là chấp nhận được được người điều khiển chọn trong hầu hết các trường hợp (96%), mặc dù các bản sao ASR có tỷ lệ sai sót từ vựng cao. Hơn nữa, phương pháp thống kê tùy chỉnh hoạt động tốt như việc lựa chọn câu nói robot thủ công dựa trên bản sao ASR. Cũng đã được tìm thấy rằng chiến lược tương tác mà robot áp dụng, có sự khác biệt về mức độ mà robot duy trì sáng kiến trong cuộc trò chuyện và liệu trọng tâm của cuộc hội thoại nằm ở robot hay người học, có tác động nhỏ đến tỷ lệ sai sót từ vựng và khả năng hiểu của các bản sao nhưng có tác động lớn hơn đến tính phù hợp của việc lựa chọn câu nói. Do đó, các cuộc hội thoại do robot dẫn dắt có thể hoạt động tốt hơn với một số chiến lược tương tác của robot.
Từ khóa
Tài liệu tham khảo
Zhen-Jia Y, Chi-Yuh S, Chih-Wei C, L, BJ, Gwo-Dong C (2006) A robot as a teaching assistant in an English class. In: Sixth IEEE International Conference on Advanced Learning Technologies (ICALT’06). pp 87–91
Park S, Han J, Kang B, Shin K (2011) Teaching assistant robot, robosem, in English class and practical issues for its diffusion. In: Proceedings of Advanced Robotics and its Social Impacts. pp 8–11
Tanaka F, Matsuzoe S (2012) Children teach a care-receiving robot to promote their learning: field experiments in a classroom for vocabulary learning. J Human Robot Interaction 1(1):78–95
Alemi M, Meghdari A, Basiri NM, Taheri A (2015) The effect of applying humanoid robots as teacher assistants to help iranian autistic pupils learn english as a foreign language. In: Social Robotics. ICSR 2015. Lecture Notes in Computer Science. Volume 9388
Mazzoni E, Benvenuti M (2015) A robot-partner for preschool children learning english using socio-cognitive conflict. Educ Technol Soc 18(4):474–485
Kennedy J, Baxter P, Senft E, Belpaeme T (2016) Social robot tutoring for child second language learning. In: The Eleventh ACM/IEEE International Conference on Human Robot Interation (HRI ‘16). pp 231–238
Khalifa A, Kato T, Yamamoto S (2017) Measuring effect of repetitive queries and implicit learning with joining-in type robot assisted language learning system. In: ISCA workshop on Speech and Language Technology in Education. pp 13–17
Kanda T, Sato R, Saiwaki N, Ishiguro H (2007) A two-month field trial in an elementary school for long-term human-robot interaction. IEEE Trans Rob 23(5):962–971
Han J, Jo M, Jones V, Jo J (2008) Comparative study on the educational use of home robots for children. JIPS 4(12):159–168
Mubin O, Shahid S, Bartneck C (2013) Robot assisted language learning through games: a comparison of two case studies. Austral J Intell Information Proc Syst. Vol. 13
Gordon G, Spaulding S, Westlund J, Lee J, Plummer L, Martinez M, Das M, Breazeal C (2016) Affective personalization of a social robot tutor for children’s second language skills. In: Proceedings of AAAI Conference on Artificial Intelligence
Pereira A, Oertel C, Fermoselle, L, Mendelson J, Gustafson J (2020) Effects of different interaction contexts when evaluating gaze models in hri. 2020 15th ACM/IEEE International Conference on Human-Robot Interaction (HRI) pp 131–139
Zollo T (1999) A study of human dialogue strategies the presence of speech recognition errors. In: AAAI Technical Report FS-99-03
Cavazza M (2001) An empirical study of speech recognition errors in a task-oriented dialogue system. In: Proceedings of the Second SIGdial Workshop on Discourse and Dialogue. (09)
Engwall O, Lopes J, Åhlund A (2020) Robot interaction styles for conversation practice in second language learning. Int J Soc Robot 13:251–276
Cumbal R, Moell, B, Lopes, J, Engwall O (2021) You don’t understand me! comparing asr results for L1 and L2 speakers of swedish. In: Interspeech
Arimoto T, Yoshikawa Y, Ishiguro H (2018) Multiple-robot conversational patterns for concealing incoherent responses. Int J Soc Robot 10:583–593
Engwall O, Lopes J (2020) Interaction and collaboration in robot-assisted language learning for adults. Computer Assisted Language Learning pp 1–37
You ZJ, Shen CY, Chang CW, Liu BJ, Chen GD (2006) A robot as a teaching assistant in an english class. In: Proceedings - Sixth International Conference on Advanced Learning Technologies, ICALT 2006. Volume 2006. (08) pp 87 – 91
Alemi M, Meghdari A, Ghazisaedy M (2015) The impact of social robotics on l2 learners‘ anxiety and attitude in english vocabulary acquisition. Int J Soc Robot 7(4):523–535
Wang Y, Young S, Jang JS (2013) Using tangible companions for enhancing learning english conversation. Educ Technol Soc 16(04):296–309
Wc Wu, Wang RJ, Chen NS (2013) Instructional design using an in-house built teaching assistant robot to enhance elementary school english-as-a-foreign-language learning. Interact Learn Environ 23(12):1–19
Lee S, Noh H, Lee J, Lee K, Lee G, Sagong S, Kim M (2013) On the effectiveness of robot-assisted language learning. ReCALL 23(1):25–58
Kanda T, Hirano T, Eaton D, Ishiguro H (2004) Interactive robots as social partners and peer tutors for children: a field trial. Human Comput Interact 19(1):61–84
van den Berghe R, Verhagen J, Oudgenoeg-Paz O, van der Ven S, Leseman P (2018) Social robots for language learning: a review. Rev Educ Res 89(2):259–295
Randall N (2019) A survey of robot-assisted language learning (rall). ACM Transact Human Robot Interact 9(12):1–36
Khalifa A, Kato T, Yamamoto S (2016) Joining-in-type humanoid robot assisted language learning system. In: Proceedings of LREC. pp 245–249
Engwall O, Lopes J, Cumbal R, Berndtson G, Lindström R, Jin E, Johnston E, Mekonnen M, Tahir G Learner and teacher perspectives on robot-led l2 conversation practice. ReCALL (Accepted)
Ashwell T, Elam JR (2017) How accurately can the google web speech api recognize and transcribe japanese l2 english learners‘ oral production? Jalt Call J 13(1):59–76
Radzikowski K, Nowak R, Wang L, Yoshie O (2019) Dual supervised learning for non-native speech recognition. EURASIP J Audio Speech Music Process 2019(1) 3:1–10
Lund W, Kennard D, Ringger E (2013) Combining multiple thresholding binarization values to improve ocr output. In: Document Recognition and Retrieval XX. (02)
Matassoni M, Gretter R, Falavigna D, Giuliani D (2018) Non-native children speech recognition through transfer learning. In: 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). pp 6229–6233
Martinez VR, Kennedy J (2020) A multiparty chat-based dialogue system with concurrent conversation tracking and memory. In: Proceedings of the 2nd Conference on Conversational User Interfaces. CUI ’20, Association for Computing Machinery
Adiwardana D, Luong MT, So DR, Hall J, Fiedel N, Thoppilan R, Yang Z, Kulshreshtha A, Nemade G, Lu Y, Le QV (2020) Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977
Roller S, Dinan E, Goyal N, Ju D, Williamson M, Liu Y, Xu J, Ott M, Shuster K, Smith EM, Boureau YL, Weston J (2021) Recipes for building an open-domain chatbot. In: EACL
Wen TH, Vandyke D, Mrkšić N, Gašić M, Rojas-Barahona LM, Su PH, Ultes S, Young S (2017) A network-based end-to-end trainable task-oriented dialogue system. In: Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, Valencia, Spain, Association for Computational Linguistics (April) 438–449
Budzianowski P, Wen TH, Tseng BH, Casanueva I, Ultes S, Ramadan O, Gašić M (2018) MultiWOZ - a large-scale multi-domain Wizard-of-Oz dataset for task-oriented dialogue modelling. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, Association for Computational Linguistics (October-November) pp 5016–5026
Lopes J, Garcia FJC, Hastie H (2020) The lab vs the crowd: An investigation into data quality for neural dialogue models. arXiv preprint arXiv:2012.03855
Jonell P, Fallgren P, Doğan FI, Lopes J, Wennberg U, Skantze G (2019) Crowdsourcing a self-evolving dialog graph. In: Proceedings of the 1st International Conference on Conversational User Interfaces. pp 1–8
Devlin J, Chang MW, Lee K, Toutanova K (2019) Bert: Pre-training of deep bidirectional transformers for language understanding
Al Moubayed S, Beskow J, Skantze G, Granstrom B (2012) Furhat: a back-projected human-like robot head for multiparty human-machine interaction. In: Cognitive behavioural systems. Springer pp 114–130
Yamaguchi T, Inoue, K, Yoshino K, Takanashi K, Ward NG, Kawahara T (2015) Analysis and prediction of morphological patterns of backchannels for attentive listening agents
Malmsten M, Börjeson L, Haffenden C Playing with words at the national library of sweden – making a swedish bert. arxiv