International Journal of Educational Technology in Higher Education

Wikis are appropriate tools for deploying authentic assessment experiences for learning and work scenarios in which a group of users are asked to develop a shared task. However, when the number of wiki users increases, the number of contributions can grow at a pace whereby accurately assessing them becomes a complex and non-scalable task. While different quantitative approaches have been shown to be scalable, they are usually coarse-grained and provide limited feedback about the assessment. This work proposes a scalable assessment methodology for wiki-based tasks, based on qualitative self- and peer assessment of wiki contributions. The methodology is implemented using a software tool and is applied as part of an undergraduate course, complementing a quantitative assessment approach. Positive evidence on the scalability of the method and how it implements a more fine-grained qualitative assessment than the regular quantitative approach is found, providing indicators for assessing both individual and group generic skills.

Recent advances in Artificial Intelligence (AI) have paved the way for the integration of text-based and voice-enabled chatbots as adaptive virtual tutors in education. Despite the increasing use of AI-powered chatbots in language learning, there is a lack of studies exploring the attitudes and perceptions of teachers and students towards these intelligent tutors. This study aims to compare several linguistic and technological aspects of four App-Integrated Chatbots (AICs) and to examine the perceptions among English as a Foreign Language (EFL) teacher candidates. In this mixed-methods research based on convenience sampling, 237 college students from Spain (n = 155) and the Czech Republic (n = 82) interacted with four AICs over a month, and evaluated them following a rubric based on the Chatbot-Human Interaction Satisfaction Model. This scale was specifically designed to assess different linguistic and technological features of AICs such as response interval, semantic coherence, sentence length, and user interface. Quantitative and qualitative data were gathered through a pre-post-survey, based on the CHISM model and student assessment reports. Quantitative data were analyzed using SPSS statistics software, while qualitative data were examined using QDA Miner software, focusing on identifying recurring themes through frequency analysis. The findings indicated a moderate level of satisfaction with AICs, suggesting that enhancements in areas such as better adapting to learner needs, integrating interactive multimedia, and improving speech technologies are necessary for a more human-like user interaction.

The focus of higher education institutions is the preparation of future professionals. To achieve this aim, innovative teaching methods are often deployed, including games and simulations, which form the subject of this paper. As the field of digital games and simulations is ever maturing, this paper attempts to systematically review the literature relevant to games and simulation pedagogy in higher education. Two researchers collaborate to apply a qualitative method, coding and synthesizing the results using multiple criteria. The main objective is to study the impact of games and simulations with regard to achieving specific learning objectives. On balance, results indicate that games and/or simulations have a positive impact on learning goals. The researchers identify three learning outcomes when integrating games into the learning process: cognitive, behavioural, and affective. As a final step, the authors consolidate evidence for the benefit of academics and practitioners in higher education interested in the efficient use of games and simulations for pedagogical purposes. Such evidence also provides potential options and pathways for future research.

This article presents the current perceptions on the value of analytics and their possible contribution to the higher education sector in New Zealand. Seven out of eight research-intensive public universities in New Zealand took part in the study. Participants included senior management and those who have some role associated with decision-making within higher education (N = 82). The study found inconsistent understanding of the meaning of analytics across participants. In particular, three forms of perceptions of analytics were identified: structural; functional and structural-functional. It was evident that some participants viewed analytics in its structural elements such as statistics, metrics, trends, numbers, graph, and any relevant information/data to enhance better decision-making, whereas other participants perceived the notion of analytics in terms of functional aspect; as means to an end, a process to use the data to gain insights and taking action on complex problems, yet a third group viewed analytics from both structural-functional perspectives. These kinds of perceptions have to a larger extent influenced participants’ views on the value of analytics in shaping policy and practice. Also, literature has addressed a number of possible challenges associated with the large-scale institutional implementation of analytics. These challenges were: difficulties in extracting data from multiple databases, maintaining data quality, ethical and privacy issues, and lack of professional development opportunities. This article aims to broadly contribute to a better understanding of current perception and value of analytics in higher education, and in particular within the New Zealand context.

Assessing learner readiness for online learning is the starting point for online course design. This study thus aimed to evaluate Japanese learners’ perceived e-readiness for learning English online prior to designing and developing an online EGAP (English for General Academic Purposes) course at Osaka University. A sample of 299 undergraduate Japanese students completed a translated and adapted version of the Technology Survey developed by Winke and Goertler (CALICO Journal 25(3): 482–509, 2008). The questionnaire included items about respondents’ ownership of and access to technology tools, their ability in performing user tasks from basic to advanced, their personal educational use of Web 2.0 tools, and their willingness to take online English courses. The informants were found to have personal ownership and/or adequate access to technological devices and the Internet at home or at the university. While their keyboarding skills have been reported as relatively low, the self-assessment data indicates that the participants know about general Web 2.0 tools and utilize them in daily life but not within educational settings. The students were also in general unwilling to take online courses, either fully online or blended. This finding further highlights the necessity of digital literacy training before implementing the prospective online course with a focus on EGAP.

Paraphrase types have been proposed by researchers as the paraphrasing mechanisms underlying acts of plagiarism. Synonymous substitution, word reordering and insertion/deletion have been identified as some of the common paraphrasing strategies used by plagiarists. However, similarity reports generated by most plagiarism detection systems provide a similarity score and produce matching sections of text with their possible sources. In this research we propose methods to identify two important paraphrase types – synonymous substitution and word reordering in paraphrased, plagiarised sentence pairs. We propose a three staged approach that uses context matching and pretrained word embeddings for identifying synonymous substitution and word reordering. Our proposed approach indicates that the use of Smith Waterman Algorithm for Plagiarism Detection and ConceptNet Numberbatch pretrained word embeddings produces the best performance in terms of $$\hbox {F}_1$$ scores. This research can be used to complement similarity reports generated by currently available plagiarism detection systems by incorporating methods to identify paraphrase types for plagiarism detection.

A STEM-based faculty in an Australian university leveraged online educational technology to help address student and academic concerns associated with team-based assessment. When engagement and contribution of all team members cannot be assured, team-based assessment can become an unfair and inaccurate measure of student competency. This case study explores the design and capacity of an online self and intra-team peer-assessment of teamwork strategy to measure student engagement and enable peers to hold each other accountable during team-based assessments. Analysis of student interactions across 39 subjects that implemented the strategy in 2020, revealed that an average of 94.4% of students completed the self and intra-team peer-assessment task when designed as part of a summative team-based assessment. The analysis also revealed that an average of 10.3% of students were held accountable by their peers, receiving feedback indicating their teamwork skills and behaviours were below the required minimum standard. Furthermore, the strategy was successfully implemented in cohorts ranging from seven to over 700 students, demonstrating scalability. Thus, this online self and intra-team peer-assessment strategy provided teaching teams with evidence of student engagement in a team-based assessment while also enabling students to hold each other accountable for contributing to the team task. Lastly, as the online strategy pairs with any discipline-specific team-based assessment, it provided the faculty with a method that could be used consistently across its schools to support management and engagement in team-based assessments.

Sự bùng phát COVID-19 đã buộc nhiều trường đại học phải chuyển ngay sang hình thức giảng dạy trực tuyến. Tuy nhiên, nhiều giảng viên đã gặp khó khăn và cảm thấy áp lực khi phải phát triển các bài học trực tuyến hiệu quả trong khoảng thời gian ngắn kỷ lục. Nghiên cứu này mô tả cách mà chúng tôi đã thành công trong việc ứng phó với cuộc khủng hoảng này bằng cách chuyển đổi hai lớp học lật truyền thống thành các lớp học lật hoàn toàn trực tuyến với sự hỗ trợ của ứng dụng hội nghị video dựa trên đám mây. Cũng giống như trong một khóa học lật truyền thống, trong một khóa học lật hoàn toàn trực tuyến, sinh viên được khuyến khích hoàn thành công việc trước lớp trực tuyến. Nhưng không giống như phương pháp lật truyền thống, sinh viên không gặp mặt trực tiếp trong các lớp học vật lý, mà thay vào đó là trực tuyến. Nghiên cứu này xem xét tác động của các lớp học lật hoàn toàn trực tuyến đối với hiệu suất học tập của sinh viên qua hai giai đoạn. Ở Giai đoạn Một, chúng tôi giải thích cách mà chúng tôi dựa vào khung 5E để thiết kế hai lớp học lật truyền thống. Khung 5E bao gồm năm giai đoạn - Gắn kết, Khám phá, Giải thích, Mở rộng và Đánh giá. Ở Giai đoạn Hai, chúng tôi mô tả cách mà chúng tôi đã chuyển đổi hai lớp học lật truyền thống thành các lớp học lật hoàn toàn trực tuyến. Phân tích định lượng về điểm cuối khóa học của sinh viên cho thấy rằng những sinh viên tham gia vào các lớp học lật hoàn toàn trực tuyến đạt hiệu quả học tập tương đương với những sinh viên tham gia vào các lớp học lật truyền thống. Phân tích định tính về dữ liệu phản ánh của sinh viên và nhân viên đã xác định bảy thực hành tốt cho các lớp học lật trực tuyến được hỗ trợ bằng hội nghị video.

Các Khóa Học Trực Tuyến Mở Rộng (MOOCs) đang dần chuyển mình từ trạng thái hoàn toàn mở mà không có sự công nhận rõ ràng trong các trường đại học hay ngành công nghiệp, sang các môi trường riêng tư thông qua sự xuất hiện của các Khóa Học Trực Tuyến Riêng Nhỏ và Lớn (SPOCs và MPOCs). Các khóa học ở định dạng mới này thường có giá trị tín chỉ và có giá trị thị trường rõ ràng thông qua việc tiếp thu năng lực và kỹ năng. Tuy nhiên, vấn đề từ lâu của gian lận học thuật vẫn tồn tại, tạo ra sự thiếu tin cậy về những gì sinh viên đã làm để hoàn thành các khóa học này. Trong nghiên cứu trường hợp này, chúng tôi tập trung vào các SPOC có công nhận học thuật được phát triển tại Đại học Cauca ở Colombia và được lưu trữ trong phiên bản Open edX của họ gọi là Selene Unicauca. Chúng tôi đã phát triển một thuật toán phân tích học tập để phát hiện sinh viên gian lận dựa trên thời gian nộp bài và phản hồi kỳ thi, cung cấp ra số lượng các chỉ số có thể dễ dàng sử dụng để xác định sinh viên. Kết quả của chúng tôi trong hai SPOC cho thấy 17% sinh viên tham gia tương tác đủ với các khóa học đã thực hiện các hành động gian lận học thuật, và 100% sinh viên gian lận đã vượt qua các khóa học, so với 62% đối với phần còn lại của sinh viên. Trái ngược với những gì các nghiên cứu khác đã tìm thấy, trong nghiên cứu này, sinh viên gian lận hoạt động tương tự hoặc thậm chí tích cực hơn với tài liệu khóa học so với phần còn lại, và chúng tôi giả thuyết rằng đây có thể là các nhóm làm việc nghiêm túc trong khóa học và giải bài kiểm tra cùng nhau để đạt điểm cao hơn. Với các bằng cấp dựa trên MOOC và các SPOC có tín chỉ đang trở thành chuẩn mực trong học tập từ xa, chúng tôi tin rằng nếu vấn đề này không được xử lý đúng cách, nó có thể đe dọa tương lai của sự tin cậy và giá trị của các chứng chỉ học tập trực tuyến.