Wie sollten Rückmeldungen von quantitativ erfasstem Schülerfeedback (nicht) gestaltet werden? Wahrgenommene Informativität und Interpretationssicherheit von quantitativen Rückmeldungen zur Unterrichtsqualität
Tóm tắt
Für eine gelingende datenbasierte Unterrichts- und Schulentwicklung stellt die korrekte und zielgerichtete Rezeption der Rückmeldedaten eine notwendige Bedingung dar. Solche Daten werden Lehrkräften in aller Regel nicht als Rohdaten, sondern aggregiert zu statistischen Kennwerten und encodiert in Grafiken zur Verfügung gestellt. Dies kann zum einen eine effiziente und zugleich umfangreiche Rezeption der in den Rohdaten enthaltenen Informationen erlauben, zum anderen stellen die Datentransformationen und Encodierungen kognitive Herausforderungen an die Rezipienten. Die vorliegende Studie untersucht diesen Trade-Off im Rahmen einer Design-Based-Research-Studie mit Nachhilfelehrkräften. Dazu trianguliert sie Selbstauskünfte (N = 83) über die wahrgenommene Informativität und Interpretationssicherheit verschieden aggregierter und encodierter Rückmeldungen zur Unterrichtsqualität (N = 9730) mit Daten zum Rezeptionsverhalten (Logdaten einer Webapplikation, N = 232). Zentrale Ergebnisse sind Zusammenhänge zwischen den Verweildauern auf einzelnen Rückmeldegrafiken mit der wahrgenommenen Informativität (positiv, monoton, quadratisch) und der Interpretationssicherheit (u-förmig) sowie eine klare Bevorzugung einfacher Statistiken (arithmetischer Mittel) und Skalierungen (rohe Likertskalierung). Die Bedeutung der Ergebnisse für die Rückmeldepraxis werden insbesondere vor dem Hintergrund diskutiert, dass es sich bei der vorliegenden Stichprobe um hochgradig mathematikaffine Lehrerinnen und Lehrer handelt.
Tài liệu tham khảo
Altrichter, H., Moosbrugger, R., & Zuber, J. (2016). Schul- und Unterrichtsentwicklung durch Datenrückmeldung. In H. Altrichter & K. Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S. 235–277). Wiesbaden: Springer.
Anderson, T., & Shattuck, J. (2012). Design-based research: A decade of progress in education research? Educational Researcher, 41(1), 16–25.
Bates, D., Maechler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48.
Baumert, J., Klieme, E., Neubrand, M., Prenzel, M., Schiefele, U., Schneider, W., Stanat, P., Tillmann, K. J., & Weiß, M. (Hrsg.). (2001). PISA 2000: Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich. Opladen: Leske + Budrich.
Baumert, J., Lehmann, R. H., Lehrke, M., Schmitz, B., Clausen, M., Hosenfeld, I., Köller, O., & Neubrand, J. (Hrsg.). (1997). TIMMS – Mathematik-naturwissenschaftlicher Unterricht im internationalen Vergleich. Deskriptive Befunde. Opladen: Leske + Budrich.
Biehler, R., & Frischemeier, D. (2015). „Verdienen Männer mehr als Frauen?“ – Reale Daten im Stochastikunterricht mit der Software TinkerPlots erforschen. Stochastik in der Schule, 35, 7–17.
Chang, W., Cheng, J., Allaire, J., Xie, Y., & McPherson, J. (2017). shiny: web application framework for R. R package version 1.0.1. https://CRAN.R-project.org/package=shiny. Zugegriffen: 1. Sept. 2017.
Chick, H., & Pierce, R. (2013). The statistical literacy needed to interpret school assessment data. Mathematics Teacher Education & Development, 15(2), 1–19.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. Aufl.). Hillsdale: Erlbaum.
Dedering, K. (2011). Hat Feedback eine positive Wirkung? Zur Verarbeitung extern erhobener Leistungsdaten in Schulen. Unterrichtswissenschaft, 39, 63–83.
Gärtner, H. (2014). Effects of student feedback as a method of self-evaluating the quality of teaching. Studies in Educational Evaluation, 42, 91–99.
Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. Cambridge: Cambridge University Press.
Gigerenzer, G., Gaissmaier, W., Kurz-Milcke, E., Schwartz, L. M., & Woloshin, S. (2008). Helping doctors and patients make sense of health statistics: Toward an evidence-based society. Psychological Sciene in the Public Interest, 8(2), 53–96.
Groß Ophoff, J., Koch, U., Hosenfeld, I., & Helmke, A. (2006). Ergebnisrückmeldungen und ihre Rezeption im Projekt Vera. In H. Kuper & J. Schneewind (Hrsg.), Rückmeldungen und ihre Rezeption von Forschungsergebnissen. Zur Verwendung wissenschaftlichen Wissens im Bildungsbereich (S. 19–40). Münster: Waxmann.
Hellrung, K., & Hartig, J. (2013). Understanding and using feedback—A review of empirical studies concerning feedback from external evaluations to teachers. Educational Research Review, 9, 174–190.
Helmke, A., & Hosenfeld, I. (2005). Standardbezogene Unterrichtsevaluation. In G. Brägger, B. Bucher & N. Landwehr (Hrsg.), Schlüsselfragen zur externen Schulevaluation (S. 127–151). Bern: h.e.p..
Hoogland, I., Schildkamp, K., van der Kleij, F., Heitink, M., Kippers, W., Veldkamp, B., & Dijkstra, A. M. (2016). Prerequisites for data-based decision making in the classroom: Research evidence and practical illustrations. Teaching and Teacher Education, 60, 377–386.
Keren, G. (1993). Between or within subjects design: A methodological dilemma. In G. Keren & C. Lewis (Hrsg.), A handbook for data analysis in the behavioral sciences: Methodological issues (S. 257–272). Hillsdale: Erlbaum.
Koch, U. (2011). Verstehen Lehrkräfte Rückmeldungen aus Vergleichsarbeiten? Datenkompetenz von Lehrkräften und die Nutzung von Ergebnisrückmeldungen aus Vergleichsarbeiten. Münster: Waxmann.
Kohler, B. (2002). Zur Rezeption von TIMSS durch Lehrerinnen und Lehrer. Unterrichtswissenschaft, 30(2), 158–188.
Kohler, B., & Schrader, F.-W. (2004). Ergebnisrückmeldung und Rezeption. Von der externen Evaluation zur Entwicklung von Schule und Unterricht. Empirische Pädagogik, 18, 3–17.
Kool, W., McGuire, J. T., Rosen, Z. B., & Botvinick, M. M. (2010). Decision making and the avoidance of cognitive demand. Journal of Experimental Psychology: General, 139(4), 665–682.
Kugler, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis and a preliminary feedback intervention. Psychological Bulletin, 119, 254–384.
Kultusministerkonferernz (KMK) (Hrsg.). (2006). Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring. München: LinkLuchterhand.
Lüdtke, O., Robitzsch, A., Trautwein, U., & Kunter, M. (2009). Assessing the impact of learning environments: How to use student ratings of classroom or school characteristics in multilevel modeling. Contemporary Educational Psychology, 34, 120–131.
Maier, U. (2008). Rezeption und Nutzung von Vergleichsarbeiten aus der Perspektive von Lehrkräften. Zeitschrift für Pädagogik, 54, 95–117.
Maier, U. (2009). Professionelle Nutzung von Vergleichsarbeiten? Ergebnisse einer qualitativen Interviewstudie mit Lehrkräften in Baden-Württemberg. In T. Bohl & H. Kiper (Hrsg.), Lernen aus Evaluationsergebnissen (S. 131–144). Bad Heilbrunn: Klinkhardt.
Makar, K., & Confrey, J. (2002). Comparing two distributions: Investigating secondary teachers statistical thinking. In B. Phillips (Hrsg.), Proceedings of the sixth international conference on teaching statistics (S. 1–4). Cape Town: International Association for Statistics Education.
Mandinach, E. B., & Gummer, E. S. (2016). What does it mean for teachers to be data literate: Laying out the skills, knowledge, and dispositions. Teaching and Teacher Education, 60, 366–376.
Marsh, H. W. (1982). Seeq: A reliable, valid, and useful instrument for collecting students’ evaluations of university teaching. British Journal of Educational Psychology, 52, 77–95.
Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114(11), 1–48.
Peek, R. (2004). Qualitätsuntersuchungen an Schulen zum Unterricht in Mathematik (QuaSUM). Klassenbezogene Ergebnisrückmeldungen und ihre Rezeption in Brandenburger Schulen. Empirische Pädagogik, 18, 82–114.
Peek, R., & Dobbelstein, P. (2006). Benchmarks als Input für die Schulentwicklung – das Beispiel der Lernstandserhebungen in Nordrhein-Westfalen. In H. Kuper & J. Schneewind (Hrsg.), Rückmeldung und Rezeption von Forschungsergebnissen. Zur Verwendung wissenschaftlichen Wissens im Bildungssystem (S. 41–58). Münster: Waxmann.
R Core Team (2017). R: A language and environment for statistical computing. Vienna: R Foundation for Statistical Computing.
Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods (2. Aufl.). Thousand Oaks: SAGE.
Schildkamp, K., & Ehren, M. C. M. (2013). From “intuition”- to “data”-based decision making in Dutch secondary schools? In K. Schildkamp, M. K. Lai & L. Earl (Hrsg.), Data-based decision making in education. Challenges and opportunities (S. 49–68). Dordrecht: Springer.
Schliesing, A. (2017). Rückmeldungen aus Vergleichsarbeiten (VERA). Eine methodenintegrative Studie zur Gestaltung und Rezeption von VERA-Rückmeldungen. Berlin: Humboldt-Universität. Unveröffentlichte Dissertation
Schneewind, J. (2007). Wie Lehrkräfte mit Ergebnisrückmeldungen aus Schulleistungsstudien umgehen. Ergebnisse aus Befragungen von Berliner Grundschullehrerinnen. http://www.diss.fu-berlin.de/diss/receive/FUDISS_thesis_000000002819. Zugegriffen: 15. Nov. 2016. Dissertation, Freie Universität Berlin.
Stanat, P., Böhme, K., Schipolowski, S., & Haag, N. (Hrsg.). (2016). IQB-Bildungstrend 2015 – Sprachliche Kompetenzen am Ende der 9. Jahrgangsstufe im zweiten Ländervergleich. Münster: Waxmann.
The Design-Based Research Collective (2003). Design-based research: An emerging paradigm for educational inquiry. Educational Researcher, 32(1), 5–8.
Visscher, A. J., & Coe, R. (2003). School performance feedback systems: Conceptualisation, analysis, and reflection. School effectiveness and school improvement, 14, 321–349.
Wurster, S., Richter, D., & Lenski, A. E. (2017). Datenbasierte Unterrichtsentwicklung und ihr Zusammenhang zur Schülerleistung. Zeitschrift für Erziehungswissenschaft, 20(4), 628–650.
Zenisky, A. L., Hambleton, R. K., & Sireci, S. G. (2009). Getting the message out: An evaluation of NAEP score reporting practices with implications for disseminating test results. Applied Measurement in Education, 22(4), 359–375.
Zeuch, N., Förster, N., & Souvignier, E. (2017). Assessing teachers competencies to read and interpret graphs from learning progress assessment: Results from tests and interviews. Learning Disabilities Research and Practice, 32(1), 61–70.