Im Auge des Betrachters
Tóm tắt
Eine gelingende Schulentwicklung setzt Wissen voraus, wie die Schulqualität gezielt und systematisch gesteigert werden kann. Diagnosen der externen Schulevaluationen tragen zum Aufbau dieses Wissens bei, wenn es gelingt, Rückmeldungen zu liefern, das die schulischen Akteure erfolgreich verarbeiten können. Mittels eines Strukturgleichungsmodells wurde untersucht, welche Zusammenhänge zwischen der Wahrnehmung der verschiedenen Teilprozesse der Externen Schulevaluation und dem subjektiven Wissensgewinn bestehen und ob sich diese Zusammenhänge gleichermassen für Schulführungen und Lehrpersonen zeigen. Die Daten stammen von 2690 Lehrpersonen und 653 Führungspersonen aus 152 Volksschulen, die in zwei Schweizer Kantonen im Anschluss der Externen Schulevaluation befragt worden sind. Im Einklang mit theoretischen Überlegungen zeigt die Studie übereinstimmend für beide Gruppen, dass die wahrgenommene Qualität der Ergebnisrückmeldung der wichtigste Prädiktor für den subjektiven Wissensgewinn ist. Unterschiede bestehen bei den Einstellungen zu der Externen Schulevaluation: Schulführungen gehen davon aus, dass ihre eigenen Einstellungen und diejenigen der Lehrpersonen ihrer Schule weitgehend übereinstimmen, während Lehrpersonen dies deutlich weniger tun. Das deutet daraufhin, dass Schulführungen die Vorbehalte ihres Kollegiums unterschätzen, und liefert Hinweise dafür, wie die Wirksamkeit Externer Schulevaluationen noch gesteigert werden könnte. Weitere Implikationen für die Externe Schulevaluation und die schulischen Akteure sowie die Grenzen der Studie und Perspektiven für die weitere Forschung werden diskutiert.
Tài liệu tham khảo
Altrichter, H., & Kemethofer, D. (2015). Neue Ansätze der Steuerung des Schulsystems und die Einstellung von Schulleitungen. Bildung und Erziehung, 68(3), 291–310.
Altrichter, H., Moosbrugger, R., & Zuber, J. (2016). Schul-und Unterrichtsentwicklung durch Datenrückmeldung. In H. Altrichter & K. Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S. 235–277). Wiesbaden: Springer.
Arbuckle, J. L. (2013). IBM SPSS Amos 22 user’s guide. ftp://public.dhe.ibm.com/software/analytics/spss/documentation/amos/22.0/en/Manuals/IBM_SPSS_Amos_User_Guide.pdf. Zugegriffen: 14. Juli 2016.
Bach, A., Wurster, S., Thillmann, K., Pant, H. A., & Thiel, F. (2014). Vergleichsarbeiten und schulische Personalentwicklung – Ausmaß und Voraussetzungen der Datennutzung. Zeitschrift für Erziehungswissenschaft, 17(1), 61–84.
Behnke, K., & Steins, G. (2017). Principals’ reactions to feedback received by school inspection: a longitudinal study. Journal of Educational Change, 18(1), 77. https://doi.org/10.1007/s10833-016-9275-7.
Bentler, P. M. (1990). Comparative fit indexes in structural models. Psychological bulletin, 107(2), 238.
Bitan, K., Haep, A., & Steins, G. (2015). School inspections still in dispute—an exploratory study of school principals’ perceptions of school inspections. International Journal of Leadership in Education, 18(4), 418–439.
Böhm-Kasper, O., Selders, O., & Lambrecht, M. (2016). Schulinspektion und Schulentwicklung – Ergebnisse der quantitativen Schulleitungsbefragung Schulinspektion als Steuerungsimpuls? Ergebnisse aus Forschungsprojekten (S. 1–50). Wiesbaden: Springer.
Bollen, K. A. (2000). Modeling strategies: in search of the holy grail. Structural Equation Modeling: A Multidisciplinary Journal, 7(1), 74–81.
Brimblecombe, N., Ormston, M., & Shaw, M. (1995). Teachers’ perceptions of school inspection: a stressful experience. Cambridge Journal of Education, 25(1), 53–61.
Browne, M. W., & Cudeck, R. (1992). Alternative ways of assessing model fit. Sociological Methods & Research, 21(2), 230–258.
Burke, M. J., & Dunlap, W. P. (2002). Estimating interrater agreement with the average deviation index: a user’s guide. Organizational research methods, 5(2), 159–172.
Byrne, B. M. (2004). Testing for multigroup invariance using AMOS graphics: a road less traveled. Structural Equation Modeling, 11(2), 272–300.
Byrne, B. M. (2008). Testing for multigroup equivalence of a measuring instrument: a walk through the process. Psicothema, 20(4), 872–882.
Chapman, C. (2000). Improvement, inspection and self-review. Improving Schools, 3(2), 57–63.
Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement Invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464–504.
Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural equation modeling, 9(2), 233–255.
Coe, R. (1998). Can feedback improve teaching? A review of the social science literature with a view to identifying the conditions under which giving feedback to teachers will result in improved performance. Research Papers in Education, 13(1), 43–66.
Courtney, S. J. (2013). Head teachers’ experiences of school inspection under Ofsted’s january 2012 framework. Management in Education, 27(4), 164–169.
de Wolf, I. F., & Janssens, F. J. (2007). Effects and side effects of inspections and accountability in education: an overview of empirical studies. Oxford Review of Education, 33(3), 379–396.
Demski, D., Rosenbusch, C., v. Ackeren, I., Clausen, M., & Schmidt, U. (2012). Steuerung von Schule durch evidenzbasierte Einsicht. In S. Hornberg & M. Parreira do Amaral (Hrsg.), Deregulierung im Bildungswesen (S. 131–150). Münster: Waxmann.
Döbert, H., Rürup, M., & Dedering, K. (2008). Externe Evaluation von Schulen in Deutschland – die Konzepte der Bundesländer, ihre Gemeinsamkeiten und Unterschiede. In H. Döbert & K. Dedering (Hrsg.), Externe Evaluation von Schulen. Historische, rechtliche und vergleichende Aspekte (S. 63–152). Münster: Waxmann.
Ehren, M. C. M., Altrichter, H., McNamara, G., & O’Hara, J. (2013). Impact of school inspections on improvement of schools—describing assumptions on causal mechanisms in six European countries. Educational Assessment, Evaluation and Accountability, 25(1), 3–43.
Ehren, M. C. M., & Scheerens, J. (2015). Evidenzbasierte Referenzrahmen zur Schulqualität als Grundlage von Schulinspektion. In M. Pietsch, B. Scholand & K. Schulte (Hrsg.), Schulinspektion in Hamburg: Der erste Zyklus 2007–2013: Grundlagen, Befunde, Perspektiven (S. 232–272). Münster: Waxmann.
Ehren, M. C. M., & Visscher, A. J. (2006). Towards a theory on the impact of school inspections. British Journal of Educational Studies, 54(1), 51–72.
Ehren, M. C. M., & Visscher, A. J. (2008). The relationships between school inspections, school characteristics and school improvement. British Journal of Educational Studies, 56(2), 205–227.
Fornell, C., & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1), 39–50.
Gärtner, H. (2011). Die Wirkung von Schulinspektion auf Schulentwicklung. Eine quasi-experimentelle Feldstudie. In C. Quesel, V. Husfeldt, N. Landwehr & P. Steiner (Hrsg.), Wirkungen und Wirksamkeit der externen Schulevaluation (S. 145–161). Bern: h.e.p..
Gärtner, H., Hüsemann, D., & Pant, H. A. (2009). Wirkungen von Schulinspektion aus Sicht betroffener Schulleitungen. Die Brandenburger Schulleiterbefragung. Empirische Pädagogik, 23(1), 1–18.
Gray, C., & Gardner, J. (1999). The impact of school inspections. Oxford Review of Education, 25(4), 455–468.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research, 77(1), 81–112.
Hayduk, L. A., & Littvay, L. (2012). Should researchers use single indicators, best indicators, or multiple indicators in structural equation models? BMC Medical Research Methodology, 12(1), 1–17.
Herting, J. R., & Costner, H. L. (2000). Another perspective on the “proper number of factors” and the appropriate number of steps. Structural Equation Modeling: A Multidisciplinary Journal, 7(1), 92–110. https://doi.org/10.1207/S15328007SEM0701_05.
Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1–55.
Husfeldt, V. (2011). Wirkungen und Wirksamkeit der externen Schulevaluation. Überblick zum Stand der Forschung. Zeitschrift für Erziehungswissenschaft, 14(2), 259–282.
Klieme, E. (2005). Zur Bedeutung von Evaluation für die Schulentwicklung. In K. Maag Merki, A. Sandmeier, P. Schuler & H. Fend (Hrsg.), Schule wohin? Schulentwicklung und Qualitätsmanagement im 21. Jahrhundert (S. 40–61). Zürich: FS&S – Forschungsbereich Schulqualität & Schulentwicklung, Universität Zürich.
Kline, R. B. (2016). Principles and practice of structural equation modeling (4. Aufl.). New York: Guilford.
Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: a historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254–284.
Kogan, M., & Maden, M. (1999). An evaluation of evaluators: the OFSTED system of school inspection. In C. Cullingford (Hrsg.), An inspector calls; Ofsted and its effect on school standards (S. 9–32). London: Kogan Page.
Kotthoff, H.-G., & Böttcher, W. (2010). Neue Formen der „Schulinspektion“: Wirkungshoffnungen und Wirksamkeit im Spiegel empirischer Bildungsforschung. In H. Altrichter & K. Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S. 295–325). Wiesbaden: VS.
Kotthoff, H.-G., Böttcher, W., & Nikel, J. (2016). Die ‚Schulinspektion‘ zwischen Wirkungshoffnungen und Wirksamkeit. In H. Altrichter & K. Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S. 325–359). Wiesbaden: Springer.
Kühle, B., & Peek, R. (2007). Lernstandserhebungen in Nordrhein-Westfalen. Evaluationsbefunde zur Rezeption und zum Umgang mit Ergebnisrückmeldungen in Schulen. Empirische Pädagogik, 21(4), 428–447.
Lambrecht, M., & Rürup, M. (2012). Bildungsforschung im Rahmen einer evidence based policy: Das Beispiel „Schulinspektion“. In A. Wacker, U. Maier & J. Wissinger (Hrsg.), Schul- und Unterrichtsreform durch ergebnisorientierte Steuerung: Empirische Befunde und forschungsmethodische Implikationen (S. 57–77). Wiesbaden: VS.
Landwehr, N. (2011). Thesen zur Wirkungen und Wirksamkeit der externen Schulevaluation. In C. Quesel, V. Husfeldt, N. Landwehr & P. Steiner (Hrsg.), Wirkungen und Wirksamkeit der externen Schulevaluation (S. 35–69). Bern: h.e.p..
LeBreton, J. M., & Senter, J. L. (2007). Answers to 20 questions about Interrater reliability and Interrater agreement. Organizational Research Methods, 11(4), 815–852.
Leeuw, F. L. (2002). Reciprocity and educational evaluations by European Inspectorates: assumptions and reality checks. Quality in Higher Education, 8(2), 137–149.
MacCallum, R. C., Browne, M. W., & Sugawara, H. M. (1996). Power analysis and determination of sample size for covariance structure modeling. Psychological methods, 1(2), 130.
Matthews, P., & Sammons, P. (2004). Improvement through inspection. An evaluation of the impact of Ofsted’s work. London: Crown.
Ormston, M., Brimblecombe, N., & Shaw, M. (1995). Inspection and Change: help or hindrance for the classroom teacher. British Journal of In-Service Education, 21(3), 311–318.
Pettigrew, T. F., & Tropp, L. R. (2006). A meta-analytic test of intergroup contact theory. Journal of personality and social psychology, 90(5), 751–783.
Pietsch, M., van den Ham, A.-K., & Köller, O. (2015). Wirkungen von Schulinspektion: Ein Rahmen zur theoriegeleiteten Analyse von Schulinspektionseffekten. In M. Pietsch, B. Scholand & K. Schulte (Hrsg.), Schulinspektion in Hamburg: Der erste Zyklus 2007–2013: Grundlagen, Befunde, Perspektiven (S. 232–272). Münster: Waxmann.
Preacher, K. J., & Leonardelli, G. J. (2017). Calculation for the Sobel test: an interactive calculation tool for mediation tests. http://quantpsy.org/sobel/sobel.htm. Zugegriffen: 5. Nov. 2017.
Price, H. E. (2012). Principal–teacher interactions. Educational Administration Quarterly, 48(1), 39–85.
Raykov, T. (1997). Estimation of composite reliability for congeneric measures. Applied Psychological Measurement, 21(2), 173–184.
Scheerens, J. (2014). Evidence based educational policy and practice: the case of applying the educational effectiveness knowledge base. Journal of Educational, Cultural and Psychological Studies, 1(9), 83–99.
Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: tests of significance and descriptive goodness-of-fit measures. Methods of psychological research online, 8(2), 23–74.
Schildkamp, K. (2007). The utilisation of a self-evaluation instrument for primary education. Twente: University of Twente.
Schildkamp, K., Ehren, M., & Lai, M. K. (2012). Editorial article for the special issue on data-based decision making around the world: from policy to practice to results. School effectiveness and school improvement, 23(2), 123–131.
Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data, what purposes, and promoting and hindering factors. Teaching and Teacher Education, 26(3), 482–496.
Schweinberger, K., Quesel, C., Mahler, S., & Höchli, A. (2017). Effects of feedback on process features of school quality: a longitudinal study on teachers’ reception of school inspection of Swiss compulsory schools. Studies in Educational Evaluation, 55, 75–82.
Thapa, A., Cohen, J., Guffey, S., & Higgins-D’Alessandro, A. (2013). A review of school climate research. Review of Educational Research, 83(3), 357–385.
Tucker, L. R., & Lewis, C. (1973). A reliability coefficient for maximum likelihood factor analysis. Psychometrika, 38(1), 1–10.
Verhaeghe, G., Vanhoof, J., Valcke, M., & Van Petegem, P. (2010). Using school performance feedback: perceptions of primary school principals. School Effectiveness and School Improvement, 21(2), 167–188.
Visscher, A. J., & Coe, R. (2003). School performance feedback systems: conceptualisation, analysis, and reflection. School Effectiveness and School Improvement, 14(3), 321–349.
Wurster, S., Feldhoff, T., & Gärtner, H. (2016). Führen verschiedene Inspektionskonzepte zu unterschiedlicher Akzeptanz und Verwendung der Ergebnisse durch Schulleitungen und Lehrkräfte? Zeitschrift für Erziehungswissenschaft, 19(3), 557–575.
Wurster, S., & Gärtner, H. (2013). Schulen im Umgang mit Schulinspektion und deren Ergebnissen. Zeitschrift für Pädagogik, 59(3), 425–445.