Sonntag, 26. Oktober 2014

Fehler in John Hatties „sichtbarem Lernen“ von Rolf Schulmeister und Jörn Loviscach



Die viel zitierte Meta-Meta-Analyse „Visible Learning“ weist beträchtliche inhaltliche und methodische Schwächen auf. Das zeigen unsere exemplarischen Proben der Quellen und Rechnungen. Das Werk bedarf einer grundlegenden Überprüfung.
Was wirkt im Unterricht und was nicht? -- Die Beantwortung dieser Frage ist ein ideologisches Schlachtfeld verschiedener Schulen der Pädagogik. Wie schön wäre es, sie durch Messungen von Unterrichts(miss)erfolg ein für alle Mal zu beantworten. Diese Hoffnung hat sich für viele mit dem Werk „Visible Learning“ von John Hattie (2014) erfüllt: Er hat in dieser Meta-Meta-Analyse Hunderte von Meta-Analysen zu Themenkomplexen zusammengefasst und diese zu einer Rangfolge von positiv bis kontraproduktiv sortiert.

Daran interessiert, wie verlässlich Hatties Ergebnisse sind, haben wir Stichproben der von Hattie verarbeiteten Originalliteratur beschafft ‒ soweit mit vertretbarem Aufwand möglich ‒ und studiert. Unsere Ergebnisse (Schulmeister & Loviscach, 2014) stellen die von Hattie angegebene Rangfolge in Frage und lassen gravierende Bedenken zum Vorgehen aufkommen:

1.     Zweifelhafte Studien. Viele der von Hattie herangezogenen Meta-Analysen sind methodisch anzweifelbar. Hattie hat offensichtlich die in diese Meta-Analysen eingegangenen empirischen Einzelstudien nicht auf ihre inhaltliche oder methodische Qualität überprüft, sondern die Stichproben (die Meta-Analysen ja darstellen) guten Glaubens übernommen. Außerdem hat Hattie viele „unpublished dissertations“ einbezogen ‒ oftmals wenig belastbare Fingerübungen in Statistik. Vor der Einbeziehung in seine Meta-Meta-Analyse hätte Hattie die Aussagekraft der benutzten Meta-Analysen beleuchten müssen.
2.     Fragwürdige Zuordnungen. Viele der herangezogenen Meta-Analysen passen nicht in den Themenkomplex, dem Hattie sie zugeordnet hat. So finden sich Studien, die den Effekt der Beurteilung von Lehrern durch Schüler erfassen, unter Studien, die die Rückmeldung auf Schüler messen sollen, weil beide nominell unter Feedback verzeichnet werden.
3.     Mangelnde Sorgfalt. Augenscheinlich hat Hattie nicht alle Meta-Analysen, die er zitiert, wirklich gelesen, denn beispielsweise findet sich im Effektkomplex „Konzentration, Ausdauer und Engagement“ eine Studie, deren Thema die Konzentration industrieller Macht ist, nicht aber die Konzentration beim Lernen. Außerdem konnten wir einige von Hattie angegebene Zahlenwerte nicht so in den verwendeten Meta-Analysen wiederfinden.
4.     Äpfel und Birnen. Selbst dort, wo er Meta-Analysen nach ihren unabhängigen Variablen einigermaßen treffend ausgewählt hat, um den bekannten Vorwurf des Vergleichs von Äpfeln mit Birnen zu vermeiden, hat Hattie in vielen Fällen übersehen, dass die abhängigen Variablen nicht kompatibel waren. Manchmal passen aber weder die unabhängigen noch die abhängigen Variablen so recht zusammen: Im selben Effektkomplex „Feedback“ wird zum Beispiel eine Meta-Analyse, die Musik mit dem Ziel der Verhaltensverstärkung (reinforcement) einsetzt, mit anderen Studien verrechnet, die Unterrichtsinterventionen als kognitives Feedback nutzen.
5.     Irreführende Statistik. Die pro Phänomen angegebenen Effektstärken sind die Mittelwerte von sehr breiten Verteilungen. Zum Beispiel beim Effektkomplex „Induktives Vorgehen” zieht Hattie zwei Meta-Studien mit Effektstärken von d = 0,06 und d = 0,59 zur mittleren Effektstärke von d = 0,33 und einem Standardfehler von 0,035 zusammen. Das ist so, als wenn man von einem Würfel nicht sagen würde, er liefert Zahlenwerte von 1 bis 6, sondern sagen würde: „Der Würfel liefert den Wert 3,5 und wir sind uns bei diesem Mittelwert fast auf eine Nachkommastelle sicher.“ Das reale Ergebnis ist aber oft viel kleiner oder viel größer als der Mittelwert. Will sagen: Auf die Details der didaktischen Intervention kommt es an. (Hatties Verfahren, den Gesamt-Standardfehler durch Mittelung der einzelnen Standardfehler ‒ soweit überhaupt bekannt ‒ zu berechnen, ist sowieso statistischer Nonsens.)
6.     Unsinnige Rangliste. Hattie ordnet seine Themenkomplexe nach den ermittelten Effektstärken, um ein Ranking zu bilden. Diese Rangliste hat in der Öffentlichkeit die größte Aufmerksamkeit erfahren. Korrigiert man Themenkomplexe, in denen falsche Zuordnungen oder Berechnungsfehler vorkommen, springen Themenkomplexe aber in der Rangliste hin und her. Vor allem jedoch gaukelt diese Rangliste eine absurde Präzision vor, weil sie nur den jeweiligen Mittelwert abbildet, nicht die ‒ teilweise heftigen ‒ Schwankungen pro Themenkomplex und pro verwendeter Meta-Studie.

Fazit

Dass sich Didaktik als eine simple Rangfolge von Effektstärken abbilden ließe, ist eine gefährliche Illusion. Wie eine bestimmte Intervention wirkt, hängt extrem von den Umständen ab. Mit den kleingerechneten Streuungsbreiten und der scheinbar exakten Rangfolge streut Hattie seinem Publikum Sand in die Augen. Im Hintergrund lauert ein noch schwerwiegenderer Denkfehler: Schule wird hier auf das reduziert, was in einer abschließenden Leistungsprüfung “messbar” ist. Schon, weil der meiste Schulstoff schnell wieder vergessen ist, scheint uns dieser Ansatz mindestens kurzsichtig, wenn nicht sogar gefährlich, weil er die langfristigen Effekte der Schule ausblendet.

Literatur

Hattie, J. (2014). Lernen sichtbar machen. 2. korr. Aufl. Hohengehren: Schneider.
Schulmeister, R., & Loviscach, J. (2014). Kritische Anmerkungen zur Studie “Lernen sichtbar machen” (Visible Learning) von John Hattie. SEMINAR 2/2014, S. 121-130.



https://docs.google.com/document/d/1hUbe8GYPFToduveTVD1laNXn-2lwlxsWRNkc62l5LYg/edit#heading=h.gkcsmdwoucjk

Donnerstag, 16. Oktober 2014

Schularbeit und Struktur

spannende Ergebnisse einer Schulumfrage an freien Alternativschulen:

ALTERNATIVE SCHULEN Eine Umfrage unter Schülern an freien Schulen zeigt: Sie schätzen zwar das selbstständige Lernen und ihre Freiheiten, manche fühlen sich aber auch unterfordert. Jeder vierte nimmt Nachhilfe in Anspruch, jeder zweite wünscht sich Zensuren

VON MICHAEL BARTSCH
Schüler an freien Alternativschulen fühlen sich zwar ausgesprochen wohl, sie schätzen ihre Lehrer und ihre Freiheiten. Dennoch wünschen sie sich teilweise mehr Struktur und Herausforderung. Zu diesem Ergebnis kommt eine Umfrage der freien Alanus-Hochschule für Kunst und Gesellschaft bei Bonn, durchgeführt von Dirk Randoll.
Die Ergebnisse der noch nicht ganz ausgewerteten Studie wurden am vergangenen Wochenende auf dem Bundestreffen Freier Alternativschulen in Dresden vorgestellt und heiß diskutiert. Ihr liegen Antworten von rund 900 Schülerinnen und Schülern der Klassen sieben bis zehn zugrunde - das ist fast ein Sechstel der Kinder, die bundesweit an Alternativschulen lernen.
Zu den Alternativschulen zählen Schulen mit einem besonderen pädagogischen Konzept. Sie haben den Anspruch, das Lernen anders zu organisieren als an Regelschulen. Die Alternativschulen werden vorwiegend von freien Trägern geführt, einige befinden sich auch in kommunaler Obhut. Nach Angaben des Bundes freier Alternativschulen ...
hier geht es zum ganzen Artikel