Die viel zitierte Meta-Meta-Analyse „Visible Learning“
weist beträchtliche inhaltliche und methodische Schwächen auf. Das zeigen
unsere exemplarischen Proben der Quellen und Rechnungen. Das Werk bedarf einer
grundlegenden Überprüfung.
Was wirkt im Unterricht und was nicht? -- Die Beantwortung
dieser Frage ist ein ideologisches Schlachtfeld verschiedener Schulen der
Pädagogik. Wie schön wäre es, sie durch Messungen von Unterrichts(miss)erfolg
ein für alle Mal zu beantworten. Diese Hoffnung hat sich für viele mit dem Werk
„Visible Learning“ von John Hattie (2014) erfüllt: Er hat in dieser
Meta-Meta-Analyse Hunderte von Meta-Analysen zu Themenkomplexen zusammengefasst
und diese zu einer Rangfolge von positiv bis kontraproduktiv sortiert.
Daran interessiert, wie verlässlich Hatties Ergebnisse sind,
haben wir Stichproben der von Hattie verarbeiteten Originalliteratur beschafft
‒ soweit mit vertretbarem Aufwand möglich ‒ und studiert. Unsere Ergebnisse
(Schulmeister & Loviscach, 2014) stellen die von Hattie angegebene
Rangfolge in Frage und lassen gravierende Bedenken zum Vorgehen aufkommen:
1.
Zweifelhafte
Studien. Viele der von Hattie herangezogenen Meta-Analysen sind methodisch
anzweifelbar. Hattie hat offensichtlich die in diese Meta-Analysen
eingegangenen empirischen Einzelstudien nicht auf ihre inhaltliche oder
methodische Qualität überprüft, sondern die Stichproben (die Meta-Analysen ja
darstellen) guten Glaubens übernommen. Außerdem hat Hattie viele „unpublished
dissertations“ einbezogen ‒ oftmals wenig belastbare Fingerübungen in
Statistik. Vor der Einbeziehung in seine Meta-Meta-Analyse hätte Hattie die
Aussagekraft der benutzten Meta-Analysen beleuchten müssen.
2.
Fragwürdige
Zuordnungen. Viele der herangezogenen Meta-Analysen passen nicht in den
Themenkomplex, dem Hattie sie zugeordnet hat. So finden sich Studien, die den
Effekt der Beurteilung von Lehrern durch Schüler erfassen, unter Studien, die
die Rückmeldung auf Schüler messen sollen, weil beide nominell unter Feedback
verzeichnet werden.
3.
Mangelnde Sorgfalt.
Augenscheinlich hat Hattie nicht alle Meta-Analysen, die er zitiert, wirklich
gelesen, denn beispielsweise findet sich im Effektkomplex „Konzentration,
Ausdauer und Engagement“ eine Studie, deren Thema die Konzentration
industrieller Macht ist, nicht aber die Konzentration beim Lernen. Außerdem
konnten wir einige von Hattie angegebene Zahlenwerte nicht so in den
verwendeten Meta-Analysen wiederfinden.
4.
Äpfel und
Birnen. Selbst dort, wo er Meta-Analysen nach ihren unabhängigen Variablen einigermaßen treffend ausgewählt hat, um den
bekannten Vorwurf des Vergleichs von Äpfeln mit Birnen zu vermeiden, hat Hattie
in vielen Fällen übersehen, dass die abhängigen
Variablen nicht kompatibel waren. Manchmal passen aber weder die unabhängigen
noch die abhängigen Variablen so recht zusammen: Im selben Effektkomplex
„Feedback“ wird zum Beispiel eine Meta-Analyse, die Musik mit dem Ziel der
Verhaltensverstärkung (reinforcement) einsetzt, mit anderen Studien verrechnet,
die Unterrichtsinterventionen als kognitives Feedback nutzen.
5.
Irreführende
Statistik. Die pro Phänomen angegebenen Effektstärken sind die Mittelwerte
von sehr breiten Verteilungen. Zum Beispiel beim Effektkomplex „Induktives
Vorgehen” zieht Hattie zwei Meta-Studien mit Effektstärken von d = 0,06 und d =
0,59 zur mittleren Effektstärke von d = 0,33 und einem Standardfehler von 0,035
zusammen. Das ist so, als wenn man von einem Würfel nicht sagen würde, er
liefert Zahlenwerte von 1 bis 6, sondern sagen würde: „Der Würfel liefert den
Wert 3,5 und wir sind uns bei diesem Mittelwert fast auf eine Nachkommastelle
sicher.“ Das reale Ergebnis ist aber oft viel kleiner oder viel größer als der
Mittelwert. Will sagen: Auf die Details der didaktischen Intervention kommt es
an. (Hatties Verfahren, den Gesamt-Standardfehler durch Mittelung der einzelnen
Standardfehler ‒ soweit überhaupt bekannt ‒ zu berechnen, ist sowieso
statistischer Nonsens.)
6.
Unsinnige
Rangliste. Hattie ordnet seine Themenkomplexe nach den ermittelten
Effektstärken, um ein Ranking zu bilden. Diese Rangliste hat in der
Öffentlichkeit die größte Aufmerksamkeit erfahren. Korrigiert man
Themenkomplexe, in denen falsche Zuordnungen oder Berechnungsfehler vorkommen,
springen Themenkomplexe aber in der Rangliste hin und her. Vor allem jedoch
gaukelt diese Rangliste eine absurde Präzision vor, weil sie nur den jeweiligen
Mittelwert abbildet, nicht die ‒ teilweise heftigen ‒ Schwankungen pro
Themenkomplex und pro verwendeter Meta-Studie.
Fazit
Dass sich Didaktik als eine simple Rangfolge von
Effektstärken abbilden ließe, ist eine gefährliche Illusion. Wie eine bestimmte
Intervention wirkt, hängt extrem von den Umständen ab. Mit den kleingerechneten
Streuungsbreiten und der scheinbar exakten Rangfolge streut Hattie seinem
Publikum Sand in die Augen. Im Hintergrund lauert ein noch schwerwiegenderer
Denkfehler: Schule wird hier auf das reduziert, was in einer abschließenden
Leistungsprüfung “messbar” ist. Schon, weil der meiste Schulstoff schnell
wieder vergessen ist, scheint uns dieser Ansatz mindestens kurzsichtig, wenn
nicht sogar gefährlich, weil er die langfristigen Effekte der Schule
ausblendet.
Literatur
Hattie, J. (2014). Lernen sichtbar machen. 2. korr. Aufl.
Hohengehren: Schneider.
Schulmeister, R., & Loviscach, J. (2014). Kritische
Anmerkungen zur Studie “Lernen sichtbar machen” (Visible Learning) von John
Hattie. SEMINAR 2/2014, S. 121-130.
https://docs.google.com/document/d/1hUbe8GYPFToduveTVD1laNXn-2lwlxsWRNkc62l5LYg/edit#heading=h.gkcsmdwoucjk
