Sonntag, 26. Oktober 2014

Fehler in John Hatties „sichtbarem Lernen“ von Rolf Schulmeister und Jörn Loviscach



Die viel zitierte Meta-Meta-Analyse „Visible Learning“ weist beträchtliche inhaltliche und methodische Schwächen auf. Das zeigen unsere exemplarischen Proben der Quellen und Rechnungen. Das Werk bedarf einer grundlegenden Überprüfung.
Was wirkt im Unterricht und was nicht? -- Die Beantwortung dieser Frage ist ein ideologisches Schlachtfeld verschiedener Schulen der Pädagogik. Wie schön wäre es, sie durch Messungen von Unterrichts(miss)erfolg ein für alle Mal zu beantworten. Diese Hoffnung hat sich für viele mit dem Werk „Visible Learning“ von John Hattie (2014) erfüllt: Er hat in dieser Meta-Meta-Analyse Hunderte von Meta-Analysen zu Themenkomplexen zusammengefasst und diese zu einer Rangfolge von positiv bis kontraproduktiv sortiert.

Daran interessiert, wie verlässlich Hatties Ergebnisse sind, haben wir Stichproben der von Hattie verarbeiteten Originalliteratur beschafft ‒ soweit mit vertretbarem Aufwand möglich ‒ und studiert. Unsere Ergebnisse (Schulmeister & Loviscach, 2014) stellen die von Hattie angegebene Rangfolge in Frage und lassen gravierende Bedenken zum Vorgehen aufkommen:

1.     Zweifelhafte Studien. Viele der von Hattie herangezogenen Meta-Analysen sind methodisch anzweifelbar. Hattie hat offensichtlich die in diese Meta-Analysen eingegangenen empirischen Einzelstudien nicht auf ihre inhaltliche oder methodische Qualität überprüft, sondern die Stichproben (die Meta-Analysen ja darstellen) guten Glaubens übernommen. Außerdem hat Hattie viele „unpublished dissertations“ einbezogen ‒ oftmals wenig belastbare Fingerübungen in Statistik. Vor der Einbeziehung in seine Meta-Meta-Analyse hätte Hattie die Aussagekraft der benutzten Meta-Analysen beleuchten müssen.
2.     Fragwürdige Zuordnungen. Viele der herangezogenen Meta-Analysen passen nicht in den Themenkomplex, dem Hattie sie zugeordnet hat. So finden sich Studien, die den Effekt der Beurteilung von Lehrern durch Schüler erfassen, unter Studien, die die Rückmeldung auf Schüler messen sollen, weil beide nominell unter Feedback verzeichnet werden.
3.     Mangelnde Sorgfalt. Augenscheinlich hat Hattie nicht alle Meta-Analysen, die er zitiert, wirklich gelesen, denn beispielsweise findet sich im Effektkomplex „Konzentration, Ausdauer und Engagement“ eine Studie, deren Thema die Konzentration industrieller Macht ist, nicht aber die Konzentration beim Lernen. Außerdem konnten wir einige von Hattie angegebene Zahlenwerte nicht so in den verwendeten Meta-Analysen wiederfinden.
4.     Äpfel und Birnen. Selbst dort, wo er Meta-Analysen nach ihren unabhängigen Variablen einigermaßen treffend ausgewählt hat, um den bekannten Vorwurf des Vergleichs von Äpfeln mit Birnen zu vermeiden, hat Hattie in vielen Fällen übersehen, dass die abhängigen Variablen nicht kompatibel waren. Manchmal passen aber weder die unabhängigen noch die abhängigen Variablen so recht zusammen: Im selben Effektkomplex „Feedback“ wird zum Beispiel eine Meta-Analyse, die Musik mit dem Ziel der Verhaltensverstärkung (reinforcement) einsetzt, mit anderen Studien verrechnet, die Unterrichtsinterventionen als kognitives Feedback nutzen.
5.     Irreführende Statistik. Die pro Phänomen angegebenen Effektstärken sind die Mittelwerte von sehr breiten Verteilungen. Zum Beispiel beim Effektkomplex „Induktives Vorgehen” zieht Hattie zwei Meta-Studien mit Effektstärken von d = 0,06 und d = 0,59 zur mittleren Effektstärke von d = 0,33 und einem Standardfehler von 0,035 zusammen. Das ist so, als wenn man von einem Würfel nicht sagen würde, er liefert Zahlenwerte von 1 bis 6, sondern sagen würde: „Der Würfel liefert den Wert 3,5 und wir sind uns bei diesem Mittelwert fast auf eine Nachkommastelle sicher.“ Das reale Ergebnis ist aber oft viel kleiner oder viel größer als der Mittelwert. Will sagen: Auf die Details der didaktischen Intervention kommt es an. (Hatties Verfahren, den Gesamt-Standardfehler durch Mittelung der einzelnen Standardfehler ‒ soweit überhaupt bekannt ‒ zu berechnen, ist sowieso statistischer Nonsens.)
6.     Unsinnige Rangliste. Hattie ordnet seine Themenkomplexe nach den ermittelten Effektstärken, um ein Ranking zu bilden. Diese Rangliste hat in der Öffentlichkeit die größte Aufmerksamkeit erfahren. Korrigiert man Themenkomplexe, in denen falsche Zuordnungen oder Berechnungsfehler vorkommen, springen Themenkomplexe aber in der Rangliste hin und her. Vor allem jedoch gaukelt diese Rangliste eine absurde Präzision vor, weil sie nur den jeweiligen Mittelwert abbildet, nicht die ‒ teilweise heftigen ‒ Schwankungen pro Themenkomplex und pro verwendeter Meta-Studie.

Fazit

Dass sich Didaktik als eine simple Rangfolge von Effektstärken abbilden ließe, ist eine gefährliche Illusion. Wie eine bestimmte Intervention wirkt, hängt extrem von den Umständen ab. Mit den kleingerechneten Streuungsbreiten und der scheinbar exakten Rangfolge streut Hattie seinem Publikum Sand in die Augen. Im Hintergrund lauert ein noch schwerwiegenderer Denkfehler: Schule wird hier auf das reduziert, was in einer abschließenden Leistungsprüfung “messbar” ist. Schon, weil der meiste Schulstoff schnell wieder vergessen ist, scheint uns dieser Ansatz mindestens kurzsichtig, wenn nicht sogar gefährlich, weil er die langfristigen Effekte der Schule ausblendet.

Literatur

Hattie, J. (2014). Lernen sichtbar machen. 2. korr. Aufl. Hohengehren: Schneider.
Schulmeister, R., & Loviscach, J. (2014). Kritische Anmerkungen zur Studie “Lernen sichtbar machen” (Visible Learning) von John Hattie. SEMINAR 2/2014, S. 121-130.



https://docs.google.com/document/d/1hUbe8GYPFToduveTVD1laNXn-2lwlxsWRNkc62l5LYg/edit#heading=h.gkcsmdwoucjk

Donnerstag, 16. Oktober 2014

Schularbeit und Struktur

spannende Ergebnisse einer Schulumfrage an freien Alternativschulen:

ALTERNATIVE SCHULEN Eine Umfrage unter Schülern an freien Schulen zeigt: Sie schätzen zwar das selbstständige Lernen und ihre Freiheiten, manche fühlen sich aber auch unterfordert. Jeder vierte nimmt Nachhilfe in Anspruch, jeder zweite wünscht sich Zensuren

VON MICHAEL BARTSCH
Schüler an freien Alternativschulen fühlen sich zwar ausgesprochen wohl, sie schätzen ihre Lehrer und ihre Freiheiten. Dennoch wünschen sie sich teilweise mehr Struktur und Herausforderung. Zu diesem Ergebnis kommt eine Umfrage der freien Alanus-Hochschule für Kunst und Gesellschaft bei Bonn, durchgeführt von Dirk Randoll.
Die Ergebnisse der noch nicht ganz ausgewerteten Studie wurden am vergangenen Wochenende auf dem Bundestreffen Freier Alternativschulen in Dresden vorgestellt und heiß diskutiert. Ihr liegen Antworten von rund 900 Schülerinnen und Schülern der Klassen sieben bis zehn zugrunde - das ist fast ein Sechstel der Kinder, die bundesweit an Alternativschulen lernen.
Zu den Alternativschulen zählen Schulen mit einem besonderen pädagogischen Konzept. Sie haben den Anspruch, das Lernen anders zu organisieren als an Regelschulen. Die Alternativschulen werden vorwiegend von freien Trägern geführt, einige befinden sich auch in kommunaler Obhut. Nach Angaben des Bundes freier Alternativschulen ...
hier geht es zum ganzen Artikel

Donnerstag, 10. Juli 2014

Neue Studie Übung macht doch keine Meister


Du schaffst alles, wenn du nur lange genug übst - so hieß es bisher. Doch eine neue Studie zieht diesen Satz in größte Zweifel.
Was war das für eine Inspiration! Es hieß: Jeder kann alles - wenn er sich nur genug anstrengt. Also gab der amerikanische Fotograf Dan Mc Laughlin vor vier jahren seinen Beruf auf und widmete sich nur noch dem Golfen. 10.000 Stunden lang will er üben, dann will er es zum Profi geschafft haben. Die Inspiration davon kam aus einer Studie, die der Buchautor Malcolm Gladwell berühmt gemacht hat: Wer es nur schafft, in seinem Leben 10.000 Stunden zu üben - der kann alles erreichen, sagte Gladwell. Jedes Spiel zur Perfektion bringen, jedes Instrument lernen,  jeden Beruf aufnehmen.
Doch jetzt zerplatzt diese Hoffnung. In den vergangenen Wochen .... hier geht es zum ganzen Artikel

Dienstag, 8. Juli 2014

Montag, 7. Juli 2014

Digitale Kulturtechniken

hier klicken
  • Prof. Dr. Benjamin Jörissen! http://joerissen.name! benjamin@joerissen.name Ohm-Gymnasium Erlangen, 7. Juli 2014 Digitale Kulturtechniken 
 vs. Schule
  • 1. „Bildung“ in komplexen Gesellschaften
  • Moderne zweite Moderne / Postmoderne Orientierungskrisen
  • Wolfgang  Kla*i Drei  zentrale  Aspekte  von  Bildung:       Selbstbes<mmung   Mitbes<mmung   Solidaritätsfähigkeit Kla*i,  Wolfgang  (1985):  Neue  Studien  zur  Bildungstheorie  und  Didak5k.  Beiträge  zur  kri5sch-­‐ konstruk5ven  Didak5k.  Weinheim/Basel,  S.  17
  • Marotzki,  Winfried:  Entwurf  einer  strukturalen  Bildungstheorie.  
 Weinheim:  Deutscher  Studien-­‐Verlag,  1990 „Strukturale   Bildungstheorie“
  • Bildungsbegriff ! „struktural“?   ! Strukturmuster  der  Weltaufordnung;   Komplexität  und  Orien<erungswert  
 dieser  Muster  
  • Strukturale  Bildungstheorie ! Bildung  als  Prozess  der   !     Herstellung  von  BesDmmtheit                                  und  Ermöglichung  von                                                   UnbesDmmtheit
  • Strukturale  Bildungstheorie ! Bildung  als  Prozess   !       versus  Lernen   !       versus  „Gebildetheit“  (Kanon)
  • TentaDvität Offenheit  für  Fremdheit/
 Andersheit Alterität ExploraDon,     KreaDvität  ,  Als-­‐ob-­‐Handeln OrienDerung Umgang     mit  KonDngenz FlexibilisierungUmorienDerung,   Reframing,  Reflexivität
  • 2. ! Linearität und Kontrolle als Organisationsprinzipien von Schule
  • Böhme, Jeanette: Schule am Ende der Buchkultur. Bad Heilbrunn 2006. Schule repräsentiert eine 
 „typographische Bildungskultur“, für die (schriftliche) Literalität maßgeblich ist, mit der nicht-lineare Medien folglich inkompatibel sind.
  • Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule
  • Organisation des Raumes Ordnung der Schulklassen Ordnung der Schulfächer Organisation der Zeit Festlegung der Kommunikations- strukturen Festlegung der Wissensstrukturen Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule
  • hierarchisch aufgeteilt Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule Organisation des Raumes
  • hierarchisch aufgeteilt Notwendigkeit der räumlichen Separation 
 Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule Organisation des Raumes Definiertes Schulgelände Jeder Unterricht in 1 Raum Arbeit vs. Freizeit separiert Separation von Jahrgangsstufen
  • zerteilt und normalisiert Organisation der Zeit Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule
  • zerteilt und normalisiert Organisation der Zeit Notwendigkeit eines 
 synchronisierten
 Zeitmanagements Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule 45-Minuten-Einheiten Lehrpläne Prüfungszeiten
  • räumlicheTrennung + Alterstrennung Differenzierung von Schulklassen Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule
  • Differenzierung von Themen zeitliche Anordnung
 Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule
  • vordefinierteTypen sozialer Settings Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule Festlegung der Kommunikations- strukturen
  • vordefinierteTypen sozialer Settings Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule Notwendigkeit 
 sozialer Separation Festlegung der Kommunikations- strukturen Klassenprinzip Schulgemeinschaft lokale Orientierung
  • Vorauswahl/ Hierarchisierung von Wissenfeldern/ Kompetenzen Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule Festlegung der Wissensstrukturen
  • Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule Festlegung der Wissensstrukturen Notwendigkeit
 kontrollierbarer Medien Vorauswahl/ Hierarchisierung von Wissenfeldern/ Kompetenzen Schulbücher Lehrfilme Lehrsoftware
  • Notwendigkeit
 kontrollierbarer Medien Notwendigkeit 
 sozialer Separation Notwendigkeit eines 
 synchronisierten
 Zeitmanagements Notwendigkeit der räumlichen Separation 
 Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule
  • Diese Linearitäten erscheinen
 als selbstverständlich Notwendigkeit
 kontrollierbarer Medien Notwendigkeit 
 sozialer Separation Notwendigkeit eines 
 synchronisierten
 Zeitmanagements Notwendigkeit der räumlichen Separation 
 Linearisierung als zentrales Prinzip der Komplexitätsreduktion in der
 Organisation von Schule
  • 4. ! Kulturtechniken in der 
 digitalisierten Welt
  • Das System Schule in seiner literalen Organisation wird durch nicht-lineare Netzwerke und digitale Akteure (Software-Nutzer-Hybride) notwendig irritiert.
  • räumliche Separation
 Synchronisation soziale Separation Kontrolle über Quellen und Inhalte
  • asynchrone & polychrone Strukturen räumliche Separation
 Synchronisation soziale Separation Kontrolle über Quellen und Inhalte
  • keine Kontrolle 
 (aber individuelle Filter) asynchrone & polychrone Strukturen räumliche Separation
 Synchronisation soziale Separation Kontrolle über Quellen und Inhalte
  • Netzwerke ohne definierte Grenzen keine Kontrolle 
 (aber individuelle Filter) asynchrone & polychrone Strukturen räumliche Separation
 Synchronisation soziale Separation Kontrolle über Quellen und Inhalte
  • hybride Räume, Ubiquität, Mobilität Netzwerke ohne definierte Grenzen keine Kontrolle 
 (aber individuelle Filter) asynchrone & polychrone Strukturen räumliche Separation
 Synchronisation soziale Separation Kontrolle über Quellen und Inhalte
  • hybride Räume, Ubiquität, Mobilität Netzwerke ohne definierte Grenzen keine Kontrolle 
 (aber individuelle Filter) asynchrone & polychrone Strukturen deliberative räumliche Separation
 deliberative Synchronisation deliberative soziale Begrenzungen deliberative Kontrolle über Quellen und Inhalte
  • deliberative räumliche Separation
 deliberative Synchronisation deliberative soziale Begrenzungen deliberative Kontrolle über Quellen und Inhalte Kulturtechniken digitalisierter Welten
  • Räume
(Lebens-) Zeit SozialitätWissen Kulturtechniken digitalisierter Welten
  • Informationsrecherche Quellenkritik Diskursbewusstsein Diversitätsmanagement (versus Echokammer) Medialitätsbewusstsein Wissen
  • Identitätsmanagement Visualitätsmanagement
 (Post-“Post-Privacy“) Net-Working multiadressate Kommunikation Nettiquete/Netz-Ethik Sozialität
  • Synthese fragmentierter Räumlichkeiten Umgang mit globalen Räumen; Intra-/ Interkulturalität Gestaltung hybrider Raumverhältnisse (mobile Medien) Räume

  • Umgang mit polychronen, beschleunigten Zeitverhältnissen Balancierung von Zeitregimes (Beschleunigung vs. Muße) Herausbildung einer Kultur der Eigenzeit („Zeitmanagement“) (Lebens-) Zeit
  • Handeln in hybriden on-/offline-Räumen, in globalen 
 inter- und transkulturellen Räumen
 Umgang mit polychronen, beschleunigten Zeitverhältnissen, Gestaltung von Eigenzeit Aufbau und Pfege von Netzwerken (Weak Ties!), Einschätzen von Netzwerkeffekten und -problemen Informationsre- cherche, Abgleich, Quellenkritik, Diversitäts- management versus Echokammer Es geht um erheblich mehr als Medienkompetenz und mediale Lehr-/Lerntools.
  • Handeln in hybriden on-/offline-Räumen, in globalen 
 inter- und transkulturellen Räumen
 Umgang mit polychronen, beschleunigten Zeitverhältnissen, Gestaltung von Eigenzeit Aufbau und Pfege von Netzwerken (Weak Ties!), Einschätzen von Netzwerkeffekten und -problemen Informationsre- cherche, Abgleich, Quellenkritik, Diversitäts- management versus Echokammer Es geht um soziale, kulturelle, artikulative, partizipative und mediale Kompetenzen.
  • Handeln in hybriden on-/offline-Räumen, in globalen 
 inter- und transkulturellen Räumen
 Umgang mit polychronen, beschleunigten Zeitverhältnissen, Gestaltung von Eigenzeit Aufbau und Pfege von Netzwerken (Weak Ties!), Einschätzen von Netzwerkeffekten und -problemen Informationsre- cherche, Abgleich, Quellenkritik, Diversitäts- management versus Echokammer Kultivierungs- bedarf!
  • Prof. Dr. Benjamin Jörissen! http://joerissen.name! benjamin@joerissen.name Vielen Dank für Ihre Aufmerksamkeit! Präsentationsfolien auf Slideshare!


Jesper Juul: Merhr Gelassenheit

Juul zum thema Gelassenheit:
hier Klicken