(Einladung und Vorspiel (S.7-15); Wozu Evaluation? Inszenierte Kontroverse in verteilten Rollen (S.17-29); Über das Spiel mit Zahlen hinaus – Grundprobleme einer ‚Evidenzbasierung‘ (S.31-64); Hattie und der Zauber der großen Zahlen (S.65-76); PISA & CO.: Nutzen und Grenzen von Leistungsvergleichen auf Systemebene (S.77-94); Evaluation von Schule und Unterricht (S.95-115); Die Not mit den Noten (S.117-127); Zehn Thesen zur Diskussion (S.129-130))
1. Methode I: Evidenzbasierung
2. Methode II: Kasuistik
3. Methode III: Begriffe, Methoden und Studien
4. Leistungsstandards als Bildungsstandards
5. PISA & Co.
6. „Blick über den Zaun“
7. Prüfungskompetenz als Persönlichkeitsmerkmal
Mit der Besprechung von Hans Brügelmanns Buch „Vermessene Schulen – standardisierte Schüler“ (2015) kehre ich selbst zu meinen eigenen wissenschaftlichen Wurzeln zurück. 2005, also vor zehn Jahren, veröffentlichte ich meine Habilitationsschrift unter dem Titel „Lernen und Leistung: Zur Intentionalitätsstruktur von Schule und Unterricht“. Anders als die Rezeptionspraxis der aktuellen erziehungswissenschaftlichen Veröffentlichungen, die, so Brügelmann, leider nur „Titel() aus diesem Jahrtausend“ zur Kenntnis nimmt (vgl. Brügelmann 2015, S.61), verfolge ich in meiner Habilitationsschrift die Geschichte des Lern- und Leistungsbegriffs bis auf die Geisteswissenschaftliche Pädagogik und deren Wurzeln im Neuhumanismus um die Wende vom 18. zum 19. Jhdt. zurück. Im Schlußkapitel gehe ich auf den Bildungs- und Kompetenzbegriff der ersten PISA-Studie ein.
Bis heute warte ich auf eine erziehungswissenschaftliche Rezeption meiner Habilitationsschrift. Bis heute ist sie ausgeblieben. Insofern betrifft die von Brügelmann angesprochene Rezeptionsverweigerung nicht nur die Publikationsgeschichte (und Forschungspraxis) vor 2000, sondern auch viele von den späteren, von den in den 1990er Jahren eingeführten Standards abweichenden Publikationen.
Womit wir schon beim Begriff des ‚Standards‘ wären. Hans Brügelmann beginnt seine kritische Auseinandersetzung mit dem Qualitätsbegriff der Post-PISA-Ära mit einem Hinweis auf Robert Pirsigs „Zen und die Kunst des Motorradwartens“ (1978/1974). (Vgl. Brügelmann 2015, S.13f.) Pirsig unterscheidet zwischen einem ‚romantischen‘ und einem ‚klassischen‘ Qualitätsbegriff. Die romantische Perspektive ist auf Kreativität und Intuition ausgerichtet und die klassische Perspektive auf Kontrolle und Ordnung. Ganz ähnlich hatte Theodor Litt in den 1950er Jahren zwischen ‚Umgang‘ und ‚Sache‘ unterschieden. (Vgl. meinen Post vom 05.01.2015) Das Umgangsverhältnis des Menschen mit der Welt ist lebensweltlich geprägt und wertorientiert, und das Sachverhältnis des Menschen zur Welt ist rational und zweckorientiert.
Diese Differenz des Qualitätsbegriffs zieht sich quer durch die Wissenschaften und zeigt sich auch in der Gegenüberstellung von Geistes- und Naturwissenschaften. Brügelmann spricht statt von den Geisteswissenschaften von Humanwissenschaften. (Vgl. Brügelmann 2015, S.37f., 58 und 73) Die Qualität humanwissenschaftlicher Forschung ist vor allem durch die möglichst genaue Erfassung von einzelnen Situationen, von Einzelfällen bestimmt: „Befunde in den Humanwissenschaften sind in hohem Maß situationsabhängig.“ (Brügelmann 2015, S.58)
Das menschliche Verhalten, um das es in vielen humanwissenschaftlichen Disziplinen in erster Linie geht – ganz besonders in der Erziehungswissenschaft –, ist mehrdeutig und kontextabhängig: „Menschliches Verhalten ist immer mehrdeutig – bedingt durch den kulturellen und situativen Kontext und abhängig von Erwartungen und Deutungen der Beteiligten.“ (Brügelmann 2015, S.52)
Mit anderen Worten: Bewußtsein und Verhalten des Menschen sind ‚rekursiv‘. (Vgl. meine Posts vom 25.04.2010, vom 20.04.2012 und vom 17.08.2012) Wir beziehen das Denken und das Verhalten unserer Mitmenschen in unser eigenes Denken und Verhalten mit ein. Das macht es so schwierig – abgesehen von den ethischen Bedenken – mit Menschen zu experimentieren. Menschen reagieren nicht nur auf Umweltbedingungen, sondern auch auf Laborbedingungen nicht reflexartig, sondern reflektiert. Sie denken mit. Das macht ihr Verhalten unberechenbar. (Vgl. Brügelmann 2015, S.46)
Deshalb gilt: humanwissenschaftliches Wissen ist niemals 1:1 ‚anwendbar‘. Es gibt keine ‚Technologie‘, die gelingenden Unterricht und Lernerfolg garantiert: „Anders als im Verhältnis von Physik und Bautechnik lassen sich Allgemeinaussagen (in der Erziehungswissenschaft – DZ) nicht einfach anwenden, sie müssen kontextbezogen interpretiert werden.“ (Brügelmann 2015, S.47)
Ganz anders die Naturwissenschaften. Die ‚Qualität‘ ihrer Forschung besteht in der Berechnung von Naturprozessen, also in deren Quantifizierbarkeit. Das in der naturwissenschaftlichen Forschung erworbene Gesetzes- und Regelwissen ist immer reproduzierbar und anwendbar. Sonst wäre es – per definitionem – kein naturwissenschaftliches Wissen.
Standardisierung von Meßinstrumenten und Forschungsmethoden machen in den Naturwissenschaften also Sinn. In der Erziehungswissenschaft aber eher weniger. Hier haben wir es mit „prinzipelle(n) Grenzen des naturwissenschaftlichen Paradigmas“ zu tun. (Vgl. Brügelmann 2015, S.50) Dennoch hat die erste PISA-Studie eine paradigmatische Trendwende in der Bildungsforschung und in der Bildungspraxis eingeleitet, die zu einer Priorisierung der statistischen Methoden zur Evaluation von Qualität von Schule und Unterricht geführt hat. Heutzutage gilt das „Zauberwort ‚Evidenzbasierung‘“ (Brügelmann 2015, S.15) als unhinterfragbare Begründung für bildungspolitische Entscheidungen zugunsten von bestimmten Unterrichtsmethoden und Schulformen und zulasten von anderen: „Unter dem Etikett ‚Evidenzbasierung‘ beanspruchen sie (die quantitativen Methoden – DZ) seit einigen Jahren eine besondere Autorität als ‚Goldstandard‘ oder bekommen diese von außen zugesprochen.“ (Brügelmann 2015, S.7)
Brügelmann spricht von einer „technologisch verkürzten ‚Qualitätswende‘“. (Vgl. Brügelmann 2015, S.15) Ergebnisse evidenzbasierter Studien gelten als „offenkundig“, „klar“ und „unbestreitbar“ (vgl. Brügelmann 2015, S.31) und erhalten so die Autorität von unbezweifelbaren Gottesbeweisen, vergleichbar mit der Berufung auf Aristoteles in der Scholastik. Jenseits der Autorität des Aristoteles (oder wahlweise der Bibel) gab es kein weiteres Wissen, um das man sich hätte groß kümmern müssen. Ganz ähnlich ersetzt heute der Verweis auf evidenzbasierte Studien die Argumentation. (Vgl. hierzu meinen Post vom 06.06.2012)
Der Begriff bzw. das bildungspolitische Schlagwort ‚Evidenzbasierung‘ erhält so zwei miteinander unvereinbare Bedeutungsebenen: zum einen meint es die „‚empirische“ und „systematische Erhebung und Auswertung von Daten“, zum anderen wird es im Sinne einer ‚evidenten‘ Gewißheit zur „inhaltliche(n) Wertung der gewonnenen Erkenntnis“ verwendet. (Brügelmann 2015, S.32) Wichtig ist dabei aber, daß man sich bewußt macht, daß die empirischen Studien der Bildungsforscher – die Brügelmann summarisch als PISA & Co. bezeichnet (vgl. Brügelmann 2015, S.77f.) – lediglich evidenzbasierte Ergebnisse erbringen. Die ‚Evidenz‘ bezieht sich auf das statistische Verfahren, also auf das Sammeln von möglichst vielen Daten. ‚Basiert‘ meint, daß die Daten selber noch einmal interpretiert werden müssen.
Im Falle der Humanwissenschaften heißt das, daß die Aussagekraft der statistischen Daten mit Bezug auf den jeweiligen Kontext, in dem sie erhoben wurden, bewertet und gewichtet werden muß. Evidenzbasierte Erkenntnisse und Entscheidungen sind also alles andere als offenkundig und unbestreitbar: „Für den Bildungsbereich nennt Altrichter ... jene Entscheidungen evidenzbasiert, die ‚auf der Basis von geprüften Informationen fallen und in ihrer Umsetzung empirisch evaluiert werden‘. Den Anspruch von verbindlicher Geltung oder gar Offensichtlichkeit verbinden seriöse Forscher/innen nicht damit.“ (Brügelmann 2015, S.32)
Empirische Evidenz basiert also auf Statistik. Statistik wertet aber die Vielzahl der miteinander verglichenen Einzelfälle an sich schon als Qualität. Je geringer die Zahl der Vergleichsfälle um so geringer die Qualität einer empirischen Studie. In der pädagogischen Praxis führt aber die Mehrdeutigkeit des menschlichen Verhaltens dazu, daß jeder Einzelfall, trotz gleicher Oberflächenmerkmale, einer eigenen Bewertung bedarf. Selbst wenn man nur ‚zählt‘, wie viele Lehrer ihren Schülern zum Schul- bzw. Unterrichtsbeginn die Hand geben, ist die Begrüßungshaltung der verschiedenen Lehrer unterschiedlich: „Ob die Schüler/innen einzeln begrüßt werden, lässt sich leicht feststellen. Aber pädagogisch gesehen ist entscheidend, wie die Schüler/innen begrüßt werden. Denn in der Formulierung der Standards wird ein Oberflächenverhalten als Indikator für eine Haltung genommen, die es nicht notwendig repräsentiert.“ (Brügelmann 2015, S.112)
Statistische Daten – so und so viele Lehrer geben zum Schul- und Unterrichtsbeginn ihren Schülern die Hand (Oberflächenstruktur) – werden so mit einer inneren Einstellung (Tiefenstruktur) gleichgesetzt. Ob der Lehrer mit dieser Geste aber eine freundliche Zugewandtheit und persönlichen Respekt verbindet, oder ob er unter Zeitdruck steht und diese Pflichtübung schnell hinter sich bringen will, oder ob er dabei einen prüfenden Blick auf seine Schüler wirft, um sie nachher im Unterricht besser kontrollieren zu können, geht in die statistische Erhebung dieser Geste nicht mit ein.
Statistische Daten – wie evidenzbasiert auch immer – sind deshalb immer nur Indikatoren, die auf das Vorhandensein eines „dritten Faktor(s)“ hindeuten, der in den Daten selber nicht sichtbar wird. (Vgl. Brügelmann 2015, S.37) Als man herausfand, daß frühe „Buchstabenkenntnis“ mit späterem Schulerfolg positiv korrelierte, wurde ein bewußtes Training der Buchstabenkenntnis empfohlen. Der entsprechende Erfolg blieb aber aus, denn die Buchstabenkenntnis bildete nur einen Indikator für einen entsprechenden Umgang mit Texten, und mit dem Buchstabentraining war kein entsprechender Umgang verbunden: „Entscheidend ist nämlich, ob die Buchstabenkenntnis Folge eines aktiven Umgangs mit Schrift ist oder ob sie bloß antrainiert wurde.“ (Brügelmann 2015, S.38) – Indem man den Indikator „Buchstabenkenntnis“ zum Anlaß eines besonderen Trainings nahm, befaßte man sich nur mit einem Symptom und nicht mit der Ursache.
Für die pädagogische Praxis kommt es niemals auf die statistische Vergleichbarkeit von Daten an, sondern immer auf den Einzelfall. Statistisch gesprochen: es kommt auf die „Streuung“ der Daten an, also auf die Fälle, die nicht dem Mittelwert entsprechen. Aus ihnen kann der Praktiker am meisten lernen: „Jeder Mensch ist anders. Leider interessiert sich die Forschung mehr für die Mittelwerte() als für die breite Streuung der individuellen Besonderheiten um sie herum. ... Mühlhausen (1994) hat für die Unterrichtsplanung gefordert, sie müsse offen bleiben für Überraschungen.“ (Brügelmann 2015, S.49)
„... offen bleiben für Überraschungen“: das soll mal jemand meinen Kolleginnen und Kollegen an unserem Internat erzählen, von denen das Schulamt bei seinen Schulbesuchen einen den Lernerfolg – im Wortsinn – minutiös, also nach Minuten gliedernden, zwischen Grob- und Feinzielen unterscheidenden Unterrichtsentwurf verlangt. Und das in einem Internat, das ganz andere pädagogische Ziele verfolgt und wo weder Schüler noch Lehrer einen solchen Unterricht gewohnt sind. Mit dem Unterricht, den das Schulamt von den ‚neuen‘ Kollegen sehen will, um ihre pädagogische Eignung zu überprüfen – oft kommt es erst Jahre nach der Einstellung der Kollegen vorbei –, wird deren Kompetenz entwertet und auf den reformpädagogischen Kontext des Internats keinerlei Rücksicht genommen.
Doch zurück zu Brügelmann: Am meisten lernen Pädagogen von Beispielen und Modellen, die aus dem Durchschnitt herausfallen, von Fällen, die trotz guter Bedingungen scheitern, oder von Fällen, die trotz schlechter Bedingungen gelingen. Wie Brügelmann einen Lehrer in einer inszenierten Kontroverse sagen läßt: „Wir brauchen Fallstudien von erfolgreichen Schulen, vor allem von Schulen, die unter schwierigen Bedingungen, also wider Erwarten, erfolgreich sind. Von deren Praxis können wir eher lernen, was wir konkret machen können, als aus dürren Testergebnissen.“ (Brügelmann 2015, S.27)
Es sind vor allem solche „Extremwerte“, die den Blick des Praktikers für die Drittfaktoren, die keine Statistik erfaßt, schärfen und sein Urteilsvermögen bereichern. (Vgl. Brügelmann 2015, S.67 und S.73) Der seit 15 Jahren andauernde Hype von Großstudien á la PISA & CO. hat aber stattdessen zu einer erheblichen Verunsicherung der Lehrerschaft geführt. Lehrerinnen und Lehrer „trauen oft ihrem eigenen Urteil nicht mehr, auch wenn es aus einer längerfristigen Erfahrung erwächst“. (Vgl. Brügelmann 2015, S.106)
Stattdessen ist „eine Zunft von Evaluationsspezialisten“ entstanden, eine „‚Expertokratie‘, die die Praxis zunehmend entmündigt“. (Vgl. Brügelmann 2015, S.12) Brügelmann macht vor allem zwei Typen einer auf einem externen Evaluationsanspruch beruhenden Machtverteilung aus: die „bürokratische Evaluation“, die sich der empirischen Studien der Bildungsforschung bedient, und die „autokratische Evaluation“ in Form der Forschungsfreiheit, auf die sich die Wissenschaft beruft. (Vgl. Brügelmann 2015, S.12f.) Diesen autoritären Instanzen setzt Brügelmann eine dritte, nämlich „demokratische Evaluation“ entgegen (vgl. Brügelmann 2015, S.13), wie sie in Form des „Blicks über den Zaun“ praktiziert wird (vgl. Brügelmann 2015, S.113ff.).
Letztlich wird hier der spezifisch transdisziplinäre Status der Erziehungswissenschaft deutlich. Eine autokratische Selbstermächtigung der Bildungsforschung widerspricht der grundsätzlichen Verfaßtheit einer Disziplin, die durch eine „Arbeitsteilung zwischen Wissenschaft und Praxis“ bestimmt wird. (Vgl. Brügelmann 2015, S.61) Die Erziehungswissenschaft ist also aus disziplinimmanenten Gründen transdisziplinär! Brügelmann kommt es deshalb vor allem darauf an, daß die Praktiker ihre Evaluationskompetenz zurückgewinnen: „Ein demokratisches Verständnis von Evaluation fordert, die Betroffenen nicht zu entmündigen, sondern sie in ihrer persönlichen Evaluations- und Problemlösungskompetenz zu stärken.“ (Brügelmann 2015, S.94)
Dem entspricht auf der anderen Seite die Einsicht der Bildungsforschung und der Bildungspolitik in die Begrenztheit der Aussagekraft von statistischen Studien: „Ergebnisse der Forschung über die Wirksamkeit pädagogischer Maßnahmen können nur deren Potenzial bzw. ihre Risiken und wahrscheinliche Bedingungen für ihre Realisierung benennen. Allgemeinaussagen zu ihrer Qualität stehen immer unter kontextabhängigen Vorbehalten.“ (Brügelmann 2015, S.48f.)
In den Naturwissenschaften ist verallgemeinertes Wissen (Gesetzeswissen) immer auch Anwendungswissen. Hier ist das spezifische Wissen über den Einzelfall ohne Bedeutung. In den Humanwissenschaften hingegen – insbesondere in der Erziehungswissenschaft – ist verallgemeinertes Wissen immer nur relativ, also Wahrscheinlichkeitswissen. Für die Anwendung bedarf es eines spezifischen, auf Erfahrung basierenden Wissens bezüglich des Einzelfalls. ‚Erfahrungsbasiert‘: das wäre der eigentliche, pädagogisch gehaltvolle Sinn des Begriffs der Evidenzbasierung.
Download
Keine Kommentare:
Kommentar veröffentlichen