Zur Einordnung der Ergebnisse von Vergleichsarbeiten

Zur Einordnung der Ergebnisse von Vergleichsarbeiten

Universität Dortmund
Institut für
Entwicklung und Erforschung
des Mathematikunterrichts
Dortmund, August 2006
Michael Link
Zur Einordnung der Ergebnisse von Vergleichsarbeiten
Mit Testaufgaben, wie sie in VERA eingesetzt werden, kann nur ein geringer Teil dessen, was
Leistung im Mathematikunterricht ausmacht und was Kinder täglich im Mathematikunterricht
leisten, eingefangen werden. Die sich daraus ergebende beschränkte Aussagekraft der
Ergebnisse bei VERA wird sowohl von Kritikern als auch von Wissenschaftlern aus dem
VERA-Projekt selbst immer wieder herausgestellt:
„Vergleichsarbeiten bieten vielfältige Vergleichs- und Interpretationsmöglichkeiten. Ihre
Aussagekraft unterliegt aber der Einschränkung, dass es sich nur um eine Momentaufnahme
handelt, die durch weitere Ergebnisse ergänzt und abgesichert werden muss. Verglichen mit
den Erfahrungen und Erkenntnissen von Lehrerinnen und Lehrern kann das Ergebnis einer
Vergleichsarbeit im Hinblick auf die Beurteilung einzelner Schülerinnen und Schüler immer
nur ein ergänzender Mosaikstein sein – nicht mehr, aber auch nicht weniger.“
zit. aus der Handreichung „Pädagogische Nutzung der Vergleichsarbeiten“1, Hervorhebung ML
In der öffentlichen Diskussion (wie auch in anders lautenden Veröffentlichungen der VERAProjektgruppe) wird dies jedoch häufig kaum wahrgenommen und die VERA-Ergebnisse
oftmals als der objektive Maßstab schlechthin für die mathematischen Leistungen einzelner
Kinder oder ganzer Klassen angesehen, wenn nicht als der Maßstab für die Qualität von
Mathematikunterricht überhaupt. Im Folgenden werden einige Punkte genannt, die die
beschränkte Aussagekraft der Ergebnisse von Vergleichsarbeiten (sowohl gute als auch
schlechte) genauer beschreiben und argumentativ stützen sollen.
 Testergebnisse sind nur eine Momentaufnahme
Wie im obigen Zitat schon erwähnt, handelt es sich bei den Ergebnissen einer
flächendeckenden Vergleichsuntersuchung nur um eine Momentaufnahme. Besonderheiten, die am Tag der Testdurchführung aufgetreten sind (Tagesform, Merkmale der
eingesetzten Aufgaben etc.), können die Leistungen der Kinder beeinflussen und nicht
durch die Erbringungen anderer Leistungen ersetzt bzw. ausgeglichen werden. Eine
diagnostische Begleitung der Lernwege und –prozesse der Kinder, wie sie ein
zeitgemäßer Mathematikunterricht erfordert, ist nicht möglich; dafür wäre eine
kontinuierliche, systematischere und differenziertere Dokumentation der Leistungen
erforderlich. Dies wird mit VERA auch nicht beabsichtigt, wie in einer Stellungnahme
der VERA-Projektgruppe2 betont wird.
1
2
abzurufen unter http://vera-server.uni-landau.de/vera/download/VERA2005_Handreichung_PaedNutzen.pdf
abzurufen unter http://139.14.28.6/verapub/ fileadmin/downloads/GS_Aktuell_lang8.pdf
Vor diesem Hintergrund sind negative Testergebnisse weder ein Zeichen dafür, dass
im Mathematikunterricht alles schlecht läuft, noch geben positive Ergebnisse Grund
zu übertriebenem Enthusiasmus.
 Testaufgaben können die Kompetenzen der Kinder nur unzureichend abbilden
Um die Auswertung von Testaufgaben möglichst objektiv und ökonomisch zu
gestalten, gibt es klare und zum Teil sehr enge Auswertungsvorgaben. Dadurch
kommt es immer wieder vor, dass Kinder eine Aufgabe zwar sinnvoll bearbeiten und
sehr wohl ihre Kompetenzen oder zumindest Teilkompetenzen zum Ausdruck bringen,
aber trotzdem ein im Sinne der Auswertungsvorgabe falsches Ergebnis erzielen. Eine
differenzierte, den Leistungen einzelner Kinder gerecht werdende Beurteilung ist
kaum möglich.
 Leistungssituation im Test entspricht nicht der Leistungssituation im Unterricht
Gerade zur Überprüfung von Fähigkeiten, die über Faktenwissen oder bloße
Fertigkeiten wie Rechnen hinausgehen, werden auch im Rahmen von Testaufgaben
komplexere Aufgabenformate mit unterschiedlichsten Anforderungen und Fragestellungen eingesetzt, in die sich die Kinder in kürzester Zeit hineindenken sollen. Im
normalen Unterricht werden diese Aufgabenformate in einem Sinnzusammenhang und
meist über mehrere Unterrichtsstunden hinweg thematisiert. Das jeweilige Aufgabenformat wird ausführlich, zumeist mündlich besprochen, um ein ausreichendes
Aufgabenverständnis sicherzustellen. Danach können sich die Kinder während
mehrerer Unterrichtsstunden mit diesem Format auseinandersetzen und verschiedene
komplexe Fragestellungen bearbeiten bzw. diese selbst erfinden. Es ist anzunehmen,
dass die Arbeitsergebnisse der Kinder in einem so gestalteten zeitgemäßen Unterricht
von anderer Qualität und aussagekräftiger sind als Ergebnisse von Testaufgaben.
Solche Leistungsdokumente aus dem eigenen Unterrichtsalltag können zum Vergleich
bzw. zur Gegenüberstellung mit den Ergebnissen flächendeckender Untersuchungen
herangezogen werden und liefern zahlreiche Anhaltspunkte zur realistischen
Einschätzung der individuellen Leistungen der Kinder.
 Testergebnisse hängen von den eingesetzten Testaufgaben ab
Eigene Untersuchungen haben gezeigt, dass die Ergebnisse bei einzelnen Testaufgaben sehr stark von der genauen Darstellungsform der Aufgabe abhängen können.
Geringe Veränderungen der Formulierung der Frage, des Aufgabentextes oder der
eingesetzten Darstellungen können die Zahl der Kinder, die die Aufgabe richtig lösen,
deutlich erhöhen – oder vermindern.
Daraus ergeben sich auch Qualitätskriterien für Testaufgaben: Sie sollten so formuliert
sein, dass sie den Kindern ermöglichen, das zu zeigen, was sie tatsächlich können;
insbesondere, dass den Kindern die Aufgabenstellung leicht verständlich ist. Damit
Testaufgaben diesen Kriterien genügen, sind im Vorfeld der Vergleichsuntersuchung
umfangreiche Studien zur Evaluation und Optimierung der Testaufgaben notwendig.
Von den eingesetzten Aufgaben hängt es auch ab, ob Inhaltsbereiche (Arithmetik,
Geometrie, Sachrechnen/Größen), aber auch einzelne Kompetenzen, adäquat
repräsentiert werden und damit eine valide Leistungsbeurteilung dieser Bereiche
überhaupt möglich ist; schließlich will VERA für „jede Schülerin bzw. jeden Schüler
... jeweils ein Fähigkeitsniveau in den drei Inhaltsbereichen“3 ermitteln. Dazu reicht es
m. E. nicht aus, Testaufgaben einzelnen Kompetenzen in den Inhaltsbereichen
zuordnen zu können. Vielmehr wäre es notwendig, die zentralen Kompetenzen eines
Bereichs möglichst vollständig und unterrichtsnah zu erfassen; andernfalls bliebe das
durch die Testergebnisse gezeichnete Bild bruchstückhaft, gerade, wenn es auch
darum gehen soll, Förderhinweise aus den Ergebnissen abzuleiten. Was die
veröffentlichen Aufgaben bei VERA angeht, gab es in diesem Punkt in den letzten
beiden Jahren noch Verbesserungsbedarf.
Eigene, systematische Formen der Leistungsfeststellung wie zum Beispiel in Fachoder Stufenkonferenzen entwickelte Standortbestimmungen, aber auch durchdachte
Klassenarbeiten, die in allen Parallelklassen eingesetzt werden, können eine zumindest
nicht weniger valide und differenzierte Einschätzung der Leistungen in einem
Inhaltsbereich (bzw. in einem Teilbereich) liefern und stellen eine stabile Basis dar zur
Auseinandersetzung mit Testergebnissen.
 Prozessbezogene Kompetenzen können mit Testaufgaben kaum erfasst werden
Testaufgaben wie sie in VERA eingesetzt werden eignen sich nur bedingt dazu, die
heute als zentral angesehenen prozessbezogenen (oder wie es in den Bildungsstandards der KMK heißt: allgemeinen mathematischen) Kompetenzen zu erfassen.
Dabei entziehen sich manche Kompetenzen komplett einer „Messung“ durch
Testaufgaben (Bsp.: Aufgaben gemeinsam bearbeiten, dabei Verabredungen treffen
und einhalten), andere Kompetenzen lassen sich nur schwer oder unzureichend
erfassen (Bsp.: Lösungsstrategien entwickeln und nutzen, mathematische Zusammenhänge erkennen und Vermutungen entwickeln). Manchmal werden dazu offene
Aufgaben eingesetzt, bei denen die Kinder kleinere Texte verfassen sollen. Diese
lassen sich aber kaum mit der für Testaufgaben geforderten Objektivität und vor allem
kaum mit dem geforderten geringen Zeitaufwand bewerten. Häufig werden aber
Multiple-choice-Aufgaben eingesetzt. Dass prozessbezogene Kompetenzen mit
letzteren nur eingeschränkt erfasst werden können, liegt auf der Hand.
Gerade im Bereich der prozessbezogenen Kompetenzen sollte deswegen das Urteil der
(kompetenten) Mathematiklehrerin, die die Lernwege der Kinder über einem längeren
Zeitraum begleitet und unterstützt, nicht weniger aussagekräftig und zuverlässig sein
als Testergebnisse.
3
zit. aus „Beschreibung der Fähigkeitsniveaus Mathematik VERA 2005“, abzurufen unter http://139.14.28.6/
verapub/fileadmin/downloads/faehigkeitsniveaus_mathematik.pdf