REI_PEU 1/2003 Titelkıpfe

Psychologie in Erziehung und Unterricht
Inhalt / Contents Heft 1/2003
Evaluierung und Evaluationsforschung:
Begriffe, Modelle und Methoden
Helmut Kromrey
Freie Universität Berlin
Evaluating and Evaluation Research: Concepts, Models and Methods
Summary: Evaluation stands for varied concepts of systematical, data-based assessments, and
within those frameworks for different empirical models and methods employed. After explicating the relevant terms, evaluation models, their theoretical underpinnings, their methodological
and methodical problems as well as the requirements for application are critical discussed.
Keywords: Evaluation, evaluation-models, evaluation-application, evaluation-research
Zusammenfassung: Evaluation ist nicht nur ein vielfältig verwendeter Begriff. Er steht auch für
verschiedenartige Konzepte von systematischer, datengestützter Bewertung; und in deren Rahmen wiederum wird auf unterschiedliche empirische Modelle und Methoden zurückgegriffen. Der
vorliegende Text stellt nach einer einführenden Begriffsexplikation die häufigsten Evaluationsmodelle sowie die Voraussetzungen für ihre Anwendung vor und diskutiert die dabei zu bedenkenden methodologischen und methodischen Probleme.
Schlüsselbegriffe: Evaluation, Evaluationsmodelle, Evaluationsanwendung, Evaluationsforschung
Psychologie in Erziehung und Unterricht, 2003, 50, 11 – 26
© Ernst Reinhardt Verlag München Basel
Normierung zweier Fragebögen zur studentischen
Beurteilung von Vorlesungen und Seminaren
Joerg M. Diehl
Justus-Liebig-Universität Giessen
Student Evaluations of Lectures and Seminars: Norms for two
Recently Developed Questionnaires
Summary: This study aimed to provide norms for two recently developed questionnaires for student ratings of lectures and seminars. Based on 620 courses in psychology and education it was
analysed to what degree the following factors may bias course evaluations and norm data: student
and teacher gender, type of course content and characteristics of participants. Neither lectures nor
seminars were generally rated differently by male and female students. Likewise it seemed to
have no influence on students’ evaluations whether a course was held by a male or female instructor. In (only) some courses with a mixed audience non-psychology students gave other/
lower ratings than the psychology subgroup. On the other hand, type of course content emerged
as an important biasing factor in student evaluations of lectures. Here, courses on methodology
were rated more negative in relevance, level of difficulty, and didactic manner than were lectures
on other subjects. In order to control for this factor, separate percentile ranks are presented for
these two subject areas. Since methodology is almost exclusively taught in lectures such a break
down was not neccessary in the norm tables given for seminars.
Keywords: Course evaluation, gender differences, biasing variables, norms, course content
Zusammenfassung: Ziel der Studie war eine Normierung zweier kürzlich vorgestellter Fragebögen zur Evaluation von Vorlesungen und Seminaren (mit studentischen Referaten). An den Daten von 620 Veranstaltungen aus Psychologie und Pädagogik wurde dabei untersucht, wieweit die
nachfolgenden Faktoren die Veranstaltungs-Beurteilung beeinflussen und bei den Normen berücksichtigt werden müssen: Geschlecht der urteilenden und der beurteilten Person, Stoffgebiet der
Vorlesung sowie fachliche Zusammensetzung der Teilnehmer. Es ergaben sich keine Hinweise,
dass Lehrveranstaltungen von männlichen und weiblichen Teilnehmern durchgehend unterschiedlich beurteilt werden. Gleichermaßen unbedeutend war es auch, ob die Veranstaltung von
einem Mann oder einer Frau geleitet wurde. Eine geringe Anzahl von Veranstaltungen mit gemischter Hörerschaft wurde seitens ihrer Nebenfach-Teilnehmer anders/schlechter beurteilt als
von der Hauptfach-Gruppe. Als bedeutsamer Biasfaktor erwies sich dagegen das Stoffgebiet einer Vorlesung. Methodik-Veranstaltungen wurden hier hinsichtlich der Aspekte Relevanz, Schwierigkeitsniveau und Darbietung (Didaktik) deutlich schlechter eingestuft als Vorlesungen mit inhaltlichen Themen. Aus diesem Grunde weisen die für den Vorlesungs-Fragebogen mitgeteilten
Normen getrennte Prozentrangwerte für die beiden Stoffgebiete auf. Bei der Normierung des Seminar-Fragebogens war eine derartige Unterteilung nicht erforderlich.
Schlüsselbegriffe: Lehrevaluation, Geschlechtsunterschiede, Biasvariablen, Veranstaltungsinhalte,
Normen
Psychologie in Erziehung und Unterricht, 2003, 50, 27 – 42
© Ernst Reinhardt Verlag München Basel
Lehrevaluation, Lehrveranstaltungszufriedenheit
und Leistung
Elke Heise
Technische Universität Braunschweig
Marcus Hasselhorn & Willi Hager
Universität Göttingen
Evaluation of University Teaching, Student Achievement and
Satisfaction with Courses
Summary: This study investigated the relation between students’ evaluation of three introductory
university courses in psychology (General Psychology, Developmental Psychology, and Quantitative Methods) and their subjective learning progress as well as objective achievement (test
scores). While test scores at the end of the courses were best predicted by a combination of students’ final general school achievement scores before entering university and the regularity of
course attendance, personal satisfaction with the course as well as subjective learning progress
appeared to depend on aspects of teaching quality. The results further indicate that students do
evaluate different courses in a differentiated way.
Keywords: Evaluation of university teaching, teaching effectiveness, academic achievement
Zusammenfassung: Mit Hilfe des Göttinger „Fragebogen zur Beurteilung einer Lehrveranstaltung
durch Studierende“ wurden drei Erstsemester-Vorlesungen des Psychologiestudiums (Allgemeine Psychologie, Entwicklungspsychologie und Quantitative Methoden) bewertet. Für die Vorhersage der drei Kriteriumsvariablen „studentische Zufriedenheit“, „subjektiver Lernerfolg“ und
„Klausurleistung“ erwiesen sich jeweils unterschiedliche Prädiktoren als relevant. Während für
die Zufriedenheit und den subjektiven Lernerfolg vor allem Faktoren, die von den Lehrenden abhängen, wichtig waren, wurde die Klausurleistung besser durch die Abiturdurchschnittsnote und
die Regelmäßigkeit der Veranstaltungsteilnahme vorhergesagt. Weiterhin sprechen die Ergebnisse für eine differenzierte studentische Bewertung verschiedener Lehrveranstaltungen.
Schlüsselbegriffe: Lehrevaluation, Studienzufriedenheit, Hochschullehre, Studienleistungen
Psychologie in Erziehung und Unterricht, 2003, 50, 43 – 57
© Ernst Reinhardt Verlag München Basel
Erste Prüfungen – weiterer Studienerfolg*
Hermann Brandstätter, Alois Farthofer
Universität Linz
First Exams – Further Academic Achievement
Summary: In a sample of university students in Austria (University of Linz), the validity of school
grades in the major school subjects, and of test scores specific for the intended university subjects
(both assessed in the last semester at Gymnasium), was compared to that of grades in the first year
at university to predict later study success or discontinuation of university training, respectively.
As expected, school grades as scored by the teachers were better predictors of later study success
than were the test scores, and university grades achieved in the second semester, but not those of
the first semester, exceeded the school grades in predictive power. If university training would be
freely accessible for all students who successfully finished secondary school, as some politicians
suggest, the combined scores of the first and second semester at university would be a sufficiently
valid selection criterion for continuation of university training.
Keywords: Selection of university students, predicting academic achievement, Cox-regression,
signal detection model, career counseling
Zusammenfassung: Im Vergleich zu Prognosen, die mit den vor Studienbeginn erhobenen studienfeldspezifischen kognitiven Testleistungen (SFT) und den Noten in den Schulhauptfächern möglich sind, wurde mit Daten von oberösterreichischen Maturanten (nachher Studierenden der Universität Linz) geprüft, wie genau sich der Studienerfolg (Notendurchschnitt, Studienabbruch und
Studienabschluss) ab drittem Semester aufgrund des Notendurchschnitts der ersten beiden Semester vorhersagen lässt. Es zeigte sich erwartungsgemäß, dass die prognostische Validität des
SFT geringer war als die der Schul-, Erst- und Zweitsemesterleistungen und dass nur die prognostische Validität des Zweitsemester-Notendurchschnitts, nicht die des Notendurchschnitts des ersten Semesters, höher war als die Validität des Notendurchschnitts der Hauptfächer des letzten
Schuljahres. Wenn bei zunächst völlig freiem Zugang zu den Universitäten das Weiterstudium an
das Bestehen von Prüfungen des ersten Studienjahres gebunden würde, wäre der Notendurchschnitt der ersten beiden Semester ein hinreichend valides Auswahlkriterium.
Schlüsselbegriffe: Selektion an Universitäten, Prognose des Studienerfolgs, Cox-Regression, Signalentdeckungsmodell, Studienberatung
Psychologie in Erziehung und Unterricht, 2003, 50, 58 – 70
© Ernst Reinhardt Verlag München Basel
Lässt sich die Lehrqualität durch Evaluation
und Beratung verbessern?*
Überprüfung eines Evaluations-Beratungs-Modells
Heiner Rindermann
Jürgen Kohler
Universität Magdeburg
Hochschule für Heilpädagogik Zürich
Does Evaluation and Consulting Improve Quality of Instruction?
Test of an Evaluation-Consulting-Model
Summary: One important aim of the evaluation of instruction is the improvement of instruction.
International as well as German studies, however, have provided little evidence that student evaluation of instruction alone would change the quality of teaching. It appears that mere feedback
of evaluation results is not effective. The present study aimed at improving the effects of evaluation by combining evaluation feedback with intensive personal consultation of the teachers by experts. The study was conducted in a private school for logopedia (speech therapy) with 16 teachers in 35 classes with about 20 students per class. Evaluation was conducted twice (pre- and
post intervention) within a period of six months using a standardized set of questionnaires (HILVE-II) developed for evaluation of university courses. The overall intervention effect on teaching
quality as measured by d (effect size for dependent means) was more than half a standard deviation in most scales. Quality of teaching in the school not only improved quantitatively (measured
in the scales) and qualitatively (verbal student evaluations) but also became more homogeneous
in quality (reduction of standard deviation) although the relative rank order of teachers did not
change appreciably.
Keywords: Student evaluation of instruction, consultation, quality of instruction, improvement
of instruction, effect size d for dependent means
Zusammenfassung: Ein wichtiges Ziel der Lehrevaluation ist die Verbesserung der Lehre. In den
meisten internationalen und deutschen Studien ließ sich ein Veränderungseffekt auf Grund von
Lehrveranstaltungsevaluation aber nicht nachweisen. Reine Feedbackansätze zur Modifikation
von Lehrerhandeln genügen nicht. In einer Studie an einem privaten Ausbildungsinstitut für Logopädie (N = 16 Dozenten in 35 Kursen mit jeweils etwa 20 Schülern) wurde deshalb ein BeratungsRückmelde-Verfahren entwickelt und seine Effektivität überprüft. Evaluationen wurden mittels
des HILVE-II zweimal mit anschließender Beratung innerhalb von sechs Monaten durchgeführt.
Es zeigten sich Verbesserungseffekte größer als eine halbe Standardabweichung (d für abhängige
Stichproben) im studentischen Urteil. Verbesserte Lehrqualität war nicht nur quantitativ bestimmbar, sondern ließ sich auch qualitativ den studentischen Kommentaren entnehmen. Zudem wurden die Einschätzungen homogener, d. h. Lehrende erreichten ein einheitliches günstiges Niveau,
auch wenn die relativen Positionen im studentischen Urteil weitgehend stabil blieben.
Schlüsselbegriffe: Lehrevaluation, Beratung, Lehrqualität, Verbesserung der Lehre, Effektgröße
d bei abhängigen Stichproben
Psychologie in Erziehung und Unterricht, 2003, 50, 71 – 85
© Ernst Reinhardt Verlag München Basel
Evaluation des Modellversuchsprogramms
„Qualitätsverbesserung in Schulen und Schulsystemen (QuiSS)“
Michael Jäger, Maike Reese, Manfred Prenzel, Barbara Drechsel
Leibniz-Institut für die Pädagogik der Naturwissenschaften, Kiel
Evaluating the School-Improvement Programme “Quality Improvement in Schools
and School Systems (QuiSS)”
Summary: While criteria and methods for evaluating specific school improvement projects are
relatively well established, little experience exists with respect to an overarching evaluation of a
broad range of diverse school improvement projects. In 1999, the German Federal and State Commission of Educational Planning (BLK – Bund-Länder-Kommission für Bildungsplanung und
Forschungsförderung) launched such a large program, QuiSS (Quality Improvement in Schools
and School Systems) that included 15 state-based projects with 140 schools. The paper describes
the organization of this program and delineates the conception, coordination, and administration
of a formative and summative evaluation process that considers general program dimensions as
well as project-specific aspects. The evaluation uses multiple perspectives from the stakeholders
(students, parents, teachers, headmasters, school administration, project management). Teacher
professionalization, as one of the general evaluation dimensions, is presented as an example in
more detail.
Keywords: Program evaluation, school improvement, school quality, teacher professionalization
Zusammenfassung: Während Kriterien und Methoden zur Evaluation gut definierter und abgegrenzter Schulentwicklungsprojekte mittlerweile weitgehend bekannt sind, gibt es nur wenig Erfahrung zur Evaluation von Modellversuchsprogrammen, die aus thematisch und organisatorisch
heterogenen Projekten zusammengesetzt sind. Die BLK (Bund-Länder-Kommission für Bildungsplanung und Forschungsförderung) startete 1999 ein solches Modellversuchsprogramm
(QuiSS – Qualitätsverbesserung in Schulen und Schulsystemen), das sich aus 15 in ihrer Zielsetzung und Organisation unterschiedlichen Länderprojekten mit insgesamt 140 beteiligten Schulen
zusammensetzt. Der Beitrag beschreibt neben der Organisation des Programms die Konzeption
und Durchführung einer formativen und summativen Programmevaluation, die sowohl auf die generellen Ziele des Programms wie auch auf die spezifischen Ziele der Länderprojekte und Schulen eingeht. Die Evaluation berücksichtigt dabei die Perspektiven möglichst aller Beteiligten und
Betroffenen (Schülerinnen und Schüler, Eltern, Lehrkräfte, Schulleitungen, Schulaufsicht sowie
Projektleitungen). Die Professionalisierung der Lehrkräfte als eines der Programmziele wird detaillierter dargestellt.
Schlüsselbegriffe: Programmevaluation, Schulentwicklung, Schulqualität, Professionalisierung
von Lehrkräften
Psychologie in Erziehung und Unterricht, 2003, 50, 86 – 97
© Ernst Reinhardt Verlag München Basel
Manifest zur Bildung anlässlich des Kongresses
McKinsey bildet (5./6. September 2002, Berlin)
Jürgen Kluge, McKinsey & Company, Düsseldorf
McKinsey Manifest on Education
Psychologie in Erziehung und Unterricht, 2003, 50, 98 – 104
© Ernst Reinhardt Verlag München Basel