Dokumentenstudie Evaluierungen im Bereich Berufsbildung

Stabsstelle Evaluierung
Dokumentenstudie
Evaluierungen im Bereich Berufsbildung
Herausgeber:
Technische Zusammenarbeit (GTZ) GmbH
Evaluation Unit
Dag-Hammarskjöld-Weg 1-5
65760 Eschborn
Germany
Internet: http://www.gtz.de
Erstellt im Auftrag des Bundesministeriums
für wirtschaftliche Zusammenarbeit und Entwicklung
Erstellt durch: Dr. Ute Hoffmann
Diese Dokumentenstudie wurde von einer unabhängigen externen Sachverständigen erstellt und gibt ausschließlich deren Meinung und
Wertung wieder.
Eschborn, Januar 2010
Inhalt
Abkürzungsverzeichnis ............................................................................................................ 2
Zusammenfassung ................................................................................................................... 3
1. Zentrale Evaluierungsfragen und -kriterien der in der Berufsbildungszusammenarbeit
(BBZ) tätigen Organisationen ................................................................................................... 3
2.Wirkungshypothesen und -ketten ........................................................................................ 8
3. Evaluierungsmethoden ...................................................................................................... 13
4. Evaluierungsergebnisse ..................................................................................................... 16
5. Erfolgs- und Mißerfolgsfaktoren, wiederkehrende Empfehlungen ................................... 23
6. Typische Berufsbildungsinterventionen ............................................................................ 25
7. Ausblick .............................................................................................................................. 26
8. Fachliteratur zur Evaluierung ............................................................................................. 29
9. Berater und Beratungsfirmen mit Evaluierungsexpertise in der BBZ ................................ 32
Anlagen
Anlage 1: Evaluierungsdokumente ........................................................................................ 34
Anlage 2: DAC-Evaluierungskriterien im Zusammenhang mit der Wirkungskette ............... 37
Anlage 3: Options taken by EC and Risks of misunderstanding with OECD .......................... 37
Anlage 4: Hierarchie von experimentellen und quasi-experimentellen Designs .................. 39
Anlage 5: Orientierungen zu Evaluierungsmethoden............................................................ 40
Anlage 6: ADB Assessment of Project Overall Performance ................................................. 40
Anlage 7: KfW-Einstufung ...................................................................................................... 42
Anlage 8: JICA’s new rating system (25 criteria evaluation method), towards system
improvement ......................................................................................................................... 42
Abkürzungsverzeichnis
ADB
ACE Europe
AECI
ApC
AusAid
BB
BBZ
BIBB
CBT
CIDA
CITT
DAC
DANIDA
DEZA
DO
EZ
HEART
Trust/NTA
ICCO
IDB
ILO
JICA
KfW
KMU
MIT
NONIE
Norad
NRO
Sida
OTI
PPP
UNDP
WB
Asian Development Bank
Studien- und Beratungsbüro für europäische und internationale Zusammenarbeit,
Belgien
Agencia Española de Cooperación Internacional
Approche par Compétences (kompetenzorientierter Ansatz)
Australian Agency for International Development
Berufsbildung
Berufsbildungszusammenarbeit
Bundesinstitut für Berufsbildung
Cooperation Technique Belge
Canadian International Development Agency
Centro de Investigaciones y Transferéncia Tecnológica, El Salvador
Development Assistance Committee
Danish International Development Assistance
Schweizerische Eidgenossenschaft, Direktion für Entwicklung und Zusammenarbeit
Durchführungsorganisation
Entwicklungszusammenarbeit
Human Employment and Resource Training Trust/ National Training Agency, Jamaica
Interchurch Organisation for Development Co-operation, Netherlands
Inter-American Development Bank
International Labour Organisation
Japan International Cooperation Agency
Kreditanstalt für Wiederaufbau Entwicklungsbank
Klein- und Mittelunternehmen
Massachusetts Institute of Technology
Network of Networks Impact Evaluation Initiative
Norwegian Agency for Development Cooperation
Nichtregierungsorganisation
Swedish International Development Cooperation Agency
Office of Transition Initiatives, Sierra Leone
Public Private Partnership
United Nations Development Programme
Weltbank
2
Zusammenfassung
Die meisten internationalen Evaluierungen von Berufsbildungs(BB)-Vorhaben setzen die beabsichtigten Wirkungen in Bezug zu den DAC-Kriterien Relevanz, Effektivität, Effizienz, Wirkung (Impact)
und Nachhaltigkeit. Die Wirkungskette Outputs - Outcomes - Impact hat sich weitgehend durchgesetzt, wenn auch mit Unterschieden in den Zeithorizonten. NONIE fasst unter Impact mittelfristige
Outcomes und langfristige Impact-Effekte zusammen. Die Haupthypothese der BBZ ist, dass Teilnahme an BB die Chancen zur Eingliederung in den Arbeitsmarkt verbessert.
Die Leistungen - Einbeziehung des Privatsektors, Stärkung des Arbeitsmarktinformationssystems,
Entwicklung und Umsetzung nationaler Qualifikationsrahmen, Aus- und Weiterbildung des BBPersonals, Einführung von Qualitätssicherungssystemen, Erweiterung der BB-Kapazitäten und Gestaltung des Finanzsystems - werden mehr oder weniger komplex erbracht. Sie sollen bei komplexen Vorhaben als direkte Wirkung zu einem nachfrageorientierten BB-System führen. Das wird oft
mit Beschäftigungsfähigkeit der Aus- und Weitergebildeten gleichgesetzt. Einige Entwicklungsbanken weisen Beschäftigungsrate, Lohnentwicklung und Qualität der Arbeitsplätze als Indikatoren
aus. Die eingesetzten Messungsmethoden sind begrenzt. Überwiegend werden partizipative qualitative Methoden genutzt. Ohne Beachtung des Kontrafaktischen ist eine klare UrsacheWirkungsbeziehung nicht erkennbar. Deshalb sollen zukünftig verstärkt experimentelle und quasiexperimentelle Designs für die Erfassung der Wirkungen eingesetzt werden. Die Evaluierungsberichte benennen zum Teil auch Erfolgsfaktoren für die BBZ. Der abschließende Ausblick enthält
Überlegungen zur Entwicklung der Wirkungsmessung als integraler Bestandteil der Vorhaben und
zu den Grenzen der BBZ.
1. Zentrale Evaluierungsfragen und -kriterien der in der Berufsbildungszusammenarbeit (BBZ) tätigen Organisationen
2.
Nachdem die BBZ in den 1990er Jahren stark zurückgegangen war1, wird sie derzeit infolge
weltweit gestiegener Grundbildung und der Erkenntnis, dass sie eine zentrale Voraussetzung für
ökonomische und soziale Entwicklung ist, wieder ausgedehnt. Der Paradigmenwechsel hin zu nachfrageorientierter Berufsbildung für formale und informelle Arbeitsmärkte erfolgt unter wachsendem Druck, Wirkungen nachzuweisen. Die neuen Agenden seit 2000, wie bspw. die Millenniumentwicklungsziele, der Monterrey-Konsens über massive Erhöhung der EZ-Mittel, die MarrakeschDeklaration zu „Managing for Development Results“, die Paris Deklaration und Accra AktionsAgenda fordern auch die BBZ heraus, die faktischen Wirkungen zu messen, die von den Vorhaben
verursacht wurden und zu erklären, warum die Wirkungen erreicht wurden.
3.
Die DAC-Evaluationsprinzipien und -Qualitätsstandards beeinflussen die Evaluierungen der
meisten deutschen und internationalen EZ-Organisationen. Die Evaluierungsinhalte der BBZ werden
von den fünf Schlüsselkriterien Relevanz, Effektivität, Effizienz, Wirkung (Impact) und Nachhaltigkeit bestimmt. Die konkreten Berufsbildungsziele und die Wirkungskette werden dazu in Beziehung
gesetzt2. Die mangelnde Veröffentlichung von Evaluierungsergebnissen durch deutsche und andere
bilaterale EZ-Organisationen erschwert einen Überblick über ihr Vorgehen.
4.
Die folgende Tabelle erfasst zentrale Evaluierungsfragen und -kriterien zufällig im Internet
gefundener Vorhaben.
1
Richard K. Johanson 2001. Sub-Saharan Africa (SSA): Regional Response to Bank TVET Policy in the 1990s, World
Bank: In den 1970er Jahren machte Berufsbildung 22% der Weltbankfinanzierungen für Bildung aus, in den 90er Jahren
5%.
2
Anlage 2 zeigt den von EuropeAid dargestellten Zusammenhang von DAC-Kriterien und Wirkungskette.
3
Organisation und
Vorhaben
Zentrale Fragestellungen
InWEnt Abschlussevaluierung 08/2009
„Umweltkompetenzen
in der beruflichen
Bildung, Maghreb“
(2007 – 2009)
- Die InWEnt-Standardfragen umfassen die Analyse und Bewertung der 5 DACKriterien und von Kohärenz, Komplementarität & Koordination des Vorhabens
sowie der Querschnittsthemen Gleichberechtigung der Geschlechter und Umsetzung des Alumnikonzepts.
- Wurde das Projektziel erreicht, zur Integration von Umwelt- und Ressourcenschutz in die BB-Systeme Algeriens und Tunesiens und zur Systematisierung und
Aktualisierung relevanter Qualifizierungen beizutragen?
Maßnahmenziele:
1. Sind die Partnerinstitutionen in beiden Länder qualifiziert, Bildungsangebote neu
zu entwickeln und bestehende so weiterzuentwickeln, dass vorherrschende Umweltprobleme reduziert werden können?
2. Trägt das algerische berufliche Aus- und Fortbildungsangebot im Bereich Wasser
/Abwasser der mittel- und langfristigen Nachfrage nach qualifizierten Fachkräften
Rechnung? Werden die Inhalte zielgruppenadäquat vermittelt?
3. Wurde die Zusammenarbeit der Wirtschaft in Algerien und Tunesien im Rahmen
von PPP-Maßnahmen etabliert? Ist sie operationell? Sind Umweltaspekte ein wesentliches Thema?
4. Ist eine länderübergreifende Kooperation zwischen Algerien und Tunesien im
Bereich Berufsbildung und Umwelt etabliert?
KfW Ex Post-Evaluierung 2006 „El Salvador: Berufsbildungsund Beratungszentrum CITT und II“
(1999 – 2002?)
Die KfW konzentriert sich auf Ex-Post-Evaluierungen mit folgenden standardisierten
Fragen:
- Werden die mit dem Vorhaben angestrebten Projektziele im ausreichenden
Umfang erreicht (Effektivität)?
- Werden in ausreichendem Maße entwicklungspolitisch wichtige Wirkungen erreicht (Relevanz und Signifikanz des Projekts gemessen an der Erreichung des
entwicklungspolitischen Oberziels und den Wirkungen im politischen, institutionellen, sozio-ökonomischen, -kulturellen und ökologischen Bereich)?
- Wurden die Ziele mit einem angemessenen Mitteleinsatz/Aufwand er-reicht und
wie ist der einzel- und gesamtwirtschaftliche Beitrag zu bemessen (Effizienz der
Projektkonzeption)?
- Soweit unerwünschte (Neben-)Wirkungen auftreten, sind diese hinnehmbar?
- Ist das Projektziel, den Studenten der ingenieurwissenschaftlichen und technischen Fachrichtungen eine qualifizierte und praxisnahe Ausbildung zu geben und
mit dem CITT II-Vorhaben salvadorianischen Unternehmen und öffentlichen Kunden Dienstleistungs- und Fortbildungsangebote zur Verbesserung der Produktqualität anzubieten, erreicht?
BIBB „Abschlussbericht zum Forschungsprojekt 1.2.006 Weiterentwicklung von
Instrumenten für
Berufsbildungsberatung im Ausland auf
der Grundlage einer
Nachhaltigkeitsanalyse
von TRANSFORMProjekten (II/2000 –
IV/ 2003)
BIBB hat 1992 – 2001 über 100 TRANSFORM-Projekte in Mittel- und Osteuropa
betreut. Ein nachfolgendes Forschungsprojekt mit der Universität des Saarlandes
und dem Institut zur Entwicklung der Berufsbildung (IRPO) Moskau sollte Instrumente der Berufsbildungsberatung weiterentwickeln.
Die Nachhaltigkeit dieses Projekts wurde anhand der Gliederung des von Prof. Rein3
hard Stockmann (Universität des Saarlandes) erarbeiteten Analyserasters bewertet:
I. Bewertung der Qualität des Interventionsprozesses: 1. Projektdemographie und
-design, 2. Länderdemographie,
II. Bewertung der internen Nachhaltigkeit: 3. Ziele, 4. Mitarbeiter, 5. Organisationsstruktur des Projektträgers, 6. Finanzielle Ressourcen, 7. Technische Ausstattung, 8. Ausbildungskonzeption,
III. Bewertung der externen Nachhaltigkeit: 9. Ausbildungssystem/ Auszubildende,
10. Beschäftigungssystem/Arbeitgeber.
3
Reinhard Stockmann, Uwe Kohlmann: Transferierbarkeit des Dualen Systems – Eine Evaluation dualer Ausbildungsprojekte in Entwicklungsländern. Diskussionsbeiträge und Materialien zur internationalen BBZ, Band 13, Hrsg. GTZ
GmbH. 1998
4
Weltbank Ex post
evaluation 09/2002
„Efectiveness of Lending for Vocational Education and Training:
Lessons from World
Bank Experience“
Weltbank
Zwischenevaluierung
2007 „My First Employment, Honduras“
(07/2005 – 06/2010)
55 in den 90er Jahren finanzierte Berufsbildungsvorhaben (33 waren bereits beendet) wurden anhand von 3 Fragen bewertet:
Welche Leistungen hat die Bank gegenüber ihren Kunden erbracht?
Wie haben die Berufsbildungsprojekte ihre Ziele erreicht?
-
Welchen Faktoren haben zu Erfolg oder Misserfolg geführt?
4
My First Employment ist eine Komponente des Program of Nutrition and Social
Protection. Sie umfasst Berufsberatung, spezifisches Jobtraining und Praktika für 15bis 19jährige städtische arbeitslose Jugendliche.
Wie ist die kausale Wirkung der Teilnahme am Programm auf die Berufsbildung
5
von Jugendlichen, den Arbeitsmarkt und andere Bereiche?
ADB Abschlußbericht
(11/2006) „The Marshall Islands: Skills
Training and Vocational Education Project“
(01/2001 – 10/2005)
1. Bewertung des Designs und der Durchführung des Projekts:
War das Projektdesign relevant?
Sind die Leistungen erreicht: Berufsberatung, verbesserte Berufsbildung (OneStop Centers, Skills Training Programs, Curriculumentwicklung, Skills Standard
und Zertifizierung), spezielles Trainingsprogramm für Frauen und Jugend erreicht?
2. Bewertung der Vorhabensleistung anhand der DAC-Kriterien
ADB Ex-postEvaluierung 09/2005
„Basic Skills Project in
Cambodia“ Project
Performance Audit
Report
1. Bewertung des Designs und der Durchführung des Projekts:
War das Projektdesign relevant?
Sind die Leistungen erreicht: Bildung eines National Training Board, eines National Training Fund, einer Abteilung BB im Bildungsministerium, BB-Kapazitätserweiterung, Verbesserung der Qualität und Relevanz der BB-Programme
2. Bewertung der Vorhabensleistung anhand der DAC-Kriterien.
6
Im Unterschied zum DAC-Begriff Effectiveness wurde hier Efficacy genutzt.
UNDP Schlußbewertung 2009 „ Vocational
Education for Street
Children in Kyrgyz
Republic“ Project
Die Leistungen des Projekts:
Konzept zur Eingliederung von Straßenkindern in das BB-System
nachfrageorientierte BB-Curricula für Straßenkinder
Durchführung von BB-Kursen in Pilotschulen
Beschäftigungsmöglichkeiten für Straßenkinder durch Partnerschaften mit dem
Privatsektor
Kapazitätsstärkung ausgewählter Pilotschulen
sind anhand der DAC-Kriterien zu bewerten. Obwohl als Schlussbewertung bezeichnet, werden aus einer Schwächenanalyse auch Empfehlungen für künftige Projekt7
interventionen erwartet.
ILO 10/2009 „Independent Evaluation of
the ILO’s Decent Work
Country Programme
for Indonesia: 2006 –
2009”
Im Zeitraum 2006 – 2009 wurden vom ILO-Büro Djarkata 40 Projekte mit einem
Wert von über 70 Mio. US$ durchgeführt.
Es wurden 27 Fragen gestellt zu den Schwerpunkten
Trendanalyse der Wirkungen im Bereich Decent Work
Auswahl der ILO-Strategie in Indonesien
Erreichter direkter Nutzen (outcomes)
Nachhaltigkeit
Wirkungen von Partnerschaftsvereinbarungen.
Mit ihnen sollen 3 allen Projekten gemeinsame Prioritäten bewertet werden:
1. Beendigung der Ausbeutung in der Arbeit
4
WB. September 2002. S. Canagarajah, A. Dar, R. Nording, D. Raju: Effectiveness of Lending for Vocational Education
and Training: Lessons from World Bank Experience.
5
WB . 2007. Christel Vermeersch: Concept Note for the Impact Evaluation of the Second Round of the First Employment
program Honduras, S. 1
6
ADB.09/2005.Project Performance Audit Report. Basic Skills Project in Cambodia.
7
UNDP, Government of Norway.2009. ToR for the Final Evaluation of the UNDP “Vocational Education for Street Children in Kyrgyz Republic” Project.
5
2. Beschäftigungsschaffung, besonders für Jugendliche
3. Sozialer Dialog für Wirtschaftswachstum, Arbeitsprinzipien und -rechte.8
EU 12/2008 Evaluierung der 1. Phase
„Terms of Reference –
Revision (December 1,
2008) „HEART Trust/
NTA Banana Sector
Retraining Project”
Anhand der DAC-Kriterien sollen die Ergebnisbereiche
. vorbereitende Berufsbildung
. Berufsbildung in 12 Sektoren
. spezielle Trainingsprojekte für ausgewählte Gemeinden
. IKT-unterstützte Bildungsprojekte
. Trainingsbedarfsanalyse
. Berufsorientierung
9
bewertet werden.
USAID 08/2002 „Final
Evaluation of the Office of Transition Initiatives‘ Program in
Sierra Leone“ (1997 –
2002)
JICA 2008 Schlussevaluierung „Basic
Vocational Training in
Afghanistan“ (2004 –
03/2008)
Das Programm hatte 2 Komponenten: Diamantenmanagement sowie Jugendreintegration und Friedenserziehung. Effektivtät und Wirkungen der Jugendreintegration
sollten bewertet und Vorschläge für die Fortsetzung nach der Übergabe an Sierra
Leone unterbreitet sowie Aussagen über die Übertragbarkeit des Jugendprogramms
10
auf andere Kontexte unterbreitet werden.
DEZA 06/2007 Evaluierung der 1. Phase
„Skills Development
Project – SDP, Uzbekistan“ (2004 – 2007)
Anhand der DAC-Kriterien sind die Projektergebnisse
Entwicklung von Berufsstandards, Curricula, Lehr- und Prüfungsmaterialien
Qualifizierung von Lehrern und Ausbildern
Einführung adäquaten College Managements
Analyse und Verbreitung der Erfahrungen für Centres for Special Secondary
Vocational Education
12
zu bewerten und Fortsetzungsvorschläge zu unterbreiten.
CBT 2008 Zwischenevaluierung „FORPROFEM Formation
Professionnelle Feminine“
(2008 – 12/2010)
Die entwicklungspolitische Wirkung, die berufliche Eingliederung von Frauen in 4
Regionen Senegals zu verbessern, die Projektwirkung, Berufsbildungskapazität und
Arbeitsmarktzugang für Frauen zu verbessern und die Projektleistungen
Orientierung und Eingliederung
Berufsprofile und Ausbildungsprogramme
Management der Zentren
Weiterbildung des Personals
sollen anhand der DAC-Kriterien und der sogenannten HARMO-Kriterien, mit denen
die Effektivität des Vorhabens gestärkt werden soll: Harmonisation, Alignement,
13
Results based management, Mutual responsibility, Ownership bewertet werden.
ICCO, Woord en Daad,
Edukans 04/2008 Ex
Die 3 holländischen Organisationen beauftragten die belgische Firma ACE Europe
mit der Evaluierung von 16 (von 137) von ihnen im Zeitraum 2003 – 2006 in Indien,
Anhand der DAC-Kriterien sollen die Leistungen: Verwaltungssystem für Berufsbildungszentren, Wartung der Zentren, Einführung von Grundkursen, M&E von BBProgrammen der Zentren
sowie die Projekt- und entwicklungspolitischen Ziele bewertet werden. Das Projektziel ist nicht eindeutig erkennbar. Das entwicklungspolitische Ziel besteht darin,
dass benachteiligte Menschen berufliche Fähigkeiten erwerben, um über Beschäftigung bessere Lebensbedingungen zu erlangen.
11
Drei Jahre später soll eine Ex-post Evaluierung stattfinden.
8
M. Hendricks, C. Russon, L. Cattleya: Independent Evaluation of the ILO’s Decent Work Country Programme for Indonesia: 2006 – 2009, p. 59-61
9
EU. December 2008. ToR HEART Trust/NTA Banana Sector Retraining Project.
10
USAID. August 2002. Art Hansen u.a.: Final Evaluation of the Office of Transition Initiatives’ Program in Sierra Leone
11
JICA. 2007. Kyoko Kojima: Evaluation Summary. Basic Vocational Training in Afghanistan.
12
DEZA.08/2007. S. Kaufmann, M. Mirsaidov, P. Stricker: External Review of the Skills Development project – SDP,
Uzbekistan, Final Report, p. 2, 21
13
CBT.2009.Termes de Référence de la Mission à Mi-parcours du Projet FORPROFEM, S. 4 - 5, 8 - 10
6
post „Evaluation of
the TVET policy and
practice of ICCO,
Woord en Daad and
Edukans“
Äthiopien, Kenia und Albanien (und anderen Ländern) durchgeführten Vorhaben:
Welche Ähnlichkeiten und Unterschiede bestehen in Politik und Praxis der 3
Organisationen?
Welcher Beitrag wurde zur organisatorischen und institutionellen Stärkung der
Partnerorganisationen und Verbesserung der Berufsbildung geleistet?
In welchem Umfang hat die Berufsbildung zur Verbesserung der Lebensbedin14
gungen der Absolventen beigetragen?
Diakonia Sweden,
Save the Children,
CARE 2009 Schlussevaluierung “ Promotion of Employment
through Training,
Somalia” (09/2005 –
08/2008)
Anhand der DAC-Kriterien sollen das entwicklungspolitische Ziel des von der EU
finanzierten Vorhabens, die Lebensbedingungen für benachteiligte Jugendliche und
Frauen in Somaliland und Puntland zu verbessern, sowie die erwarteten Projektergebnisse
verbesserter Zugang von benachteiligten Gruppen zu Berufsbildung und Beschäftigungsförderungsdienstleistungen
verbesserte Kompetenzen der Zielgruppen in Übereinstimmung mit den Beschäftigungsmöglichkeiten
verbesserte Verfügbarkeit und Nutzung von Informationen über lokale Wirtschaftsentwicklung
gestärkte Kapazität der lokalen Durchführungspartner und Autoritäten für Berufsbildung und Beschäftigungsförderung
evaluiert werden.
Es sollen Empfehlungen für die künftige Ausdehnung der Berufsbildung in Überein15
stimmung mit den Beschäftigungsperspektiven gegeben werden.
DANIDA 10/2007
„Evaluation of Danish
Assistance to Vocational Education and
Training“ (2002 –
2006)
2001 hatte DANIDA eine Evaluierung aller BB-Vorhaben im Zeitraum 1990 - 2000
(53 Vorhaben in 23 Ländern) veranlasst, um
den Stand von Berufsbildung und Beschäftigung im Globalisierungszeitalter zu
erfassen,
einen Überblick über die dänischen bilateralen BB-Vorhaben zu gewinnen,
die Qualität der dänischen Beiträge zur Verbesserung von Beschäftigung und
Berufsbildungssystemen zu bewerten und für künftige Interventionen zu lernen.
Bei der Follow-Up Study 2007 ging es um die Umsetzung der 10 Handlungsempfehlungen aus der ersten Evaluierung zu NRO und zur Privatsektorentwicklung, Entwicklung von Fähigkeiten, Unterstützung relevanter BB, landesspezifischen Bedarfsanalysen, Gestaltung von BB-Programmen, Geberharmonisierung , Erfassung von
Kompetenzerfordernissen, Wirkungsevaluierung, HIV/AIDS-Wirkungsmessung, Beratereinsatz sowie aktuellen Hemmnissen, noch notwendigen Umsetzungsaktionen
16
und Aussagen über Evaluationen als Lerninstrument.
DANIDA und ADB
(09/2009) „Joint Evaluation of the Secondary Education Support
Programme“ Nepal
(2003 – 2010)
In einer Tabelle sind Evaluationskriterien und -fragen, Ziele & Indikatoren sowie
Methoden, Instrumente und Datenquellen zusammengestellt. Anhand der DACKriterien sind die Programmziele
Verbesserung des Zugangs zur und der Gleichheit in der Sekundarbildung
Verbesserung von Qualität und Relevanz der Sekundarbildung
Verbesserung der institutionellen Kapazität zur Förderung des schulischen Se-
14
ACE.April 2008. Evaluation of the Policy and Practice of ICCO, Woord en Daad and Edukans. Final Evaluation Report,
S. 17 - 18
15
EU.Morris W. Mathenge, Abdi Osman Abdillahi: The European Union’s 9th EDF Programme for Somalia. Promotion of
Employment Through Training. Terminal Evaluation Report. 02/2009, S. 68 - 69
16
DANIDA.October 2007. Follow-UP Study Evaluation of Danish Assistance to Vocational Education and Training, S. 47
– 49, 51 - 53
7
kundarbildungssystems
zu bewerten. Sie sollen mit den 4 Komponenten - Lernumgebung, Curriculum und
Examen, Lehrerbildung, Institutionelle Kapazität und Management - erreicht wer17
den.
4.
Für Zwischen-, Schluss- und Ex-post-Evaluierungen ist mit der Analyse der beabsichtigten
Leistungen und Wirkungen anhand der DAC-Kriterien in Kombination mit Fragen zu den konkreten
beabsichtigten Leistungen und direkten Wirkungen ein recht einheitliches Vorgehen erkennbar. Expost-Evaluierungen von mehreren Vorhaben eines Gebers während eines längeren Zeitraums (WB,
DANIDA) sowie Schlussevaluierungen zahlreicher Vorhaben eines Gebers in einem Land (ILO) weichen davon ab. Ihre Fragestellungen sind klar auf Lernergebnisse hinsichtlich der erreichten Wirkungen und inhaltlichen Entwicklungen in der Berufsbildungszusammenarbeit ausgerichtet.
2. Wirkungshypothesen und -ketten
5.
Die Wirkungsketten der BBZ beziehen sich fast immer auf ein ergebnisorientiertes Vorhabendesign wie es vom DAC vorgeschlagen und z.B. in den Richtlinien der ADB dargestellt ist18:
Design and Monitoring Framework Approach
Design Summary
Performance
Targets/
Indicators
Data Sources/
Reporting
Mechanisms
Assumptions/
Risks
Design
Alternatives
Analysis
Impact
Outcome
Objectives
Analysis
Outputs
Problem
Analysis
Activities with Milestones
Inputs
Stakeholder
Analysis
6.
Die Bezeichnungen der einzelnen Elemente weichen zum Teil voneinander ab. So verwendet die Österreichische Entwicklungszusammenarbeit die Begriffe Aktivitäten, Erwartete Ergebnisse, Projektziel, Oberziel19, JICA nutzt die Bezeichnungen Activities, Outputs, Project Purpose, Overall
Goal20 und die Kanadische Agentur für Internationale Entwicklung unterscheidet nach Inputs, Activities, Outputs, Immediate Outcomes, Intermediate und Final Outcomes.21 Die Europäische Kommission verwendet die Begriffe Output, Result, Impact und erklärt ihre Auffassungsunterschiede gegenüber der OECD. Für die Europäische Kommission ist Impact ein allgemeiner Begriff zur Beschreibung der Wirkungen einer Intervention auf die Gesellschaft, Outcome ist die langfristige Wirkung,
Result die Anfangswirkung. Für die OECD ist Impact die langfristige Wirkung einer Intervention,
Outcome die kurz- und mittelfristigen Wirkungen von Leistungen. Unter Result versteht die OECD
17
COWI A/S Denmark. September 2009. Joint Evaluation of the Secondary Education Support Programme, S. 85 - 89
ADB Guidelines for Preparing a Design and Monitoring Framework, July 2007, Second Edition, p. 11
19
Österreichische Entwicklungszusammenarbeit Formatvorlage Projektdokument, S. 4
20
JICA. Definition and Objectives of JICA’s Evaluation, Introduction, p. 3
21
CIDA’s Performance Measurement Framework. The Principles behind it and how we can make it work for us. December
2006, p. 21
18
8
Output, Outcome oder Impact (beabsichtigte oder unbeabsichtigte, positive und/oder negative
Wirkungen) einer Intervention.22
7.
Die explizite Darstellung von Wirkungsketten in Evaluierungsdokumenten ist sehr selten.
Eine ausführliche Darstellung, in der die Nutzung der Leistungen als entscheidende Ebene der Kapazitätsentwicklung beschrieben wird, konnte nicht gefunden werden. Die Evaluierungen sind auf
Vorhabensziele, entwicklungspolitische Ziele und häufig auf Leistungen konzentriert. Deshalb ist es
auch nicht möglich, Wirkungsketten mit allen dazu gehörigen Indikatoren darzustellen.
8.
Folgende Beispiele geben einen Eindruck über die Darstellung von Wirkungsketten. Nicht
immer sind Indikatoren angegeben und manche Indikatoren werfen die Frage nach ihrer praktischen Erfassung auf.
Organisation und Vorhaben
EuropeAid 2007 Meeting
in Brüssel. Budgetunterstützung des BB-Sektors
Wirkungskette
Input: Bereitstellung eines bestimmten Budgetanteils für formale Berufsbildung
Leistung:
neue BB-Kurse werden entwickelt
Direkte Wirkung: Rate der Ausgebildeten steigt
Indirekte Wirkung: Eingliederungsrate zertifizierter Ausgebildeter in den Ar23
beitsmarkt steigt
DEZA Mittelfristige Orientierung „Beschäftigung
und Einkommen“ 2009 2012
Leistungen: . BB-Orientierung an der Arbeitsnachfrage, Einbeziehung des Pri
vatsektors
. Entwicklung innovativer Angebote und Stärkung der Verbindungen zur Grundbildung
Wirkungen: . erweiterter Zugang zu relevanter Berufsbildung, zu Finanzdienstleistungen und Möglichkeiten in einem mehr inklusiven sozioökonomischen System
. Schaffung von Beschäftigungs- und Einkommensmöglichkeiten
für Arme
24
Entwicklungspolitische Wirkung: letztlich sinkt die Armut
Außenministerium der
Niederlande Bericht 2005
- 2006 über Entwicklungsergebnisse
Leistungen: . Organisationsentwicklung (Personalentwicklung, Schulvorstand,
Managementstrategien, Schulbau und -ausstattung, Lehrmaterial)
. Sektorunterstützung (integrierte Bildungspolitik mit Vor-, Grundund Sekundarschule sowie Berufsbildung und Hochschule, Budgetzuweisung)
direkte Wirkung: die „Bildungsumwelt“ ist verbessert: breiterer Zugang zu
Bildung (mehr Absolventen, weniger Fehlzeiten und Abbrecher, mehr Gendergleichheit) und bessere Kompetenzen der
Qualifizierten
Indirekte Wirkung: Qualifizierte Jugendliche und Erwachsenen tragen zur Ent25
wicklung ihres Landes bei
CBT 2008 Zwischenevaluierung „FORPROFEM Formation Professionnelle
Feminine“ Senegal
Leistungen: . Orientierung & Eingliederung
. Berufsprofile & Ausbildungsprogramme
. Leitung von Zentren
. Weiterbildung des Zentrumspersonals
Direkte Wirkung: verbesserte Bildungskapazitäten und mehr BB-Zugang von
Frauen in 4 Regionen Senegals
26
Indirekte Wirkung: mehr berufliche Eingliederung von Frauen .
(2008 – 12/2010)
22
Siehe Anlage 3: Options taken by EC and Risks of misunderstanding with OECD.
European Commission. EuropeAid. Miriam Pikaar.(October 2007) TVET Sector Approach Support, p. 11
24
Theme “Employment and Income”: SDC’s Medium Term Orientation 2009 – 2012, p. 3
25
Ministry of Foreign Affairs of the Netherlands. Policy Division Effectiveness and Quality Department. Results in Development. Report 2005 – 2006, p. 19
26
Termes de Référence de la mission à mi-parcours du projet Forprofem, 11/2009, p. 4-5
23
9
Indikatoren sind nicht genannt. Aus der Internetseite des Vorhabens
(http://forprofem.sn) kann geschlussfolgert werden, dass die Leistungen mit
folgenden Kriterien bewertet werden sollen:
Zu 1.: . Gründung von Eingliederungsabteilungen in allen Zentren
. Studie zum Arbeitsmarkt an den Standorten der Zentren
. Praktika für 500 Teilnehmerinnen der 9 Zentren
. Begleitung der Absolventinnen einschließlich der Bildung von Groupements d’intérêt économique
Zu 2.: . Zahl der Berufsprofile
. Anpassung von Ausbildungsprogrammen
. Errichtung eines Dokumentationszentrums
Zu 3.: . Benennung eines Kommunikationsverantwortlichen in jedem Zentrum
. Entwicklung einer Internetseite
Zu 4.: . Training von 100 Lehrern der 9 Zentren im ApC
WB 2007 „My First Employment, Honduras“
(07/2005 – 06/2010)
Folgende Punkte sind nicht direkt den Elementen einer Wirkungskette zugeordnet:
1. Training und Praktika verbessern die beruflichen und sozialen Fähigkeiten
der Ausgebildeten. Das schätzen die Unternehmer. Die Ausgebildeten finden
leichter eine stabilere und besser entlohnte Anstellung.
2. Qualifizierung beeinflusst das Risikoverhalten der Jugendlichen über folgenden Mechanismus: Mit steigenden Einkommenserwartungen steigen auch die
Opportunitätskosten riskanten Verhaltens, denn das senkt die Fähigkeit, Einkommen zu erarbeiten. Training und Einkommen erhöhen das Selbstbewusstsein, das die Rückkehrbereitschaft in Banden verringert. Während der BB ist
riskantes Verhalten (Tabak-, Alkohol- und Drogenkonsum, Prostitution, Bandenmitgliedschaft, Kriminalität) weitgehend ausgeschlossen. Kriminalitäts- und
Krankheitsfälle nehmen ab.
3. Andererseits können steigende Einkommen den Konsum riskanter Waren
27
steigern .
Impact Indikatoren:
. Beschäftigungsrate – 6 und 12 Monate nach BB-Ende einschließlich der Teilnehmer, die abgebrochen haben
. Beschäftigungsqualität mit Zeiten von Beschäftigung und Arbeitslosigkeit, Art
der Beschäftigung anhand Sektor und Niveau, Grad der Formalität, Sozial-,
Kranken- und Rentenversicherung, bezahlter Urlaub und Krankheit
. Einkommen
. Risikoverhalten anhand Drogen-, Alkohol-, Tabakkonsum, Prostitution, Beteiligung an kriminellen Aktivitäten
Outcome Indikatoren des Risikoverhaltens:
Verbrechensentwicklung, unerwünschter Schwangerschaften, Drogenabhängigkeit, häusliche Gewalt, geistige Krankheiten, Selbstachtung
ADB 02/2008. Draft Design and Monitoring
Framework. Bangladesh
Skills Development Project
28
Outputs : a) stärkere Relevanz und mehr Zugang zu BB-Programmen (durch
industriegeführte Partnerschaften, Kompetenzstandards, kompetenzbasierte Curricula, Ausbildungs- und Prüfungsunterlagen, Zertifizierung von Lehrpersonal)
b) verbesserte BB-Kapazität mit guter Qualität (durch Weiterbildung der Lehrer, bessere Ausstattung, BB-Fonds für Programmentwicklung)
c) Training relevanter Kompetenzen (mittels eines Fonds zur Reaktion auf Arbeitsmarkterfordernisse und Training in armen Gemeinden)
Output-Indikatoren:
27
WB. Concept Note for the Impact Evaluation of the Second Round of the First Employment („Mi Primer Empleo“)
Program, p. 8-9
28
ADB Draft Design and Monitoring Framework. BAN: Skills Development project, February 2008, p. 2-4
10
zu a) . Partnerschaftsrahmen ist entwickelt
. Koordinierungsmeetings sind durchgeführt
. Kurzkurse in 3 Industriebereichen und im informellen Sektor sind entwickelt
. 40 prioritäre Berufs- und 100 Trainingsstandards sind erarbeitet,
. Verhandlungen mit 3 anderen Staaten zur Akzeptanz der BangladeschStandards finden statt
. 20 Curricula für Kurzkurse, 10 kompetenzbasierte Curricula und 40 modulare Curricula sind erarbeitet
. mindestens 100 Personen sind für externe Prüfungen qualifiziert und
zertifiziert
. mindestens 1.000 Auszubildende sind durch sie geprüft
zu b) . ein Lehrertrainingsplan ist eingeführt
. Weiterbildung in kompetenzbasierter Bildung für 4.000 Lehrer
. Training zu neuen Curricula für 2.500 Lehrer
. Technologietraining für 2.500 Lehrer
. 1.000 Lehrer erhalten Zertifikate
. Renovierung und Ausrüstung von BB-Einrichtungen
. ein Projektentwicklungsfonds ist eingerichtet und realisiert Programme
für 60 öffentliche, 15 private und 10 NRO-BB-Einrichtungen
. Kurzkurse für 20.000 Auszubildende in modernisierten Einrichtungen
zu c) . Handbuch für arbeitsmarktgerechte BB ist erstellt
. BB-Bedarf ist untersucht, entsprechende Programme sind entwickelt
und ausgeschrieben
. 20.000 Personen sind trainiert
. zusammen mit NGO ist der BB-Bedarf in armen Kommunen analysiert
. 40 Bildungseinrichtungen erhalten eine Mehrzweckwerkstatt
. Kurzkurse und Training für Existenzgründung ist eingeführt
. über 6.000 Menschen sind in Kurzkursen trainiert
Outcome: mehr qualitativ gute Kurzkurse
Outcome Indikatoren:
. Zugang zu Kurzkursen bis 2013 für mindestens 6.000 Menschen/Jahr, mindestens 25% sind Frauen
. Regierung diskutiert einmal pro Jahr den BB-Bedarf mit Industrie- und NROVertretern
. das Regierungsprogramm für Aus- und Weiterbildung der BB-Lehrer nutzt
dem BB-Sektor
Impact: qualifizierte Absolventen gelangen in mehr abhängige oder Selbstbeschäftigung
Impact-Indikatoren:
. die Beschäftigungsrate der Absolventen mit beruflichem Sekundarschulzeugnis steigt von 4% 2006 auf 8% im Jahr 2013,
. die Beschäftigungsrate der Teilnehmer an Kurzkursen steigt von 14% 2012 auf
20% im Jahr 2013
Diakonia Sweden, Save
the Children, CARE 2009
Schlussevaluierung “ Promotion of Employment
through Training, Somalia” (09/2005 – 08/2008)
Results:
1. Verbesserter Zugang benachteiligter Jugendlicher und Frauen zu BB und
Beschäftigungsförderungsdienstleistungen
Indikatoren: . gleicher Zugang von männlichen und weiblichen Jugendlichen
und Frauen
. 5 firmengestützte BB-Zentren sind arbeitsfähig
. 2.525 Jugendliche und Frauen erwarben relevante Fähigkeiten
in schulischen BB-Zentren und 2.000 in firmengestützten Zentren
. 6 Monate nach Projektbeginn sind Beschäftigungsförderungsdienstleistungen verfügbar
. 5.000 Personen haben diese Dienstleistungen genutzt
. 3.000 Jugendliche und Frauen sind BB-relevant alphabetisiert
11
2. Fachliche und unternehmerische Kompetenzen der Zielgruppen sind in
Übereinstimmung mit der Beschäftigungsförderung verbessert
Indikatoren: .mindestens 80% der BB-Lehrer/Ausbilder sind trainiert und besitzen die benötigten Fähigkeiten
. Lehrer/Ausbilder sind fähig, Wissen, Fähigkeiten und Haltungen
gemäß den aufgestellten Normen zu vermitteln
. BB-Zentren nutzen standardisierte, relevante Trainingspakete
. 90% der Ausgebildeten bestehen die Prüfung oder haben
Grundfähigkeiten erworben
3. Verbesserte Verfügbarkeit und Nutzung von Informationen über lokale
wirtschaftliche Entwicklungsmöglichkeiten
Indikatoren: . Ausmaß der Übereinstimmung der BB und Beschäftigungsförderungsdienstleistungen mit lokalen Entwicklungsmöglichkeiten
. Netzwerke und Verbindungsplattformen zwischen BB-Zentren
und relevanten stakeholders sowie zwischen Ausgebildeten und
29
potentiellen Arbeitgebern
Specific objective: nachhaltige Beschäftigungsmöglichkeiten für 4.525 Jugendliche mit ausgeglichener Geschlechterzusammensetzung
sind in Somaliland und Puntland geschaffen
Indikatoren: . 75% der Ausgebildeten haben in 6 Monaten Beschäftigung erreicht
. Nachfrage nach BB durch die Zielgruppen ist gestiegen
. Nachfrage des Arbeitsmarktes nach Ausgebildeten ist gestiegen
. Management der schulischen BB-Zentren einschließlich von Kostendeckungssystemen ist verbessert
. Unternehmerfähigkeiten werden bei Existenzgründungen genutzt
Overall objective: verbesserte Lebensgrundlage für benachteiligte Jugendliche
und Frauen in Somaliland und Puntland
Indikatoren: . erhöhte Beschäftigungsrate der Zielgruppe
. erhöhtes Einkommen der Zielgruppe
CIDA 2007. Schlussevaluierung « Appui à
l‘expé-rimentation de
l’approche par compétence (ApC) dans le secteur de la formation professionnelle en Algérie »
(2004 -2008)
29
Leistungen:
1. Die Leitungskräfte beherrschen die Inhalte der ApC-basierten BB
Indikatoren: . Seminare und Workshops, um den Leitungskräften die Parameter des ApC-basierten Systems nahe zu bringen
. Studienreisen nach Kanada und Tunesien
2. Lehrer, Methodiker und Mittler des BB-Systems sind für die Einführung
der ApC-basierten BB sensibilisiert
Indikator: . Seminare und Workshops, um diese Personen mit der ApC-basierten BB und den Veränderungen in ihrer Arbeit vertraut zu machen
3. Das BB-Forschungszentrum (CERPEQ) meistert die ersten Etappen der
Einführung des ApC
Indikator: . In der Testphase hat CERPEQ Expertise zur Durchführung von Sektoranalysen und zur Ausbreitung des ApC erworben
4. CERPEQ und das Nationale BB-Institut erfassen die Problematik der Geschlechtergleichheit
Indikator: . CERPEQ-Studien sind gendermäßig aufbereitet und weisen die Situation der weiblichen Auszubildenden aus
5. Die Berufsnomenklatur ist erarbeitet und deckt mehrere Bereiche ab
Indikator: . Die Berufsnomenklatur ist erarbeitet und wird in den Testsektoren
angewendet
Direkte Wirkungen:
1. Der BB-Sektor verfügt über Programme, die dem Unternehmensbedarf im
Testsektor entsprechen.
M.W. Mathenge, A. O. Abdillahi. Promotion of Employment through Training, Somalia. Terminal Evaluation Report.02/2009, Annex VI Logical Framework Matrix.
12
Indikatoren: . Programme und Lehrmaterial sind für alle Beteiligten verfügbar
. der BB-Sektor hat die nötige Expertise, Lehrer und Mittler, um
den ApC zu verallgemeinern
2. Die algerischen Leitungskräfte sind in der Lage, die Wirkungen der ApCbasierten Berufsbildung zu beurteilen.
Indikatoren: . die Leitungskräfte können nötige Veränderungen im BB-System
und notwendige personelle, materielle und finanzielle Ressourcen einschätzen
. die Leitungskräfte engagieren sich für die Entwicklung eines ApC
entsprechenden Leitungssystems
Impact : Die algerischen Autoritäten verfügen über eine am Bedarf der Wirtschaft orientierte Berufsbildung
Indikatoren: . Erarbeitet der BB-Programme in enger Zusammenarbeit mit dem
Privatsektor (Unternehmen und Arbeitgebervereinigungen)
. Zufriedenheitsgrad der Unternehmer mit den Ausgebildeten und
Beschäftigungsrate
9.
Wirkungshypothesen werden äußerst selten dargelegt. Die Haupthypothese des WBProgramms „Erste Beschäftigung“ Honduras ist, dass Berufsbildung die im Arbeitsmarkt zu erzielenden Ergebnisse Beschäftigung, Lohn, Beschäftigungsqualität verbessert. Der Evaluationsbericht
von ACE Europe enthält mehrere Wirkungshypothesen: BB ist notwendig, um Produktivität und
gleichen Zugang zu Beschäftigungsmöglichkeiten zu verbessern sowie Einkommen zu steigern. Berufsbildungsrendite für den Privatsektor ist breit nachgewiesen. Nur über die genaue Renditenrate
in Abhängigkeit von Art und Höhe der Investitionen wird diskutiert. BB-Programme mit hoher Qualität garantieren die Übereinstimmung des Gelernten mit dem Arbeitsmarktbedarf. Ihre Absolventen finden mit größerer Wahrscheinlichkeit eine nachhaltige Beschäftigung30.
10.
Detailliert konstatierte Ursache-Wirkungs-Hypothesen haben eine zentrale Bedeutung als
Grundlage einer adäquaten Impact Evaluation31. Sie widerspiegeln sich jedoch erst wenig in den
internationalen Evaluierungen. Insgesamt muss in Ergänzung zu den Wirkungsketten, die die GTZ
grundsätzlich für alle Vorhaben verlangt, stärker an den vermuteten Ursache-Wirkungsbeziehungen
gearbeitet und empirisch überprüft werden, unter welchen Bedingungen welche Maßnahmen wie
wirken32. In der internationalen Debatte widerspiegelt sich das in der Forderung, in der Wirkungsevaluierung theoriebasiert vorzugehen, nämlich entlang der Wirkungskette. D. h. alle Elemente
vom Input bis zum Impact sollen bewertet werden, nicht nur der Impact. Im Project log frame ist
diese Kette meist enthalten. Sie muss auch der Wirkungsevaluierung zugrunde gelegt werden.33
3. Evaluierungsmethoden
11.
In der Vergangenheit waren Evaluierungen v. a. auf Inputs und erbrachte Leistungen gerichtet. Wirkungsevaluierungen legen den Fokus auf beabsichtigte/unbeabsichtigte, positive oder negative Veränderungen, die direkt, mittel- und langfristig bei den Begünstigten eintreten. Seit den 90er
Jahren werden partizipative Evaluierungsmethoden angewandt. Gemeinsam mit Partnervertretern
werden qualitative und quantitative Methoden der Sozialforschung angewandt, um Veränderungen
zu messen und zu bewerten. Qualitative Methoden umfassen Interviews, Befragungen, Beobach30
ACE Europe. Evaluation of the TVET Policy and Practice of ICCO, Woord en Daad and Edukans, Final Evaluation
Report, April 2008, p. 26 - 27
31
BMZ Evaluation Division: Evaluation Working Papers. Wirkungsevaluierungen. Zum Stand der internationalen Diskussion und dessen Relevanz für die Evaluierung der deutschen Entwicklungszusammenarbeit. 2008, S. 32
32
Axel Borrmann, Reinhard Stockmann: Evaluation in der deutschen Entwicklungszusammenarbeit, Band 1 Systemanalyse, Studie im Auftrag des BMZ. Waxmann 2009, S. 52
33
The Independent Evaluation Group, The World Bank. September 2006.Howard White: Impact evaluation – the experience of the Independent Evaluation Group of the World Bank, S. 7
13
tungen und Gruppendiskussionen anhand eines groben thematischen Leitfadens. Werden standardisierte Fragen an eine repräsentative Zufallsstichprobe gestellt, erhält man zahlenmäßige Ergebnisse, mit denen aufgestellte Hypothesen überprüft werden können. Vor-Ort-Besuche und Dokumentenstudium sind für die meisten Akteure selbstverständlich.
12.
In den Wirkungsevaluationen wurden folgende Methoden genutzt:
Vorhaben
Dokumentenstudium
Interview
Befragung
x
X
x
X
x
InWEnt Algerien, Tunesien
x
ADB Cambodia
x
UNDP Kyrgyz
Republic
x
x
ILO Indonesia
x
x
USAID Sierra
Leone
x
x
X
DEZA Uzbekistan
x
x
X
CBT Senegal
x
ICCO, Woord …
4 Länder
x
x
x
x
JICA Jordan
x
Summe
X
x
Diakonia Somalia
DANIDA ADB
Nepal
10
Gruppendiskussion
X
Beobachtung
Summe
x
5
3
X
x
5
x
3
x
5
x
4
x
x
3
x
x
3
x
6
x
x
X
x
3
X
8
Vor-OrtBesuch
7
x
7
2
3
9
Interviews und Befragungen wurden z. T. als quantitative Erhebungen mit strukturierten Fragen
durchgeführt. Die gemeinsame Evaluierung der Vorhaben von ICCO, Edukans und Woord en Daad
zur Berufsbildungspolitik und -praxis beruhte selbst auf einer geschichteten Stichprobenauswahl
von 16 aus 137 Vorhaben. Die Evaluierung wurde in partizipativer Weise nur mit qualitativen Methoden vorgenommen. Die Autoren wiesen daraufhin, dass die Methode der Lebensgeschichten
(Biographische Methode) nicht zweckmäßig ist, da zu zeitaufwändig.
Für die Vorhaben der KfW in El Salvador, der ADB auf den Marschall Inseln, von JICA in Afghanistan
und CIDA in Algerien waren keine Evaluierungsmethoden ersichtlich.
13.
Die internationale Diskussion über Wirkungsevaluierung konzentriert sich auf die Beachtung des Kontrafaktischen34 - was wäre ohne Projektinterventionen geschehen, wie erfolgte die
Entwicklung in der Zielgruppe im Vergleich zu einer Vergleichsgruppe außerhalb der Intervention? bzw. die Durchführung von Rigorous Impact Evaluations. Die Internationale Initiative für Wirkungsevaluierung (3ie) definiert Rigorous Impact Evaluations als „analyses that measure the net change
in outcomes amongst a particular group, or groups, of people that can be attributed to a specific
program using the best methodology available, feasible and appropriate to the evaluation question
that is being investigated and to the specific context.“35 Für eine eindeutige Ursachenzuschreibung
der Wirkung werden experimentelle und quasi-experimentelle Evaluierungsdesigns mit entsprechenden Methoden zur Bildung von Kontroll- und Vergleichsgruppen empfohlen.36 Befürwortern
rigoroser Methoden stehen Skeptiker gegenüber, die davor warnen, komplexe soziale Interventio-
34
CEval. 2008. Nicolà Reade. Konzept für alltagstaugliche Wirkungsevaluierungen in Anlehnung an Rigorous Impact
Evaluations. Erprobung der Durchführung im Rahmen von GTZ Unabhängigen Evaluierungen, S. 6
35
International Initiative for Impact Evaluation (3ie). 2008. 3ie Impact Evaluation Practice. A guide for grantees, S. 1
36
Siehe Anlage 4: Hierarchie von experimentellen und quasi-experimentellen Designs.
14
nen auf wenige Zahlen zu reduzieren. Wortmeldungen internationaler Bildungsexperten in dieser
Debatte konnten nicht gefunden werden.
14.
Der weitgehend anerkannte Maßstab für zuverlässige Wirkungsevaluierungen sind Evaluierungen unter Beachtung des Kontrafaktischen mit einem Mix von qualitativen und quantitativen
Methoden. Die Handreichungen wichtiger EZ-Organisationen sind ein Beleg dafür.37 Mit Triangulation, der Kombination mehrerer Datenquellen und Analysearten, sollen Verzerrungen aufgrund nur
einer Untersuchung vermieden werden.38 Qualitative Methoden sind für das Verständnis, warum
und wie Interventionen wirken unerlässlich. Das ist Voraussetzung, um Interventionen zu wiederholen und auch auf andere Kontexte zu übertragen.
15.
Die Autoren der Systemanalyse „Evaluation in der deutschen Entwicklungszusammenarbeit“ stellen fest, dass die eingesetzten Designs und Methoden für die Erfassung der Wirkungen
und deren Ursachenzuschreibung noch nicht die notwendigen professionellen Standards erfüllen.
„Die Methodenauswahl, der Zeitrahmen und das finanzielle Mengengerüst entsprechen in der Regel nicht der anspruchsvollen Aufgabenstellung. Die Suche nach robusten Methoden, die sich im
Regelbetrieb einsetzen lassen, hat gerade erst begonnen.“39
Auch in der internationalen EZ sind rigorose Evaluierungsmethoden noch nicht typisch. Eine Analyse von 78 Evaluierungen der Weltbank in 10 Bereichen seit 1979 bis 2002 ergab, dass nur in 21 das
Kontrafaktische berücksichtigt worden war, darunter in 3 Bildungsvorhaben. Bei zwei Dritteln war
wegen fehlender Beachtung des Kontrafaktischen unklar, ob die Wirkungen tatsächlich von den
Vorhaben verursacht worden sind.40 Eine Studie des Overseas Development Institute für DFID bestätigte 2008, dass nur ein Drittel aller Evaluationen einen randomized methodological approach
nutzen41. Ihre Autoren bezeichnen die Weltbank als unumstrittenen Führer in Wirkungsevaluationen, gefolgt vom MIT und der Inter-American Development Bank.42 Das NONIE-Arbeitspapier Nr. 8
„Evidence-based Evaluation of Development Cooperation: Possible? Feasible? Desirable?” berichtet, dass von 80 untersuchten Projekten nur eines ein experimentelles Design und 5,2% ein quasiexperimentelles Design enthielten und alle nur wenige Methoden nutzten.43
16.
Die Studie der Interamerikanischen Entwicklungsbank über Wirkungsevaluierungen im Bereich Berufsbildung im Zeitraum 1992 – 2005 zeigt, dass in allen Fällen Vergleichsgruppen einbezogen waren.44 Im Projoven-Projekt in Peru wurde die Gruppe ex-ante aus teilnahmeberechtigten
Personen gebildet. Im Chile Joven-Projekt wurden auch teilnahmeberechtigte Personen in die Vergleichsgruppe einbezogen, jedoch ex-post.
37
Siehe Anlage 5: Orientierungen zu Evaluationsmethoden
OECD 2009. Glossar entwicklungspolitischer Schlüsselbegriffe aus den Bereichen Evaluierung und ergebnisorientiertes
Management, S. 47
39
A. Borrmann, R. Stockmann: Evaluation in der deutschen Entwicklungszusammenarbeit. Band 1 Systemanalyse. Studie
im Auftrag des BMZ. Waxmann 2009, S.23
40
Anju Gupta Kapoor (2002): Review of Impact Evaluation Methodologies used by the Operations Evaluation Department
over 25 years. World Bank, Washington.DC, p. 1,2,10
41
N. Jones, C. Walsh, H. Jones, C. Tincati, odi (01/2008): Improving impact evaluation coordination and uptake. A scoping study commissioned by the DFID Evaluation Department on behalf of NONIE, S.2
42
Ebenda S. 16
43
NONIE. January 2008. K. Forss, S. Bandstein: Evidence-based Evaluation of Development Cooperation: Possible? Feasible? Desirable? S. 13-15
44
P. Ibarrarán, D. Rosas Shady. December 2008. Evaluating the Impact of Job Training Programs in Latin America: Evidence from IDB funded operations S. 22
38
15
Charakteristika der Wirkungsevaluationen
Country
Evaluation
Method
Comparison Group
Baseline/PreProgram
Data?
Months between training
and data for
evaluation
Dominican
Republic
Experimental
Defined ex ante by
random design
Yes
10-14 months
and 22-24
Card et al.
(2007)
Colombia
Experimental
Yes
19 – 21 months
Natural Experiment
Defined ex ante by
random design
Defined ex post from
eligible applicants
excluded by natural
experiment
9 – 20 months
Peru
NonExperimental
Defined ex ante from
eligible non-applicants
No baseline,
pre-program
data from
retrospective
questions in
follow-up
Yes
Atanasio et
al. (2008)
Ibarrarán
and Rosas
Shady
(2007)
Panama
Chile
NonExperimental
Defined ex post from
eligible non-applicants
No
12 months
Argentina
NonExperimental
Defined ex ante from
registered applicants
that did not start
course
Yes
Mexico
NonExperimental
Defined ex post from
similar individuals
from labour market
survey
No, baseline
reconstructed
from ex post
data.
11 and 19
months in 2nd
and 3rd calls, 12
months in 5th
call
3 and 6 months
6, 12 and 18
months
Papers
Diaz and
Jaramillo
(2006)
Aedo and
Pizarro
(2004)
Alzua and
Brassolio
(2006)
Delajara
and al.
(2006)
17.
Der Hauptunterschied in der Methodenanwendung liegt in der Nutzung rigoroser Methoden zur Beachtung des Kontrafaktischen. Dabei führen die Entwicklungsbanken, denen die Nutzung
fortgeschrittener statistischer Verfahren naturgemäß näher lag als den bilateralen Gebern. Bilaterale Geber wenden sich erst in jüngster Zeit unter dem wachsenden Druck, Wirkungen zuverlässig
nachzuweisen, rigorosen Methoden zu. Unabhängig von Größe und Inhalt der Vorhaben nutzen sie
bis jetzt vor allem die qualitativen und quantitativen Methoden der empirischen Sozialforschung.
4. Evaluierungsergebnisse
18.
EZ-Ergebnisse werden fast durchweg anhand der Erfüllung der DAC-Kriterien in Kombination mit der Bewertung der konkreten Wirkungsindikatoren der Vorhaben dargestellt. Die multilateralen Entwicklungsbanken45 veröffentlichen zusammenfassende Bewertungen des Erfüllungsstandes der Hauptleistungs- bzw. DAC-Kriterien (ratings). Das soll einen Vergleich der Ergebnisse ermöglichen und zur Harmonisierung der Wirkungsindikatoren beitragen. Die Kriterien Relevanz, Effizienz, Effektivität, Nachhaltigkeit und Institutionelle Entwicklung/Andere Wirkungen werden bewertet und gehen mit unterschiedlicher Gewichtung in die Gesamtbewertung des Vorhabens ein.
45
Das sind die Afrikanische Entwicklungsbank, die Asiatische Entwicklungsbank, die Europäische Bank für Wiederaufbau
und Entwicklung, die Interamerikanische Entwicklungsbank, die Weltbank und die Europäische Investitionsbank.
16
Die Gesamtbewertung kann sehr erfolgreich, erfolgreich, teilweise erfolgreich und nicht erfolgreich
sein.46 Außerdem bewerten die Banken die eigene Leistung und die des Kreditnehmers im Projektverlauf anhand von Organisations- und Managementkriterien.
19.
USAID muss wie alle Ämter der US-Regierung seit 2002 „PART“ The Performance Assessment Ratings Tool anwenden. Mit dem Ziel, die Programmleistungen zu verbessern, werden Programmzweck und -design (Gewichtung 20%), Strategische Planung (Gewichtung 10%), Programmmanagement (Gewichtung 20%) und Ergebnisse (Gewichtung 50%) bewertet. Folgende Bewertungen sind möglich: Effective 85 -100, Moderately effective 70 – 84, Adequate 50 – 69, Ineffective 0 –
49. Das Prädikat „Results not demonstrated“ drückt fehlende Leistungsziele oder -informationen
aus47. Laut USAID-Jahresleistungsbericht 2008 waren 81% der Programme effektiv.48
Die KfW nutzt 6 Stufen für die Bewertung von Erfolg, Signifikanz/Relevanz, Effektivität und Effizienz
ihrer Vorhaben.49
20.
Evaluierungsergebnisse multilateraler Entwicklungsbanken und der KfW
Vorhaben
WB Second Training and Employment Project,
50
Tunesia
(06/1996-06/2003)
Leistungsratings
Outcome: satisfactory
Sustainability: likely
Institutional development
impact: substantial
Bank performance: satisfactory
Borrower performance:
satisfactory
Erreichte Wirkungen
Outcome: stärkere Nachfrageorientierung der BB und
Privatsektorbeteiligung
Indikatoren:
ADB Basic Skills
Project in Cambo51
dia
(12/1995-02/2003)
Overall rating: 2,35 = sucessful
Relevance (20%): 0,60 =
highly relevant
Efficacy (25%): 0,50 = efficacious
Efficiency (20%): 0,40 = efficient
Sustainability (20%): 0,40 =
likely
Langfristiges Ziel: Stärkung des BB-Systems, um mit
Grundfähigkeiten die Entwicklung von Infrastruktur,
Industrie und Gesundheitsleistungen zu fördern; Entwicklung von Grundfähigkeiten von benachteiligten
Gruppen zur Einkommensschaffung; Entwicklung von
BB-Planungs- und Managementkapazitäten in der Regierung
Outcomes und Outputs: Bildung eines National Training
Board, eines National Training Fund, einer BB-Abteilung
im Bildungsministerium, Verbesserung von Qualität und
Relevanz der BB-Programme, Erweiterung der BB-Kapa-
. Privatsektor nimmt am gesamten BB-Prozess teil
. 12 Zentren (1996: 0) kooperieren mit Berufsorganisationen
. 36% der Ausbildenden werden in Firmen ausgebildet
. 1.400 KMU nahmen an Weiterbildung teil (1996: 700)
. 81 vernetzte Arbeitsagenturen erbringen befriedigende
Vermittlungsleistungen
. das Arbeitsmarktinformationssystem befriedigt noch nicht
. die Kapazität der BB-Agentur ist von 2.884 auf 11.494 Auszubildende erhöht
. 50 BB-Zentren praktizieren das neue Managementmodell
. 154 Ausbildungsprogramme sind erarbeitet
. 100 Trainer,554 Ausbilder, 1.350 Berater für Lehrlingsausbildung wurden qualifiziert
. 62% der 1996er Absolventen hatten 2000 Beschäftigung, ihr
Lohn war um 55% gestiegen, der der Kontrollgruppe um 17%
. 84% der 1998er Absolventen hatten 2002 Beschäftigung und
5,6% Lohnsteigerung
46
Siehe als Beispiel Anlage 6: ADB Assessment of Project Overall Performance.
Duane Muller, USAID: USAID’s Experience and Lessons Learned in Approaches used in Monitoring and Evaluating
Capacity Building Activities, 7.11.2008, UNFCCC meeting on Experiences with Performance Indicators for M&E of
Capacity Building, Rio de Janeiro sowie Expect More. Frequently Asked Questions,
http://www.whitehouse.gov/omb/expectmore/faq.html
48
USAID FY 2008 Annual Performance Report, S.8, http.//www.usaid.gov/policy/budget/apr08/
49
Siehe Anlage 7: KfW-Einstufung.
50
The World Bank: Implementation Completion Report on a Loan in the amount of US$ 60 Million to the Republic of
Tunisia for a Second Training and Employment Project, December 23, 2003
51
ADB. September 2005. Project Performance Audit Report. Basic Skills Project in Cambodia, S.2-15, 56
47
17
Institutional development/
other impacts (15%): 0,45 =
substantial
zität
Output Indikatoren:
. Auslandsstipendien und -studienreisen für 188 Personen
(Plan 159)
. Weiterbildung von 1.519 Personen (Plan 1.440)
. Training von Grundfähigkeiten im Gesundheitsbereich für
36.949 Personen (Plan 31.110)
. National Training Board, -Fund und Abteilung im Ministerium
sind geschaffen
. BB-Einrichtungen wurden rehabilitiert
Purpose Indikatoren:
. 2004 sind 10.250 Auszubildende in formellen Programmen
(vor dem Projekt 1.200)
. das BB-Angebot auf dem Land hat 62% erreicht, es ist in 10
Jahren um das 8,5-fache gestiegen (vor dem Projekt 740
Plätze)
. 38 BB-Einrichtungen (1995: 8)
. Absolventenrate 2004: 85 – 90%, auf dem Land 100%
(1994/ 95: 35 – 40%)
. Beschäftigungsrate 2004: 60 – 87%
. 13.000 Auszubildende wurden vom Nationalen Trainingsfonds finanziert, davon 50% Mädchen, 43% aus armen Familien
. Absolventen haben 1.754 Gruppen von Kleinstbetrieben mit
5.653 Mitgliedern gebildet
. Durchschnittseinkommen der Gruppen = 870 US$/Jahr, das
Dreifache des nationalen Durchschnittseinkommens
. BB-Einrichtungen haben durch Gebühren und Abkommen
mit Unternehmen Jahreseinkommen von 1.000 – 50.000 US$
erzielt
. BB-Regelungen wurden erlassen
. ein mittelfristiger BB-Plan wird umgesetzt
. Standards werden erarbeitet, ein Qualitätssicherungssystem
ist entwickelt
. in der Mehrheit werden Kurzkurse angeboten mit Kosten
von 500 – 1000 US$ pro Teilnehmer und Jahr
. 2004: Verhältnis Lehrer : Teilnehmer = 30 : 1 (1994: 13 : 1)
ADB DANIDA
Joint Evaluation of
the Secondary
Education Support
Programme, Ne52
pal
(2003 – 2010)
Relevanz für Komponente
(K)1 “Lernumgebung” + K 2
„Curriculumentwicklung,
Lehrerbildung“: sehr hoch,
für K3 „Institutionenkapazität + Management“: hoch
Effizienz für K1-K3: hoch
Effektivität für K1: sehr
hoch, für K2+ K3: hoch
Nachhaltigkeit für K1 + K3:
gering, für K2: mittel
Impact: Qualitätsverbesserung der Sekundarbildung
gemäß dem nationalen Entwicklungsbedarf
Impact Indikatoren:
. mehr Zugang zu und Gleichheit in unteren Sekundarschulen
und Sekundarschulen (ohne konkrete Werte)
. 2007 Einschulungsrate in untere Sekundarschulen 65%, in
Sekundarschulen 55%
. Wiederholungsrate in beiden Sekundarschulen ist um über
50% reduziert (Ziel: 12 und 7%)
. Abbrecherrate der 9. Klasse um 20% reduziert (Ziel: 12%)
. 2005 Tracer Study: 68% der Sekundarschulabsolventen gehen zur Hochschule, 32% in den Arbeitsmarkt – beide haben
nicht die nötigen Fähigkeiten
Intermediate Objectives: Verbesserung von Qualität
und Relevanz der staatlichen Sekundarschulen, des
Zugangs zu ihnen v. a. für Mädchen und benachteiligte
Gruppen sowie der institutionellen Kapazität und des
Managements auf zentraler, Distrikt- und Schulebene
Indikatoren:
. Einschulung in untere Sekundarschule 2007: 52,9% (2003:
42,9%)
. Einschulung in Sekundarschule 2007: 55,9% (2003: 46,4%)
. Stipendien wurden nicht genug vergeben (Ziel: 60.000, 2/3
52
COWI A/S Denmark. September 2009. Joint Evaluation of the Secondary Education Support Programme Nepal, S.8-80
18
an Mädchen)
. 2009 sind 97% aller Lehrer sind qualifiziert
. Anteil von Lehrerinnen in unteren Sekundarschulen 2008/
09: 24,7%, (2007/08: 18,6%)
. Anteil von Lehrerinnen in Sekundarschulen 2008/09: 15,9%,
(2007/08: 11,5%)
. Bildungsministerium ist reorganisiert, Schulmanagementkomitees sind eingerichtet, Schulinvestitionspläne werden
realisiert
KfW El Salvador.
Berufsbildungsund Beratungszentrum CITT I und
II (1999 – 2002?)
Erfolgseinstufung: 3
Signifikanz/Relevanz: 3
Effektivtät:
3
Effizienz:
4
Oberziele: CITT I trägt zur Produktivität und Qualität im
Gewerbe und CITT II zur Deckung des Qualifizierungsund Beratungsbedarfs der Unternehmen und zu ihrer
Positionierung auf dem Weltmarkt bei
Oberzielindikatoren:
3 = ausreichend, 4 = nicht mehr
ausreichend
. ab 1996 fanden 80% der Absolventen eine adäquate Anstellung, aber die Absolventenzahl war gering und ihre Anstellung sagt noch nichts über Produktivität aus
. das Oberziel CITT II ist erreicht, wenn die Projektziele erreicht sind – es war zu ambitioniert und unkonkret formuliert
Projektziel CITT I: Qualifizierte, praxisnahe Ausbildung
von Ingenieuren und Technikern
Indikator:
. Zahl der Absolventen 2001: 87, 2005: 226 (Ziel: 400 pro Jahr)
Projektziel CITT II: Fortbildungs- und Dienstleistungsangebote zur Verbesserung der Prduktqualität
Indikatoren:
. mindestens 4 Fachkräfte arbeiten pro Fakultät
. 30% der Lehrkräfte haben 2001 eine Postgraduierten-AusBildung – da es die im Land nicht gibt, wurde der Indikator
ersetzt durch „41% sind intern und extern in ihren Spezialgebieten geschult“ - wurde erfüllt
. 86% der Studienplätze werden genutzt (Ziel 70%)
. Absolventenquote 10% (Ziel: 50% war unrealistisch) – der
alternative Indikator: 200 Absolventen verlassen jährlich die
technischen Fakultäten wird erfüllt
Die Abbrecherrate von 90% führte zur Note 4 in der Effizienz
des Vorhabens.
. jährliche Steigerung der CITT-Einnahmen um 1,5 – 2% mit einem Anteil von 20% aus Dienstleistungen
. Auslastung zu 30% durch Kundenaufträge – konnte nicht gemessen werden, da auszubildende Studenten daran mitarbeiten
21.
Die Wirkungsevaluierung von BB-Vorhaben in Lateinamerika (1992 - 2005) zeigt die Arbeitsmarktwirkungen dieser Vorhaben. Die Wirkungen variieren nach Gender, Alter und Region. In
der Dominikanischen Republik war die Möglichkeit für Männer größer, eine Arbeitsstelle mit Krankenversicherung zu bekommen. In Panama waren BB-Maßnahmen für Frauen und Menschen in
Panama City für den Übergang in Arbeit erfolgreicher. Die Gutachter stellten fest, dass sich die Teilnehmer direkt nach Kursende oft in einer schlechten Position befinden, denn die Kurse beseitigen
nicht die makroökonomischen Ursachen für Arbeitslosigkeit. Kosteneffektive Kurse verbessern die
Beschäftigungsfähigkeit der Teilnehmer. Um sie in Beschäftigung zu bringen, müssen die Kurse als
Teil einer breiteren Arbeitsmarktstrategie durch andere Programme ergänzt werden.53
53
IDB. December 2008. Pablo Ibarrarán, David Rosas Shady: Evaluating the Impact of Job Training Programs in Latin
America: Evidence from IDB funded operations, S.20-27
19
Employment Rate
Formality
Wages
Dominican
Republic
None, higher (5-6%) but not
significant in the East & Santo
Domingo
Health-insurance 9% higher for
men (43% vs 34%)
17% (marginally
significant), larger for
males under 19
Colombia
5% for women, none for men
6-7% for women; 5-9% for men
22% for women, 10% for
men
Panama
Overall not significant
1012% for women and in
Panama City
Overall not significant, probably
higher outside Panama City
Overall negligible, large
for women (38%) and in
Panama (25%)
Peru
Large, 13% (much higher for
women --20% than for men -negligible)
Large: overall 11% , 14% women,
5% men.
12 - 30%
Argentina
0% - 11%, 10-30% for
youngest (<21)
0% - 3%, 6% - 9% for youngest in
one cohort
No significant pattern
Mexico
Overall, no clear pattern; onthe-job training robust
positive effects (12-30%)
Positive effects (10-20%) since
2002
No consistent patterns, at
best small and mostly not
significant
Chile
18-22% larger for youngest
groups
15-23% larger for youngest
groups
22-25%, imprecisely
estimated
Note: employment figures show differences in percentage points vis-à-vis the comparison group, while the wages refer to
percentages differences. Significance refers to statistical confidence, significant denoting 5% and marginally significant
denoting 10%.
22.
Die Vorhaben bilateraler Geber haben folgende Wirkungen erreicht:
InWEnt „Umweltkompetenzen in der beruflichen Bildung, Maghreb“54
Relevanz: erheblich, Effizienz: gut, Nachhaltigkeit: relativ ausgeprägt, Kohärenz & Komplementarität: gut,
Gleichberechtigung der Geschlechter: Frauen sind überproportional in Umweltberufen tätig
Projektziel zur Integration von Umwelt- und Ressourcenschutz in BB-Systeme in Algerien und Tunesien beibeizutragen, ist erreicht. Indikatoren sind nicht ersichtlich.
Maßnahmeziele sind weitestgehend erreicht:
1. Entwicklung von Aus- und Weiterbildungsangeboten
Indikatoren: 5 Curricula in Algerien, 1 Curriculum in Tunesien, 30 Multiplikatoren aus beiden Ländern sind
qualifiziert
2. Das algerische Aus- und Fortbildungsangebot im Bereich Wasser/Abwasser entspricht der Nachfrage
nach qualifizierten Fachkräften, Inhalte werden zielgruppenadäquat vermittelt
Indikatoren: das Aus- und Fortbildungsangebot Wasser/Abwasser ist erarbeitet , Ausbilder/innen haben
aktualisierte technische und methodische Kompetenzen, 500 Absolventen sind qualifiziert, ihre
Integration in den Arbeitsmarkt wird durch relevante Institutionen unterstützt
3. Zusammenarbeit der Wirtschaft im Rahmen von PPP ist in Algerien sehr gut, in Tunesien nicht
Indikatoren: das Ausbildungszentrum von Cosider ist auch für Zulieferfirmen zugänglich, 15 Ausbilder sind
qualifiziert, keine PPP in Tunesien erreicht
4. Länderübergreifende Kooperation Algerien – Tunesien nur bedingt erreicht
Indikatoren: Erfahrungsaustausch zwischen Partnerinstitutionen, Kurzzeiteinsatz eines tunesischen Solarenergieexperten in Algerien
55
ILO’s Decent Work Country Programme for Indonesia 2006 - 2009
40 Projekte wurden mit 3 prioritären Zielen durchgeführt: Stopp der Ausbeutung in der Arbeit, Beschäftigungsschaffung v. a. für Jugendliche und sozialer Dialog für Wirtschaftswachstum und Arbeitsprinzipien und
-rechte.
Outcome 1: Fortschritte bei der Umsetzung des Nationalen Plans gegen schlimmste Formen der Kinderarbeit
Indikator: . Senkung des Anteils der Kinderarbeit - keine Daten
. Stakeholder wenden Instrumente des Nationalen Plans an
54
J.W. Fromme. 08/2009. Abschlussevaluierung. Umweltkompetenzen in der beruflichen Bildung, Maghreb, 2007 – 2009,
S. 4, 29-34
55
M. Hendricks, C.Russon, L. Cattleya: Independent Evaluation of the ILO’s Decent Work Country Programme for Indo
Nesia 2006-2009. October 2009 S.
20
Outcome 2: Verbessertes Management der Arbeitsmigration zum Schutz der indonesischen Migranten
Indikator: . Gesetze und/oder Politik zu Menschenrechten und Arbeitsschutz der Migranten entwickelt –
noch nicht, Nationale Migranten-Vermittlungs- und Schutzagentur arbeitet
. Stakeholder nutzen das ILO Multilateral Framework on Labour Migration - aber es sind noch
nicht genug Arbeitsattachés für Botschaften ausgebildet
Outcome 3: Politik und Programme für Jugendbeschäftigung
Indikator: . mindestens 3 Sektor- oder Regionalpolitiken beinhalten Jugendbeschäftigung und Decent Work
Indikatoren
Outcome 4: Umsetzung arbeitsintensiver Programme in Krisengebieten
Indikator: . das Nationale Gemeindeentwicklungsprogramme anerkennt den ILO-Beitrag,
10 Distrikte wenden ILO-Instrumente in ländlichen Entwicklungsprogrammen an – erst 5
. Schlüsselpartner wenden integrierte Beschäftigungsstrategien in der lokalen Entwicklung an
Outcome 5: Bildung und BB bereiten die Jugendlichen auf Beschäftigung und Existenzgründung vor
Indikator: . Jugendliche erhalten Existenzgründungstraining und Arbeitsmarktinformationen – noch nicht
. mindestens 10 BB-Zentren haben CBT-Kurse – noch nicht, aber 61 Ausbilder sind trainiert
Outcome 6: Anwendung der Arbeitsgesetze in Übereinstimmung mit fundamentalen Arbeitsprinzipien und
-rechten
Indikator: . Fortschritte in Arbeitsgesetzreform
. Maßnahmen zur Verbesserung des Arbeitsverwaltungssystems – keine Daten
Outcome 7: Arbeitgeber und Gewerkschaften erreichen Arbeitsmarktflexibilität und Arbeitsplatzsicherheit
Indikator: . Arbeitgeber und Arbeitnehmerorganisationen bieten den Mitgliedern bessere Dienstleistungen –
keine Daten
. Konsens und Regelungen über Arbeitsmarktflexibilität und Arbeitsplatzsicherheit – noch nicht
JICA Second Human Resources Development Sector Investment, Jordan 1997 – 200556
Relevanz: hoch, Effizienz: mäßig (da Verlängerung um 3 Jahre und kein voller Mittelabfluß), Effektivität:
mäßig, Wirkung: erreicht
Objective: Ausweitung der BB-Kapazitäten an comprehensive schools, community colleges, vocational
training centers, um damit zur industriellen Entwicklung des Landes beizutragen
Indikatoren: . 81 Schulen werden unterstützt, darunter Neubauten
. Zugang zu vocational secondary education ist rückläufig, die Schulen sind nicht ausgelastet
. 55% beenden die Ausbildungen
. Beschäftigungsrate 60% im Hotelsektor, 10% im Holzbereich
. steigender Zugang zu community colleges: 2007/08 = 6.098 Studenten (2003/04 = 4.145)
DEZA Skills Development Project – SPD, Uzbekistan 2004 - 2007 57
Relevanz: hoch, Effektivität: gut, Effizienz: gut, Nachhaltigkeit: ja
Erreichte Ergebnisse:
1. Entwicklung von beschäftigungsrelevanten Standards und Trainingsmaterial
Indikatoren: . 2 neue Curricula
. Praktikumsprogramm wird durchgeführt
. Lehr- und Prüfungsmaterialien sind entwickelt
. 250 Jugendliche wurden ausgebildet
2. Lehrertraining
Indikatoren: . 11 Trainingskurse für 31 Lehrer
3. Training von Schulmanagern
Indikatoren: . 4 Kurse zu Partnerschaften mit Unternehmen, effektivem Schulmanagement, M&E
. Kooperationsinstrumente für BB-Einrichtungen und Unternehmen entwickelt
4. Verbreitung der Ergebnisse
Indikatoren: . Regionalkonferenz, Workshops
. Verteilung von Lehrmaterial, Studien, Regelungen
56
JICA. 2008. Hiromitsu Muta, Ryo Sasaki: Second Human Resources Sector Investment, Jordan. Siehe Anlage 8: JICA’s
new rating system (25 criteria evaluation method), towards system improvement.
57
DEZA. 28.6. 2007. Sabine Kaufmann, Murod Mirsaidov, Peter Stricker: External Review of the Skills Development
Project – SFP, Uzbekistan, S. 2-3
21
Diakonia Sweden, Save the Children, CARE “Promotion of Employment through Training, Somalia” 2005 - 200858
Relevanz: sehr hoch, Effizienz: zufriedenstellend, Effektivität: hoch zufriedenstellend, Nachhaltigkeit: zufriedenstellend, Impact: hoch zufriedenstellend
Indikatoren: . 4.598 Jugendliche sind ausgebildet, davon 48% Frauen (Ziel 40%)
. 4% Abbrecherrate
. 3.436 Auszubildende (40,2% Frauen) erhielten Beschäftigungsförderungsmaßnahmen
. Beschäftigungsrate in Somaliland 72%, in Puntland 70% (Ziel 75%)
. 98% der angestellten oder selbstbeschäftigten Absolventen wenden die erworbenen Fähigkeiten an
. 5 BB-Zentren wurden renoviert
. Curricula und Lehrmaterial für neue Beschäftigungen wurden entwickelt
. BB-Managementkapazitäten wurden entwickelt
. lokale Ownership ist entstanden
. eine BB-Politik wurde angenommen
. die neue Abteilung für Beschäftigungsförderung des Bildungsministeriums hat sich verpflichtet, Lehrergehälter weiter zu zahlen
. die sozioökonomische Position der Frauen, ihr Selbstbewusstsein und ihre soziale Lage sind
verbessert
Die Aussagen zum Erfüllungsstand wurden auf die DAC-Kriterien, nicht auf die Elemente der Wirkungskette
bezogen.
23.
Unterschiedliche Wirkungskettenlogiken und Darstellungsweisen der Evaluierungsergebnisse lassen Vergleiche entlang der Kette kaum zu. Gleiche Wirkungen der BBZ werden mal der Kategorie direkte Wirkung (Outcome) und mal der indirekten Wirkung (Impact) zugeordnet. Das Bildungspolitikkomitee der OECD nennt z. B. als Indikatoren der direkten Wirkung die Verringerung
Arbeitslosigkeit unter den BB-Absolventen und deren gestiegene Einkommen und Produktivtät.59
Beide Indikatoren wären nach deutschem Verständnis Ausdruck der indirekten Wirkung.
Die Nutzung der erbrachten Leistungen widerspiegelt sich nicht in den Evaluierungsdokumenten.
Dieses für die Kapazitätsbildung wichtige Element ist auch nicht in den international genutzten Wirkungsketten enthalten.
24.
Unabhängig davon, ob direkte oder indirekte Wirkungen zu messen sind, werden die folgenden Indikatoren in der BBZ genutzt:
Zahl der aus-/weitergebildeten Personen der Zielgruppe, der BB-Lehr- und Fachkräfte für Systemleitung, Curriculumerarbeitung Qualitätssicherung zum Teil untergliedert nach Geschlecht, Regionen,
Ethnien, Zahl der Abbrecher, Zahl der Absolventen mit und ohne Zeugnis, das offiziell anerkannt
oder nicht anerkannt sein kann, Vermittlungsraten von Absolventen 6 und 12 Monate nach Kursende, Zahl von Existenzgründungen, Prozentsatz beschäftigter Absolventen, die in der erlernten Beschäftigung tätig sind, Qualität der Beschäftigung (mit befristetem oder unbefristetem Vertrag, im
formellen oder informellen Sektor, in zukunftsträchtigen Bereichen oder nicht, mit Sozialversicherung oder nicht, bezahltem Urlaub oder nicht, Aufstiegsmöglichkeiten oder nicht), Zufriedenheitsgrad der Unternehmen mit den eingestellten Absolventen, Lohn der Absolventen im Vergleich zum
Durchschnittslohn in der Region, Zahl neuer und überarbeiteter (offiziell bestätigter) Curricula und
Lehr- und Prüfungsmaterialien, Zahl neuer oder modernisierter BB-Einrichtungen einschließlich
ihrer Kapazität nach Ausbildungsgängen und Zahl der Auszubildenden, Verhältnis Lehrer : Auszubildende, Verhältnis Theorie : Praxis in der BB, Reorganisationsmaßnahmen in der zentralen und lokalen BB-Leitung, Zahl entwickelter Beziehungen von BB-Einrichtungen mit Unternehmen, Zahl neuer
oder modernisierter BB-Einrichtungen, Zahl von BB-Einrichtungen mit Entwicklungs- und War58
EU. (02/2009). Morris W. Mathenge, Abdi Osman Abdillahi: The European Union’s 9th EDF programme for Somalia.
Promotion of Employment through Training. Terminal Evaluation Report p. 6-64
59
OECD. 2008. Simon Field: Policy Appraisal and Evaluation for Vocational Education and Training (VET) Policy, p. 4
22
tungsplänen sowie partizipativen Leitungsstrukturen, Auslastungsgrad der BB-Einrichtungen, Einheitskosten der Ausbildung, Anteil privater BB-Anbieter an der BB-Kapazität, Teilnehmerzahlen an
Vorbereitungskursen für Existenzgründung, Zahl von Berufsberatungs- und Arbeitsvermittlungseinrichtungen, Zahl von BB-Bedarfserhebungen, Zahl gesetzlicher Regelungen.
5. Erfolgs- und Mißerfolgsfaktoren, wiederkehrende Empfehlungen
25.
Hohe Wirkungen zu erreichen, setzt die Kenntnis von Erfolgs- bzw. Mißerfolgsfaktoren in
der EZ voraus. Norad nennt im EZ-Handbuch als wichtigste Faktoren für Nachhaltigkeit: Politik und
Rahmenbedingungen des Partnerlandes, soziokulturelle und Genderbedingungen, ökonomische
und finanzielle, institutionelle und organisatorische Bedingungen, Umweltbedingungen, fachliche
und technologische Eignung der Interventionen.60 Das Evaluationshandbuch von Sida nennt sehr
ähnliche Faktoren: Übereinstimmung mit den Prioritäten des Partnerlandes, ownership, gut geleitete nationale Institutionen, den ökonomischen, Bildungs- und kulturellen Bedingungen angepasste
Technologie, finanzielle Ressourcen zur Aufrechterhaltung der Wirkungen, nachhaltige Nutzung von
Naturressourcen. Der Schlüsselfaktor für Nachhaltigkeit ist die Governance des Partnerlandes. ExitStrategien, die die Projektdauer, Ausgangspunkte und einen Nachhaltigkeitsplan enthalten, sollen
nachhaltige Entwicklungen von Beginn an verstärken.61 AusAid präzisierte für den Bildungsbereich,
dass effektive Zusammenarbeit vom institutionellen Rahmen für die Beziehungen mit der Partnerregierung und anderen Gebern bestimmt wird. Bildungsvorhaben müssen die starke Interdependenz in diesem Bereich beachten und im Interesse hoher Wirkungen nationale Bildungspolitik und systeme beeinflussen62.
26.
In den Evaluierungsdokumenten wurden folgende Erfolgsfaktoren genannt: Verantwortlichkeit (ownership) der Regierung und der lokalen Akteure des Partnerlandes, Reformbereitschaft
und Engagement der Akteure in den Partnerinstitutionen, personelle Stabilität und Durchsetzungsfähigkeit der Entscheidungsebene, adäquates Budget und qualifiziertes Personal der Partnerorganisationen. Die Faktoren Qualität der Vorhabensvorbereitung, Flexibilität und Dynamik des Programm-Managements, Dialog mit allen Beteiligten und anderen Gebern, klare Ziele der Kapazitätsentwicklung und Auswahl geeigneter Maßnahmen liegen weitgehend im Aktionsbereich des Gebers. Negativ wirkende Faktoren sind Abwehrhaltungen des Partnerpersonals gegenüber Veränderungen, fehlende Expertise für neue BB-Entwicklungen und komplexe Evaluierungen, schwache
Berufsorganisationen, unklare Rollen und Mandate der beteiligten Institutionen.
27.
Die Empfehlungen der Gutachter bezogen sich v. a. auf Kapazitäts- und Institutionenentwicklung und die Schaffung von Rahmenbedingungen. Zum Teil wurden Empfehlungen für künftige
Interventionen gegeben. Zur Kapazitäts- und Institutionenentwicklung wurde beispielsweise empfohlen, BB-Arbeitsgruppen für die Bereiche Umwelt, Wasser, Energie zu bilden, im BB-Ministerium
dafür eine Kontaktstelle zu den Fachministerien einzurichten (InWEnt-Vorhaben), die BB- und Beschäftigungsförderungsabteilungen des somalischen Bildungs- und Arbeitsministeriums zu stärken
oder eine BB-Agentur zu gründen, die Managementkapazität der lokalen Partner zu verbessern
(Diakonia Somalia), Kapazitätsentwicklungspläne für das Bildungsministerium und Schulmanagementkomitees zu erarbeiten, Lehrerbildung zu verbessern und mehr Lehrerinnen auszubilden (ADB
Danida Nepal).
Vorschläge zur Verbesserung der Rahmenbedingungen betrafen u. a. die Erarbeitung einer BBStrategie, die finanzielle und personelle Absicherung der BB-Zentren (JICA Afghanistan), die Überprüfung der BB-Politik (JICA Jordanien), die Erarbeitung nachhaltiger Finanzierungssysteme, die
Einführung eines Qualifikationsrahmens (Diakonia Somalia), die Erarbeitung eines Aktionsplans für
das 2004 neu gebildete Ministerium für Arbeit und Berufsbildung in Kambodscha, das die Verant60
Norad 2006. Development Cooperation Manual, S. 42-43. Dort sind auch die Unterkriterien zu finden.
Sida (2007), Stefan Molund, Göran Schill: Looking back, moving forward, Sida Evaluation Manual, S. 38-39
62
AusAid (2007): Better education. A Policy for Australian Development Assistance in Education, S. 34, 21
61
23
wortung für die BB übernehmen muss63, die bessere Regelung von öffentlich-privaten-Partnerschaften in der BB (ADB Kambodscha), die Stärkung der Zusammenarbeit mit Kommunen und
kommunalen Organisationen (ACE Europe 4 Länder).
Im Hinblick auf künftig Interventionen wird empfohlen, gute Erfahrungen zu verbreiten, Informationen über lokale Wirtschaftsentwicklungen und Zugang zu Mikrofinanzen zu sichern, den Qualifikationsbedarf von Kleinbetrieben zu decken, flankierende Maßnahmen für benachteiligte Zielgruppen
zu ergreifen und den soziokulturellen Kontext z.B. bei der Auswahl des Lehrpersonals, der Sprache
der Curricula und Lehrmaterialien stärker zu beachten.
28.
Die von der ADB genannten Erfolgsfaktoren für Kapazitätsentwicklung: klare Ziele der Kapazitätsentwicklung, Identifizierung und Milderung von Risiken in- und außerhalb der Kontrolle durch
ADB, langfristiges Engagement, geeigneter Modalitäten-Mix, Beteiligung der Partnerorgane, Fähigkeiten des Personals, höherer Zeiteinsatz für technische Zusammenarbeit und Projektmonitoring,
flexible Durchführungsprozesse sind auch für die BBZ relevant.64
29.
Die Lehren der WB aus der Evaluierung der BB-Vorhaben in den 90er Jahren haben ihre
Gültigkeit nicht verloren:
• Die Projektfindung muss eine ökonomische Analyse einschließlich des mittelfristigen Qualifikationsbedarfs und der Auswirkungen der BB-Reform auf die Effizienz des Arbeitsmarkts
und der Wirtschaft beinhalten.
• BB-Einrichtungen müssen Management- und Finanzverantwortung erhalten, um den Arbeitsmarktbedarf besser zu befriedigen. Ein kohärenter Koordinierungsrahmen und gute
Koordinierungspraktiken zwischen beteiligten Ministerien und Institutionen und den Vorhaben sind wichtig.
• Enge Beziehungen zwischen dem Privatsektor und den Bildungseinrichtungen führen zu
kosteneffektiver arbeitsmarktorientierter BB.
• Reguläre Abstimmungen sichern eine breite Beteiligung.
• BB-Fonds bewirken eine stärkere Ausrichtung auf die Arbeitsmarktnachfrage und die Einbeziehung privater BB-Anbieter, erfordern aber starke Verwaltungsstrukturen und Einigung
über Ziele und Wirkungen des Fonds.
• Projekte im informellen Bereich hatten einigen Erfolg, aber es ist unklar, ob sie kosteneffektiv und nachhaltig waren.
• M&E war in den meisten Vorhaben sehr schwach. M&E-Systeme mit der Nutzung quantitativer und qualitativer Methoden müssen aufgebaut werden.65
30.
DANIDAs Folgestudie zur Evaluierung der dänischen Berufsbildungsprojekte66 im Zeitraum
2002 – 2006 kam zum Schluss, dass Berufsbildung als extrem komplexer Sektor Unterstützung über
lange Dauer erfordert. Die aufgestellten Prinzipien sind nicht nur für die dänische BBZ von Belang:
1. Unterstützung von Systemreform und Institutionenentwicklung, 2. stärkere Orientierung auf den
informellen Sektor, 3. Unterstützung nachfrageorientierter BB-Systeme, 4. Einbeziehung privater
BB-Anbieter, 5. Konzipierung von BB-Aktivitäten als Teil breiterer Kapazitätsanstrengungen.
63
In der einzigartigen “Management response on the Project Performance Audit Report on the Basic Skills Project in Cam
bodia” 10.2005 wurde zugesichert, dass ein anderes ADB-Vorhaben das unterstützen wird.
64
ADB. February 2008. Effectiveness of ADB’s Capacity Development Assistance. How to Get Institutions Right, S. 8
65
WB (2002), S. Canagarajah, A. Dar, R. Nording, D. Raju: Social Protection Discussion Paper Series No. 0222, Effectiveness of Lending for Vocational Education and Training: Lesson from World Bank Experience, S. 9, 32-35
66
DANIDA. Development Associates A/S. October 2007. Follow-Up Study. Evaluation of Danish Assistance to Vocational Education and Training (2002/5) p. 6-8, 15-16, 26
24
6. Typische Berufsbildungsinterventionen
31.
Die Entwicklung hin zu komplexen Interventionen im BB-Bereich ist offensichtlich. Investitionen in Humanressourcen werden mit dem entwicklungspolitischen Ziel getätigt, zur Armutssenkung und Stärkung der Position des jeweiligen Landes in der Weltwirtschaft beizutragen. Die Gebergemeinschaft ist darauf konzentriert, vor allem benachteiligten Gruppen Zugang zu einem nachfragebestimmten, leistungsfähigen BB-System zu sichern und ihren Übergang in Beschäftigung zu
unterstützen.
Die Interventionen können in drei Gruppen eingeteilt werden. Eine Gruppe zielt in der direkten
Wirkung auf Beschäftigungsfähigkeit der Zielgruppe und sieht in Beschäftigung oder Selbstbeschäftigung eine indirekte Wirkung. In den dargestellten Beispielen betrifft das die thematische Orientierung der DEZA „Beschäftigung und Einkommen“ 2009 - 2012, das CBT-Projekt im Senegal, das ADBProjekt in Bangladesch, den Bildungsentwicklungsbericht der Niederlande 2005 – 2006, das ADB
und DANIDA-Projekt in Nepal.
Eine zweite Gruppe, zu der vor allem Vorhaben von Entwicklungsbanken zählen, strebt in der direkten Wirkung die abhängige und unabhängige Beschäftigung der aus- und weitergebildeten Personen an. Beispiele dafür sind das WB-Vorhaben in Honduras und die IDB-Programme in Lateinamerika.
Eine dritte Gruppe will zur Reform der BB-Systeme beitragen und nutzt dabei die Beschäftigungsrate als Indikator der direkten Wirkung: KfW-Projekt in El Salvador, das InWEnt-Vorhaben Maghreb,
das WB-Projekt in Tunesien, das ADB-DANIDA-Projekt in Nepal, das BB-Vorhaben innerhalb ILO‘s
Decent Work Country Programme for Indonesia, das CIDA-Vorhaben in Algerien, das JICA-Projekt in
Afghanistan und das in Jordanien, das DEZA-Vorhaben in Usbekistan.
Das von Save the Children, Diakonia Sweden und CARE durchgeführte Vorhaben in Somalia und die
von den holländischen Organisationen ICCO, Woord en Daad und Edukans in vielen Ländern durchgeführten Vorhaben konzentrieren sich darauf, benachteiligten Gruppen Zugang zu arbeitsmarktkonformer Berufsbildung zu geben. Die Beschäftigungsrate ist für sie ein wichtiger Indikator. Das
Vorhaben in Somalia enthielt bereits Aspekte zur BB-Systementwicklung.
32.
Typische Maßnahmen in allen systemgestaltenden Programmen umfassen die Verbesserung der Relevanz und Qualität des BB-Angebots sowie die Erweiterung des Zugangs zur BB indem
. nationale Qualifikationsrahmen eingeführt werden, die Qualifikationsstufen, Berufsstandards,
Curricula- und Prüfungsanforderungen in Zusammenarbeit mit dem Privatsektor definieren,
. Organisations- und Leitungsstrukturen des BB-Systems von zentraler bis lokaler Ebene geklärt und
Mechanismen zum Interessenausgleich der verschiedenen Beteiligten entwickelt werden,
. zur Sicherung anhaltender Übereinstimmung von BB-Angebot und Nachfrage Beziehungen zum
aufzubauenden Arbeitsmarktinformationssystem entwickelt und Kapazitäten im BB-Sektor zur
Nutzung dieser Informationen gestärkt werden,
. partnerschaftliche Beziehungen zu Unternehmen aufgenommen werden, um dort Praktika bzw.
größere reguläre Ausbildungsanteile durchzuführen,
. Arbeitsmarktdienstleistungen zur Berufsorientierung und Vermittlung entweder selbst im BBSektor initiiert oder bei anderen Einrichtungen auf lokaler und Provinzebene gefördert werden,
. Systeme zur Aus- und Weiterbildung sowie Zertifizierung von Lehrpersonal verbessert werden,
. Qualifizierung des Lehr- und Leitungspersonals durchgeführt wird,
. bedarfsgerechte, pädagogisch gut aufbereitete Programme in adäquat ausgestatteten BB-Einrichtungen gefördert werden,
. Zahl und Struktur der BB-Einrichtungen erweitert wird, auch durch Einbeziehung privater Anbieter
. BB-Angebote für besondere Zielgruppen (Menschen in Grenzregionen, entlegenen ländlichen
Gebieten, interne Flüchtlinge, Angehörige von Minderheiten, arbeitslose Jugendliche, Frauen,
Menschen mit geringen Bildungsvoraussetzungen, Behinderte usw.) entwickelt werden,
25
. Qualitätssicherungssysteme und effektive Monitoring- und Evaluationssysteme organisiert werden,
. nachhaltige Finanzierungssysteme eingeführt werden.
33.
Die meisten Vorhaben betrafen nur einzelne systemgestaltende Aufgaben. Zentrale Ergebnisse waren Entwicklungen von Kompetenzstandards, Curricula- und Lehrmaterial, Lehrerbildung,
Qualifizierung des Managements der BB-Einrichtungen, Zusammenarbeit mit Unternehmen und die
Ausweitung von Kurzkursen. Am wichtigsten für künftige Vorhaben ist die Erkenntnis, dass vorrangig Kapazitätsentwicklung unter Beachtung der Komplextät der BB betrieben werden muss. Das
heißt, bei jeder Teilaufgabe zumindest die direkt anzuschließende oder vorausgehende Aufgabe
und ihre Verbesserungserfordernisse zu identifizierenden und in Angriff zu nehmen. Z. B. hat die
Qualifizierung von Lehrpersonal nur dann nachhaltige Wirkungen, wenn Arbeitsbedingungen, Entlohnung, Karrieremöglichkeiten, soziale Stellung usw. den Verbleib im BB-Sektor begünstigen. Im
Prinzip ist jedes der gefundenen Ergebnisse auf ein anderes Land übertragbar, denn alle Entwicklungen sind relevant. Übertragung ist aber stets als Anpassung an die konkreten wirtschaftlichen,
rechtlichen, soziokulturellen, organisatorischen Verhältnisse und als Einordnung in das bestehende
mehr oder weniger entwickelte BB-System zu verstehen.
7. Ausblick
34.
Bei weiter wachsendem Legitimationsdruck und starkem Interesse der EZ-Akteure an höheren nachweisbaren Wirkungen müssen Wirkungsmonitoring und -evaluation zum integralen Bestandteil der Vorhaben werden. Das Gutachten zur Evaluation in der deutschen EZ kommt zum
Schluss, dass u.a. komplexere Evaluationsdesigns und -methoden, stärkere nationale und internationale Vernetzung der evaluationsverantwortlichen Institutionen sowie verstärkte Integration und
Verantwortlichkeit (Ownership) der Partner für Evaluationsplanung und -durchführung notwendig
sind67, aber trotzdem der Bedarf nach schlanken, „real time/quick response“ Evaluationen fortbestehen wird. Andere Geber praktizieren schon seit längerem Themenevaluierung (DANIDA-BBZ im
Zeitraum 1994 – 2000 und 2002 – 2005) oder haben sie begonnen.
Die 2009 von der Weltbank ergriffene Development Impact Evaluation Initiative (DIME) soll die Zahl
von Projekten mit Wirkungsevaluationskomponenten erhöhen, die Evaluationsfähigkeiten des Personals verbessern und einen systematischen Lernprozess anhand von Evaluationsergebnissen initiieren. DIME sieht Cluster vor, d.h. Gruppen von Wirkungsevaluationen zu bestimmten kritischen
Themen, die koordiniert in verschiedenen Ländern durchgeführt werden. Bildung und Beschäftigung für Jugendliche gehören zu diesen Themen68. Aus dem größten, von Spanien 2007 initiierten
Fonds innerhalb der Weltbank, dem Spanish Trust Fund for Impact Evaluation (SIEF), wurden 2008
und 2009 9 regionale Workshops organisiert, auf denen Wirkungsevaluationen im Bereich Humanentwicklung beraten wurden.
Professionalisierung der Wirkungsevaluation ist Voraussetzung und gleichzeitig Ergebnis einer stärkeren internationalen Vernetzung und Harmonisierung, wie sie auch von CIDA angesichts der Zunahme der EZ-Akteure auf 225 bilaterale und 242 multilaterale Organisationen befürwortet wird69.
Die Studie des Overseas Development Institute zur Verbesserung der Koordinierung von Wirkungsevaluationen schlägt vor, gemeinsame Prioritäten zu setzen, M&E-Politiken abzustimmen, Informationen z. B. Baselines auszutauschen, Communities of practice, Partnerschaften mit den Durchführungsorganisationen der Partnerländer zu bilden und dort Exzellenzzentren für Wirkungsevaluation
67
Axel Borrmann, Reinhard Stockmann: Evaluation in der deutschen Entwicklungszusammenarbeit, Band 1, S. 18, 40
http://web.worldbank.org/WBSITE/EXTERNAL/EXTDEC/EXTDEVIMPEVAINI/0,,menuPK:399821~pagePK:64168
427~piPK:64168435~theSITEPK:3998212,00.html
69
CIDA: 2008-2009 Rapport Ministériel sur le Rendement, S. 10
68
26
zu unterstützen70. DFID bekennt sich in seiner Evaluationspolitik zur Unterstützung des Aufbaus
statistischer Kapazitäten in den Entwicklungsländern71.
35.
Wirkungsketten, gestützt auf Wirkungshypothesen und versehen mit zutreffenden Indikatoren des Typs SMART (specific, measurable, achievable, realistic, timebound), sind ein weiterzuentwickelndes Grundelement von Wirkungsmonitoring und -evaluation. Die Autorinnen der Studie
„Wirkungsevaluierungen“ sehen die Schwierigkeit, detaillierte Ursache-Wirkungs-Hypothesen zu
erarbeiten und die Notwendigkeit, die Beteiligten in den Partnerländern einzubeziehen72. Borrmann und Stockmann vermuten, dass sich der Ansatz für Wirkungsanalysen in der Zukunft vor allem durch die Ableitung von vermuteten Ursache-Wirkungsbeziehungen und ihrer adäquaten empirischen Überprüfung auszeichnen wird73. Wie sollte das für die deutsche BBZ erfolgen? Wäre die
wissenschaftliche Begleitung ausgewählter Vorhaben zur Überprüfung der Wirkungskette hinsichtlich der vermuteten Ursache-Wirkungs-Zusammenhänge ein gangbarer Weg? Damit ist die Frage
nach geeigneten Indikatoren verbunden, und die Aufgabe, sich international über eine kleine Zahl
von Schlüsselindikatoren zu verständigen74. Im Prinzip werden in allen BB-Vorhaben gleiche Indikatoren verwendet, aber nur zum geringeren Teil mit der Beachtung des Kontrafaktischen. Es gibt
noch keine Einigung über die geeignetsten Indikatoren für die direkte Wirkung der BBZ.
WB und IDB nutzen die Indikatoren Beschäftigungsrate, Lohnentwicklung, Qualität der Arbeitsstelle
gemessen daran, ob sie mit Krankenversicherung oder nicht verbunden ist oder ob es sich um Arbeit im formellen oder informellen Sektor handelt. Dafür sind zuverlässige Messungsverfahren zu
entwickeln. In allen BB-Vorhaben wird Lehrpersonal qualifiziert. In der Evaluierung von JICAs Bildungsvorhaben in den Philippinen wird darauf hingewiesen, dass eine objektive Wirkungsmessung
von Lehrertraining schwierig ist75. Die Gutachter des USAID-Programms „Büro für Übergangsinitiativen, Sierra Leone“ betonen, dass Verhaltensänderungen von Jugendlichen und Gesellschaft zur
Reintegration von Ex-Soldaten schwierig zu messen und Selbstauskünfte kein wirklicher Beweis
sind, dass Langzeitstudien nötig sind 76.
36.
Das Komitee für Bildungspolitik der OECD hat folgende Indikatoren für die Intermediate
outcomes, die zu den Wirkungen führen, vorgeschlagen77:
. Kenntnis der Auszubildenden, BB-Verantwortlichen und -Anbietern über Arbeitsmarkterfordernisse
. Unternehmerzufriedenheit und Rentabilität
. wachsende Nutzung spezifischer erworbener Kompetenzen in der Arbeit.
für die Messung der Wirkung (outcome indicators):
. Verringerung der Arbeitslosigkeit unter den BB-Absolventen
. anwachsender Lohn und Produktivität der Absolventen
. Arbeitsmarktindikatoren, die ausdrücken, dass BB quantitativ und in der Struktur dem Bedarf
entspricht
. arbeitsplatzrelevante Kompetenzen, gemessen an der Leichtigkeit, eine Arbeitsstelle zu erhalten
. Qualität der Beschäftigung, zum Teil ausgedrückt im Lohnniveau
. langfristige Beschäftigungsfähigkeit, gemessen an der Beschäftigungsrate nach 5 – 10 Jahren
und als Kosten- und Effizienzindikatoren :
. Kosten der verschiedenen Beteiligten an den Ausbildungsprogrammen
. Stimuli für effektiven Ressourceneinsatz, z. B. effiziente Kostenteilung
70
ODI, N. Jones, C. Wash, H. Jones, C. Tincati: Improving impact evaluation coordination and uptake. A scoping study
commissioned by the DFID Evaluation Department on behalf of NONIE, S. 36
71
DFID (06/ 2009): Building the Evidence to reduce Poverty. The UK’s policy on evaluation for internat. development,
S.38
72
A. Caspari, R. Barbu: Wirkungsevaluierungen, S. 32
73
A. Borrmann, R. Stockmann (2009): Evaluation in der deutschen Entwicklungszusammenarbeit, S. 52
74
ITC ILO SDC, Jim Tanburn: The 2008 Reader on Private Sector Development. Measuring and Reporting Results, S. III
75
Evaluation Study on Japan’s ODA to the Education Sector in the Philippines, Summary, FY2005, S.17
76
USAID. August 2002. Art Hansen, Julie Nenon, Joy Wolf, Marc Sommers: Final Evaluation of t he office of Transition
Initiatives Program in Sierra Leone, S. 67
77
OECD, Education Policy Committee, Simon Field: Policy Appraisal and Evaluation for Vocational Education and Training (VET) Policy, 14-Apr-2008, S. 4-6
27
. Abbrecherrate.
Neben anspruchsvollen methodischen Aufgaben sind auch solche der stärkeren Beachtung des
soziokulturellen Umfelds und der praktischen Datenerfassung bei der Auswahl der Indikatoren zu
lösen78.
37.
Die Frage, worin die direkte Wirkung besteht – in der Entwicklung der Beschäftigungsfähigkeit oder in der Erreichung von Arbeitsplätzen mit guter Qualität und Entlohnung bzw. in der Gründung einer eigenen Existenz – ist noch offen. Die Antwort scheint in Richtung Beschäftigung zu tendieren. Die Gutachter der IDB-Berufsbildungsvorhaben in Lateinamerika konstatieren, dass der
Erfolg der Maßnahmen vom makroökonomischen Kontext bestimmt wird und dass BB-Programme
als Teil einer umfassenderen Arbeitsmarktstrategie durch andere Programme komplettiert werden
müssen79. DANIDA leitete aus der Evaluierung seiner Vorhaben das Prinzip ab, dass Berufsbildungsaktivitäten Teil breiterer Kapazitätsentwicklungsanstrengungen sein müssen. Deshalb sollten BBVorhaben nicht mehr separat durchgeführt werden, sondern im Rahmen von Unternehmens-, Bildungs-, Landwirtschafts- oder anderen Sektorförderungsprogrammen.80 Die folgende Darstellung
zur Schweizer Entwicklungsvision im Bereich „Beschäftigung und Einkommen“ tendiert auch dazu,
die Grenzen der BBZ zu erweitern:81
Die Zahl der Indikatoren und die Messungsmethoden stehen im engen Zusammenhang mit
den dadurch verursachten Kosten. Borrmann und Stockmann stellen fest, dass Evaluierungssysteme
unterfinanziert erscheinen82. Tanburn erklärt das damit, dass Kosten der Wirkungsmessung oft als
Overheads klassifiziert werden und möglichst zu minimieren sind83. Während Borrmann und
Stockmann 1% des Jahresbudgets vorschlagen, will DFID für seine größten Vorhaben 1 – 5% der
Programmkosten einsetzen und bis 2013 50 – 75% der bilateralen Vorhaben „high quality evaluations“ unterwerfen.84 Die Spanische Kooperation gibt 2 – 3% des Budgets für Wirkungsmonitoring
38.
78
Gute Hinweise gibt: Cedefop Panorama series 146. 2007. Indicateurs de qualité dans l’enseignement et la formation
professionnels afin de renforcer la coopération européenne
79
Pablo Ibarrarán, David Rosas Shady: Evaluating the Impact of Job Training Programs in Latin America: Evidence from
IDB funded operations, December 2008, S. 32
80
DANIDA. Development Associates A/S: Follow-Up Study Evaluation of Danish Assistance to Vocational Education and
Training (2002/5), S.7-8
81
SDC. Theme “Employment and Income”: SDC’s Medium Term Orientation 2009 – 2012, S. 2
82
A. Borrmann, R. Stockmann, ebenda S. 21
83
ITC ILO SDC, Jim Tanburn, ebenda, S. 1
84
DFID. 2009.Building the evidence to reduce poverty, S. 32
28
und 3 – 5% für Wirkungsevaluation an85. Die 2009 gegründete International Initiaive for Impact
Evaluation (3ie) will Zuschüsse in Höhe von 15.000 – 60.000 US$ für kurze Wirkungsstudien und 0,5
– 1 Million US$ für Impact-Analysen ausgeben.86
Angaben zu Evaluationskosten sind in den Berichten sehr selten. Im WB-Vorhaben „My First
Employment“ in Honduras beliefen sie sich auf 250.000 US$ (Baseline Studie 115.000, Einschreibungsprozess 30.000, nachfolgende Datenerfassung 80.000, Datenanalyse 15.000).87 In der Überprüfung von WB-Evaluierungen in 25 Jahren waren Kosten zwischen 36.000 und 252.000 US$ gefunden worden.88Die Weltbank hatte 2004 sehr hohe Kosten für die verschiedenen Modelle des
Wirkungs-monitoring publiziert89:
1. Randomized pre-test post-test evaluation
2. Quasi-experimental design with before and after comparisons
of project and control populations
3. Ex-post comparison of project and non-equivalent control group
4. Rapid assessment ex-post impact evaluations
50.000 – 1 Mio. US$
50.000 – 1 Mio. US$
ab 50.000 US$
ab 25.000 US$
Die IDB weist geringere Kosten aus, im Durchschnitt 43.000 US$ pro Vorhaben90 und erreicht das
durch die gleichzeitige Durchführung mehrerer Evaluationen durch lokale Gutachter und geringe
Sammlung von Primärdaten.
In 3 Vorhaben war die Dauer der Evaluierung angegeben: InWEnt 36 Tage, davon 19 vor Ort, UNDP
Kirgisistan 40 Tage, davon 14 vor Ort, EU Somalia 59 Tage davon 34 vor Ort. Vor Ort arbeiteten die
Gutachter der DANIDA Follow-Up-Studie 19 Tage, die Gutachter für USAID in Sierra Leone 18 Tage
und die japanische Gutachterin in Afghanistan 19 Tage. Es waren Zeiträume für die Evaluierungen
von 4 Monaten (ILO Indonesien) bis 12 Monaten (EU Jamaika) angegeben. Das bedeutet aber nicht,
dass diese Zeit voll für die Evaluierungen eingesetzt wurde. Japanischen Evaluierungen wurden nur
von japanischen Gutachtern durchgeführt. Es war oft nicht eindeutig zu erkennen, ob lokale Gutachter mitgewirkt haben – siehe Anlage 1 „Evaluierungsdokumente“.
NONIE rät, genau abzuwägen, ob die hohen Kosten den Nutzen der Evaluation rechtfertigen.91
8. Fachliteratur zur Evaluierung
39.
Es konnten nur sehr wenige Publikationen zur Evaluierung der Berufsbildungszusammenarbeit gefunden werden, dagegen viele zu EZ-Evaluationen im Allgemeinen und einige sehr gute methodische Handreichungen, z. B. von USAID. De nachfolgende Liste enthält 5 BBZ-spezifische Publikationen. Die OECD-Publikation zur Evaluierung der BB-Politik zielt darauf ab, praktische Hinweise
für Reformen der BB-Politik zu geben. Dazu werden Indikatoren (siehe S. 27) und Politikoptionen
genannt. Die Bewertung von Kosten, Nutzen und Risiken der Optionen wird als Kernaufgabe hervorgehoben. Die Cedefop-Publikation will die europäische Kooperation stärken und konzentriert
sich auf geeignete Indikatoren für die Messung der europäischen BB-Prioritäten 1. Beschäftigungsfähigkeit mit den Elementen Kompetenzen, Beendigung der Ausbildung, Übergang in Beschäftigung, Qualität der Beschäftigung, 2. Übereinstimmung von Angebot und Nachfrage mit den Elementen Informationen, Reaktion auf die Nachfrage, Anpassung und Innovation des Angebots, 3.
85
Plan Director de la Cooperación Española 2009-2012, aprobado por el Consejo de Ministros el 13 de Febrero de 2009, S.
87
86
DAC Network on Development Evaluation. The International Initiative for Impact Evaluation (3ie), 9th meeting 15 – 16
June 2009, S. 3-4
87
Keydi A. Cruz, ebenda S. 20
88
WB 2002. A. G. Kapoor: Review of Impact Evaluation Methodologies used by the Operations Evaluation Department
over past 25 years, S. 13-14
89
The World Bank (2004): Monitoring&Evaluation. Some Tools, Methods & Approaches, S. 24
90
NONIE. Inder Jit Ruprah: “You can get it if you really want’: Impact Evaluation Experience of the Office of Evaluation
and Oversight of the Inter-American Development Bank, NONIE Working Paper No. 3, January 2008, S.12
91
NONIE. Impact Evaluations and Development – NONIE Guidance on Impact Evaluation, S. 48
29
Zugang mit den Elementen Ausweitung, Möglichkeiten für benachteiligte Gruppen und Durchlassfähigkeit. DANIDA publiziert Aufgaben für Feldanalysen in Indien, Bangladesch, Südafrika, Tansania
und Sambia. Zur Bewertung der DAC-Kriterien werden Fragen, zu untersuchende Inhalte und Indikatoren vorgegeben, außerdem Hinweise zu den Indikatoren zur Bewertung von BB-Einrichtungen,
zu Verbleibsstudien und zu den Beziehungen von BB und Armutsminderung sowie den Querschnittsthemen Gender, Umwelt- und Arbeitsschutz, Förderung von Demokratie und HIV/AIDS. Die
beiden australischen Publikationen betreffen den gesamten Bildungssektor. Qualität und Relevanz
der Bildung sowie Effektivitätssteigerung der australischen Bildungszusammenarbeit stehen im
Vordergrund. Es wird angestrebt, zu Sektorprogrammen in Übereinstimmung mit den Bildungsstrategien der Partnerländer, verbesserten Monitoringberichten mit international anerkannten Indikatoren (ein Monitoring Framework ist enthalten) und engeren Beziehungen zu Regierungen und
mehr Partnerschaften mit nichtstaatlichen Akteuren und anderen Gebern überzugehen. Der Bericht
2008 bestätigt Fortschritte in der Effektivitätssteigerung durch eine 4-Jahres-Budget, bessere Kohärenz der Interventionen, stärkere Wirkungen der Umsetzung der Paris Declaration und die Entwicklung der AusAid-Kapazität im Bildungsbereich.
Publikationen zur Berufsbildungszusammenarbeit
AusAID. Better education. A Policy for Australian Development Assistance in Education. 05/2007:
Unterstützungsbereiche in der Asien-Pazifik-Region, geplante Wirkungen: mehr Kinder haben Zugang zu besserer Bildung, verbesserte Leitung nationaler Bildungssysteme einschließlich BB, höhere Effektivität der australischen Unterstützung , Indikatoren
AusAID. Education annual thematic performance report 2007-2008. 11/2008: erreichte Ergebnisse in
der Asien-Pazifik-Region, Schlussfolgerungen für höhere Effektivität von AusAID
Cedefop Panorama series 146: Indicateurs de qualité dans l’enseignement et la formation professionnels afin de renforcer la coopération européenne. 2007: für die drei Ziele Beschäftigungsfähigkeit,
Kohärenz zwischen BB-Angebot und Nachfrage, Zugang zu BB für Benachteiligte werden 8 Indikatoren empfohlen - Rate der BB-Anbieter mit interner Qualitätssicherung, Investitionen in Lehrpersonal, Rate der BBTeilnehmer, Rate der Absolventen/Abbrecher, Rate der Diplomierten, Vermittlungsrate nach einem Jahr,
Nutzung der Kompetenzen am Arbeitsplatz, Kontextindikatoren (Arbeitslosenrate, Anteil von Benachteiligten).
DANIDA. Evaluation. Danish Assistance to Vocational Education and Training. Annex III – Field Study
Guide. 12/2001: Umfang der Feldstudien, Evaluationsmatrix mit DAC-Kriterien, Fragen und Indikatoren,
Leistungsindikatoren für BB-Einrichtungen, Richtlinien für BB in Relation zu Armutsreduzierung, Gender, Umwelt, Arbeitsschutz, Demokratie, HIV/AIDS und für Tracer Studies
OECD. Policy Appraisal and Evaluation for Vocational Education and Training (VET) Policy. 14. 4.
2008: Politikziele und -optionen, systematische Beurteilung von Kosten, Nutzen, Risiken, Politikumsetzung,
Evaluationsstrategie, Datensammlung
Publikationen zur EZ-Evaluationen
ADB. Guidelines for Preparing Performance Evaluation Reports for Public Sector Operations. February 2006: Einführung, Design, Leistungsbewertung, Erfahrungen, Anhänge: Grunddaten, Projektkosten, physische Ergebnisse, Nachfolgeaktionen, Ratingmatrix
ADB. Guidelines for the Preparation of Project Performance Audit Reports. September 2000:
Beteiligung an Evaluationen, Format und Verbreitung der Berichte und Ergebnisse, Gliederung des Berichts:
Zusammenfassung und 6 Kapitel, Handreichung zum Projektrating, Anhänge: Beispiele für Ratings der Kriterien Relevanz, Effizienz, Nachhaltigkeit, Institutionenentwicklung, Gesamtbewertung
ADB. Impact Evaluation methodological and Operational Issues. September 2006: Definition, Übersicht über experimentelle und nicht-experimentelle Methoden, Mythen und Realitäten der Wirkungsevaluation, Durchführungsanforderungen, Fallstudien aus Kambodscha und Vietnam, Schlussfolgerungen
ADB. Policy Paper. Review of the Independence and Effectiveness of the Operations Evaluation
Department. November 2008: Unabhängigkeit und Effektivität der Evaluationen stärken, Veränderungen,
Anhänge: ToR zur Überprüfung des Operations Evaluation Department, Vergleich der Evaluationen der Multi-
30
lateral Development Banks, Modell zur Einschätzung der Unabhängigkeit von Evaluationsorganisationen
ADB. Special Evaluation Study. Effectiveness of ADB’s Capacity Development Assistance: How to Get
Institutions Right. February 2008: DAC-Definition von Kapazitätsbildung, 4 Ebenen der Kapazitätsbildung,
Erfolgsfaktoren
AECI. Manual de Gestión de Evaluaciónes de la Cooperación Española. Aprender parar mejorar.
04/2007: I. Evaluation der Entwicklungspolitik, institutioneller Rahmen, Evaluationszyklus, II. Evaluationsprozess: Motivation, Evaluationsobjekte, -fragen, -typen, Vorbereitung, Gutachterauswahl, Durchführung, Kommunikation und Nutzung der Ergebnisse
AECI. Plan Director de la Cooperación Española 2009-2012 : Lehren 2005-2008, internationaler Kontext,
Leitung für Entwicklungsergebnisse, strategische Herausforderungen an die spanische Entwicklungspolitik,
integriertes M&E-System, Kooperationsinstrumente
CEval. Konzept für alltagstaugliche Wirkungsevaluierungen in Anlehnung an Rigorous Impact Evaluations. Erprobung der Durchführung im Rahmen von GTZ Unabhängigen Evaluierungen. 2008: Messen von Wirkungen, methodische Besonderheiten, bisheriger Schwerpunkt und Umsetzung der GTZ Unabhängigen Evaluationen, Umsetzungsempfehlungen
DANIDA. Evaluation Guidelines. November 2006: DANIDAs Evaluationen der TZ, von Projekten, Sektorprogrammen, Länderprogrammen, Themen, Wirkungen und Arten der Unterstützung, Evaluationsprozess,
Evaluationsfragen zu DAC-und 4 weiteren Kriterien, Aufgaben der Gutachterteams
DeGEval Arbeitskreis „Evaluation von Entwicklungspolitik in der DeGEval“ Juli 2009. Verfahren der
Wirkungsanalyse. Eine Landkarte für die entwicklungspolitische Praxis: Politische, methodische und
praktische Herausforderungen, Verfahren der Wirkungsanalyse vom CEval-Ansatz bis zum Wirkungsorientierten Monitoring der GTZ, Anwendungs- und Verbesserungsmöglichkeiten
DFID. Building Evidence to Reduce Poverty. The UK’s Policy on Evaluation for International Development. June 2009: Kontext, Unabhängigkeit, neue Partnerschaften für Evaluation, Lern- und Evaluationskultur, mehr und bessere Wirkungsevaluation, Politikumsetzung,
Kriterien, Methoden und Evaluationsprinzipien
Anhänge: 10-Punkte-Umsetzungsplan,
DFID. Thematic study of support to statistical capacity building. Synthesis Report. May 2009: Paris
Declaration und Unterstützung der Kapazitätsbildung in Statistik, Analyse von Statistikkapazitäten, Evaluierungspfeiler, Unterstützungsmöglichkeiten für statistische Kapazitätsentwicklung
European Commission, EuropeAid Co-operation Office (2006): Evaluation methods for the European Union’s External Assistance. Methodological Bases for Evaluation. Volume 1: Handreichungen für
Evaluation Manager und Team für Vorbereitungs-, Desk-, Feld-, Synthese-, Verteilungs- und follow-up-Phase
European Commission. Report Working Paper of Matthew H. Morton. Department of Social Policy
& Social Work University of Oxford. January 2009: Applicability of Impact Evaluation to Cohesion
Policy: EU Evaluation Paradigma, Definition Impact Evaluation, experimentelle und quasi-experimentelle
Designs, qualitative Methoden, für stakeholder relevante und nützliche Evaluationen, Institutionalisierung
der Imapct Evaluation
ILO. A new policy and strategic framework for evaluation at the ILO. November 2005: Evaluationsziele, -typen, -einführung, - leitung, Rolle der Evaluationseinheit
ILO. ToR of the Independent External Evaluation of ILO’s Evaluation Function. October 2009: Ziel
sind Empfehlungen für die künftige Evaluationsstrategie der ILO unter Nutzung internationaler best practices
NONIE. Guidance on Impact Evaluation. 2009: Typen und Umfang von Evaluationen, Objekt, Zuordnungsproblem, Methodenmix, Nutzung vorhandenen Wissens, Machbarkeit von Evaluationen und ob sie die
Kosten wert sind, frühe Datensammlung, umfassende Planung, Anhänge: quantitative Designs, Hierarchie
quasi-experimenteller Methoden u. a.
Odi. Improving impact evaluation coordination and uptake. A scoping study commissioned by the
DFID Evaluation Department on behalf of NONIE. Nicola Jones, Cora Walsh, Harry Jones, Carlotta
Tincati. January 2008: Trends und -debatten über Wirkungsmonitoring, Breite und Lücken der Datenbasis,
Koordination und Nutzung von Evaluationen, Schlussfolgerungen, Anhänge: Wörterbuch, Überblick über
Datenbasis, Schlüsselinformanten
Sida Evaluation Manual. Looking back, moving forward. 2007: Evaluationszweck, -arten, -durchführung, -nutzung, DAC-Kriterien, Evaluation der Armutsreduzierung
31
UNEG: Norms for Evaluation in the UN System. 29 April 2005: Definition, Verantwortlichkeit für Evaluation, Politik, Prinzipien, Nachfolgemaßnahmen, Beitrag zur Wissensbildung
UNDP. Handbook on Planning, Monitoring and Evaluating for Development Results. 2009: Planung,
M&E für Entwicklungsergebnisse und praktische Umsetzung, Evaluationsmanagement, Qualitätssicherung,
Nutzung der M&E-Ergebnisse, Anhänge: Referenzen, Format für Feldbesuche, ToR und Qualitätsstandards für
Evaluationen und -berichte, Gutachterauswahl und Evaluationsressourcen
United Nations Evaluation Group (UNEG). Standards for Evaluation in the UN System. 29 April 2005:
Institutioneller Rahmen, Management, Kompetenzen, Ethik, Durchführung, Berichte
USAID. ADS Chapter 203 Assessing and Learning. 1/2008: Direktiven, Leistungsmanagement, Auswahl
von Leistungsindikatoren, Datenqualität, Portfolio-Überblick, Jahrespläne und -berichte
USAID. FY 2008 Annual Performance Report: Strategische Ziele und prioritäre Programme, Ergebnisse,
Leistungsindikatoren, Ratings
WB. Global Evaluations Sourcebook. 2007: Bedingungen für effektive Evaluationen, Beteiligung, Transparenz, Umfang, Methodik, Auswahl der Gutachter, ethnisches und professionelles Design, Relevanz, Effektivität, Management, Nachhaltigkeit, Risiken, Dezentralisierungs- und Ausgangsstrategie, Evaluationschecklisten, Endbericht und andere Evaluationsprodukte
WB. Impact Evaluation – The Experience of the Independent Evaluation Group (IEG) of the World
Bank. 09/2006: Theoriebasierte Evaluation, Kontrafaktisches, logframe, Kosten-Nutzen-Analyse-Methoden,
Vorgehen der IEG, Fallstudien, 10 Wirkungsmonitoringberichte (keiner zu BB)
WB. Judy L. Baker: Evaluating the Impact of Development Projects on Poverty. A Handbook for
Practitioners. 2000: Techniken der Wirkungsevaluation, Einführungsschritte, good-practice-Beispiele, Anhänge: Fallstudien auch für Bildung und Beschäftigung, ToR, Budget Für Wirkungsevaluation eines Schulessenprogramms, Logframe für Projektdesign, Wirkungsindikatoren eines Sozialinvestitionsfonds
WB. S. Khandker, G. B. Koolwal, H. Samad: Handbook on Impact Evaluation: Quantitative Methods
and Practices. October 2009: Methoden von Randomization bis ökonomische Modelle zur Politikbewertung, Übungen zu den Methoden
Methodische Handreichungen
USAID.TIPS. Conducting a Participatory Evaluation. 1996: Merkmale, Leitung, Schritte, Rapid Appraisal
Methods
USAID. TIPS. Measuring Institutional Capacity. 2000: Selbstevaluation, Kategorien und Schritte der Organisationsentwicklung, Fragebogen zur institutionellen Kapazität
USAID. TIPS. Monitoring the Policy Reform Process. 2000: Bedeutung von Politikreformen, Monitoring
als Instrument zur Reformerreichung, Merkmale guter Monitoringsysteme, Definition von Meilensteinen,
methodisches Monitoringvorgehen
USAID.TIPS. Preparing an Evaluation Scope of Work. 1996: 10 Elemente des Evaluationsarbeitsplans
USAID. The Performance Management Toolkit. A Guide to Developing and Implementing Performance Management Plans. April 2003: u.a. Leistungsindikatoren, Datensammlung, Arbeitsblätter
USAID. TIPS. Using Rapid Appraisal Methods. 1996: Stärken sind u.a. die Kosten in Höhe von 100.000 –
200.000 US$, Schwächen, Methoden = Interviews mit Schlüsselinformanden und Gemeinden, Fokusgruppendiskussionen, Beobachtung, Mini-Erhebungen
9. Berater und Beratungsfirmen mit Evaluierungsexpertise in der BBZ
40.
Die folgende Liste stützt sich auf Informationen aus den gefundenen Evaluierungsdokumenten. Sie erhebt keinen Anspruch auf Vollständigkeit.
Berater und Beratungsfirmen
Kontakt
AGEG Consultants im Bereich Economic Develop-
AGEG Consultants eG, Jesinger Str. 52, 73230 Kirch-
32
ment & Employment:
Barbara Fritz, Harald Himsel, Prof. Dr. Eckart Koch,
Dr. Ludwig Pülschen, Prof. Dr. Michael von Hauff,
Wilhelm F. Weidmann
AGEG Consultants im Bereich Education & Training:
Manfred Deller, Ludger Kaup, Dr. Adelheid Kückelhaus, Luise Lehmann, Maria Lehmann, Christoph
Meyer, Holger Munsch, Anja Pabst, Thomas Ranz,
Inge Remmert-Fontes, Klaus von Freyhold, Karsten
Weitzenegger, Patricia Zamalloa-Hügel
CEval Centrum für Evaluation
Prof. Dr. Reinhard Stockmann, Stefanie Krapp, Maren Heise
COMO Consulting für Projektmanagement und
Organisation GmbH, Christian Koch
Deutsches Institut für Entwicklungspolitik,
Andreas Stamm
Dörte Schott
ECO Education, Jürgen Buchholz
Eidgenössisches Hochschulinstitut für Berufsbildung, Caroline Meier Quevedo
Guido Lotz
INBAS GmbH, Institut für berufliche Bildung, Arbeitsmarkt- und Sozialpolitik GmbH
Institut für Technologie und Arbeit e.V. (ITA) an der
Universität Kaiserslautern, Judith Hoffmann, Melanie Kramp, Dr. Martin Thul
KEK CDC Consultants, Christian Kälin, Peter Stricker,
Matthias Jäger
L & R Sozialforschung OEG, Leitung: Ferdinand
Lechner, Dr. Walter Reiter, Mag. Andreas Riesenfelder
ÖSB Consulting GmbH, Eva Ahsmann u.a.
PLANCO Consulting GmbH, Dr. Gunnar Specht
Rheinisch-Westfälisches Institut für Wirtschaftsforschung, RWI – Essen,
Jochen Kluve, Andrea Weber
Steirische Volkswirtschaftliche Gesellschaft (STVG),
Dr. Peter Härtel, Dr. Michaela Marterer
Univation Institut für Evaluation
Dr. Beywl& Associates, Dr. Wolfgang Beywl, Wissenschaftlicher Leiter
Universität Potsdam, Präsidialamt, Servicestelle für
Lehrevaluation,
Dr. Philipp Pohlenz
Universität St. Gallen, Swiss Institute for Empirical
Economic Research (SEW), Prof. Dr. Michael Lechner
heim unter Teck, Tel.: 07021-970870
[email protected], http://www.ageg.de
Postfach 15 11 50, 66041 Saarbrücken
Email: [email protected], Tel.: 0681-3023320
COMO, Winterstr. 4-8,22765 Hamburg
Email: [email protected], Christian Koch Tel.:
040/ 46 88 48 27, [email protected]
Tulpenfeld 4, 53113 Bonn, Tel.: 0228/ 94927-0
[email protected], www.die-gdi.de
Heckelsgasse 4, 53227 Bonn, Tel.: 0228/ 6296673
[email protected]
Kurhessenstr. 1-3, 60431 Frankfurt am Main,
Tel.: 069-70720943, [email protected]
Kirchlindachstr. 79, CH-3052 Zollikofen
Tel.: +41 31 910 3700
[email protected]
INBAS GmbH, Herrnstr. 53, 63065 Offenbach am Main
Tel.: 069/ 27224-0, [email protected]
www.ita-kl.de
Universitätsstr. 69, CH – 8006 Zürich, Tel.: +41 1 368
58 58, [email protected], www.kek.ch
Liniengasse 2A/1, A-1060 Wien
Tel.: 43 1595-4040-0, http://www.lrsocialresearch.at
Meldemannstr. 12 -14, A-1200 Wien, Tel.: 43 1.331680, [email protected], [email protected]
PLANCO Consulting GmbH, Gerindelallee 27 c, 20146
Hamburg, Tel.: 040/ 40 166 730, Gunnar.specht@
planco.org
Hohenzollernstr. 1 – 3, 45128 Essen
Tel.: 0201-8149-0, [email protected]
STVG, Freiheitsplatz 2, A-8010 Graz
P. Härtel: [email protected], +43 676 841717-11
Hohenstaufenring 63, 50674 Köln, Tel.: 0221/ 4248071
[email protected]
http://www.univation.org
Am Neuen Palais 10, 14469 Potsdam, Tel.: 0331/ 977
15 32
[email protected], www.pep.uni-potsdam.de
Varnbuelstr. 14, CH-9000 St. Gallen
Tel.: 41 71 224 2320, [email protected]
33
Anlage 1: Evaluierungsdokumente
ADB (November 2006): Abschlussbericht. The Marshall Islands: Skills Training and Vocational Education Project (01/2001 – 10/2005)
Evaluierungsteam-Mitglieder: S. Pollard, J. Sarvi, A. Salvador (alle ADB)
Evaluierungsdauer: 17 Tage insgesamt, Evaluierungsort ist nicht ersichtlich.
ADB (September 2005) Ex-post Evaluierung: Project Performance Audit Report for Cambodia
(12/1995 – 02/2003)
Evaluierungsteam: Kus Hardjanti, Michael Ratcliffe, für Unterstützung vor Ort Maria Rosa Ortega
Evaluierungsdauer: nicht angegeben
BIBB Abschlussbericht zum Forschungsprojekt 1.2.006 Weiterentwicklung von Instrumenten für
Berufsbildungsberatung im Ausland auf der Grundlage einer Nachhaltigkeitsanalyse von Transformprojekten (II/2000 – IV/2003)
Bearbeiter: Gabriela Höhns (BIBB), Dr. Wolfgang Meyer (CEval), Maren Heise (CEval), Dr. Galina
Fedo- towa, Prof. Anatoli Glasunow (IRPO) Moskau – Institut für Entwicklung der Berufsbildung
BIBB (September 2009): Abschlussbericht. Beteiligung am TACIS-Projekt EuropeAid/120525/C/SV/UA “Strenghtening Regional Vocational Education and
Training Management – Ukraine“, (III/2005 – III/2009)
Bearbeiterinnen: Gabriela Höhns, Dagmar Winzier (BIBB)
CARE Bangladesh (September 2004) Schlussevaluierung: Assessment of Community Resource Centre Project of CARE-Bangladesh (2002 –
2004)
Gutachterteam von iNTERACTION, Dhaka: Serajud Dahar Khan, Md. Anisuzzaman, Sahanaj Parveen
Dristi, Md. Salahuddin
Evaluierungsdauer und -kosten sind nicht erkennbar.
CBT (2008) Zwischenevaluierung: Terms de Réference de la mission à mi-parcours du Projet FORPROFEM (Formation Professionnelle Féminine) (01/2008 –
12/2010)
Gutachterteam : 1 internationaler Experte 30 Tage, davon 17 Tage im Senegal + 1 nationaler Experte 14 Tage
CIDA (Juni 2007) Schlussevaluierung: Appui à l’expérimentation de l’Approche par Compétences
dans le secteur de la Formation Professionnelle en Algérie, Rapport final, (2004 –
06/2007)
Gutachterin: Jocelyne Bergeron, Consortium International de développement en éducation – cide,
Canada. Frau Bergeron war 2007 51 Tage in Tunesien im Vorhaben. Es ist unklar, ob sie als Gutachterin oder auch als Beraterin dort war. Evaluierungsdauer und -kosten sind nicht ersichtlich.
DANIDA (October 2007): Follow-Up Study Evaluation of Danish Assistance to Vocational Education
and Training (2002 – 2005)
Gutachter von Development Associates A/S, Evaluierungsdauer: Desk Study vom 14. 12. 2006 bis
31. 1. 2007, Feldarbeit 5. – 14. 3. 2007 in Sambia, 15. – 23. 3. in Kenia (19 Tage gesamt vor Ort).
Gesamtdauer war nicht ersichtlich.
DANIDA and ADB (September 2009) Zwischenevaluierung: Joint Evaluation of the Secondary Education Support Programme, Nepal (2003 – 2010)
Gutachterteam von COWI A/S Denmark + lokale Gutachter – ihre Zahl war nicht feststellbar. Evaluierungsdauer vom 6. 3. 2009 bis 24. 7. 2009.
DEZA (January 2004) Schlussevaluierung: Joint Review. Swiss – South African Development Coopera-
34
tion Programme (2000 – 2003)
Gutachter von “Strategic Alternatives – Management Consultants CC: Christo de Coning, Christoph
Graf, Jitendra Hargovan, Evaluierungsdauer und -kosten waren nicht erkennbar.
DEZA (June 2007) Schlussevaluierung der 1. Phase: External Review of the Skills Development Project – SDP, Uzbekistan, Final Report,
Gutachter: Sabine Kaufmann (Carl Duisberg Centren Köln), Murod Mirsaidov (lokaler Consultant),
Peter Stricker (KEK-CDC Consultants, Zürich). Zeitaufwand war nicht ersichtlich.
EU (February 2009) Schlussevaluierung: The European Union‘s 9th EDF Programme for Somalia.
Promotion of Employment through Training. Terminal Evaluation Report (09/2005 –
08/2008)
Gutachterteam: Morris W. Mathenge (lead consultant, Hydro Tech Consult), Abdi Osman Abdillahi
(lokaler Gutachter aus Kenia)
Missionsdauer: lead consultant 32 Tage, davon 17 Tage vor Ort, Honorar: 250 – 300US$/Tag, 8.000
– 9.600 US$ gesamt, Co-consultant 27 Tage, davon 17 Tage vor Ort, Honorar: 200 – 250 US$/Tag,
3.400 – 4.250 US$
EU (December 2008): EU Grant to Improve Access to Vocational Education, Skills Training and Remedial Learning in the Traditional Banana Growing Communities in Jamaica,
Financing Agreement No. B7-8710/856/25, HEART Trust/NTA Banana Sector
Retraining Project, (III/2008 – 12/2009) Terms of Reference zur Evaluierung
für die zweite Phase
Ein Gutachter sollte 12/2008 – 01/2009 die Berufsorientierungsmaßnahmen, 02/2009 – 11/2009 die
BB-Aktivitäten und die IKTgestützten BB-Maßnahmen bewerten. Bis 21. 11. 2009 sollten die Ergebnisse übergeben werden.
ICCO, Woord en Daad, Educans (April 2008) Ex-post Evaluierung: Evaluation of the TVET Policy and
Practice of ICCO, Woord en Daad and Educans, Final Evaluation Report (2003 2006)
Gutachterteam von ACE Europe bvba, Mechelen, Belgien: Geert Phlix (ACE), Gerda Heyde (Unabhängige Gutachterin für Kenia), Clemens Romijn (Ecorys für Indien), Nuria de la Fuente (Ecorys für
Indien), Ranjana Srivastava (lokaler Gutachter Indien), Lebesech Tsega (lokaler Gutachter Äthiopien), Buyela Wepukhulu (lokaler Gutachter Kenia), Mimoza Gjika (locale Gutachterin Albanien)
Die Evaluierung erfolgte im Zeitraum 05/2007 – 03/2008. Kosten und Zeitaufwand waren nicht erkennbar.
IDB (December 2008) Ex-post Evaluierung: Evaluating the Impact of Job Training Programs in Latin
America: Evidence from IDB funded operations (1992 –
2005)
Gutachter: Pablo Ibarrarán, David Rosas Shady (beide IDB), Evaluierungsdauer und -kosten sind
nicht erkennbar.
ILO (October 2009): Independent Evaluation of the ILO’s Decent Work Country Programme for Indonesia: 2006-2009
Gutachter: Michael Hendricks (unabhängiger Consultant), Craig Russon ILO Evaluation Unit), Leya
Cattleya (nationale Gutachterin)
Evaluierungsdauer ist nicht exakt zu ersehen: im Februar 2009 begannen die Interviews, im März
sollte die Mission vor Ort sein, im April der Entwurf des Berichts zirkulieren, im Mai ein Workshop
stattfinden und im Juni 2009 der Endbericht fertig sein.
InWEnt Abschlussevaluierung: „Umweltkompetenzen in der beruflichen Bildung, Maghreb“ (2007 –
2009), Abschlussbericht vom August 2009
Gutachter: Dr. Jörg Fromme, DFIC Essen + je ein nationaler Gutachter in Algerien und Tunesien
Dauer der Evaluierung: Dr. Fromme 36 Tage
Mission vor Ort: Dr. Fromme 19 Tage, algerischer Gutachter 8 Tage, tunesischer Gutachter 5 Tage
Japan (March 2006) Sektorevaluierung: NGO-MOFA joint evaluation in FY 2005. Evaluation Study on
35
Japan’s ODA to the Education Sector in the Philippines (2000 –
2004)
Gutachterteam: 3 Mitarbeiter japanischer NRO, 11 Mitarbeiter des japanischen Außenministeriums,
4 Mitarbeiter des Nomura Research Institutes
Gesamtdauer und Kosten sind nicht erkennbar.
JICA (2008) Ex-post Evaluierung: Second Human Resources Development Sector Investment, Jordan
(07/1997 – 11/2005)
Gutachter vom International Development Center of Japan, Hiromitsu Muta, Ryo Sasaki
Feldmission: November 2007 – April 2008. Gesamte Evaluierungsdauer und -kosten sind nicht erkennbar.
JICA (2008) Schlussevaluierung “Basic Vocational Training in Afghanistan” (2004 – 03/2008)
Gutachterin: Kyoko Kojima, INTEM Consulting Inc.
Mission vor Ort: 20. 10. – 8.11. 2007 (19 Tage), Gesamtzeitaufwand war nicht ersichtlich.
KfW Ex-post Evaluierung El Salvador: Berufsbildungs- und Beratungszentrum CITT I und II,
(1999 -2002 ?) Evaluierungsbericht von 2006.
Gutachter und Missionsdauer sind nicht ersichtlich.
UNDP (2009): Terms of Reference for the Final Evaluation of the UNDP “Vocational Education for
Street Children in Kyrgyz Republic” Project. UNDP – Government of Norway
1 internationaler Gutachter – 20 Tage, 14 Tag vor Ort, 1 nationaler Gutachter – 20 Tage
USAID (August 2002): Final Evaluation of the Transition Initiatives‘ (OTI) Program in Sierra Leone
(1997 – 2002)
Gutachter: Art Hansen (CARE), Julie Nenon (Creative Associates International Inc., Washington),
Joy Wolf (CARE), Marc Sommers (CARE)
Mission vor Ort: 12. 2. – 2.3. 2002 (18 Tage), Gesamtzeitaufwand war nicht ersichtlich.
WB (December 2003) Schlussevaluierung: Implementation Completion Report on a Loan in the
Amount of US$ 60 Million to the Republic of Tunisia for a Second Training and
Employment Project (06/1996 – 06/2003)
Gutachter, Evaluierungsdauer und -kosten sind nicht erkennbar.
WB (May 2007) Zwischenevaluierung: Concept Note for the Impact Evaluation of the Second Round
of the First Employment (“Mi Primer Empleo”) Program, Honduras (07/2005 –
06/2010)
Gutachterteam: Georgina Leiva, Rigoberto Portillo (beide sind von (UCP, SLSS – SLSS könnte der
Second level Support Service, Ireland sein), Manuel Salazar (WB), Angela Demas
(WB), Christel Vermeersch (WB)
Geplante Evaluierungskosten: 165.000 US$, im November 2007 von Keydi Andino Cruz präsentierte
Kosten: 250.000 US$, Zeitaufwand war nicht erkennbar.
WB (September 2002): Ex-post evaluation: Effectiveness of Lending for Vocational Education and
Training: Lessons from World Bank Experience (in the 1990s)
Bearbeiter: Sudhsarshan Canagarajah (AFMUG – es war nicht herausfinden, welche Organisation
das ist), Dhushyanth Raju (Cornell University, Ithaka), Rikke Nording und Amit Dar
(HDNSP – Human Development Network Social Protection)
36
Anlage 2: DAC-Evaluierungskriterien im Zusammenhang mit der Wirkungskette
Quelle: EC. EuropeAid Co-operation Office.2006.Evalution Methods For The European Union’s External Assistance. Methodological Bases for Evaluation. Volume 1, S. 50
Anlage 3: Options taken by EC and Risks of misunderstanding with OECD
37
Quelle: EuropeAid (2006): Evaluation Methods for the European Union’s External Assistance. Methodological bases for Evaluation. Volume 1, S. 95-96
38
Anlage 4: Hierarchie von experimentellen und quasi-experimentellen Designs
Quelle: Impact Evaluations and Development. NONIE Guidance on Impact Evaluation (2009), S. 109
39
Anlage 5: Orientierungen zu Evaluierungsmethoden
Judy L. Baker: Evaluating the Impact of Development Projects on Poverty, The World Bank, 2000:
Qualitative Methoden dienen v.a. dem Verständnis von Prozessen, Verhalten und Bedingungen. Die
Ergebnisse hängen von methodischen Fähigkeiten und Sensibilität der Gutachter gegenüber sozialen und kulturellen Normen ab.
Unter den quantitativen Methoden sind die experimentellen Designs am robustesten. KostenNutzen-Analysen messen die Effizienz der Programmkosten im Vergleich zum Nutzen in monetären
Werten und führen zur Kennziffer Einheitskosten. Die Kosten-Effektivitätsanalyse misst in sozialen
Vorhaben den Nutzen, der nicht in Geldbeträgen ausgedrückt werden kann, sondern z. B. in Lernergebnissen. Jede Evaluation verlangt eine besondere Methodenkombination in Abhängigkeit von
Projekttyp, Evaluationsfragen, verfügbaren Daten, Kosten, Zeit und Bedingungen im Land.
Anhang 1.9 enthält die Wirkungsmessung eines mexikanischen Umschulungsprogramms (PROBCAT
– Programa de Becas de Capacitacion para Trabajadores) hinsichtlich Beschäftigung und Löhne. Die
Dauer der Beschäftigungssuche und die Entwicklung der Monatslöhne wurden mit statistischen
Ansätzen gemessen. 1994 und 1995 wurden positive Wirkungen festgestellt, 1999 nicht mehr.
ADB Impact Evaluation Methododological and Operational Issues, September 2006:
Qualitative Methoden beruhen auf Prozessverständnis: wenn A getan ist, wird wahrscheinlich B
eintreten und dann wahrscheinlich C. Sie beobachten Verhalten und Veränderungen der Bedingungen. Quantitative Methoden nutzen kontrafaktische Analysen, Random Experiment Designs, Methoden und deren Probleme werden dargestellt sowie nichtexperimentelle Methoden/Statistische
Methoden zur Simulierung des Kontrafaktischen (propensity score matching, difference in differences, regression discontinuity, instrumental variables).
Regressionsbasierte Methoden erfordern die Modellierung der Determinanten der Wirkung.
Building the Evidence to Reduce Poverty. The UK’s policy on evaluation for international development. DFID, June 2009: Vier Prinzipien bestimmen die Evaluierung:
. Evaluationsdesign am Beginn erarbeiten und frühe Datensammlung sichern
. theoriegeleitetes Vorgehen, ein klares Vorhabenskonzept entwickeln und testen
. quantitative, qualitative und verstärkt rigorose Methoden nutzen
. gemeinsame Evaluationen in gemeinsamen Vorhaben mit dem Ziel durchführen, DFIDs Beitrag zur
Wirkung zu messen.
UNDP Handbook on Planning, Monitoring and Evaluating for Development Results. 2009:
Methoden zur Datensammlung werden aufgelistet: Dokumentenstudium, Fragebogen, Interviews,
Beobachtung, Gruppeninterviews, Befragung von Schlüsselinformanten, Expertenpanels, Fallstudien. Es gibt keine Aussagen zu quantitativen Methoden.
Anlage 6: ADB Assessment of Project Overall Performance92
The overall rating is given as highly successful, successful, partly successful, or unsuccessful:
(i) Highly Successful (HS). The overall weighted average is greater than 2.5.
This rating is given to projects whose achievements exceed expectations with very high probability
that the purpose and goals will be achieved sustainably and efficiently over the project life, that the
project has strong relevance to the DMC’s and ADB’s objectives, and that there are no significant
unintended negative impacts. Specifically, none of the 5 criteria has a score of less than 2.
(ii) Successful (S). The overall weighted average is between 1.6 < S < 2.5.
92
Asian Development Bank: Guidelines for the Preparation of Project Performance Audit Reports, September 2000,
Artikel 50
40
In addition, although the degree of achievement is insufficient or some negative results have occurred that prevent a highly successful rating, there is no major shortfall, and the expected purpose
and goals will be mostly achieved sustainably over most of the expected economic life. The project
is relevant to the DMC’s and ADB’s objectives, its implementation and operations are efficient, and
any negative impacts are small in relation to the gains under the project. Specifically, none of the 5
criteria has a score of less than 1.
(iii) Partly Successful (PS). The overall weighted average is between 0.6 < PS < 1.6.
In addition, although the evaluation anticipates a significant shortfall in achieving the purpose and
goals, and may consider full sustainability unlikely, it expects that some components will achieve
major benefits (e.g., equivalent to at least half the level originally expected). Specifically, the number of criteria receiving a rating of less than 1 should not exceed 2; otherwise, the lowest rating
would be given.
(iv) Unsuccessful (US). The overall weighted average is less than 0.6. In addition, evaluation considers that the project is a technical and economic failure in the sense that it expects the facilities to
operate at a low level of installed capacity, if at all, or with high cost requiring a large subsidy. There
may be many negative impacts, and efficiency is very low.
Criterion (a)
Weight(b)
1. Relevance
20%
2. Efficacy
25%
3. Efficiency
20%
4. Sustainability
20%
5. Institutional Development and Other Impacts
15%
Overall Rating (sum of
the weighted ratings)
Assessment (c)
Rating Value(d)
Highly Relevant
Relevant
Partly Relevant
Irrelevant
Highly Efficacious
Efficacious
Less Efficacious
Inefficacious
3
2
1
0
3
2
1
0
Highly Efficient
Efficient
Less Efficient
Inefficient
Most Likely
Likely
Less Likely
Unlikely
Substantial
Significant
Moderate
Negligible
3
2
1
0
3
2
1
0
3
2
1
0
Weighted Rating(b x d)
Highly Successful (HS): Overall weighted average (OWA) is > 2.5 and none of the 5 criteria has a score of less than 2; otherwise the rating would be downgraded by one level.
Successful (S): OWA is between 1.6 < S < 2.5 and none of the 5 criteria has a score of
less than 1; otherwise the rating would be downgraded by one level.
Partly Successful (PS): OWA is between 0.6 < PS <1.6 and number of criteria receiving a
rating of less than 1 should not exceed 2; otherwise the lowest rating would be given.
Unsuccessful (US): OWA is < 0.6.
41
Anlage 7: KfW-Einstufung93
Entwicklungspolitisch erfolgreich: Stufen 1 bis 3
Stufe 1
Sehr gute oder gute entwicklungspolitische Wirksamkeit
Stufe 2
Zufrieden stellende entwicklungspolitische Wirksamkeit
Stufe 3
Insgesamt ausreichende entwicklungspolitische Wirksamkeit
Entwicklungspolitisch nicht erfolgreich: Stufen 4 bis 6
Stufe 4
Insgesamt nicht mehr ausreichende entwicklungspolitische Wirksamkeit
Stufe 5
Eindeutig unzureichende entwicklungspolitische Wirksamkeit
Stufe 6
Das Vorhaben ist völlig gescheitert
Anlage 8: JICA’s new rating system (25 criteria evaluation method), towards
system improvement
Criteria Classification
System & Policy
Project
Organization
Evaluation
Evaluation questions
1. Is it consistent with development issues?
2. Is the division or roles with other donors appropriate?
3. Is there proper division f roles and coordination with other domestic projects?
4. Are the project outline and objectives clear?
5. Does the feasibility study meet desired levels of content and quality?
6. Does the project contribute to achieving MDGs?
7. Where risks properly assessed?
8. Did the level of outputs reach targets?
9. Did the effect indicators reach target levels?
10. Was involuntary resettlement and land acquisition implemented smoothly
and properly?
11. Were there negative impacts on the natural environment?
12. Did the project have impact on the targeted beneficiaries?
13. Did delays arise due to budget allocation of the aid recipient government?
14. Did the delays arise due to consultant employment
15. Did delays arise due to procurement or construction?
16. Was project cost within planned levels?
17. Is net present value above planned levels?
18. Are there external risks which will affect project sustainability?
19. Were there any governance issues of the aid recipient government?
20. Are the outputs well managed and/or operated?
21. Is the operation and maintenance organization securely established?
22. Are adequate technology and human r4essources secured for operation and
maintenance?
23. Are adequate funds secured for operation and maintenance?
24. Were indicators and target figures clearly determined and appropriate?
25. Is the data monitored appropriately in terms of content and quality?
Corresponding
5 DAC Criteria
(Relevance)
(Relevance)
(Relevance)
(Relevance)
(Relevance)
(Relevance)
(Effectiveness)
(Effectiveness)
(Effectiveness)
(Effectiveness)
(Effectiveness)
(Effectiveness)
(Efficiency)
(Efficiency)
(Efficiency)
(Efficiency)
(Efficiency)
(Efficiency)
(Relevance)
(Sustainability)
(Sustainability)
(Sustainability)
(Sustainability)
(Relevance)
(Effectiveness,
Relevance)
Quelle: Efforts to improve the rating system
www.jica.go.jp/english/operations/evaluation/oda_loan/post/2007/pdf/other05.pdf
93
KfW: Ex Post-Evaluierungsbericht (Schlussprüfung) El Salvador: Berufsbildungs- und Beratungszentrum CITT I und II,
2006, S.6
42