Evaluering - Aalborg Universitet


Lektionsplan og fagbeskrivelse
Evaluering som ledelsesredskab – E13
Sted: AUB, Langagervej 2, 9220 Aalborg Øst
Seminaransvarlig: Bente Bjørnholt
Baggrund:
Der er sket en eksplosiv vækst i efterspørgslen efter evaluering og dokumentation af resultater, ligesom der
er stigende krav om, at den offentlige sektors indsats skal være evidensbaseret. Krav om evaluering, dokumentation og evidens synes endog at vokse og integreres i stigende grad som ledelsesinstrumenter. Kendskab til disse begreber og redskaber efterspørges som en del af den moderne leders kvalifikationer Samtidig er der tale om komplekse og af og til uigennemskuelige begreber, som indgår som helt centrale elementer i styringen af den offentlige sektor.
Der udbydes 3 seminarer (af 2 dage) med følgende overskrifter.
Seminar 1: Evalueringsfeltet, evaluerings design, modeller og metodologi (29.og 30. oktober 2013)
Seminar 2: Effektevaluering og evidens – måling og monitorering (12. og 13. november 2013)
Seminar 3: Opbygning af evalueringskapacitet og evalueringers anvendelse (26. og 27. november 2013)
Aflevering af synopsis:
Mundtlig eksamen:
12.12.2013 kl. 12.00
07.-08.01.2014
Senest 22. november 2013 skal alle på First Class uploade udkast til synopsis
Samlet set vægter faget 6 ECTS
Undervisningens formål:
Undervisningen vil spænde fra præsentationer af helt konkrete teknikker til udvikling af gode og effektive
evalueringer til diskussion af, hvilken rolle evaluering spiller i den moderne offentlige sektor og specifik i
resultatstyring og ’evidensbaseret ledelse’. Formålet er at gøre deltagerne i stand til at navigere i evalueringsjunglen og forholde sig kvalificeret til krav om målinger og evalueringer.
Undervisningen giver inspiration og viden til dels at kunne deltage i udviklingen og indførelsen af evalueringsmetoder i alle former for offentlige organisationer dels kendskab til evalueringsdesign og hensigtsmæssig anvendelse af evaluering. Der opnås indsigt i metoder og teknikker vedrørende evalueringsmetoder
og modeller. Endelig opnås et grundlag for at kunne vurdere, hvad der kan forventes af målinger og evalueringer i en moderne offentlig virksomhed.
Formålet er desuden at give deltagerne forståelsesrammer, der muliggør kritisk refleksion over de evalueringsmodeller og -resultater, man møder i dagligdagen, herunder opbygning af evalueringskapacitet og
evalueringskultur.
1
Deltagerne får indsigt i forskellige evalueringstypers rammer og vilkår og styrket deres evne til konstruktivt
at oversætte og tilpasse nye modeller, tilgange og teknikker, så de giver mening i egen organisation.
Endelig er hensigten at give deltagerne større indsigt i, hvordan evalueringer kan anvendes til kvalitetsudvikling. Der lægges vægt på at diskutere, hvordan forskellige aktører – eks. brugere, professioner og politikere - kan bruge evalueringer, herunder hvordan evalueringer kan tilrettelægges, så de giver de aktuelle
aktører meningsfuld information.
Undervisningen bygger på følgende kriterier for målopfyldelse:
 Den studerende skal kunne fremlægge og forklare evalueringsteoriens grundlag, begreber og metoder
 Den studerende skal kunne anvende evalueringsbegreber analytisk på et selvvalgt tema
 Den studerende skal kunne formulere en kort sammenfatning/præsentation af evalueringens relevans for en praktisk problemstilling inden for offentlig ledelse
Undervisningens tilrettelæggelse:
Programmet er orienteret mod at give deltagerne nye kompetencer indenfor evaluering som ledelsesredskab i alle typer af offentlige organisationer. Deltagernes erfaringer med evalueringer vil løbende blive inddraget, og de praktiske erfaringer vil danne grundlag for diskussion af metoder, teknikker og teorier.
Kursusprogrammet består af 3 intensive seminarer, der hver består af 2 dages undervisning. Samlet set
vægter dette fag 6 ECTS.
Undervisningen er fleksibelt tilrettelagt og vil bestå af en kombination af diskussion, oplæg og præsentationer af metoder, teknikker og teoretiske perspektiver. Derudover er undervisningen case-baseret, således at
diskussionen undervejs i kurset kan bringes i anvendelse i forhold til en fælles praktisk referenceramme.
Der er således tale om en dialogbaseret gennemgang af de faglige områder, oplæg og præsentationer samt
øvelser og cases.
Undervisningen er tilrettelagt således, at man vil kunne varetage sit sædvanlige arbejde på fleksibel vis. Det
betyder, at de fleste moduler vil være bygget op således, at det ikke forudsættes, at et stort pensum er læst
på forhånd, idet det med ligeså stort udbytte kan læses efterfølgende. Man skal dog også være indstillet på,
at det i forbindelse med nogle af modulerne kan være nødvendigt, at dele af litteraturen er læst inden undervisningen.
Der må påregnes køb af 4 grundbøger, derudover udleveres kursusmateriale, som indeholder en række
artikler mv. om de teknikker og metoder, der undervises i. Materialet udgør obligatorisk litteratur, som
forventes læst i løbet af undervisningen, mens den supplerende litteratur, som er angivet i lektionsplanen
ikke udleveres. Det supplerende materiale studeres efter behov i forbindelse med undervisningen eller
efterfølgende i det daglige arbejde med evaluering i egen organisation.
Eksamen er en individuel mundtlig eksamen på baggrund af en synopsis i form af et essay eller en casebaseret præsentation på maksimalt 5 sider. Hver synopsis skal indeholde et selvvalgt tema, der tager udgangspunkt i kursets litteratur og undervisning samt egen ledelsespraksis. Der afholdes individuel mundtlig
prøve med intern censur og ved bedømmelsen anvendes 7-trins-skalaen. Den studerende indleder prøven
med et mundtligt oplæg om synopsen, hvorefter der er dialog. Prøven varer 30 minutter, inkl. voterin
2
Kursusledelse og undervisere:
Det faglige ansvar for hele forløbet varetages af lektor Bente Bjørnholt.
Bente Bjørnholt (BB) er lektor ved institut for Statskundskab, Aalborg Universitet. Hendes forskningsinteresser omfatter blandt andet offentlig ledelse og styring, organisationsteori, samt offentlige organisationers
gennemførelse og brug af kvalitetsundersøgelser og evalueringer. Hun er formand for Dansk Evalueringsselskab og har skrevet en række bøger og artikler om måling samt evalueringer og kvalitetsundersøgelsers
initiering, implementering, anvendelse og effekt.. Bente Bjørnholt er tilknyttet Forskningscenter for Evaluering ved Institut for Statskundskab, Aalborg Universitet, og hun indgår derudover i evalueringsnetværk og arbejde med en række offentlige organisationer.
Derudover vil du blandt andre kunne møde følgende undervisere:
Majbritt Bang Andersen (MBA) er ph.d.-studerende ved Institut for Statskundskab, Aalborg Universitet. På
baggrund af teoribaseret evaluering undersøger hun i sin Ph.D. inddragelse af udsatte børn, unge og deres
familier i myndighedsprocessen på det specialiserede børne- og ungeområde. Hun har tidligere arbejdet
med evaluering af eksempelvis Aalborg Kommunes støtteboligtilbud til udsatte unge og proceduren for
henvisning til Børne- og Ungdomspsykiatrisk Afdeling i Psykiatrien i det tidligere Nordjyllands Amt. Senere
har hun som AC-fuldmægtig i Kvalitetsafdelingen i Psykiatri og Social, Region Midtjylland i en årrække beskæftiget sig indgående med sikring og udvikling af kvaliteten af områdets ydelser.
Julia Salado-Rasmussen (JSR) er ph.d.-studerende ved Institut for Statskundskab, Aalborg Universitet. Hun
forsker i hvad der virker i beskæftigelsesindsatsen for aktitivetsparate kontanthjælpsmodtagere. Julia har
tidligere været ansat i Danmarks Evalueringsinstitut.
Stella Mia Sieling (SMS) er ph.d.-studerende ved Institut for Statskundskab, Aalborg Universitet. Hun forsker i hvad der virker i aktiveringen af sygedagpengemodtagere.
Thomas Bredgaard (TB) er lektor ved institut for Statskundskab, Aalborg Universitet. Han har de senere år
arbejdet indgående med virkningsevaluering i forbindelse med evaluering på beskæftigelsesområdet og har
gennemført en række evaluering særligt på arbejdsmarkedsområdet.
Flemming Larsen (FL) er professor ved institut for Statskundskab, Aalborg Universitet. Hans forskning vedrører blandt andet politiske processer, ledelse, evaluering og implementering med særlig fokus på arbejdsmarkedet.
Litteratur:
Litteraturen til de enkelte undervisningsgange er indskrevet i undervisningsprogrammet nedenfor. Desuden
er der fire grundbøger til faget:
Grundbøger:




Dahler-Larsen, Peter (2011): The Evaluation Society. California: Stanford University Press
Dahler-Larsen¸ Peter og Hanne K. Krogstrup (red.) (2001): Tendenser i evaluering. Odense Universitetsforlag.
Krogstrup, Hanne Kathrine (2011): Kampen om evidens – resultatmålinger, effektevaluering og evidens. København: Hans Reitzels Forlag
Krogstrup, Hanne Kathrine (2007). ”Evalueringsmodeller”. Århus: Systime Academic
3
Undervisningsprogram:
Undervisningen består af 3 intensive seminarer. Der tages forbehold for ændringer i planen
Seminar 1: Evalueringsfeltet, evalueringsdesign, modeller og metodologi
På seminarets første dag er formålet at introducere evalueringsfeltet og dets kontekst. Der gives indledningsvis en introduktion til evalueringsfeltet og dets udvikling, hvor bla. 4 evalueringsbølger med tilhørende
evalueringsmodeller bliver introduceret. Desuden diskuteres en plan for styring af evaluering for at kvalificere deltagerne til at forså de forskellige, der skal træffes i forbindelse med gennemførelse af evaluering
samt konsekvenserne heraf. Også evalueringens politiske karakter drøftes. Det sker for at gøre deltagerne
bevidste om den politiske konteksts betydning for evaluering og ikke mindst det faktum, at evaluering ikke
er en neutral begivenhed men afspejler særlige interesser, værdier mm.
På seminarets anden dag præsenteres en række evalueringsmodeller og deres metodologi, som giver en
indblik i henholdsvis fordele og ulemper ved forskellige evalueringsmodeller, samt de forskellige værdier,
som evalueringerne bygger på. Formålet er at give deltagerne et mere grundigt og metodologisk kendskab
til forskellige evalueringsmodeller, herunder forskellen mellem evaluering og måling for derigennem at give
deltagerne et bedre grundlag for hhv. at gennemføre og/eller bestille evalueringer. Drøftelserne eksemplificeres ved en workshop, ligesom deltagerne egne erfaringer anvendes som grundlag for yderligere diskussion.
Seminar 1, første dag (29. oktober 2013)
09.30 – 10.15
Velkomst, præsentation af programmet og deltagerne (BB)
10.15 – 11.00
Introduktion og grundlagsdiskussion I (BB)
11.00 – 11.15
Pause
11.15 – 12.00
Introduktion og grundlagsdiskussion II (BB)
12.00 – 13.00
Frokost
13.00 – 14.30
Organisering og styring af evalueringen (BB)
14.30 – 14.45
Pause
14.45 – 16.30
Den politiske evaluering (FL)
Seminar 1, anden dag (30. oktober 2013)
09.30 – 10.00
Opsamling fra sidst og det videre forløb (BB)
10.00 – 10.45
Evalueringsdesign (BB)
10.45 – 11.00
Pause
11.00 – 12.00
Evalueringsmodeller I (BB)
12.00 – 12.45
Frokost
12.45 – 13.30
Evalueringsmodeller (BB)
13.30 – 14.30
Workshop: bestil en evaluering (BB)
4
Obligatorisk litteratur:
Albæk, Erik (2001) ’Vidensinteresser og de mange betydninger af evaluering – et udviklingsperspektiv’ i H.
K. Krogstrup og P. Dahler-Larsen (red.) (2001): Tendenser i evaluering, Odense: Syddansk
Universitetsforlag p 21-31
Albæk, Erik (2001) ’Hvorfor nu al den evaluering?’ i H. K. Krogstrup og P. Dahler-Larsen (red.) (2001):
Tendenser i evaluering, Odense: Syddansk Universitetsforlag p 32-45
Dahler-Larsen, Peter (2011): Introduction’ pp. 1- 30 + kapitel 1-2 i The Evaluation Society. California:
Stanford University Press
Foss Hansen, Hanne (2003): Evaluering i staten. Statens multiple ansigter, kap.3 side 45-55.
Krogstrup, Hanne Kathrine (2007). ”Evalueringsmodeller” kapitel 1-4. Århus: Systime Academic
Krogstrup, Hanne Kathrine (2011). Kampen om evidens – Resultatmålinger, effektevaluering og evidens,
København: Hans Reitzels Forlag, kapitel 2
Vedung, Evert (2010). ’Four Waves of Evaluation’ Evaluation July 2010 vol. 16 no. 3 pp. 263-277
Sekundær litteratur:
Clarke, Alan (1999): Evaluation Research. An Introduction to Principles, Methods and Practice, kap. 1, pp. 134.
Foss Hansen, Hanne (2003): Evaluering i staten. Kontrol, læring eller
forandring, kap. 2.
Foss Hansen I Rossi, Peter H.; Lipsey, Mark W. & Freeman, Howard E. (2004): Evaluation. A Systematic Approach, kap. 2, pp. 31-66.
Hansen, Morten Balle & Evert Vedung (2010): Theory-Based Stakeholder Evaluation, American journal of
Evaluation, 31(3): 295-313.
Pawson, Ray & Tilley, Nick (1997): Realistic Evaluation. Sage Publications: London.
Pawson, Ray (2006): Evidence-based policy. A realist perspective. Sage Publications: London.
Vedung, Evert (2000): Public Policy and Program Evaluation. New Jersey: Transaction Publishers.
Røvik. Kjell Arne. (2007). Trender og translasjoner. Ideer som former det 21. århundrets organisasjon. Oslo:
Universitetsforlaget. (kapitel 13+14)
Seminar 2: Etik, effekter og evidens
Evaluering kobles i stigende grad sammen med behovet for evidensbaseret viden i udviklingen af offentlige
organisationer og politik. Det stiller nye udfordringer til offentlige ledere og organisationer, der skal
dokumentere resultater og sikre evidens. Modulets andet seminar dykker ned i evidenstankegangen, og går
i dybden med udvalgte evalueringsmodeller.
På seminarets første dag problematiseres og diskuteres kravet om effektevaluering og evidens. Hvad er
egentlig effektevaluering, og hvornår kan den anses for at være evident? Formålet er at indkredse, hvad der
forstås ved evidens og gøre deltagerne bekendte med flere typer af evidens. Der er kamp om evidensbegrebet, og argumenter for og imod diskuteres med udgangspunkt i international litteratur. Herefter sættes
der fokus på virkningsmodel og programteori som et alternativ til mere traditionel effektmåling.
På seminarets anden dag diskuteres præstationsmålinger og brugerundersøgelser. Fokus er blandt andet
på, hvad sådanne undersøgelser kan bruges til, og hvornår de er hensigtsmæssige. Dagen afsluttes med en
drøftelse af de etiske overvejelser i forbindelse med evaluering: hvordan håndteres bla. politisk modstand
mod at skrive de reelle konklusioner, demokratiske hensyn, fortrolighed mm?
5
Seminar 2, første dag (12. november 2012)
09.30 – 10.00
Opsamling fra sidst. (BB)
10.00 – 10.45
Evidensbasering I (BB)
10.45 – 11.00
Pause
11.00 – 11.45
Evidensbasering II (BB)
11.45 – 12.15
Drøftelse af synopsis og formelle krav til eksamen (BB)
12.15 – 13.00
Frokost
13.00 – 14.30
Virkningsevaluering og programteori I (TB)
14.30 – 14.45
Pause
14.45 – 16.30
Virkningsevaluering og programteori II (TB)
Seminar 2, anden dag (13. november 2013)
09.30 – 10.30
Præstationsmålinger (BB)
10.30 – 10.45
Pause
10.45 – 12.00
Brugerundersøgelser (BB)
12.00 – 12.45
Frokost
12.45 – 13.30
Workshop: valg af evalueringsmodel (BB)
13.30 – 14.30
Etik i evaluering (BB)
Obligatorisk litteratur:
Abma, T.A. (2006): The social relations of evaluation. Kap. 8 I Shaw, I.F. et al (eds.): The SAGE handbook of
evaluation. SAGE
Albæk, Erik (2001) ’Hvorfor nu al den evaluering?’ i H. K. Krogstrup og P. Dahler-Larsen (red.) (2001):
Tendenser i evaluering, Odense: Syddansk Universitetsforlag p 32-45
Bredgaard, T. m.fl. (2011): ”Hvad virker i aktiveringsindsatsen?” (kapitel 4: Realistisk evaluering, s. 22-28),
Beskæftigelsesregion Nordjylland (download fra brnordjylland.dk).
Brodkin, Evelyn Z. and Alexander Kaufman: “Policy Experiments and Poverty Politics”, Social Service Review,
Vol. 74, No. 4 (December 2000), pp. 507-532 (fuldtekstadgang via AUB - tryk accept af vilkår for
download). Link: http://www.jstor.org/stable/10.1086/516423
Dahler-Larsen, Peter (2011): kapitel 6-7 i The Evaluation Society. California: Stanford University Press
P. Dahler Larsen & H.K. Krogstrup (2004): ”Nye veje i evaluering” (Kapitel 4: Opskrift på virkningsevaluering,
s. 51-80
Krogstrup, Hanne Kathrine (2011). Kampen om evidens – Resultatmålinger, effektevaluering og evidens,
København: Hans Reitzels Forlag, Kapitlerne 1+ 3-8
Krogstrup, Hanne Kathrine (2007). ”Evalueringsmodeller” kapitel 5-10. Århus: Systime Academic
Krogstrup, Hanne Kathrine (2001). ’Brugerinddragelse i evaluering – top down og bottom-up perspektiver’ i
Dahler-Larsen¸ Peter og Hanne K. Krogstrup red. Tendenser i evaluering. Odense Universitetsforlag,
pp 195-208
Morris, M. (ed.) (2008): Evaluation Ethics for best practice. Kap. 1 (pp. 1-30). The Guilford Press
6
Simons, H. (2006): Ethics in evaluation.Kap. 11 i Shaw, I.F. et al (eds.): The SAGE handbook of evaluation.
SAGE
Sekundær litteratur:
Carman, Joanne G. and Kimberly A. Fredericks (2010). Evaluation Capacity and Nonprofit Organizations Is
the Glass Half-Empty or Half-Full? American Journal of Evaluation Volume 31 Number 1, 84-104
Christina A. Christie and Dreolin Fleisher (2009). Social Inquiry Paradigms as a frame for the Debate on
Credible Evidens in Donaldson Stewart, Christina a Christie, Melvin Mark red 2009 What counts as
credible evidence in applied research and evaluation practice?, Sage
Dahler-Larsen og Krogstrup (2003): Nye veje i evaluering. Systemtimer
de Bruijn, Hans (2007). Managing Performance in the Public Sector, London
Evelyn Z. Brodkin: Policy Politics: If We Can't Govern, Can We Manage? Political Science
Quarterly, Vol. 102, No. 4 (Winter, 1987-1988), pp. 571-58
Evelyn Z. Brodkin: POLICY WORK: STREET-LEVEL ORGANIZATIONS UNDER NEW MANAGERIALISM,
Forthcoming, J. of Public Administration Research and Theory
Frank Fischer (1995): ”Evaluating Public Policy”, Cengage Learning
Hansen, Hanne Foss & Rieper, Olaf (2009) ‘Evidensbevægelsens rødder, formål og organisering pp 17-37 i
Harald Grimen; Lars Inge Terum (red) Evidensbasert profesjonsutøvelse, Oslo: Abstrakt forlag
McDonald, B., Rogers, P., & Kefford, B. (2003). Teaching people to fish? Building evaluation capacity of public sector organizations. Evaluation, 9(1), 9-29.
Pawson, Ray (2006). Evidence-based Policy- A Realist Perspective. Sage
Van Dooren; Wouter; Bouckaert, Geert & Halligan, John (2010). Performance Management in the Public
Sector,
Vedung Evert (2009): Utverdering i politik och forvaltning; Studentlitteratur pp 75-91
Weiss Carol (1998). ‘Have we Learned Anything New About the use of Evaluation’, American Journal of
Evaluation, 1998:19, pp 21-33
Seminar 3: Evalueringens konsekvenser og fremtid
Temaet for tredje og sidste seminar er evalueringens konsekvenser og fremtid, herunder hvordan evaluering bevidst og ubevidst former offentlig politikker og organisatorisk praksis.
Seminarets første dag indledes med en drøftelse af muligheder og barrierer ifht. at opbygge evalueringskapacitet og evalueringskultur i forskellige typer af offentlige organisationer. Der lægges særlig vægt på de
ledelsesmæssige udfordringer, og hensigten er at give deltagerne nogle redskaber til at håndtere disse udfordringer og sikre bedre evalueringer der integreres aktivt i alle dele af organisationen. Herefter sættes
der fokus på anvendelse af evaluering – eller mangel på samme.
Anvendelse har gennem flere år været evalueringens ’ømme punkt’, da forskning har vist, at evalueringer
langt fra altid bruges til at forbedre beslutninger, programmer med mere. Evalueringer kan imidlertid anvendes til en række andre formål og kan få vidtrækkende konsekvenser – også selv om de ikke bruges instrumentelt og direkte til at forbedre offentlige beslutninger og programmer. På seminarets præsenteres
blandt andet forskellige anvendelsesformer: Kontrol, læring, oplysning, strategisk/ taktisk- og symbolsk
anvendelse.
7
Desuden diskuteres evalueringers konstitutive virkninger, hvormed der henvises til såvel tilsigtede som
utilsigtede virkninger af evaluering, og der lægges vægt på evaluering som en institution. Formålet er dels
at skitsere, hvordan evalueringer kan have betydninger, der rækker langt ud over deres oprindelige formål
dels at øge deltagernes kompetencer til at tilrettelægge evalueringer og evalueringsprocesser så de anvendes så hensigtsmæssigt som muligt.
Herefter drejes fokus mod styring af evaluering, hvor der lægges vægt på, hvordan evaluering buges som
styringsredskab til at ændre offentlige organisationer og aktørers adfærd. Med reference til systemmodellen, som blev behandlet på seminar 1, skelnes mellem evaluering og monitorering (resultatmålinger), og
der ses nærmere på resultatmålinger og monitorering som fænomen - hvad deres muligheder og begrænsninger? Desuden diskuteres evalueringens rolle ifht. forskellige styringsparadigmer, og evalueringens betydning i forhold til bla. akkrediteringsprocesser, kvalitetsudvikling mm. problematiseres. I diskussionen af
’den gode evaluering’ redegøres for forskellige krav til og kriterier for evaluering med henblik på gennemførelse af bedre og mere hensigtsmæssige evalueringer. Spørgsmålet om behovet for fælles standarder for
evaluering bliver drøftet, og evalueringens fremtid skitseres.
På seminarets anden dag diskuteres evalueringer som en institutionaliseret standard, der til tider kan få en
symbols eller rituel karakter. Herefter drøftes de studerendes udkast til synopsis. Deltagerne bedes senest
22. november på FirstClass uploade udkast til synopsis (projektmappe). Udkastet skal indeholde problemformulering, teori samt overvejelser om empiri – alt efter hvor langt I er nået. Afslutningsvis samles der op
på modulets problemstillinger og eventuelle spørgsmål afklares. Derudover er der afsat tid til evaluering af
modulet.
Seminar 3, første dag (26. november 2013)
09.30 – 10.00
Opsamling fra sidst (BB)
10.00 – 10.45
Opbygning af evalueringskapacitet og evalueringskultur – et overblik I (BB)
10.45 – 11.00
Pause
11.00 – 12.00
Opbygning af evalueringskapacitet og evalueringskultur – et overblik II (BB)
12.00 – 12.45
Frokost
12.45 – 14.15
Evalueringens anvendelse (FL)
14.15 – 14.30
Pause
14.30 – 15.30
Den gode evaluering – kriterier og krav (FL)
Seminar 3, anden dag (27. november 2013)
09.30 – 10.30
Institutionalisering af evaluering (BB)
10.30 – 10.45
Pause
10.45 – 12.15
Workshop med diskussion af deltagernes oplæg til synopsis (FL & BB)
12.15 – 13.00
Frokost
13.00 – 13.45
Det gode evalueringsfoløb (BB)
13.45 – 14.30
Opsamling og modulets evaluering (BB)
8
Obligatorisk litteratur:
Albæk et al (2001) ’Evalueringernes fremtid –fremtidens evalueringer’ i H. K. Krogstrup og P. Dahler-Larsen
(red.) (2001): Tendenser i evaluering, Odense: Syddansk Universitetsforlag p 260-270
Dahler-Larsen, Peter (2011): kap 3 og 6 samt ‘epilogue’ pp. 1- 30 i The Evaluation Society. California:
Stanford University Press
Dahler-Larsen, Peter (2001) ’Organisationalisering af evaluering’ i H. K. Krogstrup og P. Dahler-Larsen (red.)
(2001): Tendenser i evaluering, Odense: Syddansk Universitetsforlag p 79-94
Dahler-Larsen, Peter og Flemming Larsen (2001). Anvendelse af evaluering – Historien om et begreb, der
udvider sig’ i P. Dahler-Larsen og H. K. Krogstrup (2001): Tendenser i evaluering . Odense Universitets
Forlag pp 211-231
Dahler-Larsen, Peter og Hanne Kathrine Krogstrup (2001). Evalueringers konstitutive virkninger i P. DahlerLarsen og H. K. Krogstrup (2001): Tendenser i evaluering . Odense Universitets Forlag pp 232-245
LKusek, Jody Zall and Ray Rist (2004). Ten steps to a result based monitoring and Evaluation System: A
handbook for development practitis, Washington DC; World Bank publication pp 1-38
Krogstrup, Hanne Kathrine (2011). Kampen om evidens – Resultatmålinger, effektevaluering og evidens,
København: Hans Reitzels Forlag, kapitel 9
Mayne, John & Rist, Ray (2006), “Studies Are Not Enough: The Necessary Transformation of Evaluation”,
The Canadian Journal of Program Evaluation, vol. 21, No. 3.
Nielsen, Steffen Bohni; Sebastian Lemire1, and Majbritt Skov (2011) ‘Measuring Evaluation Capacity—
Results and Implications of a Danish Study’. American Journal of Evaluation 32(3) 324-344
Preskill, Hallie and Shanelle Boyle (2008). ‘A Multidisciplinary Model of Evaluation Capacity Building’ American Journal of Evaluation Volume 29 Number 4 December 2008, 443-459
Sekundær litteratur:
Arnold, M. E. (2006). Developing evaluation capacity in extension 4-H field faculty. American Journal of
Evaluation, 27(2), 257-269
Atkinson, D. D., Wilson, M., & Avula, D. (2005). A participatory approach to building capacity of treatment
programs to engage in evaluation. Evaluation and Program Planning, 28, 329-334
Berger, Peter L & Luckmann, Thomas (1996). Den samfundsskabte virkelighed. En videnssociologisk afhandling, Viborg: Lindhardt &Ringhof
Bjørnholt, Bente (2008). ’Hvorfor bliver brugerundersøgelser ikke brugt – eller hvorfor bruges de anderledes end forventet?’ pp. 77-99 i Bjørnholt, Goul Andersen & Lolle (red) Bag kulissen i konstruktionen af
kvalitet, Odense: Syddansk Universitetsforlag
Boyle, R., Lemaire, D., & Rist, R. C. (1999). Introduction: Building evaluation capacity. In R. Boyle & D. Lemaire (Eds.), Building effective evaluation capacity (pp. 1-19). New Brunswick, NJ: Transaction Publishing
Dahler-Larsen, Peter & Hanne Kathrine Krogstrup 2000- ’Evaluering og institutionelle standarder: Nyinstitutionelle betragtninger af evaluering som vor tids ritual’ Politica, bind 32, 3
Forss, K., Kruse, S., Taut, S., & Tenden, E. (2006). Chasing a ghost? An essay on participatory evaluation and
capacity development. Evaluation, 12(1), 128-144
Hansen, Hanne Foss. 2005. ”Kvalitet i evalueringspraksis". Nordisk Administrativt Tidsskrift 1(86) 27-43
Hansen, Hanne Foss 2007. Evalueringsstyring (Plenumindlæg på Dansk Evalueringsselskabs konference om
”Nye Styringsformer og Evaluering”, Nyborg Strand, september 2006). Evalueringsnyt nr. 13, pp. 6-11
9
Henry, Gary.T and Melvin Mark (2003). ‘Beyond Use: Understanding Evaluation`s Influence on Attitudes
and Actions’. American Journal of Evaluation 2003:24 pp 293-315
KREVI 2008. Evaluering i danske kommuner. En kvantitativ kortlægning af kommunernes evalueringskapacitet. http://krevi.dk/files/Rapport_Evaluering_i_danske_kommuner.pdf
Preskill, Hallie (2005): Developing Evaluation Capacity, The Evaluator’s Institute,Washington Seminar, 2005
The World Bank Operations Evaluation Department 1999. “Evaluation capacity development: A diagnostic
guide and action framework”, ECD Working Paper Series (6)
10