docUtvärderingsmål & medel: kunskap eller kontroll?
download 
Report Transcription
Utvärderingsmål & medel: kunskap eller kontroll?
Utvärderingsmål & medel: kunskap eller kontroll? En jämförelse av utvärderingsfunktionen i tre statliga förvaltningsmyndigheter NATURVÅRDSVERKET Beställningar Ordertel: 08-505 933 40 Orderfax: 08-505 933 99 E-post: [email protected] Postadress: CM-Gruppen, Box 110 93, 161 11 Bromma Internet: www.naturvardsverket.se/bokhandeln Naturvårdsverket Tel: 08-698 10 00, fax: 08-20 29 25 E-post: [email protected] Postadress: Naturvårdsverket, SE-106 48 Stockholm Internet: www.naturvardsverket.se ISBN 91-620ISSN 0282-7298 © Naturvårdsverket 200 Tryck: Omslag: , bild/illustration: Form: , bild/illustration: NATURVÅRDSVERKET Rapport Förord Denna rapport baseras på en forskningsutredning om myndigheters utvärderingsfunktioner. Utredningen har finansierats av medel från Naturvårdsverket. Syftet med studien är att utifrån relevant forskning och andra myndigheters erfarenheter undersöka utvärderingens roll, organisering och genomförande inom den offentliga förvaltningen och sätta denna i relation till utvärdering av miljöarbetet. Den övergripande frågan som analyseras är den följande: Hur fungerar utvärderingsfunktioner i svenska myndigheter och vilka lärdomar kan Naturvårdsverket dra vad gäller deras egna utvärderingar? Studien fokuserar på hur utvärdering organiseras och vilken roll den fyller inom olika sak- och politikområden. Genom att analysera utvärderingens organisation och funktion uppdagas skillnader angående hur man studerar effekter mellan områdena. Därtill diskuteras frågan om uppföljningar av tidigare utvärderingar och huruvida dessa utgjort ett stöd för implementeringen av politiken.Slutligen diskuteras vilka erfarenheter som är användbara för Naturvårdsverkets utvärdering av miljöarbetet. Studien är designad som en jämförande fallstudie där fem olika typer av utvärdering ställs mot varandra i tre statliga förvaltningsmyndigheter: Naturvårdsverket, Socialstyrelsen och Myndigheten för Samhällsskydd och Beredskap. Kontaktperson på Naturvårdsverket har varit Lisa Eriksson från utvärderingssektionen. Rapporten har skrivits av Wendy Maycraft Kall, Statsvetenskapliga Institutionen, Uppsala Universitet. Författaren svarar för innehållet. Författaren tackar också Johan Engvall för hans råd om denna text. Naturvårdsverket oktober 2012. 3 NATURVÅRDSVERKET Rapport Innehåll FÖRORD 3 INNEHÅLL 4 FÖRKORTNINGAR 7 SAMMANFATTNING 8 SUMMARY 9 1 INLEDNING: UTVÄRDERING INOM FÖRVALTNING & MYNDIGHETER 1.1 Uppdraget 11 11 1.2 Syfte och frågeställningar 12 1.3 Metod och avgränsningar 12 1.4 Utvärderingsfunktion i tre myndigheter 13 Naturvårdsverket (NVV) 13 Myndigheten för samhällsskydd och beredskap (MSB) 14 Socialstyrelsen (SoS) 15 1.5 Begreppet utvärdering 15 1.6 Utvärdering: historia och styrningssystem 17 Utvärdering: ett historiskt perspektiv 17 Utvärdering och styrning 18 1.7 Ett åttapunktsprogram för utvärdering 21 1.8 Rapportens disposition 22 2 2.1 UTVÄRDERING: MÅLSÄTTNING & ROLL Utvärderingsroller och policyprocessen 23 23 Formativa utvärderingar 23 Utvärderingar i utvecklingssyfte 24 Slututvärderingar 24 2.2 Utvärdering: målsättning och kriterier 24 Målsättning utifrån policymål (Management By Objectives) 25 Aktörers målsättning (Stakeholder evaluation) 26 Målsättning utifrån relevans/effekter (Effectiveness Audit) 26 2.3 Utvärderingsmål inom tre myndigheter 27 Naturvårdsverket 27 Myndigheten för samhällsskydd och beredskap (MSB) 29 Socialstyrelsen (SS) 31 4 NATURVÅRDSVERKET Rapport 2.4 Diskussion 34 3 ORGANISATIONSFRÅGA I: HUR ORGANISERAS EN UTVÄRDERING? 3.1 Utvärderingens organisatoriska grunder 35 35 Den interna utvärderingsmodellen 35 Den externa utvärderingsmodellen 36 3.2 Utvärderingsorganisation: en jämförelse av tre myndigheter 37 Naturvårdsverket 38 Myndigheten för samhällsskydd och beredskap (MSB) 38 Socialstyrelsen 39 3.3 Diskussion 40 4 ORGANISATIONSFRÅGA II: UTVÄRDERARES ROLLER & KOMPETENSER Utvärderarens roll: mellan organisation och ideologi Utvärderarens kunskapsbas 4.1 41 41 42 Utvärderarroller i tre myndigheter 46 Naturvårdsverket 46 Myndigheten för samhällskydd och beredskap (MSB) 47 Socialstyrelsen 48 4.2 Diskussion 48 5 5.1 UTVÄRDERING: DESIGN & METODER Utvärderingsdesign och programteori 51 51 Effektmätningsdesign 51 Kvalificerad uppföljningsdesign 51 Programteori 52 5.2 Datainsamlingsmetoder 53 5.3 Utvärderingsmetoder i tre myndigheter 54 MSB: utvärdering av samhällsövningar 55 Socialstyrelsen: utvärdering av de nationella riktlinjerna 57 5.4 Diskussion 59 6 6.1 ATT MÄTA, TOLKA & BEDÖMA UTVÄRDERINGSRESULTAT Hur utvecklas bedömningsgrunder? 61 61 6.2 Olika typer av bedömningar och bedömningens grunder 62 6.3 Mätningssvårigheter 62 6.4 Att mäta utvärderingsresultat och myndigheter 64 Naturvårdsverket 65 5 NATURVÅRDSVERKET Rapport Myndigheten för samhällsskydd och beredskap (MSB) 65 Socialstyrelsen 67 6.5 Diskussion 69 7 7.1 ATT ANVÄNDA & SPRIDA RESULTAT Vem använder utvärderingar 71 71 7.2 Hur används utvärderingar? 72 Besluts- och ledningsstöd 72 Kontrollsyfte 72 Inlärningssyfte 73 7.3 Utvärderingar och spridningsstrategier 73 7.4 Att följa upp tidigare utvärderingar 74 7.5 Att använda och sprida utvärderingsresultat i tre myndigheter 74 Naturvårdsverket 75 Myndigheten för samhällsskydd och beredskap 76 Socialstyrelsen 77 7.6 Diskussion 79 8 8.1 SLUTSATSER & REKOMMENDATIONER Slutsatser 81 82 Utvärdering: målsättning och roller 82 Utvärderingens organisation 82 Utvärderare: roller och kompetenser 83 Utvärdering: design och metoder 83 Att mäta, tolka och bedöma 84 Att använda och sprida utvärderingsresultat 84 8.2 Rekommendationer för utvärdering av miljöarbetet 85 9 REFERENSER 87 BILAGA 1: INTERVJUGUIDE 91 BILAGA 2: EMPIRISK UNDERSÖKNING 93 6 NATURVÅRDSVERKET Rapport Förkortningar MBO Management-By-Objectives/Mål- och resultatstyrning MSB Myndigheten för Samhällssydd & Beredskap/Civil Contingencies Agency NPM New Public Management NVV Naturvårdsverket/ Swedish Environmental Protection Agency SS Socialstyrelsen/Swedish National Board of Health & Welfare 7 NATURVÅRDSVERKET Rapport Sammanfattning Under senare år har granskningssamhället expanderat rejält med ökande krav på utvärderingsinformation från olika aktörer, däribland beslutsfattare, myndigheter, lokala förvaltningsorgan, professioner, allmänheten och allehanda intresseorganisationer. Utvärderingsenheter inom olika myndigheter producerar betydande information, men det är oklart huruvida olika utvärderingsenheter har likartade roller, organisationer, metoder och användningsfunktioner. Vad kan Naturvårdsverket lära sig av andra myndigheters utvärderingsarbete? Föreliggande studie fokuserar på utvärderingsfunktionen genom en jämförande analys av tre svenska myndigheter: Naturvårdsverket, Myndigheten för samhällsskydd och beredskap samt Socialstyrelsen. Dessa tre myndigheter arbetar med policyområden som skyddar medborgare mot olika typer av risker, närmare bestämt miljöproblem, krissituationer och hälso- och välfärdsproblem. I samtliga fall implementeras politiken på regional och lokal nivå av diverse offentliga och privata aktörer. Studien är upplagd som en teoristyrd, kvalitativ och jämförande forskningsutredning av myndigheters utvärderingsfunktioner. Den baseras på ett antal strategiska intervjuer samt dokumentstudier. Resultaten som diskuteras i denna rapport visar att det finns båda likheter och skillnader i myndigheternas praxiser. De flesta utvärderingsenheterna är ”mångsysslare”; de har flera utvärderingsroller och arbetar med olika utvärderingstyper beroende på vilket slags uppdrag det handlar om. Ett betydande fokus riktas mot inlärande, men det förekommer också ett kontrollsyfte, om än i begränsad grad. De undersökta myndigheterna genomför i huvudsak externa utvärderingar, eftersom initiering och finansiering åligger andra än den utvärderade organisationen. Ett visst inslag av internutvärdering förekommer dock ibland. Likheterna är betydande vad gäller utvärderarnas kompetenser. Överlag anställs samhällsvetare och pedagoger. Undantaget är Socialstyrelsen, vars enheter rymmer flera medicinska experter. Några enheter anlitar vid behov externa expertkompetenser. I regel bedrivs arbetet med utvärderingsuppdrag internt inom de olika myndigheternas enheter. Både likheter och skillnader uppdagas med avseende på de olika utvärderingsmetoder som används för att genomföra utvärderingar. Frågemetod och dokumentanalys är populära tillvägagångssätt. MSB:s använder sig också av övningsutvärderingar och simuleringar samt observationsmetoder. Socialstyrelsens utvärderingar av de nationella riktlinjerna för god vård använder å andra sidan statistiska och evidensbaserade metoder. Det finns betydande variationer vad gäller myndigheternas mätningssystem, både vad gäller ambitionsnivå och innehåll. De flesta enheter sysslar med upplysande och beskrivande analyser i syfte att lära mer om arbetet för att kunna initiera förbättringar. Andra har detaljerade specifikationer för hur utvärderingen ska tolka och bedöma resultaten. Hur utvärderingarna till sist kommer till användning rent praktiskt är avhängig av uppdragets natur samt vilka typer av aktörer som kan dra nytta av resultaten. Denna forskningsutredning har tagit fram riklig information som kan användas för Naturvårdsverkets fortsatta arbeten i utvecklande och förbättrande syfte. 8 NATURVÅRDSVERKET Rapport Summary The audit society has expanded dramatically in recent years with ever increasing demands for evaluation and auditing information from political decision-makers, executive agencies, implementing organisations at lower levels, professionals, members of the public and other interested groups and organisations. The evaluation departments in Executive Agencies produce a substantial amount of information, yet it is unclear whether the evaluation departments have the same: roles, organisations methods, and measurement systems; uses; and what the Environmental Protection Agency (NVV) can learn from other Executive Agencies’ evaluation functions and strategies. The study focuses on the evaluation function by comparing three Swedish Executive Agencies: The Environmental Protection Agency (Naturvårdverket), The Civil Contingencies Agency (Myndigheten för samhällsskydd och beredskap) and The National Board of Health & Welfare (Socialstyrelsen). The agencies deal with policy areas relating to protecting citizen against future risks relating to environmental problems, crisis situations and health and social care problems. However, in every case policy implementation occurs at regional or local level by a diverse range of public and private actors. The study is designed as a theoretically guided qualitative and comparative research evaluation of Executive Agencies’ evaluation function. It is based on a number of strategic interviews and document analyses. The results discussed in this report show that there were both similarities and differences in the practices adopted by the agencies evaluations functions. Most of the evaluation departments were a “Jack of all trades” with several evaluation roles and types depending on the tasks their received. There was a strong focus on “learning” aims but there were also control and compliance based aims to a limited extent. The evaluated agencies carried out mostly external evaluations as initiation and financing was always separate from the evaluation-object, although a certain element of internal evaluation was sometimes present. There were similarities in evaluators’ competence as most came from social science of educational backgrounds, although the National Board of Health & Welfare employed experts in medical and social care. Outside experts were also occasionally employed. The evaluation sections usually worked internally with their remit. There were also similarities and differences relating to the evaluation methods used. It was common that questioning and document analysis methods were used. However, the Civil Contingencies Agency used simulation and observation methods and the National Board of Health & Welfare used statistical and evidence-based methods. There were considerable variations in the measurement systems used by the agencies with differences in ambition and content: most focused on intelligence systems with descriptive analyses whereas others had detailed specifications for interpretation and assessment of findings. Utilization was dependent on the task and which actors could use the findings. This research-based evaluation has created a wealth of information that the Environmental Protection Agency can use in their continued development work. 9 NATURVÅRDSVERKET Rapport 10 NATURVÅRDSVERKET Rapport 1 Inledning: utvärdering inom förvaltning & myndigheter Vi lever idag i ett informationssamhälle där mycket kunskap och information produceras och många organisationer investerar i kunskapsproduktion. Men hur används denna information och hur kan en organisation dra nytta av kunskap som produceras för att öka organisationens effektivitet? Beskrivningar som ”utvärderingssamhället” (Power 1997), ”utvärderingsvågen” (Dahler-Larsen 2007) eller ”utvärderingens tidevarv” (Lindgren 2006) har blivit populära. Moderna förvaltningsteorier som ”evidensbaserade metoder” eller ”vad som fungerar” använder sig av de kunskaper som utvärderingar producerar. På så sätt har utvärderingen blivit en central del av ansvarsutkrävandeprocessen (Clarke m fl. 2000). I Sverige finns dock en äldre tradition där den svenska administrativa modellen baseras på tillgång till information och kunskap under hela policyprocessen och från olika aktörer (Ruin 1982). Denna kunskapsproduktion följer tanken om demokratiskt upplysta politiska beslut och implementering (Dahl 1989; Ahlbäck-Öberg & Öberg 2005). Utvärdering har därför en viktig funktion för utformandet av politiska beslut, implementering och slutvärdering. Utvärdering är således en viktig del av det interna lärandet inom myndigheter. Men utvärderingen antar också vidare roller i samhället. Den fungerar både som informationskälla till politiker vad gäller effekter av olika beslut, och tillhandahåller medborgarna information inom ramen för det demokratiska ansvarsutkrävandet (Ahlbäck 1999, Mawhood 2002; Lindgren 2006). Viktig kunskap och information produceras inom den offentliga förvaltningen i Sverige, men frågan är hur informationen sedan används i praktiken. Statskontoret hävdar att i Sverige genomförs många utredningar inom offentliga förvaltningar, men det är osäkert hur dessa utvärderingar och kunskaper sedan används i praktiken. Framförallt finns det många organisationer som saknar rutiner för hur utvärderingsresultaten skall spridas vidare i verksamheten (Statskontoret 2002). Hur myndigeter organiserar och använder kunskapen - så kallad ”management of knowledge” - blir därför en central fråga för den offentliga förvaltningen. 1.1 Uppdraget Denna rapports uppdrag är att kartlägga och analysera utvärderingsfunktionen inom olika policyområden för att på så sätt skapa ett underlag för Naturvårdsverkets fortlöpande förbättringsarbete vad gäller att planera och genomföra utvärderingar. Syftet med forskningsutredningen är att studera och analysera utvärderingens roll, organisation och användning inom olika myndigheter. Förhoppningen är att kunna erbjuda Naturvårdsverket möjligheten att dra nytta av andra myndigheters erfarenheter, kompetenser och praxiser. Studien tar sin utgångspunkt i relevanta teorier och tidigare forskning. Dessa ligger sedan till grund för den empiriska undersökningen av utvärderingsfunktionen inom olika policyområden. Slutligen 11 NATURVÅRDSVERKET Rapport lämnar utredningen några rekommendationer som Naturvårdsverkets utvärderingssektion kan ta i beaktande för sina kommande diskussioner kring det kontinuerliga utvecklingsarbetet. 1.2 Syfte och frågeställningar Utredningen har som syfte att med hjälp av relevant forskning och andra myndigheters erfarenheter undersöka utvärderingens roll, organisering och genomförande inom offentlig förvaltning och därefter sätta dessa aspekter i relation till utvärderingen av miljöarbetet. Den övergripande frågeställningen är: hur fungerar utvärderingsfunktionen i svenska myndigheter och vilka lärdomar kan Naturvårdsverket dra för sina egna utvärderingar? Den övergripande frågan kan brytas ned till flera specifika frågor, vilka kommer att beaktas i denna forskningsutredning Vilken organisation och roll har utvärderingen inom olika sak/politikområden? Hur används resultaten – och hur kopplas dessa till organisation/roll? Hur skiljer sig sättet man studerar effekter mellan områdena? Har genomförda utvärderingar utgjort ett stöd för implementeringen av politiken, och i så fall på vilket sätt? Vilka erfarenheter är användbara för Naturvårdsverkets utvärdering av miljöarbetet? 1.3 Metod och avgränsningar Forskningsutredningen syftar till att kartlägga och analysera myndigheters utvärderingsfunktion inom flera policyområden. Utredningen ligger på den nationella nivån och fokuserar på hur statliga myndigheter planerar, organiserar och genomför sina utvärderingar. Utredningsupplägget följer en teoristyrd jämförande analys baserad på kvalitativa forskningsmetoder. Varje kapitel inleder med en teoretisk översikt av relevant teori och forskning inom det givna området. Tidigare forskning används därefter för att formulera ett antal teoristyrda undersökningsfrågor som ligger till grund för den jämförande empiriska studien. Den empiriska undersökningen använder två forskningsmetoder: intervjuer och dokumentanalys. Intervjustudien baseras på djupintervjuer genomförda på intervjupersonens arbetsplats under juni och augusti 2012. Studien använder Kvales (1997) intervjumetod bestående av semistrukturerade frågor. Denna metod innebär att forskaren utgår från en intervjuguide som tillåter fria diskussioner och följdfrågor anpassade efter intervjupersoners svar. Intervjuerna fokuserar på utvärderarens syn på utvärderingsfunktionen inom myndigheten. Intervjuguiden återfinns i Bilaga 1. I rapporten har samtliga intervjupersoner avidentifierats. Dokumentstudien består av en analys av två utvärderingsrapporter relaterade till intervjupersonernas utvärderingsområde. Syftet är att studera hur utvärderingarna genomfördes i prak- 12 NATURVÅRDSVERKET Rapport tiken. I den mån de var relevanta i sammanhanget användes samma frågor (se Bilaga 1) för att bedriva dokumentundersökningen. Rapporten baseras på fem intervjuer med representanter från tre olika myndigheter samt en dokumentanalys av tio stycken utvärderingsrapporter (se Bilaga 2). Forskningsutredningen undersöker utvärderingsfunktioner inom olika policyområden. Studien avgränsas till ett urval av tre myndigheter inom tre olika policyområden: Naturvårdsverket (miljöpolicy), Socialstyrelsen (socialpolicy) och Myndigheten för samhällsskydd och beredskap (försvarspolicy). Val av fall baseras på jämförbarhet med Naturvårdsverket. De övriga utvalda myndigheterna uppvisar liknande generella karakteristiska som Naturvårdsverket med avseende på storlek, roll och struktur. Däremot kan de olika myndigheternas syn på, eller sätt, att genomföra utvärderingar variera. De tre myndigheter som ingår i studien har mellan 500 och 1200 anställda. Alla myndigheter har också som uppgift att bidra till medborgarnas välstånd samt skydda dem från möjliga framtida risker. De tre myndigheterna har också liknande strukturer i den mening att de har en rådgivande funktion medan konkreta insatser implementeras på lägre nivåer – exempelvis länsstyrelser och kommuner. Dessa likheter betyder att de tre myndigheterna kan betraktas som jämförbara fall för en undersökning av de olika utvärderingsfunktionerna. Det är emellertid viktigt att påpeka att denna undersökning genomfördes inom en tidsbegränsad period och utgör därför en intensiv studie baserad på fem intervjuer och 10 utvärderingsrapporter. Syftet är att producera ett teoristyrt underlag för utvärderingssektionens fortsatta förbättringsarbete med hjälp av illustrerande empiriska exempel. Generaliseringsambitionerna är dock begränsade. 1.4 Utvärderingsfunktion i tre myndigheter Studiens utgångspunkt är att jämföra utvärderingsfunktionen inom tre statliga myndigheter.1 Utöver Naturvårdsverket ingår Myndigheten för samhällsskydd och beredskap och Socialstyrelsen i studien. Alla tre myndigheterna har ett uppdrag som tillåter dem att intervenera i syfte att skydda samhället från olika typer av risker, det vill säga miljörisker, hälsorisker samt risker som uppstår vid olyckor och kriser. Men i samtliga fall implementeras de konkreta ingripandena av andra organisationer på nationell, regional och lokal nivå. De tre myndigheternas uppdrag är därmed av en stödjande, eller rådgivande, karaktär. Uppdraget består i att vägleda den implementering som andra aktörer genomför. Naturvårdsverket (NVV)2 Naturvårdsverket är en statlig förvaltningsmyndighet på miljöområdet placerad under Miljödepartement. Myndigheten har omkring 550 anställda. Vid sidan av 1 Rapporten kommer att använda begreppet utvärderingsenhet för att beteckna myndighetens utvärderingsfunktion trots att olika begrepp för denna funktion används inom de tre myndigheterna: Naturvårdsverket – utvärderingssektion; Socialstyrelsen – utvärderingsenhet; MSB – utvärderingsgrupp. 2 Baseras på information från Naturvårdsverkets hemsida www.naturvårdsverket.se (2012-05-14). 13 NATURVÅRDSVERKET Rapport huvudkontoret i Stockholm finns kontor i Östersund och i Kiruna. Naturvårdsverket ansvarar för miljöarbetet och är pådrivande och samlande vid genomförande av miljöpolitiken. Myndigheten har överblick över hur miljön mår och hur miljöarbetet går. Detta tar sig uttryck genom att myndigheten samordnar, följer upp och utvärderar hur olika organisationer arbetar för att uppnå miljömålen på områden där flera aktörer samverkar: statliga myndigheter på den nationella nivån, länsstyrelser på den regionala nivån, kommuner på den lokala nivån samt andra organisationer och företag. Naturvårdsverket verkar för att tillhandahålla information, råd och stöd för olika ändamål. Myndigheten producerar skriftliga vägledningar för tillämpning av miljöbalken. Dessa distribueras genom information på hemsidan, allmänna råd, handböcker, faktablad, nyhetsbrev och så vidare. Råd och stöd ges också genom utbildningar, kurser och seminarier för olika aktörer. Utvärdering är ett viktigt verktyg för att förbättra miljöarbetet och myndighetens utvärderingssektion finns inrättad inom Avdelningen för analys och forskning. Naturvårdsverkets utvärderingssektion granskar miljöarbetet inom diverse organisationer och rekommenderar åtgärder för att förbättra olika organisationers arbete med miljöfrågor. Utvärderingar används ofta som underlag till beslutsfattare, men även i syfte att sprida information till verkställare och allmänheten. Utvärderingssektionen består i regel av sex utvärderare.3 Dessa utvärderare besitter särskild kompetens för att utvärdera miljöarbete. Myndigheten för samhällsskydd och beredskap (MSB)4 Myndigheten för samhällsskydd och beredskap (MSB) är en statlig förvaltningsmyndighet som sorteras under Försvarsdepartement och arbetar med frågor som gäller krisberedskap, civilförsvar och skydd mot olyckor. MSB skapades 2009 genom en sammanslagning av tre olika myndigheter – Räddningsverket, Krisberedskapsmyndigheten och Styrelsen för psykologiskt försvar. MSB har cirka 850 anställda med huvudkontor i Stockholm och Karlstad samt ett antal kontor i flera andra städer. MSB:s uppgift är att hjälpa samhället att förebygga eller hantera olika typer av kriser och olyckor. MSB arbetar på flera olika sätt med planering, förebyggande åtgärder och krishanteringsstrategier för att stärka samhällets kapacitet att hantera kriser. MSB ger också stöd när kriser inträffar samt tillförsäkrar att samhället drar lärdomar av olika typer av allvarliga händelser. Eftersom kunskapsproduktion och bedömning av olika händelser är centrala uppgifter för MSB utgör utvärderingen en central komponent i myndighetens arbete. MSB:s utvärderingar sker inom Enheten för strategisk analys där utvärderingsgruppen består av fem personer.5 Denna grupp utvärderar effekterna av olika interventioner som vidtagits i krishanteringssyfte. MSB genomför huvudsakligen två typer av utvärderingar. För det första bedrivs vanliga utvärderingar som fokuserar på både interna och externa mål, organisationer, processer, samt effekter. Allt detta 3 Vid tidpunkten för intervjun på Naturvårdsverket, den 18 juni 2012 var en person tjänstledig. 4 Baseras på information från MSB:s hemsida www.msb.se (2012-5-31). 5 Vid tidpunkten för intervjun på MSB, den 15 juni 2012 var en person tjänstledig. 14 NATURVÅRDSVERKET Rapport granskas för att kunna bedöma samhällets förmåga att hantera olycks- och krissituationer. För det andra finns också speciella utvärderingar av samhällsövningar som genomförs för att praktisera olika krishanteringsstrategier. Övningsutvärderingar ger viktig feedback och kunskap till olika kategorier av samhällsaktörer med uppgift att utveckla och implementera katastrofplaner och åtgärdsprogram för olika sorters samhällskriser till följd av olyckor eller katastrofer. Socialstyrelsen (SoS)6 Socialstyrelsen är en statlig förvaltningsmyndighet som sorteras under Socialdepartementet och arbetar med frågor som gäller hälso- och sjukvård samt social omsorg. Socialstyrelsen har drygt 1100 anställda med huvudkontor i Stockholm och regionala kontor i andra städer. Socialstyrelsen arbetar med frågor som rör välfärdspolitik, i synnerhet hur vård och omsorg fungerar beträffande den enskilda medborgarens rätt till god hälsa och god vård. Arbetet är mångfacetterat: Först samlas en mängd data in för att därefter sammanställas i olika register och bearbetas med hjälp av statistisk analys. Myndigheten producerar därtill olika föreskrifter, råd och handböcker för att stödja implementeringsarbetet. Evidensbaserade riktlinjer för praktiker inom vård och omsorg utvecklas i syfte att höja kvaliteten på området. För att kontrollera den praktiska verksamheten på området genomför Socialstyrelsen uppföljningar, granskningar och inspektioner. Av dessa arbetsområden framkommer tydligt att utvärdering är ett viktigt verktyg för att åskådliggöra Socialstyrelsens olika verksamheter. Avdelningen för statistik och utvärdering omfattar sju olika enheter. Dessa utvecklar databaser och analyserar och utvärderar skeendena inom vård och omsorg. De två enheter som ingår i denna studie är Enheten för utvärdering och Enheten för uppföljning. Enheten för utvärdering granskar vårdens och omsorgens kvalitet, effektivitet, resultat, kostnader, processer och rutiner. Denna enhet tillhandahåller även analyser som ger underlag till beslutsfattare på nationell, regional och lokal nivå. En av enhetens huvuduppgifter är att utvärdera de nationella riktlinjerna för ”god vård”. Enheten för uppföljning har till uppgift att evaluera, följa upp och analysera särskilda frågor inom vård- och omsorgspolitiken, i regel utifrån regeringsuppdrag. Utvärderingar kan, till exempel, fokusera på att följa upp reformer eller granska särskilda vård- och omsorgsfrågor. 1.5 Begreppet utvärdering Utvärdering har en lång tradition i Sverige. Begreppet utvärdering är emellertid inte helt oproblematiskt. Därför är det på sin plats att diskutera detta, för denna studie, centrala begrepp mer utförligt. Forskningen om utvärdering har hittills inte lyckats nå konsensus kring hur begreppet skall tolkas. Det råder emellertid enighet om att det rör sig om ett mångtydigt begrepp som haft en tendens att vidga sig 6 Baseras på information från Socialstyrelsen hemsida www.socialstyrelsen.se (2012-5-15). 15 NATURVÅRDSVERKET Rapport under senare år (se t ex Vedung 1998; Lindgren 2006). Det står dessutom klart att utvärderingsväsendet innehåller många olika beslut och alternativ och att det finns en rad olika perspektiv på utvärderingens organisation, dess roller och metoder samt vilka typer av bedömning och slutsatser som kan dras och hur kunskaper från utvärderingar bör tas emot och spridas inom organisationen (Power 1997, Lindgren 2006, Vedung 1998, Mawhood 2002). Det är därför tydligt att utvärdering är ett begrepp med olika definitioner inom offentliga verksamheter. Nedan följer ett smakprov. ”UTVÄRDERING = noggrann bedömning i efterhand av utfall, slutprestationer, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänks spela en roll i praktiska beslutssituationer (Vedung 2010:22) Evaluation is the systematic assessment of the operation and/or the outcomes of a program or policy compared to a set of explicit or implicit standards as a means of contributing to the improvement of the program or policy (Weiss 1998:4) Utvärdering i politik och förvaltning handlar om att i efterhand upptäcka, kartlägga och bedöma offentliga åtgärders förvaltning och resultat i syftet att åstadkomma ökad självreflektion, fördjupad förståelse och bättre grundade beslut” (Vedung 1998:19). [E]n systematiskt genomförd undersökning får att få fram tillförlitliga och användbara resultat om värdet eller förtjänsten av en given aktivitet i ett givet sammanhang (Statskontoret 2001:3) Beskriva, förklara, värdera, föreslå = utvärdering (Naturvårdsverket 2006:10). Skillnaderna till trots, går det att urskilja ett antal gemensamma drag bland dessa definitioner: Efterhandsbedömning med koppling till framtiden Utvärdering är en ex-post ”tillbakablick” (Vedung 2010:22) och efterhandsbedömning om policyprocessens beslut, innehåll, förvaltning, organisering och slutprestation. Utvärdering är, därför, ett brett begrepp som innebär att hela policyprocessens beståndsdelar studeras: mål och beslut; organisationer och strukturer; genomförande och operation; utfall och slutprestationer av olika aktörer, till exempel politiker, tjänstemän, brukare, professioner, intressegrupper. Noggrann och systematisk bedömning Utvärdering innebär en systematisk undersökning och bedömning av policyer, interventioner och program där utvärderaren använder sig av accepterade regler och metoder. Bedömning av utfall Det står klart att utvärderingens syfte är att höja kunskapsläget genom att stärka lärandet och bidra till att förvaltningens framtida beslut skall vara bättre 16 NATURVÅRDSVERKET Rapport och mer effektiva. Det innebär att utvärderare måste värdera resultat och effekter. 1.6 Utvärdering: historia och styrningssystem Den moderna statens informationssamhälle har lett till en kraftig expansion av utvärderingsväsendet. I en tidsålder där organisationer, politiker och allmänheten ständigt kräver mer information bidrar utvärderingen till att skapa information som kan användas som underlag till att fatta beslut eller som ett sätt att bedöma utfallet av olika beslut. Följande sektion innehåller en kortare beskrivning av utvärderingens historia samt en översiktlig diskussion om förhållandet mellan utvärdering och styrning. Syftet är att sätta utvärdering i ett historiskt och förvaltningspolitiskt sammanhang. De olika trådarna från dessa avsnitt kommer även vara synliga i de empiriska undersökningarna av utvärderingen inom tre olika myndigheter. Utvärdering: ett historiskt perspektiv7 Sedan slutet av 1980-talet har utvärdering blivit ett medel för att förbättra kunskapsläget, stärka ansvarsutkrävandet, stimulera till valfrihet och främja demokratin i samhället. Utvärderingen har dock en äldre historia och dess betydelse ökade efter andra världskriget och välfärdsstatens framväxt. Detta skapade ett informationsbehov bland beslutsfattare, byråkrater, brukare och medborgare. Enligt Vedung (2010b) kvarstår spår av tidigare utvärderingsvågor även idag och dessa spår påverkar nästkommande våg. Vedung har kartlagt fyra historiska utvärderingsvågor: en vetenskaplig våg; en intressentbaserad/deliberativ våg, en nyliberal marknadsvåg och en evidensbaserad våg: Den vetenskapliga utvärderingsvågen: Denna våg sköljde in under 1960talet. Utgångspunkten var att utvärdering borde vara en vetenskaplig och rationell företeelse. Två huvudmodeller kan urskiljas: å ena sidan en radikal rationalitetsmodell där politik utgår från vetenskapliga lösningar på samhällsproblem; och å andra sidan en ingenjörsmodell som baseras på test och experiment. Utvärderingens utgångspunkt är därför rationalitet och objektivitet, och utvärderarna själva besitter särskilda vetenskapliga eller tekniska kunskaper. Den intressentbaserade, eller deliberativa, vågen: Denna våg kom i slutet av 1970-talet till följd av krav på att utvärdering inte borde förbehållas enbart experter utan istället ta fasta på perspektiv från flera samhällgrupper. Utgångspunkten var ett deltagande, demokratiskt tänkande där brukare, medborgare och andra grupper skulle beredas plats. Utvärdering blev en ett medel för ökad kommunikation, deltagande och debatt i samhället. Utvärderarrollen bestod i att kommunicera och förhandla mellan olika samhällsgrupper. 7 Detta avsnitt om utvärderingens fyra vågor baseras på Vedung 2010. 17 NATURVÅRDSVERKET Rapport Den nyliberala marknadsvågen: Denna våg uppstod under 1990-talet och baserades på New Public Managements (NPM) reformideologier kopplade till näringslivspraxis. Utgångspunkten var att införandet av ekonomiska idéer, såsom konkurrens, privata aktörer och valfrihet skulle medföra ökad effektivitet. Utvärderingens huvudfokus skiftade från processer till måloch resultatinriktning. Den nya förvaltningsmodellen innebar att tjänster implementerades av utomstående aktörer, vilket medförde svårigheter ur utvärderingshänseende då dessa privata verksamheter inte omfattades av, och inte kunde överblickas, med hjälp av samma regelverk som den offentliga sektorn. Den evidensbaserade vågen: Denna våg kan härledas till en önskan om effektivitet och funktionalitet. Utvärderingen återtog en vetenskaplig ansats genom att evaluera hur väl samhällsproblem löstes med hjälp av offentliga insatser och interventioner. Ett evidensbaserat perspektiv kan sammanfattas som: ”what counts is what works” (det som räknas är det som fungerar) och att insatser borde baseras på forskningsresultat. Detta innebar också att utvärderingen i viss mån återgick till en vetenskaplig modell baserad på forskning och experiment. Detta kompletteras dock med att olika intressenter deltar i utvärderingsprocessen, samt en ökad fokusering på processvariabler istället för ett snävt definierat mål- och resultatsyfte. Men den evidensbaserade utvärderingsmodellen är inte heller helt oproblematisk: olika vetenskapsmän kan tolka forskningsresultat på radikalt olika sätt. Därtill finns frågorna om vem som beslutar samt vilken evidens som godtas/förkastas och på vilka grunder en sådan bedömning äger rum? Det finns därför anor av de tidigare utvärderingsvågorna än idag. De är således synliga även i föreliggande rapport om utvärderingsprocessen i tre statliga förvaltningsmyndigheter. Det finns ett tydligt spår av intressentbaserad utvärdering eftersom de tre myndigheterna utvärderar olika aktörer och perspektiv kring den undersökta utvärderingsfrågan. Det finns också ett inslag av den nyliberala vågens fokus på policymål och resultat, samt att olika aktörstyper är representerade i myndighetsutvärderingen (kommuner, privata företag och frivilliga organisationer). Hos en av utvärderingsenheterna som studerades i den här rapporten, Socialstyrelsens utvärderingsenhet, är det särskilt tydligt att den vetenskapliga, statistiskt lagda evidensbaserade metoden betonas starkt i utvärderandet av de nationella vårdriktlinjerna. Dessa punkter kommer att diskuteras vidare längre fram. Utvärdering och styrning Det finns ett starkt samband mellan utvärdering och det underliggande styrsystemet. Styrsystemet påverkar utvärderingsfunktionen på flera sätt: val av hur utvärderingen ska designas och organiseras; vilka aktörer som ska ingå i utvärderingsprocessen; och vilken roll utvärderingen ska spela för organisationen (Hertting & Vedung 2009). Den offentliga förvaltningslitteraturen påstår att de nya reform- och styrningsmodeller som introducerades under 1990-talet har haft konsekvenser för 18 NATURVÅRDSVERKET Rapport utvärderingsfunktionen. De följande avsnitten diskuterar de nya styrningsideologierna och dess konsekvenser för utvärdering. NEW PUBLIC MANAGEMENT (NPM) Begreppet New Public Management (NPM) används ofta som ett samlingsbegrepp för att beskriva olika reformtyper som ägt rum sedan slutet av 1980-talet. NPM är inte en integrerad teori, utan en ”kundkorg” av olika empiriska reformidéer inspirerade av näringslivspraxis och företagsekonomi. Idén var att den offentliga sektorn kunde drivas på samma sätt som privata företag och att den offentliga sektorn kunde öka sin effektivitet genom att anamma dessa strategier (se Hood 1991, Osborne & Gaebler 1992/3; Dunleavy & Hood 1994; Pollitt & Summa 1997; Montin 2004; Maycraft Kall 2010). NPM baserades på Osborne och Gaeblers styrningsanalogi som gick ut på att förvaltningen skulle ”sluta ro – börja styra”(1992/3), det vill säga den offentliga sektorn borde styra policyimplementeringen, men själv inte behövde ”ro båten” av tjänsteproduktion. Istället kunde policyimplementeringen skötas på lägre samhällsnivåer eller av privata aktörer (Pierre & Peters 2000). NPM argumenterade för införandet av ett paket av olika typer av styrningsinstrument, till exempel kostnadsminskning, effektivitet, decentralisering, målstyrning, upphandling, konkurrens, prestationsmätning, ramlagstiftning och disaggregering (Hood 1991; Osborne & Gaebler 1992/3; Maycraft Kall 2010). Idén var att staten och myndigheterna enbart borde fokusera på huvudmålen och avhända sig andra aktiviteter, vilka med fördel kunde överlåtas till andra aktörer eller producenter.8 Utvärdering blev därför en viktig komponent hos NPM och fungerade som statens förlängda arm för att granska implementering på lägre nivåer eller utanför den offentliga sektorn. NPM-reformvågorna skapade nya förhållanden mellan centrala beslutsfattare och den lokala implementeringsnivån, vilken kunde ligga inom eller utanför den offentliga sektorn. Graden av styrningsspecificitet var lägre där regleringssystemet dominerades av ramlagstiftning och mål- och resultatstyrning (Maycraft Kall 2010). Utgångspunkten för dessa reformer var att ”hård” styrning (government), genom hierarkier, centralisering och reglering skulle ersättas av ”mjuk” styrning (governance), som kännetecknas av mjukare styrningsformer. Den nya ”mjuka” styrningsmodellen innebar att regeringen enbart formulerar generella mål för policyområdet medan tolkningen och det praktiska tillämpandet, likväl som beslut om medel, innehåll och processer, ombesörjs av aktörer på lägre nivåer (se Maycraft Kall 2010; Herting & Vedung 2009; Pierre & Peters 2000; Pollitt & Bouckeart 2004; Hall & Löfgren 2006;) OFFENTLIGA REFORMER OCH IMPLIKATIONER FÖR UTVÄRDERING De administrativa reformerna och övergången till mjuk styrning har haft flera utvärderingsmässiga implikationer. Tidigare forskning diskuterar hur NPM och 8 Centralt i idén om att styra istället för att ro var att till exempel sjukhusen fokuserar på huvudmålet, det vill säga sjukvård, medan andra funktioner (städning, matlagning, sociala roller, och så vidare) skulle upphandlas och överföras till andra aktörer (Maycraft Kall 2010). 19 NATURVÅRDSVERKET Rapport framväxten av nya styrningsförhållanden ledde till att centrala beslutsfattare inte längre kunde utöva kontroll över policyprocessen på samma sätt som under den traditionella förvaltningsmodellen. Detta innebär att policyimplementering och styrning blir allt svårare eftersom beslutfattare saknar en sammanhängande styrningskedja från statens policybeslut ner till de implementerade aktörerna.9 Ur ett utvärderingsperspektiv fick detta flera konsekvenser: Otydliga mål: NPM-reformer, som ramlagar och mål- och resultatstyrning, baserades på generella och otydliga mål som skulle tolkas på lägre nivåer. Utvärderare fick inte någon fast mall eller standardiserade interventioner att ta ställning till. I stället var de tvungna att ta itu med olika tolkningar av interventioner. Val av styrningsinstrument och utvärdering: Nya styrningsformer, som decentralisering, innebar att lagar tolkades och implementerades lokalt. Som ett resultat minskade graden av likformighet och det uppstod stora variationer mellan huvudmän, vilket bidrog till ökad komplexitet ur ett utvärderingshänseende. Sektorsövergripande/nätverksstyrning och utvärdering: Sektorsövergripande interventioner och nätverksstyrningsmodeller försvagade statens styrningsmöjligheter och gav upphov till komplexa organisationer och relationer som också måste utvärderas. Individualisering, brukarstyrning och utvärdering: NPM medförde en högre grad av individualisering genom valfrihetsreformer och kundvalsmodeller som gav brukarna en ”peng” för att välja offentliga, privata och frivilliga aktörer som konkurrerade med varandra. I stället för att utvärdera likformiga interventioner fanns det många olika program och tjänster som hade såväl olika innehåll som skilda ambitionsnivåer. Utvärderingsfokusering och granskningssamhälle: Traditionellt hade utvärderingsväsendet varit inriktat på system och procedurer. Vad som förändrades med NPM var idén att utvärderingen skulle fokusera på resultat och graden av måluppfyllelse. Därför skulle utvärderingen mäta utfall trots att offentliga interventioner ofta är svårare att mäta än för ett vinstdrivande företag. Det fanns också konflikter, motsägelser och farhågor: Skulle vi få en Machiavellisk kultur där ”målen helgar medlen” utan hänsyn till hur dessa mål uppnåtts och där utvärderaren enbart beaktar utfallen? Eller borde utvärderaren granska de system, procedurer och medel som används för att uppfylla policymålen? Reformvågorna inom den offentliga verksamheten ledde till framväxten av olika organisatoriska lösningar inspirerade av NPM:s tanke om en konkurrensutsatt verksamhet öppen för många olika typer av aktörer. Dessa nya organisationsformer innebar en utmaning för utvärderingsväsendet, vilken var tvungen att granska 9 Denna diskussion bygger på forskning av Maycraft Kall 2010; Herting & Vedung 2010; Pierre & Peters 2000; Bemelmans Videc 1998; Vedung 1998;Hertting &Vedung 2009. 20 NATURVÅRDSVERKET Rapport olika organisationskonstellationer med vitt skilda utgångspunkter och spelregler (vinstdrivande företag, frivilligorganisationer samt offentliga förvaltningsorgan). Som ett resultat blev det allt svårare att få insyn över alla policyinterventioner. Vidare innebar det att de anställda som stod för den direkta policyimplementeringen inte omfattades av gemensamma utgångspunkter eller regler. De nya idéerna om nätverksstyrning inom den offentliga sektorn skapade också problem för utvärderaren. Det kunde uppstå konflikter mellan motstridiga organisatoriska eller professionella kulturer baserade på olika värdegrunder. Denna komplexitet försvårade i sin tur tillsynen och bedömningen av måluppfyllelserna. 1.7 Ett åttapunktsprogram för utvärdering Enligt Vedung kan utvärderingsprocessen sammanfattas som ett åttapunktsprogram där utvärderingsfunktionen baseras på åtta frågor, vilka omfattar de olika stegen i utvärderingsprocessen. Dessa steg rör sig från frågan hur man planerar en utvärdering fram till hur utvärderingsresultat kan användas för att utveckla eller förbättra policymål och implementeringsverksamheter (1998). De åtta utvärderingsfrågorna sammanfattas i tabellen nedan. Tabell 1.1: Utvärdering som ett åttapunktsprogram 1. Syftesfrågan 2. Organisationsfrågan 3. Insatsfrågan 4. Förvaltningsfrågan 5. Resultatfrågan 6. Effektfrågan 7. Bedömningsfrågan 8. Användningsfrågan Utvärderingens huvudmål eller övergripande motiv Hur skall utvärderingen organiseras och vem skall utföra utvärderingen? Hur kan man skildra den insats som skall utvärderas? Är insatsen ett medel för att uppnå ett visst mål eller något som har ett eget värde? Vilka typer av administrativa processer används inom förvaltningen för att implementera insatsen? Vilka typer av slutprestationer och utfall har skett inom såväl som utanför målområdet? Vilka effekter har insatsen haft och vilka faktorer, inklusive insatsen, kan förklara dessa effekter? Hur kan resultaten mätas och bedömas? Vilka måttstockar kan användas? Vilka standarder eller målnivåer finns för att bedöma bra eller dåliga resultat? Hur skall utvärderingen användas? Vem skall använda den? (Baseras på Vedung 1998:93) 21 NATURVÅRDSVERKET Rapport Då denna rapport kommer att diskutera och analysera de flesta av dessa åtta punkter för att jämföra hur utvärderingsfunktionen fungerar i tre olika myndigheter kan dessa åtta frågor betraktas som studiens analysram. 1.8 Rapportens disposition Det inledande kapitlet beskrev forskningsutredningens uppdrag, inklusive forskningsfrågor, val av fall, metodologiska överväganden och bakgrundsinformation om utvärdering och styrning. Utöver detta inledande avsnitt kommer rapporten att innehålla ytterligare sex kapitel. Samtliga undersökningskapitel inleds med en teoriöversikt, vilken tjänar som analytiskt ramverk. Utifrån detta ramverk kommer ett antal utredningsfrågor att härledas. Därefter presenteras de empiriska fallstudierna, vilka redovisar en jämförelse av de tre myndigheterna på basis av intervjuer och dokumentanalys. Det andra kapitlet diskuterar utvärderingsprocessens roller och mål samt hur målsättningen går till och hur utvärderingskriterier formuleras. Det tredje kapitlet jämför de tre myndigheternas utvärderingsorganisationer med avseende på hur utvärderingar initieras och organiseras. Det fjärde kapitlet diskuterar den andra delen av organisationsfrågan: vem utvärderar och undersöker frågor kring utvärderares roller och kompetenser Det femte kapitlet analyserar utvärderingsdesign och val av utvärderingsmetoder. Här diskuteras även hur programteori används för att strukturera utvärderingar. Det sjätte kapitlet undersöker hur de tre myndigheterna analyserar och mäter utvärderingsresultaten. Fokus ligger här på att se om det finns ett systematiskt sätt att bedöma prestationernas kvalitet. Det sjunde kapitalet studerar hur utvärderingsresultat används av organisationer i olika sammanhang, vilka rutiner som finns för att sprida utvärderingskunskaper och vilka strategier som existerar för att följa upp huruvida utvärderingen har inneburit någon effekt på den förda politiken och dess implementering. I det åttonde och sista kapitalet presenteras slutsatser och rekommendationer som kan fungera som ett underlag för Naturvårdsverkets fortsatta diskussioner och arbete. 22 NATURVÅRDSVERKET Rapport 2 Utvärdering: målsättning & roll Utvärderingar kan fylla flera funktioner inom förvaltning och samhälle. De kan utgöra underlag till policyformuleringar och ligga till grund för nya vägledningar. Utvärderingar kan även syfta till att analysera implementeringen av ett pågående program eller tjäna som bokslut över ett avslutat program. En annan viktig funktion är att kommunicera information till allmänheten. Utvärderare måste alltså sätta mål utifrån deras uppdrag eller efter de mål som finns för organisationen eller programmet. Men den offentliga sektorns mål kan vara otydliga. Mål kan vara vaga eller abstrakta och det saknas ofta vägledningar och tydliga definitioner från beslutsfattare. Det kan också bli problematiskt om målen är svårmätbara. Den offentliga sektorns mål formuleras inom ramen för ett politiskt system kännetecknat av förhandlingar, kohandel och kompromisser mellan olika grupper med skilda intentioner eller ambitioner (Lindgren 2006; Brunsson 2000). Utvärderingens uppgift är att bestämma vilka roller och mål som ska användas för att genomföra uppgiften. 2.1 Utvärderingsroller och policyprocessen Utvärderingar kan anta olika roller inom policyprocessen. En första roll är att utvärderingar genomförs i formativt syfte (formative evaluation). Med detta menas att utvärderingsrollen är tänkt att generera underlag för beslutsfattare. Detta underlag kan sedan användas till exempel för policyförslag eller för formulering av lagstiftning. En annan roll är att utvärderingar genomförs i utvecklingssyfte (developmental evaluation). Detta betyder att ett pågående policyprogram utvärderas i syfte att dra lärdomar om hur implementeringen har fungerat och vilka ändringar som eventuellt behöver göras. Målet är att ge feedback om hur policyimplementeringen kan förbättras, effektiviseras eller om riktlinjerna behöver justeras. För genomförandet av denna uppgift är det vanligt att analysera organisationer, rutiner och preliminära programresultat. En tredje variant av en utvärderingsroll är slututvärderingar som görs i avslutande syfte (summative evaluation). Denna utvärdering är en slutredogörelse av ett avslutat projekt eller program och dess resultat. Centralt här är att fastställa graden av måluppfyllese samt vilka aspekter av organisationen eller procedurerna som fungerat bra respektive dåligt (Weiss 1998; Vedung 1998; Browne & Wildavsky 1983). Dessa tre roller diskuteras i nedanstående paragrafer. Formativa utvärderingar En formativ utvärdering producerar kunskaper som kan användas av politiker eller andra beslutsfattare för att utveckla policyer eller program. Utvärderingen fungerar som ett verktyg för att undersöka och analysera olika policyförslag. En formativ utredning kan därför bli en viktig komponent när det gäller policyinitiering och planeringsprocesser. Kunskapsgenererande på basis av formativa utredningar används ofta av beslutsfattare för att motivera policybeslut. De kan också användas i planeringsyfte, det vill säga för att planera policyns resursallokering eller organisation (Weiss 1998; Vedung 1998; Karlsson Vestman & Connor 2006). Det kan 23 NATURVÅRDSVERKET Rapport dock finnas svårigheter med formativa utvärderingar. Browne och Wildavsky (1983) argumenterar för att policyformuleringsutvärderingar ofta blir svårgenomförbara eftersom det saknas information om den framtida policyn. Utvärdering blir därmed en kvalificerad gissning, eller uppskattning, av policyns genomförande och dess sannolika effekter. Dessutom anser Statskontoret (2002) att formativa utvärderingar har en relativt begränsad roll eftersom regeringen generellt sett endast hänvisar till en utvärdering i 14 % av propositionerna, och sällan för att explicit motivera lagändringar. Även om formativa utvärderingar kan användas för att initiera och bereda policyprocessen är det oklart hur pass frekvent de i praktiken används. Det verkar som om de sällan används som en förutsättningslös undersökning, utan mer som ett sätt för regeringen att motivera och få stöd för ett visst beslut. Utvärderingar i utvecklingssyfte Utvecklingsutvärdering genomförs för att förbättra en pågående implementeringsprocess. Fokus ligger på att undersöka hur väl implementeringen fungerar och huruvida förändringar behövs för att förbättra resultatet. Denna typ av utvärdering är därför ett sätt att bedöma de preliminära policyutfallen, i synnerhet förvaltningens uppträdande, med avseende på huruvida implementeringsresurser används effektivt och om organisationssättet fungerar optimalt. Utvärderingar i utvecklingssyfte använder ofta kunskaper och erfarenheter som kan härledas till den preliminära implementeringsfasen. Huvudmannen får en möjlighet att förbättra de aspekter av implementeringen som inte fungerar optimalt (Karlsson Vestman & Connor 2006; Likierman 1993). Denna typ av utvärderingar fungerar därför framförallt som en feedbackmekanism; den ger individer och enheter ökade kunskaper om, och insyn i, hur prestationer och resultat kan bli mer effektiva. Slututvärderingar Slututvärderingar äger rum efter att en specifik implementeringsprocess har avslutats. Uppgiften består i att analysera policyresultat och samhällseffekter, samt att dra lärodomar. Slututvärderingar kan vara ett sätt att utkräva ansvar eller att öka kunskaper om måluppfyllese, resursanvändning och policyeffekter (Weiss 1998; Karlsson Vestman & Connor 2006). Det är dock viktigt att ta hänsyn till den politiska kontexten eftersom det kan finnas flera intressenter med olika tolkningar av policyns/programmets resultat. Slututvärderingar har ibland också en ideologisk roll. De kan fungera som en mekanism för att motivera en viss förd politik, men även tolkas utifrån ett visst ideologiskt perspektiv (Statskontoret 2002; Likierman 1993). 2.2 Utvärdering: målsättning och kriterier Utvärderingar av identiska policyområden kan genomföras utifrån olika perspektiv. Syftet kan vara att undersöka någon av följande aspekter: beslutsfattares mål och resultat, brukares erfarenheter; professionellas/tjänstemäns syn på implementeringen; policyrelevans; och effekter på det ursprungliga samhällsproblemet. Att be- 24 NATURVÅRDSVERKET Rapport stämma vilka kriterier och perspektiv som ska undersökas och därmed ligga till grund för utvärderingsfrågorna blir därför en viktig del av utvärderingens målsättningsprocess. Utvärderare måste bestämma vilka dimensioner eller aspekter av en intervention som ska prioriteras i den faktiskt undertagna utvärderingen. Dessa kriterier utgör utvärderingens utgångspunkt (Rossi m fl. 2004). Lindgren (2006) hävdar att utvärderingen måste formulera mål som sedan kan fungera som måttstock. Därmed bör dessa mål vara ”SMART”: Specifika: tydliga och konkreta mål; Mätbara: det måste vara möjligt att avgöra om målen har uppfyllts eller inte; Accepterade: alla inblandade parter behöver acceptera dessa mål; Realistiska: målen måste kunna uppnås i verkligheten och inte bara i ett ”idealtillstånd”; Tidsbegränsade: att det tydligt fastslås när resultatet skulle uppnås. Ett problem är att de mål som ska uppfyllas med hjälp av offentliga interventioner sällan är ”SMART”. Det är vanligt förekommande med att vagt formulerade ramlagar är föremål för tolkning på olika implementeringsnivåer. Det förekommer också negativa mål, det vill säga målbeskrivningen begränsas till att anslå det som inte ska uppnås. Många organisationer behöver alltså beakta flera mål, men problemet är att beslutsfattare inte alltid prioriterar dessa mål samt att det kan förekomma målkonflikter. Under sådana omständigheter begränsas förvaltningens möjligheter att planera sitt arbete (Lindgren 2006). Utvärderingar måste därför genomgå en målsättningsprocess i syfte att identifiera vilka kriterier som ska prioriteras i den givna undersökningen. Det finns dock flera olika typer av utvärderingsmål som utvärderaren kan välja mellan. Målsättning utifrån policymål (Management by objectives) Målbaserade utvärderingar är en av de vanligast förekommande utvärderingstyperna. Två frågor ligger till grund för dessa: Har beslutsfattarens mål uppnåtts? Är det interventionen eller insatsen som orsakade dessa resultat? I vissa fall finns det klart formulerade utvärderingsmål och kriterier fastställda i styrdokumentet eller i utvärderingsuppdraget. Målbaserade utvärderingar har blivit vanliga till följd av NPM:s fokus på mål- och resultatstyrning. Utvärderaren använder här i regel färdigt formulerade policymål och granskar i vilken utsträckning dessa mål har uppfyllts (Vedung 1998; Hertting & Vedung 2009). Det kan dock uppstå vissa svårigheter med att använda befintliga mål som utvärderingskriterier. Ramlagar har ofta vagt formulerade mål som kan tolkas och operationaliseras på olika sätt. Prioriteringsproblem kan också uppstå i fall implementeringsmålen är många och diversifierade. Ett ytterligare problem rör målkonflikter, till exempel om det å ena sidan finns prestationskrav på att ett visst antal ärenden ska handläggas inom en viss period, och å andra sidan processkrav relaterade till en ”rättssäker handläggning”. Det faller ofta på utvärderaren att konstruera utvärderingsmål och prioriteringar på basis av de nedskrivna målen (Lindgren 2006). En fördel med mål som utvärderingskriterier är att en sådan arbetsgång överensstämmer med idén om demokratisk 25 NATURVÅRDSVERKET Rapport styrning och ansvarsutkrävande. Beslutsfattarnas mål blir utvärderingens utgångspunkt (Hertting & Vedung 2009). Att sätta utvärderingsmål utifrån policy- eller interventionsmål säkerställer alltså utvärderingens demokratiska sida. Aktörers målsättning (Stakeholder evaluation) Ett sätt att forumlera utvärderingsmål är att använda aktörsmodeller kopplade till de olika typer av aktörer som medverkar i policyprocessen. Det finns olika typer av aktörsmodeller med olika utgångspunkter: Brukarmodeller utvecklar utvärderingsmål utifrån ett brukarperspektiv. Eftersom policyinterventioner syftar på att lösa brukarnas problem, utgör dessa en viktig utgångspunkt. Målsättningen med utvärderingen är i detta sammanhang att studera hur väl interventionen motsvarade brukarnas behov samt hur implementeringsprocessen fungerade i praktiken. Intressentmodell/”stakeholder”-modell utvärderar interventioner genom att ta ett perspektiv som innefattar många olika aktörer, till exempel politiker, brukare, tjänstemän, professionella, företag, etc. Målet med utvärderingen är att skapa dialog och diskussion mellan berörda grupper för att kunna säkerställa att samtliga aktörer kommer fram till gemensamma tolkningar och slutsatser. Kollegiala modeller: Utvärderingsmål formuleras utifrån personalens perspektiv. Utgångspunkten kan vara: 1) utvärderingsmål bestående av enklare typer av självutvärderingar från personalen; 2) vetenskapliga eller professionella utvärderingsmål som syftar till att främja standarder eller praxiser för implementeringen av professionella insatser, exempelvis evidens-baserade praxis. (se Rossi m fl. 2004; Hertting & Vedung 2009; Vedung 1998). Aktörsmodeller utgår från att policyprocessens deltagare besitter värdefulla kunskaper och erfarenheter om interventionens genomförande. Dessa modeller fokuserar därför på att utnyttja redan befintlig kunskap inom organisationen. Målsättning utifrån relevans/effekter (Effectiveness Audit) Ett problem som stundtals uppstår är huruvida det finns interventioner som implementeras effektivt och ekonomiskt utan att för den sakens skull ha någon faktisk effekt på det underliggande samhällsproblemet. Relevansbaserade utvärderingsmål utgår därför inte från en snäv bedömning av insatsens egna mål och resultat, utan fokuserar istället på graden av problemlösning. Vilka effekter har policyinterventionen haft på det identifierade problemet? Var interventionens konstruktion lämplig för att lösa problemet? Målsättningen utsträcks därmed till en bredare analys av interventionsprocessen, det vill säga interventionens målformulering, organisation, rutiner/procedurer, utfall och effekter (Hertting & Vedung 2009). Relevansutvärderingar kräver i regel vetenskapliga kunskaper om policyeffekter på olika sakområden. 26 NATURVÅRDSVERKET Rapport 2.3 Utvärderingsmål inom tre myndigheter 10 De tre myndigheter som ingår i denna studie sysslar i regel med flera typer av utvärderingsuppdrag. Det förekommer ofta formativa uppdrag där utvärderingsresultat används som underlag för departementens beredningsarbete inför kommande policybeslut. Det förekommer även regelbundna utvärderingar för utvecklingssyfte. Pågående implementeringsprocesser utvärderas för att förbättra den organisatoriska kunskapen kring den undersökta aktiviteten. Det är också relativt vanligt att de olika utvärderingsenheterna sysslar med slututvärderingar, särskilt i samband med olika regeringssatsningar. Naturvårdsverket Naturvårdsverkets utvärderingar genomförs i flera syften. Utgångspunkten ligger i hur olika aktörer genomför miljöarbetet. Utvärderingsfunktionen fokuserar inte på en viss utvärderingstyp utan har ett brett utbud. Detta är sannolikt en konsekvens av att Naturvårdsverkets utvärderingssektion i första hand utför utvärderingar beställda av andra aktörer, främst inom Naturvårdsverket, men även regeringsuppdrag. Utvärderingssektionen tar således emot diverse beställningar av utvärderingar med koppling till miljöarbetet. Det förekommer flera olika utvärderingsroller. Vanligast förekommande är formativa och utvecklingsbaserade utvärderingar. De formativa utvärderingarna genomförs för att tillhandahålla underlag för enheter och avdelningar inom Naturvårdsverket, samt för tjänstemän på departementet som är ansvariga för att initiera ny lagstiftning. Dessa utvärderingar beskriver hur nuvarande lagstiftning fungerar, samt identifierar områden som fungerar sämre och därmed kan vara i behov av nya policyförslag. Utvärdering har också ett utvecklande syfte genom att stödja miljölagstiftningens implementering. Vissa utvärderingar genomförs för att arbeta fram underlag till nya riktlinjer för aktörer som är involverade i implementerandet av miljölagstiftningen, exempelvis länsstyrelser, kommuner och företag. De två utvärderingsrapporter som ingick i denna studie hade båda utvecklingssyften. De bidrog med en nulägesbeskrivning av hur länsstyrelser och kommuner tolkar och tillämpar nuvarande policy eller lagstiftning, samt presenterade rekommendationer för nya riktlinjer (Naturvårdsverket 2011; Naturvårdsverket 2012). Det förekommer också i viss mån slututvärdering av en redan avslutad implementeringsprocess. Dessa utvärderingar handlar ofta om särskilda satsningar, till exempel när länsstyrelser eller kommuner har fått öronmärkta bidrag för specifika ändamål eller verksamheter under en begränsad period. Dessa satsningar utvärderas för att följa upp vilka effekter satsningen har haft och vilka resultat som uppnåtts till följd av den. Som diskuterats ovan sker utvärdering under olika faser av policyprocessen. Därtill görs en värdering också utifrån olika typer av perspektiv, vilket diskuterades i det teoretiska avsnittet. Det finns ofta en betoning på processutvärderingar, det 10 Detta avsnitt bygger på intervjuer med utvärderare samt en dokumentundersökning: se Bilaga 1, Bilaga 2 & Bilaga 3. 27 NATURVÅRDSVERKET Rapport vill säga att utvärderingar undersöker hur olika aktörer arbetar med olika frågor. Det tillkommer även samordningsfrågor i händelse att flera aktörer samarbetar kring eller samma fråga: Oftast handlar det om hur länsstyrelser och kommuner har uppfattat frågorna och hur arbetet fungerar. Ibland kan det handla om samordningsaspekter – hur flera (…) myndigheter ska samordna sina verksamheter och hur ser de på denna samordning. Dessutom: Vilka effekter kan ses, hur har processen sett ut och hur har samarbetet fungerat? (Utvärderare Naturvårdverket). De utvärderingar som genomförs med jämna mellanrum har därför en stark processinriktning. Det finns emellertid också en koppling mellan utvärdering och mål- och resultatstyrning, eftersom många av de utvärderingar som genomförs på Naturvårdsverket indirekt tar sina utgångspunkter ur miljömålen och hur dessa efterföljs. Utvärderingarna baseras på frågor som härrör den gällande miljölagstiftningen, därefter undersöks hur dessa lagar och regler tolkas och implementeras på regional och lokal nivå, för att slutligen mynna ut i en analys av de effekter lagstiftningen har haft. Det finns därmed en koppling till miljömålen och dess resultat även om det generellt är processer och rutiner för vägledning och genomförande som står i undersökningarnas fokus. De frågor som utvärderas av Naturvårdsverkets utvärderingssektion har också ett starkt aktörsperspektiv. Miljöarbetets implementering kännetecknas av styrning på flera olika nivåer (multi-level governance). Den nationella nivån formulerar lagar och arbetar fram vägledning för att underlätta tolkning och implementering av miljöarbetet, medan implementering sker på regional och lokal nivå med inblandning från andra aktörer, både inom och utanför den offentliga sektorn: Det är ofta länsstyrelserna vi ställer frågor till (…) och sedan i övrigt har vi haft någon [utvärdering] som gäller till exempel näringslivet eller miljöledningsarbetet i statliga myndigheter (…) Men i fallet med verksamhetsutövares arbete med egen kontroll, då var det småföretag. Vi gjorde telefonintervjuer med exempelvis bensinmacksägare och golfbaneskötare för att se hur man jobbar på den nivån. (…) Men utvärderingar med andra statliga myndigheter och småföretag är ovanliga. Det är främst länsstyrelser och kommuner som har varit i fokus då. (Utvärderare Naturvårdsverket) Det har också genomförts ett antal utvärderingar som fokuserat på samordningsmöjligheter. De aktörer som flitigast förekommer i Naturvårdsverkets utvärderingar är länsstyrelser och kommuner, men andra aktörers arbete med miljöfrågor förekommer också vid några enstaka tillfällen. Utvärdering bedrivs också i lärandesyfte. Genom att ta fram kunskap ökar medvetenheten både genom att de som arbetar inom Naturvårdsverket får ökade kunskaper om hur miljöarbetet går till, samt bland den personal som implementerar miljöpolicyn inom ramen för olika organisationer. Det finns också möjligheter till indirekt lärande. Utvärderingssektionen uppfyller en läranderoll genom att ge metodstöd och sprida kunskap till andra enheter inom myndigheten: 28 NATURVÅRDSVERKET Rapport Vi har olika mål. Dels genomför vi utvärderingar och sedan är vi metodstöd till andra enheter och sektioner. De kan genomföra beställningar eller upphandla från ramavtal som vi har tagit fram. Sedan gör vi ibland utbildningsinsatser, ofta med fokus att bli en bättre beställare (…) Det kan handla om att hitta de viktiga frågorna, men även att de vet hur de ska tänka kring vad som är utvärderingsbart i deras arbete och vad de kan ha för nytta av utvärderingen? (…) Det är också viktigt att sprida kunskap och se till att utvärderingsbiten internt funkar bra. Vi är processansvariga för utvärdering på Naturvårdsverket. (Utvärderare Naturvårdsverket) Därmed har utvärderingssektionen en bred funktion som syftar till att upplysa andra avdelningar och enheter inom Naturvårdsverket om vikten av utvärderingsmetoder samt utvärderingsbarhet. Det finns också ett indirekt lärandesyfte som sker inom andra organisationer. Som en konsekvens av att dessa organisationer deltar i utvärderingsprocessen erhåller de insikter om arbetet. Ett sådant exempel är Naturvårdsverkets utvärdering av dispenser som beviljades genom strandskyddslagstiftningen. Utvärderingsmetoden omfattade gruppintervjuer där fem till sex representanter från olika länsstyrelser intervjuades tillsammans. Som ett resultat av denna metod kunde deltagarna ta del av svar från andra länsstyrelser, vilket potentiellt leder till funderingar över den egna organisationens praxis när det gäller miljöarbetet och på så vis kan vara en källa till ny kunskap. Myndigheten för samhällsskydd och beredskap (MSB) MSB utvärderar krisberedskap för olika typer av samhällskriser och katastrofer. En stor del av det utvärderingsarbete som genomförs är inriktat på att analysera samhällets kapacitet och beredskap vad gäller hanterandet av olika typer av kriser, det vill säga naturkatastrofer, industriella och militära kriser samt andra akuta situationer. Det finns två huvudtyper av utvärderingar. Den ena är utvärderingar som har till mål att granska samhällets planering och kapacitet att hantera kriser, samt att utvärdera erfarenheter av tidigare kriser. Den andra varianten är utvärderingar av storskaliga krisövningar iscensatta för att testa hur väl samhällets krisplanering fungerar i realiteten. MSB:s utvärderingar fokuserar starkt på lärande. Det finns både interna mål för lärande, vilka primärt syftar till att utveckla MSB:s kunskap om effektiv krisberedskap, samt externa mål uppsatta för att öka kunskapen bland de olika organisationerna som skall hantera krissituationer. Detta inlärningssyfte nämndes omedelbart av intervjupersonerna i separata intervjuer på frågan om huvudsyftet med MSB:s utvärderingar: Det är ju lärande genom att utveckla kunskap både inom MSB och för våra externa partners (Utvärderare 2: MSB). Huvudmålet med utvärderingen tycker jag överlag är lärande – att utveckla och förbättra verksamheten … Det är just ”lessons learned” – hur man tar tillvara resultaten och verkligen för in dem i verksamheten. För vi som jobbar här på MSB 29 NATURVÅRDSVERKET Rapport så kan jag tycka att … vi ska ha ett slags ansvar för utvärdering och lärande. (Utvärderare 1: MSB). MSB:s inlärningssyfte är också tydligt kopplat till ett relevans- och effektivitetssyfte – utvärderingar och lärodomar skall leda till förbättringar. I första hand kopplas detta till att förbättra processer och rutiner, det vill säga bättre samverkan, bättre koordinering och bättre kommunikationer mellan organisationer skall med tiden möjliggöra effektivare krishantering. Det finns också ett uttalat inlärningssyfte stipulerat i de dokument som granskats. Ett exempel är rapporten om kommunernas hantering av olyckor och allvarliga händelser – ett regeringsuppdrag med syfte att: Följa upp och redovisa hur erfarenheter från olyckor och allvarliga händelser tas tillvara på kommunal, regional och nationell nivå i syftet att öka lärandet från inträffade kriser (Myndigheten för samhällsskydd och beredskap 2012b:5) De olika typerna av övningsutvärderingar är också starkt inriktade mot lärande. Syftet med samverkans- och kärnkraftsövningar (SAMÖ-KKÖ 2011) var att: Utvärderingen ska öka kunskapen om hur samhällets krisberedskap fungerar vid en allvarlig kärnteknisk olycka samt i förlängningen bidra till att stärka samhällets krisberedskap (Myndigheten för samhällsskydd och beredskap 2011:13) MSB deltar också i internationella övningar för att bredda kunskaperna och lära från andra länder (Myndigheten för samhällsskydd och beredskap 2012a:7). Det fanns därför inget uttalat kontrollsyfte med de utvärderingar som genomfördes av MSB utan det handlade om att förbättra krishanteringsförmågan genom att lära av erfarenheter snarare än att genom kontrollmekanismer tvinga fram förbättringar. MSB:s utvärderingar fokuserar också på aktörer. Enligt intervjuerna och de dokument som undersöktes, används ofta en aktörsmodell för att granska krisberedskap utifrån de olika aktörer som ingår i krisberedskapsprocessen. Huvudfokus ligger på krishanteringssystem, såsom samverkans-, koordinerings- och kommunikationsprocesser som spänner över de organisatoriska och sektoriella gränserna. Det kan antingen handla om horisontella aktörsperspektiv, det vill säga aktörer som länsstyrelser, kommuner och andra organisationer, eller vertikala relationer mellan statliga, regionala och lokala aktörer: Det är mycket sektorsövergripande arbete som berör olika aktörer eller hela krishanteringssystemet. … Det är ungefär samma sak som inte fungerar. Kommunikation och kriskommunikation med andra enheter och att få en gemensam lägesbild bland de olika aktörerna om vad som egentligen händer och vilket ansvar och vilka roller som olika aktörer har. (Utvärderare 1: MSB). Utvärderingsuppdrag som fäster vikt vid måluppfyllelse undersöker effekterna och relevansen av krishanteringsmekanismer. Detta perspektiv bygger i regel på kollegiala modeller där utvärderingar utgår från kunskaper och erfarenheter från de 30 NATURVÅRDSVERKET Rapport som jobbar med implementeringen av krisplaner. Det kan i detta sammanhang handla om samverkan mellan aktörer med motsvarande befattning och utbildning. Ett exempel på detta område är Nordsam – ett samarbete mellan krishanteringsenheter från sex länsstyrelser som samverkar med gemensamma problem för att tvinga fram ”smarta lösningar” på områden där det råder resursbrist (Utredare 1: MSB). Utvärderingar av övningar har ofta som målsättning att granska hur koordinering sker mellan aktörer med olika sorters bakgrund, men som likväl måste klara av att samarbeta vid krissituationer. Typiska exempel innefattar expertiser inom teknik, räddningsarbete och medicin. Utvärderingens huvudobjekt kan vara personal/arbetssätt/rutiner; organisering/ledning; koordinering; kommunikation; kunskapsutveckling; och stresshantering. Därför fokuserar utvärderingen på olika processer och mekanismer som medger effektiv krishantering (Myndigheten för samhällsskydd & beredskap 2010a). Det förekommer också slututvärderingar efter en krissituation eller efter en avslutad övning. Dessa syftar till att identifiera områden som behöver förbättras: Vi kommer med rekommendationer och förslag på hur man ska kunna göra någonting bättre i framtiden. Detta gäller både övningen i sig men också – naturligvis – om det skulle hända på riktigt (Utvärderare 1: MSB). MSB:s utvärderingar tar därmed ofta skepnaden av utvärderingar i utvecklingssyfte. Föremål för granskning är framförallt implementeringen av krishanteringspolicyn och förutsättningarna för implementering med avseende på processer relaterade till planering, organisation och ledning. Det övergripande målet är att identifiera var förbättringar är nödvändiga. Socialstyrelsen (SS) Det finns två enheter på Socialstyrelsen som sysslar med utvärderingsfrågor: Enheten för uppföljning och enheten för utvärdering. Gränsdragningen mellan dessa enheter är inte alltid glasklar men i huvuddrag arbetar enheten för utvärdering främst med utvärderingar av de nationella riktlinjerna medan enheten för utvärdering sysslar med diverse regeringsuppdrag för att utvärdera reformer eller särskilda frågor. Utvärderingsenhetens huvudmål är att förbättra sjukvårdens kvalitet genom att landsting och sjukhus uppnår ”god vård” enligt vad som stipuleras i de nationella riktlinjerna utarbetade 2008. Begreppet ”god vård” definieras som vård som är kunskapsbaserad och ändamålsenlig; säker; patientfokuserad; jämlik; effektiv; och tidsrimlig. Socialstyrelsen utformade detaljerade kriterier och mål för olika sjukvårdsområden.11 Men huvudmålet är att informera landsting och sjukhus om hur man ska utveckla och förbättra den sjukvård som ges inom området (Utvärderare 1: Socialstyrelsen; Socialstyrelsen 2009; Socialstyrelsen 2010a). 11 Mellan 2008 och 2012 utvärderades diabetesvård, hjärtsjukvård, psykiatriskvård och strokevård. 31 NATURVÅRDSVERKET Rapport Huvudsyftet är att ge underlag till landstingen för att förbättra kvalitetsnivån så att patienter i slutändan kan få en bättre vård. … Det är vad utvärderingen syftar till – att se om landstingen och sjukhusen uppnår god vård enligt definitionen. Det är det ena syftet. Det andra syftet är att utvärdera om man har en god följsamhet till rekommendationer och riktlinjer – det är där som den evidensbaserade biten kommer in (Utvärderare 1: Socialstyrelsen). Utvärderingsenheten bedömer vilka landsting och sjukhus som har uppnått de olika kriterierna för ”god vård”. Därmed finns ett tydligt inslag av mål- och resultatutvärdering. Statistik som finns inrapporterad i exempelvis hälso- och sjukvårdsregister ligger till grund för bedömningarna. Dessa indikatorer fokuserar på sjukvårdsprocesser och vilka rutiner och procedurer som behövs för att god vård skall kunna uppnås. Många av indikatorerna som används är processindikatorer. Tittar man på en rekommendation i den nationella riktlinjen så är den snarare processinriktad än resultatinriktad. Resultaten är förhoppningsvis något som ska förbättras om man följer processerna på ett bra sätt. … Det är väldigt processorienterat. (Utvärderare 1: Socialstyrelsen) De processer som utvecklas till indikatorer bygger på evidensbaserad kunskap. De individuella indikatorerna baseras på vetenskapliga studier och erfarenheter kommunicerade av professionella expertgrupper. Den ackumulerade kunskapen sammanställs till rekommendationer och indikatorer för det bästa sättet att behandla patienter som drabbats av en viss sjukdom. Utvärderingsenheten har utvecklat indikatorer för ”god vård” inom fyra sjukdomsområden: diabetesvård, hjärtsjukvård, psykiatrivård och strokevård. Vi försöker påvisa med hjälp av riktlinjerna vilken som är den bästa praxisen inom ett visst område. Vi går igenom ett stort antal vetenskapliga studier och har expertgrupper som granskar, värderar och betygsätter evidensstyrkor och liknade. Detta leder fram till rekommendationer om vilken behandling som, i ett visst skede av sjukdomen, är den bästa till exempel för en patient som har drabbats av en stroke (Utvärderare 1: Socialstyrelsen). Dessa rekommendationer skall användas för att kontrollera att bästa praxis följs av landstingens vårdplanering samt på sjukhusen. Det saknas dock i nuläget ett patientperspektiv på sjukvårdens behandling. Trots att en patientfokuserad vård är en av de sex nationella riktlinjerna som ingår i definitionen av ”god vård”, så är patienterna själva inte med i utvärderingen: Det är inte i första hand medborgarnas perspektiv som beaktas – utan utgångspunkten är evidensbaserade rekommendationer (Utvärderare: Socialstyrelsen). Eftersom utvärderingsmaterialet utgörs av register och nationella datakällor saknas det helt enkelt mekanismer för att inkludera patienternas upplevelser av vården i bedömningen (Socialstyrelsen 2009). Indikatorerna bygger på läkarkunskaper, trots att stora delar av vården inom vissa sjukvårdsområden ges av andra professioner; till exempel inom psykiatri ges mycket av den direkta patientvården av sjukskö- 32 NATURVÅRDSVERKET Rapport terskor eller kuratorer. Men i nuläget finns det inga mekanismer för att inkludera dessa professioners kunskaper för att fastställa indikatorerna för ”god vård” (Socialstyrelsen 2010a). Socialstyrelsens nationella utvärderingar handlar mest om utvärderingar i utvecklande syfte, det vill säga utvärderingar som syftar till att informera politiska beslutsfattare om hur situationen ligger till. Utvärderingens roll är därför att bidra till en bättre implementering av hälso- och sjukvård. Om man tittar på regional nivå så används utvärderingsresultaten till viss del för att stärka den politiska viljan för de kommande åren. … Man har en möjlighet att titta på sin diabetesvård och identifiera områden där man brister – eller har svaga resultat – och sedan sätta in extra resurser. … Det är inte säkert att det är sjukhusens fel – det har ju att göra med resursstyrning och prioriteringar, vilket ofta sker på högre nivå. Så tanken är att resultaten framförallt ska användas på beslutsfattarnivå där man har möjlighet att göra någonting politiskt av det (Utvärderare 1: Socialstyrelsen). Utvärderingar producerar alltså kunskap för beslutsfattare om vilka resultat som uppnåtts med hjälp av satsade resurser och vilken prioritering ett givet område tilldelats inom landstinget. Uppföljningsenheten arbetar nästan uteslutande med olika slags regeringsuppdrag. Enheten arbetar med olika frågor som tilldelas av regeringen. Det finns sålunda ingen process där den själv väljer vilka utvärderingar som skall genomföras. Vi bestämmer inte vad det ska handla om. Det gör regeringen med sina uppdrag till oss. Huvudmålet är att besvara de frågorna (Utvärderare 2: Socialstyrelsen). Uppföljningsenheten har i genomsnitt 25-30 regeringsbeställda utvärderings- och uppföljningsuppdrag. Det kan handla om alla möjliga typer av utvärderingsroller. Det kan vara formativa utvärderingar som ger underlag till regeringsbeslut, men det kan också vara utvecklade uppföljningar eller slututvärderingar av effekterna av olika reformer och satsningar från regeringshåll. Uppföljningsenheten formulerar inte sina egna utvärderingsmål. I stället erhåller enheten huvudsakligen sina mål direkt från uppdragsgivaren (regeringen). De kan därför omfatta flera olika typer av målsättningar: Beställaren är regeringen. … Vad de vill att vi följer upp och utvärderar är viktiga frågor: Hur ny lagstiftning, eller ändringar till befintlig lagstiftning fungerar? Känner professionen till lagstiftningen? Känner ansvariga huvudmän till att det ska vara på det sättet? (Utvärderare 2: Socialstyrelsen) Trots att enheten får utvärderingsmål från regeringen, måste dessa mål tolkas och operationaliseras. Utvärderingsmål formuleras därför utifrån flera olika perspektiv, inklusive mål-, resultats-, aktörs- och relevansperspektiv. De två rapporterna som undersöktes tydliggjorde också dessa olika målsättningar. Rapporten som handlade om vårdgarantin och kömiljarden tog utgångspunkt i mål- och resultatstyrning genom att 33 NATURVÅRDSVERKET Rapport undersöka resultaten av landstingens implementering av regeringens mål för denna satsning (Socialstyrelsen 2010). Däremot tog rapporten om vårdnadsreformen sina mål utifrån ett bredare aktörsperspektiv på hur barn kommer till tals i samhällets utredningar och rutiner under vårdnadstvister. Utvärderingens utgångspunkt var en ”stakeholder-design” som omfattade intressenter som kommuner, socialtjänstens handläggare, tingsrättens lagmän och representanter för flera intresseorganisationer som värnar om barns rättigheter (Socialstyrelsen 2011). Uppföljningsenhetens uppdrag kan omfatta många olika typer av utvärderingar, mål och perspektiv. 2.4 Diskussion Undersökningen av de tre myndigheter ger vid handen att det finns stora variationer när det gäller utvärderingsroller och vilka typer av utvärderingsmål som ligger till grund för utvärderingarna. De flesta utvärderingsenheterna är ”mångsysslare” som arbetar med ett brett utbud av utvärderingsroller, vilka kan vara av formativa, utvecklande och slututvärderande natur. Utvärderingar fungerar ofta som ett underlag till beslutsfattare både inom och utanför myndigheten genom att tillhandahålla information som kan användas för nya policybeslut eller lagstiftning. Utvärderingar kan också utgöra underlag för pågående interventioner. Flera av de utvärderingsenheter som undersöktes rekommenderade förbättringar eller nya insatser från myndigheten, till exempel ny vägledning för andra organisationers implementeringsinsatser. Utvärderingar fyller också funktionen att slutvärdera avslutade projekt och satsningar. Utvärderingsfunktionen inom de tre myndigheter genomförs utifrån flera perspektiv. Allra vanligast är det med mål- och resultatperspektiv. Dessa fokuserar på i vilken utsträckning interventionen lyckats uppfylla det stipulerade målet, exempelvis implementeringen av strandskyddslagstiftningen (Naturvårdsverket 2011) eller vårdgarantin (Socialstyrelsen 2010). I vissa fall antar granskningarna även ett aktörsperspektiv. I sådana fall utgår utvärderingen från vissa aktörsgrupper, vilka påverkas av interventionen i fråga. Exempel i detta sammanhang är granskningen av hur olika samhällsgrupper påverkades av kärnkraftsövningen (MSB 2011) eller huruvida barn kom till tals under Socialtjänstens utredningar och Tingsrättens förhandlingar i spåret av vårdnadsreformen (Socialstyrelsen 2011). 34 NATURVÅRDSVERKET Rapport 3 Organisationsfråga I: hur organiseras en utvärdering? Enligt Vedung är organisationsfrågor centrala och grundläggande för utvärderingsfunktionen. Man måste fråga: ”Vem skall utföra utvärderingen och hur skall den organiseras?” (1998:93). Organisationsfrågorna är av stor vikt för utvärderingens fokus eftersom besluten utgör en mekanism där beställaren eller beslutsfattaren signalerar sina intentioner gällande vilken typ av utredning som skall genomföras. Tillsammans med målsättning och styrning, visar organisationsfrågan beställarens syn på utredningens inriktning när det gäller val av upplägg, organisation, utvärderingsroller samt vilken modell som skall ligga till grund för utredningen. Detta kapitel kommer att diskutera flera frågor rörande hur en utvärdering organiseras. Frågan om utvärderarnas roller och kompetenser kommer att diskuteras i nästa kapitel. 3.1 Utvärderingens organisatoriska grunder En utvärdering kan struktureras utifrån olika organisationsmodeller. En första fråga gäller huruvida utvärderingen skall äga rum internt eller externt. Enligt Vedung (1998) beror detta val i regel på vem som initierar, finansierar och kommer att använda sig av utvärderingen. Inom vissa politikområden finns det regler och lagstiftning för vilka typer av utvärderingar som skall ingå. De följande avsnitten redovisar översiktligt för de interna och externa utvärderingsmodellerna. Den interna utvärderingsmodellen Internutvärdering avser en utvärderingsmodell som använder personal anställd vid den utvärderade organisationen. I detta sammanhang utgör utvärderingen ett instrument för organisationens behov av att utveckla organisatorisk kunskap baserad på självutvärdering och organisatoriskt självlärande. Utvärderaren brukar rapportera direkt till organisationens ledning eller andra interna enheter och resultaten fungerar som stöd för ledarnas beslut (Vedung 1998:108). Det finns både för- och nackdelar med den interna utvärderingsmodellen. Enligt utvärderingsforskare ligger fördelarna i att utvärderingarna bygger på organisatoriska kunskaper och därmed är tidseffektiv. Den interna utvärderaren har kunskaper om, och erfarenheter av, organisationen och hur den fungerar. Det befintliga kontaktnätet inom organisationen underlättar kommunikationen, och därmed även utvärderingen. Utvärderare förstår den underliggande kulturen och de arbetssätt som råder inom organisationen. Det finns också en förståelse för organisationens mål och program samt kunskap om eventuella begränsningar. Internutvärderaren behöver därmed inte någon inlärningsprocess om organisationen och policyområdet. Allt detta bidrar till en tidseffektiv utvärdering (Vedung 1998; Hertting & Vedung 2009; Weiss 1998). 35 NATURVÅRDSVERKET Rapport Utvärderaren kan även dra nytta av den position och de informationskanaler som denne har tillgång till inom organisationen (Weiss 1998:38). Den interna utvärderingen har dock vissa nackdelar. Dessa kan sammanfattas som att den interna utvärderen riskerar vara alltför nära bunden till organisationen, något som kan påverka objektiviten (Hertting & Vedung 2009). Exempel på detta kan vara att det förekommer direkta påtryckningar från ledningen i syfte att begränsa utvärderingsfunktionen till vissa frågor, medan andra frågor undviks. Ett problem kan även vara att en utvärdering förväntas visa snabba resultat på bekostnaden av fördjupning (se Dahler Larsson 2006; Weiss 1998). Internutvärdering kan eventuellt upplevas som problematisk ur ett karriärmässigt perspektiv. Då internutvärderaren befinner sig i en beroendeställning gentemot organisationen kan det eventuellt vara svårt att rikta kritik mot ledningen eller andra enheters agerande så länge utvärderaren arbetar inom organisationen och skall fortsätta arbeta där (Vedung 1998; Weiss 1998). Det kan också vara svårt att rikta radikal kritik och lägga fram förslag som ligger utanför de organisatoriska normerna. Dahler Larsson hävdar att utvärderingen påverkas av professionella normer och organisationskultur, vilka kan påverka hur utvärderaren betraktar sin roll (2006). Det betyder att utvärderaren eventuellt påverkas av det som Olsen och March kallar för ”the logic of appropriateness” (lämplighetens logik): idén om att det finns oskrivna regler, kulturer och normer inom en organisation som styr vilka lösningar och rekommendationer som anses lämpliga och acceptabla inom organisationen. Dessa oskrivna regler riskerar leda till att utvärderaren ger rekommendationer som anses överensstämma med det interna normsystemet (Olsen & March 2004). Därför kan utvärderarens ”insider status” båda innebära en fördel och en nackdel. Det kan bli svårt för en utvärderare som har skolats i organisationens kultur att se bortom dessa vedertagna normer och oskrivna regler och ställa sig kritisk till verksamhetens organisation, innehåll och arbetssätt. Den externa utvärderingsmodellen Externutvärdering utgår från att beställaren anlitar kunskaper och kompetenser som ligger utanför den egna organisationen. Denna modell väljs ofta då en utvärdering initieras av utomstående aktörer eller utvärderingen syftar till att belysa aktörer som ligger utanför den egna organisationen, exempelvis Skolinspektionens utvärderingar av den kommunala implementeringen av skolpolitiken (Hertting & Vedung 2009). I tidigare forskning finns flera argument som lyfter fram både för- och nackdelarna med den externa utvärderingsmodellen. Fördelarna med denna modell är att användandet av utomstående kunskaper och kompetenser anses främja utvärderingarnas objektivitet. Då utvärderaren inte är direkt anställd av den utvärderade organisationen är dennes karriärprogression inte avhängig av den granskade organisationen. Externutvärderingen har större möjligheter att inta en ”outsider” (utomstående) position, vilken ibland kan tillföra utvärderingen högre status och större handlingsutrymme i jämförelse med en interutvärdering. Externutvärdering kan också dra slutsatser och föreslå radikala rekommendationer som utmanar organisationens 36 NATURVÅRDSVERKET Rapport traditioner, normer och kulturer. Det finns också en möjlighet att anlita expertis och kompetens utanför den egna organisationen (Vedung 1998). Den externa utvärderingen kan därtill ofta åberopas med större tyngd i situationer där det finns konflikter inom organisationen angående skilda syner på organisationens uppdrag, arbetssätt och professionella normer. Den externa modellen har med andra ord potential att bidra med ett alternativt perspektiv på organisationens rutiner, procedurer och arbetssätt. Externutvärderaren anses som opartisk och neutral eftersom denne inte utgör någon part i konflikten. Externa rekommendationer tilldelas ibland större vikt då utvärderaren inte anses bevaka sina egna intressen. Den externa utvärderingsformen kan emellertid innebära vissa nackdelar. Den externa utvärderaren har inte samma organisatoriska eller policyspecifika kunskaper som den interna motsvarigheten. Detta innebär en längre inlärningsprocess. En extern utvärderare saknar ett redan etablerat kollegialt förhållande inom organisationen. Risken finns att en extern utvärderare betraktas som en utomstående lekman eller inspektör med begränsad insikt i och förståelse för organisationens situation. Följaktligen tenderar externutvärderingen ibland att ha lägre förankring bland personalen. Å andra sidan kan utomstående konsulter och professioner ha en högre förankring bland ledning och politiker i egenskap av att betraktas som experter med förmågan att tillföra nya perspektiv och kunskaper. Den externa utvärderingen verkar under förhållanden av större flexibilitet och får därmed möjlighet att lägga fram radikala förslag och rekommendationer som ligger långt bortom den vanliga organisationskulturen och dess uppbärande normer (Vedung 1998; Weiss 1998). Det finns inget idealt sätt för att organisera en utvärdering; det finns alltid flera aspekter och faktorer som måste beaktas och balanseras. Det är inte heller alltid som en organisation fritt kan välja sin utvärderingsorganisation, då detta beslut i slutändan är beroende av utväderingens mål och funktion samt vem som beställer utvärderingen och vilka preferenser denne har för uppdraget. Utvärderingens organisation är starkt kopplad till utvärderingens mål. Om det finns ett kontrollssyfte bör utvärderingsfunktionen hållas separat från den utvärderande organisationen. Om målsättningen är att generera nya idéer kan en extern utvärdering också angripa verksamheten med ”nya ögon”. Om det däremot främst är fråga om att genomföra en utvärdering i utvecklande eller lärande syfte kan det vara användbart att dra nytta av de relevanta kunskaper, erfarenheter och kompetenser som redan existerar inom organisationen. Det finns också vissa omständigheter där det är svårt att föra fram vissa rekommendationer internt medan sannolikheten att samma rekommendationer accepteras ökar om de presenteras av en utomstående expert. Det kan dock uppstå problem om externa utvärderingar utmanar den underliggande organisationskulturen. Radikala rekommendationer löper därmed risken att anses som mindre användbara. 3.2 Utvärderingsorganisation: en jämförelse av tre myndigheter De tre myndigheter som är föremål för denna studie begagnar sig i huvudsak av den externa utvärderingsmodellen, men alltjämt förekommer inslag av intern ut- 37 NATURVÅRDSVERKET Rapport värdering. Utvärdering initieras och finansieras vid sidan av de utvärderade organisationerna. I huvudsak ligger också användningsområdet bortom berörd myndighet. Detta till trots att vissa utvärderingar utgår från ambitionen att den utvärderade organisationen skall använda resultaten. Det fanns inget exempel på fullskalig internutvärdering av arbetet inom myndigheten. Naturvårdsverket Naturvårdsverkets utvärderingar initieras på olika sätt: vissa utvärderingar är regeringsuppdrag syftandes till att följa upp särskilda frågor eller reformer. Dessa regeringsuppdrag innebär per automatik att det blir en helt extern utvärdering eftersom initiering och användning ligger utanför Naturvårdsverket. Övriga utvärderingar organiseras huvudsakligen som externa utvärderingar med inslag av internutvärdering: initiering och de primära användarna återfinns inom Naturvårdsverket medan organisationer som tillfrågas i utvärderingen är utomstående, därför utvärderas inte interna enheters ageranden. I likhet med vissa andra myndigheter som ingår i denna studie är Naturvårdsverket svårdefinierad i termer av intern och extern utvärdering eftersom det finns inslag av båda två: utvärderingar initieras och användas inom Naturvårdsverket men utvärderingssektionen utvärderar inte interna enheter, utan utvärderingar fokuserar på frågor som främst beror organisationer utanför Naturvårdsverket, såsom länsstyrelser, kommuner och andra aktörer. Initieringen av en utvärdering sker genom att utvärderingssektionen skickar ut en förfrågan till andra enheter om deras utvärderingsbehov under det kommande året. De enheter som önskar en utvärdering skickar därefter in sina idéer eller frågor. Dessa utvärderingsidéer diskuteras först för att därefter prioriteras utifrån särskilda prioriteringskriterier som fastställts av utvärderingssektionen. Frågor som är strategiskt viktiga för Naturvårdsverket prioriteras. Under denna process avgörs vilka utvärderingar som kommer att genomföras och vilka som utvärderingssektionen möjligen kan stödja på annat sätt, exempelvis genom metodstöd, samt vilka som bör skjutas upp, till exempel i händelse av att det förväntas ny lagstiftning på ett visst område. Dessa diskussioner förankras mellan avdelningschefer medan avdelningschefen för den avdelning dit utvärderingssektionen hör fattar det slutliga beslutet om vilka utvärderingar som skall genomföras. Utvärderingar knyts generellt sett till en viss enhetsfråga inom Naturvårdsverket. Det är däremot mindre tydligt huruvida det finns ett system för utvärdering av övergripande frågor som gäller flera myndigheter. Utvärderingssektionen arbetar med att utföra de utvärderingar som beställs av andra enheter. Det finns emellertid utvärderingar som upphandlas direkt av andra enheter. Det finns också ett system för hur dessa utvärderingar bör föras in i datasystemet, men så sker inte alltid. Myndigheten för samhällsskydd och beredskap (MSB) MSB:s utvärderingar uppvisar också inslag av både interna och externa utvärderingar. Utvärderingsobjektet är alltid externt från MSB men ibland kan berörda 38 NATURVÅRDSVERKET Rapport organisationer medverka i att initiera utvärderingen samt vara den primära användaren av utvärderingens resultat. Det förväntas emellertid att utvärderade organisationer skall ha användning av utvärderingens resultat och bidra till organisationen egna förbättringsarbeten. Det kan också förhålla sig på det viset att uppdraget lyfts internt genom att utvärderingsenheten bad andra enheter inom MSB att lägga fram förslag på frågor de vill ha utvärderade och som utvärderingsenheten sedan har att välja bland. Vi gjorde ett utskick för alla enheter där vi frågade vilket intresse de hade att få något utvärderat. Vi fick en hel del svar faktiskt, och vi nappade på en som vi kommer att dra igång nu i höst – likvärdighet inom räddningstjänsten. (Utvärderare 2: MSB) Ett antal utredningar är också regeringsuppdrag, vilket betyder att utvärderingen fokuserar på externa frågor såsom utvärdering av olyckor samt utvärdering om snömängder, vilka var två exempel på regeringsuppdrag som kunde identifieras i dokumentstudien (Myndigheten för samhällskydd och beredskap 2010b, 2012b). MSB utvärderar externa objekt, ofta offentliga aktörer, till exempel länsstyrelser, landsting och kommuner, men också ett antal andra aktörer, däribland privata företag och frivilligorganisationer inom samhällsviktiga områden (Myndigheten för samhällskydd och beredskap 2010b, 2012b). MSB:s utvärderingar av övningar kan inkludera många aktörer. För att nämna ett exempel: utvärderingen av Barentshavsövningen omfattade flera aktörer från olika länder medan utvärderingen av kärnkraftsövningar omfattade fler än 65 aktörer med krisberedskapsroller inom såväl som utanför den offentliga sektorn (Myndigheten för samhällskydd och beredskap 2011, 2012a). Socialstyrelsen Socialstyrelsens utvärderingar baseras främst på extern utvärdering. Ingen av myndighetens två utvärderingsenheter granskar objekt eller enheter som faller inom Socialstyrelsens domäner. De två enheterna utvärderar främst vårdgivare och socialtjänster på läns- och lokalnivå. Uppföljningsenheten utvärderar nästan uteslutande regeringsuppdrag, vilket betyder att såväl initiering som finansiering ligger utanför myndigheten. När det gäller användandet finns ett visst inslag av intern utvärdering eftersom utvärderingsresultaten nyttjas i förbättringssyfte av såväl Socialstyrelsens enheter som av de utvärderade organisationerna. Socialstyrelsens roller uppdagar dock en viss dubbelhet. Skälet till denna är att myndigheten producerar riktlinjer om hur lagen bör tolkas och implementeras, samtidigt som den även utvärderar de implementerande organisationerna för att bedöma graden av följsamhet till Socialstyrelsens egna riktlinjer. Du tänker på om vi utvärderar vår egen organisation på något sätt? Nej, och jag kan väl säga att det är ett litet märkligt förhållande att vi producerar föreskrifter, rekommendationer för att sedan själva följa upp landstingens följsamhet till dessa. Ibland kan man diskutera om det är riktigt rätt att dessa ligger tillsammans. Samtidigt är det så att vi egentligen inte följer upp effekterna av rekom- 39 NATURVÅRDSVERKET Rapport mendationerna, utan följer upp och utvärderar följsamheten till rekommendationerna (Utvärderare 1: Socialstyrelsen). Socialstyrelsen har som de andra myndigheterna alltså en dubbel roll: de sätter riktlinjer som de samtidigt även utvärderar. Socialstyrelsen är organisatoriskt separerad från de utvärderade organisationerna, men dess vägledningar och föreskrifter påverkar också dessa organisationers arbetssätt – vilka Socialstyrelsen sedan utvärderar. Det går därför inte att säga att det blir en helt separat utvärdering, ty Socialstyrelsens egna råd, rekommendationer och vägledning utgöt utvärderingens utgångspunkt. I korthet kan det hela karakteriseras som en extern utvärdering med inslag av intern utvärdering. 3.3 Diskussion Undersökningen ovan visar på en betydande konvergens mellan de undersökta myndigheterna. Ingen av myndigheterna använde sig av en renodlad intern utvärderingsmodell för att utvärdera den egna myndigheten. Samtliga myndigheter utvärderade andra aktörer på statlig, regional och lokal nivå. Alla myndigheter sysslade med regeringsuppdrag, vilket ytterligare förstärker avståndet mellan initiering/finansiering och utvärderingsobjektet. Det fanns dock en viss mångtydighet vad gäller användet av utvärderingarnas resultat. Interna såväl som externa aktörer använde sig av berörda myndigheters utvärderingsrapporter. Därtill uppmärksammas ett ovanligt förhållande mellan utvärderare och utvärderad som inte helt fångas i den befintliga utvärderingslitteraturen. Med detta avses en situation då myndigheterna utvärderar hur pass väl andra organisationer följer den granskande myndighetens egna råd och rekommendationer. Sammanfattningsvis organiseras utvärderingar på basis av den externa modellen, men med inslag av intern utvärdering. Utvärderingar initierades och finansierades utanför den utvärderade organisationen men rapporten användes ofta av utvärderingsobjektet i förbättringssyfte. 40 NATURVÅRDSVERKET Rapport 4 Organisationsfråga II: Utvärderares roller & kompetenser Utvärderarroller är en central organisationsfråga: Hur skall utvärderingen organiseras och vem skall genomföra utvärderingen? (Vedung 1998:93). Detta avsnitt kommer att diskutera och analysera olika modeller och perspektiv på utvärderarens roller. Enligt Rossi m fl. är utvärderarens roller ofta ”luddiga” och svårdefinierade. Anledningen är skillnader vad gäller utvärderingsmål, arbetsuppgifter och, dessutom, förväntningar. Dessa olikheter kräver varierade kompetenser och personliga egenskaper. Utvärderare kan arbeta med utvärderingar som heltidsysselsättning, men det kan också handla om deltidsysselsättning vid sidan av andra arbetsuppgifter, eller ett tillfälligt uppdrag. Utvärderare kan väljas utifrån olika typer av kompetenspreferenser, däribland utbildning, kunskap och profession. Å andra sidan kan utvärderare väljas på andra grunder än de som är relaterade till särskilda expertkompetenser (Rossi m fl. 2004:93ff). Att vara utvärderare är sålunda ingen distinkt avgränsad profession. Det kan existera betydande variationer både vad gäller bakgrund och de distinkta funktioner som utvärderare fyller. Utvärderarens roll: mellan organisation och ideologi Utvärderares roller diskuteras av Hertting och Vedung. De presenterar fyra utvärderingsroller utifrån förhållandet mellan organisatoriska och ideologiska faktorer. Organisationsprincipen utgår från de interna och externa modeller som redovisats ovan, men tar logiken vidare genom att mena att olika slags erfarenheter och kunskaper ger upphov till olika utvärderarroller. Ideologiprincipen utgår från tanken om utvärderarrollen som antingen neutral eller värdebaserad. En neutral värdeideologi utgår från utvärderarens opartiska och objektiva förhållande till det som skall granskas. Här finns ett tydligt avstånd mellan utvärderaren och den utvärderade organisationen. Den värdebaserade principen utgår, å andra sidan, från att utvärderaren är en aktivt deltagande part i den process eller funktion som är föremål för granskning. De fyra modellerna kan därför sammanfattas i termer av förhållandet mellan utvärderingens organisationsprincip och dess värdeideologi (se Hertting & Vedung 2009:173ff; Karlsson 1999): Extern expert: Denna modell baseras på den externa utvärderingsorganisationen, där den anlitade utvärderaren har sin hemvist utanför organisationen. Modellens värdeideologi baseras på tanken om att utnyttja expertkunskaper och kompetenser som saknas inom den egna organisationen. Utvärderarrollen består i att bedriva en neutral, opartisk granskning av organisationen, dess arbetssätt och program/projekt. Intern kritiker: I denna utvärderingsmodell hämtas granskaren ur de egna leden, men förväntas inte mindre inta en kritisk hållning till utvärderingsobjektet. Utgångspunkten är en neutral intern utvärdering, och utvärderaren får inte granska processer eller program som denne själv har varit delaktig i. En vanlig form av denna interna kritikerroll är en intern utvärderingsen- 41 NATURVÅRDSVERKET Rapport het som utför kritiska granskningar av den egna organisationen i syfte att rapportera till ledningen hur funktionen kan förbättras. Deltagande utvärderare: Denna roll tar avstamp i att utvärderaren själv har varit aktivt deltagande i de arbetsuppgifter som är satta under granskning. Det handlar alltså åter om en intern utvärderingsmodell. Syftet är inte att uppnå neutralitet genom objektivitet och opartiskhet. Modellen bygger istället på att i utvecklingssyfte dra nytta av de interna kunskaper och erfarenheter som lagrats hos personalen. Vanligt förekommande i detta sammanhang är självutvärderingar och slutrapporteringar från personer som arbetat med förvaltningsprogram/projekt. Dialogledande utvärderare: Denna utvärderarroll baseras på externa expertkunskaper och specialiserade kompetenser. Men trots att granskaren väljs utifrån, är dennes roll deltagande till sin natur och utvärderaren förväntas vara en del av utvärderingsprocessen. Utvärderarens roll kan liknas vid att vara förhandlare och samtalsledare i diskussioner mellan olika grupper och individer. Medlaren söker skapa konsensus och lyfta fram alternativa perspektiv. En extern utvärderare underlättar kommunikationen inom gruppen. Trots att utvärderaren själv deltar i processen är denne externt rekryterad och därmed en legitim medlare. Dessa fyra modeller sammanfattas i tabellen nedan: Tabell 4.1 Fyra utvärderingsroller – organisation och ideologi Ideologi Internorganisation Neutral Aktiv Externorganisation Intern kritiker Extern expert Deltagande Dialogledare (Baseras på: Hertting & Vedung 2009; Karlsson 1999) Utvärderarens kunskapsbas Ett syfte med utvärderingar är att de skall främja kunskapsutveckling inom organisationen i fråga. Det kan emellertid finnas olika typer av kunskap som är relevanta för genomförandet av en utvärdering. En viktig utvärderingsuppgift är således att bestämma vilken slags kunskap, bakgrund och expertis som utvärderaren bör besitta. Enligt Vedung (1998) avser en del av organisationsfrågan ”vem utvärderar” också vilken typ av expertis som väljs. Detta val påverkas delvis av vilka organisatoriska modeller som beställaren har i åtanke. Men valet av en viss profession, eller kunskapstyp, markerar även vilken inriktning som beställaren vill att utvärderingen skall ha. Det finns olika typer av expert- och lekmannamodeller att välja bland. 42 NATURVÅRDSVERKET Rapport EXPERTKUNSKAPSMODELLER Expertkunskapsmodellen baseras på idén att utvärderaren bör besitta speciella kunskaper och färdigheter som kan tillföra expertis till bedömningen. Expertisbaserad kunskap kan innebära en intern likväl som en extern utvärdering beroende på vilka speciella kunskaper och perspektiv som avkrävs. Det finns två huvudkategorier: den första är kunskap som baseras på akademiska eller professionella utbildningar; den andra är när utvärderare väljs mot bakgrund av färdigheter och expertis vad gäller förhandling och medling; egenskaper som behövs inom vissa organisationsmodeller. Den bärande idén i vetenskapliga och professionella kunskapsmodeller är att utvärderingen bör baseras på teoretiska kunskaper. På så vis säkras att bedömningen bygger på opartisk teoretisk evidens härledd ur tidigare forskning och att den är praktiskt tillämpbar för att lösa olika typer av samhällsproblem. Utvärderaren erhåller sina kunskaper från högre studier vid universitet eller högskola. Denna modell lutar sig mot argumentet att utvärdering sker på sakliga grunder med stöd i vetenskapliga teorier, eller evidens från tidigare forskning. Det finns dock även nackdelar med denna modell. En sådan nackdel uppdagas ifall teorier eller tidigare forskningsresultat är omtvistade. Om det inte råder enighet brister modellens anspråk på att tillhandahålla ett enhetligt, tekniskt och opartiskt perspektiv. Det finns tre huvudtyper av expertkunskap som utvärderingar vanligen grundas på: ”ren” vetenskap, professionell kunskap och förhandlingsexpertis. Vetenskaplig modell: En ”ren” vetenskaplig kunskapsbas baseras på grundforskning inom akademiska miljöer. Enligt Vedung (2010) har vetenskap varit populär under flera av de olika utvärderingsvågorna som diskuterades i kapitel ett. Den vetenskapliga vågen vilade på vetenskaplig kompetens och ingenjörsexperiment. I samma anda har den senaste ”evidensbaserade” utvärderingmodellen återkopplat till en vetenskapsbaserad utvärdering. Det kan dock uppstå konflikter eller tvister mellan olika vetenskapliga synsätt. Vid omtvistad vetenskap blir det en fråga om vem som bestämmer vilken ”evidens” som accepteras och vilken som förkastas när de vetenskapliga experterna inte förmår komma överrens. Professionell modell: Professionell kunskap utgår från den praktiska tilllämpningen av vetenskap för att lösa samhällsproblem. Price (1965) har utvecklat en modell med fyra stånd (Four Estates) för att beskriva förhållandet mellan politik, administration, professioner och vetenskap. Enligt Price fyller de administrativa och professionella stånden roller mellan vetenskap och politik. Administratörer anses ligga nära politik medan professionellas roll är att förmedla tillämpad vetenskaplig kunskap. Den professionelle har en lång teoretisk utbildning i grunden, men skolas därefter in i den professionella gemenskapen genom utbildningsprogram, normer, etikskoder, skicklighetstest, färdigheter och erfarenheter (se Wilensky 1964; Price 1965; Exworthy & Halford 1999; Maycraft Kall 2010, 2011). 43 NATURVÅRDSVERKET Rapport Det kan också uppstå konflikter mellan konkurrerande professioner. Professioner försöker få tolkningsföreträde genom att åberopa den egna professionens kunskapsbas och de vedertagna normerna inom policyområdet. Professionella motsättningar kan påverka vilken kunskap eller vilket perspektiv som blir det dominerande i händelse att det finns skilda synsätt på samma policyområde. Miljöområdet är ett exempel där det finns olika professionella perspektiv på hur de miljöpolitiska målen bäst ska kunna uppnås. För att illustrera kan miljöproblemet exempelvis betraktas som: o Tekniskt problem: behovet ses här i termer av ökade ingenjörskunskaper för att utveckla och utvärdera nya teknologiska lösningar. o Regleringsproblem: för att utvärdera och bedöma nya lagar och regler behövs personer med juridisk kompetens. o Utbildningsproblem: som behöver utbildningsinsatser som kräver lärar- eller pedagogisk kunskap för att bedöma utbildningens effektivitet. o Folkhälsoproblem: miljöproblem anses vara ett hot mot allmänhetens hälsotillstånd, därav krävs medicinska experter som kan implementera och utvärdera policyprogram. o Ekonomiskt problem: här spåras lösningen till finansiella incitament och sanktionsinstrument. För att utveckla och utvärdera dessa instrument är ekonomer oumbärliga. Val av kunskapsbas spelar således roll för utvärderingen; inte minst hur utvärderaren betraktar och bedömer policyområdets resultat samt hur statens policymål skall tolkas och uppnås (Rein 2006; Rothstein 2010; Petersson 2005; Maycraft Kall 2010). Genomförda utvärderingar återspeglar helt sonika den dominerande kunskapsbasen. Förhandlingsmodell: Det finns också expertmodeller som bygger på en förhandlingsmässig och pedagogisk kunskapsbas snarare än sakkunskaper. Weiss (1998) hävdar att utvärderingspraxis har bytt inriktning från en ”topdown” och opartisk funktion till utvärderingar inriktade på att förbättra koordinering och samverkan mellan grupper i problemslösningssyfte. Det har därmed uppstått en stor efterfrågan på utvärderare med kunskaper om gruppdynamik. Under utvärderingen kan uppgiften liknas vid en förhandlares eller medlares. Utvärderingsrollen bygger således på helt andra färdigheter än traditionell vetenskaplig eller professionell expertis. LEKMANNAMODELLER Modeller baserade på lekmannakunskap innebär att utvärderaren väljs utifrån andra grunder än vetenskapliga och professionella expertkunskaper. Modellen baseras på idén att man kan erhålla värdefull kunskap, insyn eller erfarenhet av myndigheters uppträdande och arbetssätt genom att hålla en viss position i policyprocessen. De 44 NATURVÅRDSVERKET Rapport två vanligaste modellerna baseras på antingen politiska kunskaper eller brukarkunskaper Den politiska/ideologiska kunskapsmodellen: En kritisk uppgift som åligger utvärderaren är att återkoppla politiska beslut med den genomförda politiken i syfte att förbättra och korrigera de politiska besluten (Ahlbäck Öberg 2008). Politiker bedriver egna utvärderingar och granskningar genom revisionsroller och kommittéer. Den politiska kunskapsmodellen baseras på politikers legitimitet som medborgarnas demokratiskt valda företrädare. Utvärderare väljs utifrån politiska kunskaper. Maycraft Kall (2010: 148ff) hävdar att dessa kunskaper baseras på olika ideologiska perspektiv på policyprocessen. En politisk kunskapsmodell betyder att politiker utövar en funktion där policymål och policybeslut undersöks från ideologiska perspektiv. Utvärderingen gör därmed inte något anspråk på att vara neutral och opartisk. Eftersom interventioner skärskådas genom ideologiska glasögon riskerar bedömningar att ske på ideologiska grunder. Det kan också uppstå ideologiska konflikter bland politiker om hur policybeslut bör tolkas och implementeras. Denna modell skapar politiska kunskaper kring politikernas intentioner och tolkningar, vilket förhoppningsvis skall leda till en förbättring vad gäller beslutskvalitet och framtida policyimplementeringar (se till exempel Vedung 1998; Hertting & Vedung 2009; Rothstein 2010; Petersson 2005). Den brukarstyrda kunskapsmodellen: Den brukarstyrda kunskapsmodellen baseras på tanken att utvärderingar bör dra nytta av brukares kunskaper och erfarenheter (Hertting & Vedung 2009). Som policyprocessens adressater anses brukaren vara en legitim kunskapskälla baserad på praktiska erfarenheter. Genom att brukarna deltar aktivt införlivas kunskaper som kan förbättra framtida beslut. Fördelarna med denna modell är att den grundas på ett nedifrån perspektiv; brukaren har värdefulla kunskaper vad gäller hur väl interventionen fungerar och hur väl den motsvarar brukarens behov. Det finns dock nackdelar i bemärkelsen att brukarna inte har någon skyldighet att bevaka det allmänna intresset utan främst tenderar att fokusera på sina egna intressen. Det finns också en risk att utvärderingsprocessen domineras av vissa resursstarka och välorganiserade grupper medan svagare och sårbara grupper inte kommer till tals (se Vedung 1998; Hertting & Vedung 2009; Rothstein 2010; Petersson 2005). Trots detta är kunskaper som bygger på brukarerfarenheter mycket användbara för att förstå vad som fungerar bra respektive dåligt. Denna dimension är viktig för att kunna förbättra framtida policybeslut. 45 NATURVÅRDSVERKET Rapport 4.1 Utvärderarroller i tre myndigheter Det finns betydande likheter mellan de tre myndigheter som ingår i denna studie beträffande de formella utvärderingskompetenser som finns inom respektive utvärderingsenhet. De tre myndigheterna varierar dock kraftigt i storlek: MSB har 4-5 utvärderare; Naturvårdsverket har 5-6; medan de två enheterna på Socialstyrelsen som undersöktes har 18-20 personer vardera. De anställda utvärderarna har huvudsakligen samhällsvetenskapliga examina från universitet eller högskolor. I första hand anställs statsvetare, men det är också vanligt att utvärderare har examen inom ekonomi eller sociologi. De flesta enheterna har därtill utredare med examen i pedagogik eller psykologi. Det finns alltjämt vissa skillnader i utvärderingsroller som kan ha med balansen mellan utvärderingsorganisation och ideologi att göra. Dessa skillnader kommer att diskuteras nedan. Naturvårdsverket Utvärderingssektionen anställer utvärderare med olika typer av formella kompetenser som erhållits från universitets- eller högskolestudier. Majoriteten av utvärderarna är statvetare, eller har studerat statsvetenskap i kombination med nationalekonomi eller företagsekonomi. Det finns också utvärderare med utbildning inom andra samhällvetenskapliga och tekniska områden, exempelvis sociologi, psykologi, naturvetenskap och miljöekonomi. Utvärderingssektionen uppvisar sålunda blandade kunskapsbaser: Det har varit en mix för att kunna ta tillvara på olika sätt att se på saken (Utvärderare: Naturvårdsverket). Varierande kunskapsbaser ses som ett förmånligt inslag då utvärderingar kan ta tillvara och dra nytta av olika kunskaper om, och syn på, miljöarbete. Naturvårdsverkets utvärderare arbetar för det mesta parvis inom utvärderingssektionen för att säkerställa kontinuitet. Det hör till undantaget att kompetenser utanför myndigheten, exempelvis konsulter, anlitas för uppdragen. Sakkunskaper som finns inom Naturvårdsverket, i synnerhet från enheten som beställde utvärderingen och som ”äger” sakfrågan, utnyttjas däremot. Vid regeringsuppdrag används ibland olika referensgrupper för att lämna input till en viss utvärderingsrapport. Det finns en viss blandning av utvärderingsroller samt ett behov av att upprätthålla en balans mellan organisation och ideologi. Primärt uppfyller utvärderingssektionen en granskningsroll; en extern expert som opartiskt granskar hur andra organisationer har tolkat och implementerat lagstiftning, riktlinjer eller uppdrag. Det finns också interna roller: utvärderingsexperter från myndigheten kan bidra med metod- och utvärderingsstöd till andra enheter inom Naturvårdsverket. Det finns dessutom ett inslag av att fungera som dialogledare i utvärderingar där det används deliberativa, eller deltagande, metoder såsom gruppintervjuer och fokusgrupper. I dessa fall leder utvärderaren en diskussion mellan berörda aktörer. Utvärderingssektionens utbildningsroll kan också betraktas i termer av att vara dialogledare. Utvärderare deltar i diskussioner både inom och utanför Naturvårdsverket gällande aspekter som utvärderingsmetoder, arbetssätt, resultat och tolkning. 46 NATURVÅRDSVERKET Rapport Myndigheten för samhällskydd och beredskap (MSB) MSB:s utvärderingsroller har betydande likheter med Naturvårdsverkets vad gäller utvärderares utbildningsbakgrund. Utvärderingsgruppen anställer utvärderare med olika typer av formella utbildningar. Här finns utvärderare med universitets- eller högskoleexamen i statsvetenskap, ekonomi, pedagogik och beteendevetenskap. Majoriteten är dock statsvetare. Denna blandning av utbildningsbakgrunder anses tillhandahålla en bred kunskapsbas för att bedriva utvärderingsgruppens verksamhet. Precis som inom Naturvårdsverket rekryteras relativt sällan kompetenser utanför myndigheten. Nej, inte särskilt ofta. Det kan vara någon specifik sak som vi saknar kompetens på – men inte så ofta. (Utvärderare 1: MSB) Att utvärderingsfunktionen baseras på intern kompetens och expertis anses vara en fördel: Att jobba med utvärdering är ett kontinuerligt arbete med att faktiskt ta tillvara de lärdomar som kom fram under utvärderingen. För att göra det ska de faktiskt helst jobba inom samma organisation så att du hela tiden kan ta tillvara på möjligheten att hålla utvärderingen vid liv. … Jag är inte främmande för att upphandla, men jag tror att man ska vara väldigt selektiv. Det är bättre att ha din egen utvärderingskår och expertis. … Det tar så mycket resurser att administrera upphandlingen, beskriva uppdraget och springa till konsulter (Utvärderare 2: MSB). MSB:s utvärderingsgrupp anser att det är gynnsamt att genomföra många utvärderingar inom gruppen utan att vara beroende av externa konsulter. De två intervjupersonerna ansåg att detta främjar kontinuitet, utveckling och lärande inom MSB, något som svårligen kan garanteras med externa konsulter Liksom hos Naturvårdsverket finns inslag av både externa experter och dialogledning. Betoningen på samtalsledarrollen är dock aningen starkare hos MSB. Deras gränsöverskridande utvärderingar innefattar ofta förhandlingar och samtal mellan organisationer, grupper och individer i syfte att öka förståelsen och kunskapen om varandras krisberedskapsverksamheter. Utgångspunkten är de svårigheter som man upplever sig ha inom krisberedskapsområdet inom länsstyrelserna. … Men om man utvidgar sin egen grupp – det är sex länsstyrelser som samarbetar – då breddar man sin kompetensbas helt enkelt. … Så man kan säga att det institutionella minnet blir gemensamt inom de 12 sex länsstyrelserna (Utvärderare 2: MSB). Utvärderingsgruppen anser att en huvudfunktion är lärande; utvärderarrollen ligger i att underlätta gränsöverskridande lärande genom att leda diskussioner och identifiera punkter där arbetet kan förbättras. 12 Nordsam – ett samarbete där sex länsstyrelser i Sveriges nordligaste län utvärderades. 47 NATURVÅRDSVERKET Rapport Socialstyrelsen Utvärderare inom Socialstyrelsens utvärderings- och uppföljningsenheter är också skolade inom olika discipliner. Inom de två enheterna som undersöktes för denna rapport återfinns statsvetare, ekonomer, sociologer, psykologer och pedagoger. Det finns dessutom utvärderare med medicinsk kompetens, till exempel läkare, tandläkare och sjuksköterskor. Utvärderare spänner alltså från det samhällsvetenskapliga till det medicinska området. Till skillnad från de två andra myndigheterna anlitar Socialstyrelsens utvärderings- och uppföljningsenheter regelbundet externa expertkompetenser, särskilt forskare och praktiker inom hälso- och sjukvårdsverksamheter. Vi tar in externa experter i alla våra projekt för att säkerställa godtagbar kvalitet i alla våra slutsatser. Det är alltid specialister på just det område som vi tittar på. Vi försöker blanda … från akademin och även praktiskt verksamma personer, så vi får både forskningsperspektivet och det praktiska (Utvärderare 1: Socialstyrelsen). Såväl vetenskapliga som professionella experter medverkar i specifika utvärderingar där deras expertis är efterfrågad. Socialstyrelsen har som uttalad ambition att blanda olika utbildningsbakgrunder och expertiser samt att anlita sakkunskaper inom det specifika medicinska eller sociala policyområdet för att erhålla förslag och synpunkter på särskilda utvärderingar. Det finns också en viss skillnad i Socialstyrelsens utvärderingsroll jämfört med de andra två myndigheterna. Socialstyrelsens utvärderingar tar sin utgångspunkt i den externa expertmodellen. Utvärderare väljs utanför den granskade organisationen, det vill säga landsting, kommuner, och vårdföretag. Utvärderarna har expertkunskaper inom policyområdet vad gäller exempelvis lagstiftning och implementering eller särskild medicinsk kompetens. De genomför opartiska granskningar av hur politiker, tjänstemän och professionella har tolkat sina uppgifter och huruvida policyimplementeringen har skett enligt statens intentioner och med stöd i beprövad vetenskap. Intervjun på Socialstyrelsens uppföljningsenhet betonade också vikten av kompetensutveckling. Enheten arbetar aktivt med att kontinuerligt stärka sina kunskaper och färdigheter. Ett program för vidareutbildning har inrättats för utvärderare. Inom ramen för detta program anordnas regelbundna seminarier samt föreläsningar med utomstående utvärderingsforskare och experter. 4.2 Diskussion Betydande likheter förekommer mellan de tre myndigheterna beträffande utvärderarnas kunskapsbakgrunder. De flesta utvärderare har en samhällsvetenskaplig utbildning i grunden, exempelvis statsvetenskap, ekonomi, sociologi, psykologi och pedagogik. Myndigheternas representanter uppfattar denna variation som fördelaktig, eftersom den möjliggör mångfacetterade synsätt. Vissa enheter använder 48 NATURVÅRDSVERKET Rapport också expertmodeller med fast anställda utvärderare från särskilda professioner. Socialstyrelsens enheter har utredare med bakgrund i en rad olika professioner, såsom läkare, sjuksköterskor, tandläkare, socionomer och psykologer. Därtill anlitas ofta utomstående forskare och professionella experter för att bidra med expertis och ”evidensbaserad” kunskap. Naturvårdsverkets utvärderingssektion rymmer också utvärderare med naturvetenskapliga och miljöekonomiska utbildningar. Sektionen arbetar emellertid i huvudsak utifrån intern kunskap eller i samverkan med uppdragsgivarens kunskaper. MSB:s utredare kommer främst från samhällsvetenskapliga discipliner. I mån av behov anlitas särskilda tekniska kompetenser. Det finns både likheter och skillnader beträffande utvärderingsrollerna. De tre myndigheterna utgår från utvärdering som en opartisk granskning av prestationer av externa organisationer, men dessa prestationer har också konsekvenser för myndigheters egna arbeten och uppdrag. Utgångspunkten för verksamheten är den befintliga expertisen inom respektive myndighets utvärderingssektion. Naturvårdsverket och MSB har ett uttalat inlärningssyfte, vilket betyder att utvärderaren i viss mån även fungerar som samtalsledare, i synnerhet vad gäller utvärderingar som baseras på förhandlingar eller samverkan mellan grupper. Socialstyrelsens utvärderingar är starkt inriktade mot en extern expertmodell; granskningens utgångspunkt är evidensbaserad kunskap tillgänglig genom professionell praxis och forskningsresultat. Ett visst kontrollsyfte uppdagas i den bemärkelse att vårdgivare och socialtjänster skall utgå från dessa vetenskapliga kunskaper samt att lokala variationer bland vårdgivare i största möjliga utsträckning skall minskas. 49 NATURVÅRDSVERKET Rapport 50 NATURVÅRDSVERKET Rapport 5 Utvärdering: design & metoder Ur planeringshänseende är det viktigt att utvärderaren formulerar en tydlig utvärderingsdesign samt väljer lämpliga metoder för att genomföra den planerade utvärderingen. Detta kapitel diskuterar de designer och metoder som vanligvis används i de utvärderingar som Naturvårdsverket, Myndigheten för samhällsskydd och beredskap samt Socialstyrelsen genomför. 5.1 Utvärderingsdesign och programteori Man skiljer vanligtvis mellan två olika utvärderingsdesigner: 1) effektmätning som fokuserar på policyinterventionens utfall och därmed effekterna på det samhällsproblem som ska lösas; 2) kvalificerad uppföljning som granskar implementeringskedjans olika faser och processer. Det är inte enkelt att dra en skarp gräns mellan effektmätning och kvalificerad uppföljning. Om vi tänker tillbaka på de åtta utvärderingsfrågor som diskuterades i kapitel 1 (paragraf 1.7) framgår att kvalificerad uppföljning fokuserar på förvaltnings- och resultatfrågan (frågor 4 och 5), medan effektmätningens utgångspunkt är utfallsfrågan (fråga 6). Den givna utvärderingens fokus och design påverkar valet av undersökningsmetoder (Vedung 1998). Effektmätningsdesign En effektmätningsdesign fokuserar enbart på att kartlägga och bedöma de övergripande effekterna av olika interventioner på det ursprungliga samhällsproblemet. Effektmätningens huvudfokus begränsas till policyproblem och målsättningar samt utfall och effekter, till exempel vilka effekter miljöpolitiken haft på miljön och huruvida miljön har förbättrats till följd av genomförda interventioner. Med en effektmätningsdesign måste utvärderaren bedöma om interventionen har varit lämplig, och tillräcklig, för att adressera det ursprungliga samhällsproblemet. Utvärderaren måste också kunna kartlägga ett kausalt samband mellan interventionen och de slutliga effekterna, samt kunna särskilja interventionens effekter från de som orsakats av andra faktorer (Vedung 1998). Kvalificerad uppföljningsdesign Uppföljning är ett begrepp som kan definieras på flera sätt. Utgångspunkten är datainsamling och värdering. Enklare varianter på uppföljning kan vara att undersöka hur nöjda brukarna eller personalen är med en särskild åtgärd. De kvalificerade uppföljningar som genomförs av olika myndigheter skall inte likställas vid en enklare insamling och redovisning av data, utan åsyftar en kvalificerad uppföljningsdesign där hela implementeringskedjan, från det stipulerade policymålet fram till interventionens slutprestation, kartläggs. Till skillnad från effektmätning granskar en kvalificerad uppföljning i regel inte interventioners långsiktiga effekter. 51 NATURVÅRDSVERKET Rapport Undersökningen fokuserar i stället på förvaltningsprocessor, genomförande och slutprestation inom ett givet policyområde. Kvalificerad uppföljning är sålunda en processutvärdering som placerar implementeringsförloppet i fokus. Den kvalificerade uppföljningens anlägger ett perspektiv där styrningskedjan granskas uppifrån och ned (top-down styrning). Utgångspunkten är att granska hur de beslut som fattas av regeringen implementeras av aktörer på lägre nivåer (Hertting & Vedung 2009; Veding 1998). Syftet blir därmed att kontrollera huruvida interventionens resultat motsvarar statens ursprungliga intentioner. Programteori Många utvärderingar, särskilt kvalificerade uppföljningar, baserar sin design på programteori. Med programteori menas en rekonstruktion och kartläggning av regeringens uppfattningar om hur det tänkta förloppet med insatser skulle se ut och vilka resultat detta skulle utmynna i. Detta innebär att utvärderaren bygger upp teoretiska hypoteser grundade i statens förarbete och policyplanering om interventionens mål, innehåll, mekanismer och utfall. Programteori söker identifiera de centrala länkarna i implementeringskedjan genom att studera olika processer och verksamheter. Detta tillvägagångssätt ligger till grund för utvärderingen (Weiss 1998; Vedung 1998). Enligt Owen (1999) måste en programteori spåra interventionens logik och analysera de olika rollerna, inklusive regeringens policymål och planering; myndighetens tolkning och vägledning; och den implementering som genomförs på lägre nivå. Programteori omfattar således de antaganden och hypoteser som ingick i policyformuleringsprocessen; statens modell för hur interventionen väntades fungera; statens idéer kring hur de administrativa processerna skulle fungera; och, slutligen, statens idéer kring hur interventionens komponenter skulle omsättas i konkreta resultat (Donaldson & Lipsey 2006). Rossi m fl. (2004) utgår från att en programteori har tre viktiga beståndsdelar: 1) en organisationsplan som kartlägger interventionens organisation, inklusive verksamheter, insatser och resurser; 2) en implementeringsplan som handlar om hur interventionens målgrupp erhåller de planerade tjänsterna eller insatserna; och 3) en utfallsteori med prognoser om interventionens avsedda kausala mekanismer och effekter. Vedung (1998) har utvecklat en mall för utvärderare som vill återskapa en interventions programteori. Modellen består av sju punkter och syftar till att underlätta en rekonstruktion av programteorin: Myndighet/policyområde: inom vilket policyområdet äger interventionen rum och vilken myndighet har huvudansvaret; Intervention: identifikation av lagen, reformen, programmet som programteorin avser. Implementeringsmellanhänder: identifiera vem som bär ansvaret för interventionens genomförande, exempelvis landsting, kommuner, företag, andra organisationer; Interventionens slutmottagare: vem är interventionens mål grupp? 52 NATURVÅRDSVERKET Rapport Slutprestation: fastställa interventionens utflöde, vilket kan vara tjänster, bidrag, information och andra prestationer; Preliminära effekter: omedelbara resultat för interventionens målgrupp. Samhällseffekter: medellånga och långsiktiga effekter för det samhällsproblem som skall åtgärdas med hjälp av interventionen. Har statens intentioner uppfyllts? En programteori som rekonstruerar interventionens tänkta förlopp kan därmed ligga till grund för hur utvärderingen utformas. 5.2 Datainsamlingsmetoder En mängd olika datakällor kan användas för utvärderingar. Det är därmed viktigt att välja datainsamlingsstrategi. Valet av strategi beror på vilka datatyper som behövs för att bäst besvara utvärderingens frågeställning. Enligt tidigare forskning finns tre huvudsakliga datainsamlingskategorier för utvärderingsarbete: frågemetoder, dokumentmetoder och observationer. De följande avsnitten diskuterar dessa tre metoder (utifrån Vedung 1998; Weiss 1998). FRÅGEMETODER Det finns flera metoder baserade på utfrågningsstrategier: intervjumetoden och enkätmetoden. Intervjumetoden är en av de viktigaste metoderna för uppföljningsutvärderingar eftersom man pratar med den personal och de brukare som direkt berördes av insatsen eller verksamheten. Intervjuer kan vara informella eller formella. Informella intervjuer används ofta i början av en utvärdering, i synnerhet för att hjälpa utvärderaren att orientera sig inom policyområdet. Dessa informella samtal kan sedan ligga till grund för hur datainsamlingsstrategin utformas. Formella intervjuer är en systematisk datainsamlingsmetod där utvärderaren använder olika frågetyper. Det kan handla om öppna, strukturerade eller semi-strukturerade frågor. Utvärderare kan besöka intervjupersonen eller göra en telefonintervju. Den senare varianten har fördelen att den sparar tid och kostnader. Intervjuer ger ofta en fördjupad insikt om insatsen och verksamheten, men, det skall tilläggas, är en tidskrävande metod. Enkätmetoden används ofta när man skickar ut ett frågeformulär via post eller internet. Enkätmetoden anses särskilt effektiv när avsikten är att nå ett större antal subjekt, vilka kan vara geografiskt spridda. Metoden ger subjekten tid att ge genomtänkta svar. Å andra sidan är bortfallet i regel stort. En annan begränsning ligger i att enkätmetoden inte omedelbart förmår följa upp intressanta svar på ett sätt som möjliggörs i en intervjusituation. DOKUMENTMETODER Dokumentmetoder innebär att utvärderaren använder sig av redan tillgänglig data. Generellt finns två typer av dokumentmetoder: statistisk metod och textanalys. Den statistiska metoden utgår från att utvärderaren använder statistiskt material som finns tillgängligt internt eller externt. I vissa fall sammanställer utvärderaren egen statistik för det specifika ändamålet. Statistik kan innefatta datakällor som register, 53 NATURVÅRDSVERKET Rapport intern statistik, månadsrapporter, tidskort, lönestatistik, genomsnittliga handläggningstider, och så vidare. Statistik kan också hämtas från andra organisationer, exempelvis Statistiska centralbyrån (SCB). Textanalys å andra sidan bygger på att utvärderaren undersöker och analyserar skriftliga dokument tillgängliga vid myndigheten eller hos andra organisationer. Det rör sig vanligtvis om lagstiftning, riktlinjer, regleringar, programdokument, handläggningsdokument och andra uppföljningar. Dokumentanalys är förmånlig i de fall där utvärderaren vill kartlägga en särskild verksamhet eller en given insats och dess utfall. Utvärderaren kan med denna metod undvika risken att data återspeglar personalens efterhandskonstruktion av policy- och händelseförloppet, vilket eventuellt kan ske vid frågemetoder. OBSERVATIONSMETODER Observation utgår från att utvärderaren befinner sig på plats och kan iaktta vad som sker vid organisationen. I allt väsentligt kan man skilja mellan tre typer av observationer: dolda, direkta och deltagande observationer. Den dolda observationsmetoden innebär att utvärderaren observerar händelser i hemlighet utan att avslöja sin verkliga identitet. Denna observationsmetod är onekligen sällsynt, men kan förekomma vid utredningar som rör misstankar om kriminellt förfarande. Konkreta exempel på detta tillvägagångssätt är polisarbete och bedrägerier mot Försäkringskassan. Vid direkt observation å andra sidan uppträder utvärderaren helt öppet och dennes professionella funktion är väl känd bland personalen. Direkt observation är vanligt förekommande inom vissa policyområden; Skolinspektionen observation av lektioner under platsbesök kan anges som ett utmärkt exempel. Deltagande observation är också en slags direkt observation. Den skiljer sig i huvudsak från reguljär direkt observationen genom att utvärderaren själv deltar aktivt i den verksamhet som han eller hon har i uppdrag att utvärdera. Det handlar helt enkelt om en form av självutvärdering. Med observationsmetoder sker datainsamlingen systematiskt, antingen genom att utvärderaren antecknar sina iakttagelser eller att utvärderaren ställer frågor till de som observeras. Fördelen med observationsmetoderna är att utvärderaren med egna ögon kan se vad som händer inom verksamheten. Det finns dock risker, dels eftersom inte alla typer av situationer är möjliga att observera. En annan begränsning ligger i möjligheten att personalen ”spelar för galleriet”, det vill säga de uppträder inte på det sätt de vanligvis gör. Observationer kan dock med fördel användas i kombination med andra datainsamlingsmetoder. 5.3 Utvärderingsmetoder i tre myndigheter En empirisk undersökning visar att det finns stora likheter med avseende på utvärderingsdesign och metod mellan de tre myndigheterna. Nästan alla av de undersökta myndigheterna sysslar med olika former av kvalificerade uppföljningar av statliga beslut, regelverk och reformer. Utvärderingarna baseras på ambitionen att kartlägga interventionens programteori och att analysera interventionernas genomförande på lägre nivåer. 54 NATURVÅRDSVERKET Rapport Det finns också signifikanta likheter vad gäller val av datainsamlingsmetoder. Majoriteten av utvärderingarna kombinerade frågemetod med dokumentanalys. Det är vanligt att olika typer av intervjumetoder ingår i utvärderingsprocessen, i synnerhet platsintervjuer och telefonintervjuer. Vissa myndigheter använder även andra intervjumetoder såsom gruppintervjuer och fokusgruppintervjuer. Enkäter, administrerade via post eller internet, är likaledes brukliga inslag. Vissa myndigheter upphandlar uppgiften att genomföra och sammanställa webbenkäter. Dokumentmetoden är också standardinslag. De flesta myndigheterna använder olika typer av förvaltningsdokument och statistik för att genomföra sina utvärderingar. Det är inte heller sällsynt att utvärderingar drar nytta av tidigare genomförda utvärderingar på av organisationer på lägre nivåer (länsstyrelser, landsting och kommuner) samt motsvarande granskningar utförda av andra organisationer. Två utvärderingar använde mer originella metoder: MSB:s utvärdering av övningar och Socialstyrelsens granskning av de nationella riktlinjerna. Dessa metoder är särskilt intressanta utifrån tanken att utvärderingar ska stimulera till framtida utveckling. Dessa två enheters utvärderingsdesign och metoder diskuteras därför utförligare i följande avsnitt. MSB: utvärdering av samhällsövningar13 Att utvärdera övningar skiljer sig något från att utvärdera policybeslut och reformer, eftersom det handlar om att utvärdera simuleringar av hanterandet av krisberedskapssituationer. MSB:s övningsutvärderingspersonal arbetar med stora, sektorövergripande samhällsövningar. Övningarna är en bedömning av hur samhällets krisplanering kommer att fungera i verkligheten. Genom att simulera krishanteringsstrategier under realistiska förhållanden får myndigheten möjlighet att identifiera potentiella förbättringsområden. Övningarna läggs upp som en simulering, eller ett rollspel, där utvärderingen är en integrerad del för att bedöma och dra lärdomar om hur krisberedskapen fungerar. Utvärderingens design kan liknas vid ett kvasi-experiment. På basis av ett realistiskt scenario undersöks hur de berörda aktörerna reagerar på krissituationer. Övningarna inkluderar ett stort antal samhälleliga organisationer, vars aktörer har sin hemvist både inom och utanför den offentliga sektorn. I regel består övningarna av flera faser. Den första är en förberedningsfas där scenariot utvecklas. Det kan även förekomma seminarieövningar med uppgift att få fram en gemensam förståelse och tolkning av regelverket (seminarieövningar kommer att diskuteras senare i detta avsnitt). Därefter finns en akutövningsfas där övningen genomförs med en utomhussimulering. Multipla aktörer medverkar här för att ta itu med krisen och återställa samhällsviktiga funktioner. Det kan också finnas en långsiktig fas som omfattar det långsiktiga arbetet med krisens följder. Till sist finns en slututvärderingsfas för att bedöma och dra lärdomar av övningen. Utvärderingsfunktionen är närvarande under hela övningsprocessen, från scenariots utvecklingsarbete fram till 13 Detta avsnitt bygger på intervjun med MSB:s utvärderare 1 samt rapporter MSB 2012, 2011 och 2012a. 55 NATURVÅRDSVERKET Rapport slutseminariet. Detta för att säkerställa övningens utvärderingsbarhet. Utvärdering begränsas därför inte enbart till utvärderingsfrågor utan utvärderingsbehovet spelar en stor roll för övningens upplägg och genomförande. Observationer är nyckelmetoden för övningsutvärderingar, och dessa förekommer vid olika tidpunkter under övningens gång. Utvärderingsenheten använder MSB:s personal för att observera simuleringen ur ett flertal perspektiv, inklusive ledningens och andra aktörers verksamheter, men även med avseende på mediabevakning.14 Under själva övningen försöker vi att undvika självskattning så mycket det bara går för det finns en tendens att tycka att man är lite bättre än man kanske är. … Vi har då tagit människor från våra egna och andra enheter på myndigheten. Vi har skickat ut dem som våra ögon och öron hos olika myndigheter för att kunna observera övningen från deras horisont. … Ifall media har varit med har vi också haft folk som har följt dem. De har fått ett formulär med … observationspunkter som rör vad de ska titta på när de rapporterar in till oss. … Observationspersonal antecknar eller fyller i en observationslog. Det finns också indirekta observationsmetoder i efterhand när MSB:s personal granskar video- och ljudinspelningar (Utvärderare 1: MSB). En övning kan också ge utvärderingsgruppen möjlighet att utföra experiment för att förbättra krishanteringskunskaper och dra lärdomar: När det gäller SAMÖ-KKÖ-övningen … var den en akut fas som pågick i två dagar. Då kunde vi observera, men sedan gjorde vi – kan man säga – ett experiment kan man väl säga. Uthållighetsfasen däremot observerade vi när vi kunde, till exempel på någon samverkanskonferens. Det fanns ju ingen möjlighet att ha människor sittandes för att observera under sju veckor… Då kunde vi följa det men vi hade faktiskt några självskattningsfrågor (Utvärderare 1: MSB). Övningsutvärdering använder också frågemetoder, som intervjuer och enkäter. Intervjuer är vanliga och det förekommer också gruppintervjuer och uppföljningsseminarier. Det är vanligt att deltagarna ger respons direkt efter simuleringen samt flera veckor senare för att då kunna ge mer genomtänkta svar. Det finns också uppföljningar med media och grupper som representerar allmänheten, oftast sker dessa via enkäter: Vi har också haft några enkäter med just de här mediepersonerna. I samband med KKÖ hade vi också tre stycken allmänhetsgrupper, de fick också svara på en enkät (Utvärderare 1: MSB). Dokumentmetoden är inte heller främmande. Övningsdokument är en central källa för utvärderingar eftersom de redovisar övningsscenariot, övningsreglerna samt relevant lagstiftning. MSB använder också en skrivbordsövning som kan användas antingen i samband med utomhussimulering eller som separat övning. En skrivbordsövning (seminarium) innebär att representanter från olika organisationer 14 MSB anställer journalister för att bevaka övningen som om det var en riktig krissituation för att granska hur de övande organisationerna uppfyller samhällets och allmänhetens behöv för information. 56 NATURVÅRDSVERKET Rapport träffas för att diskutera en fallstudie eller ett scenario som skildrar en krissituation. Därefter sker en överläggning om hur deras organisation skall tolka och agera utifrån deras specifika krisplaner. En skrivbordsövning har effektivitetsfördelar; den reducerar kostnader och är tidsbesparande. Nackdelen är dock att den representerar en kraftig förenkling av krissituationen. Utvärderingen får därmed svårt att säkerställa att organisationen skulle agera enligt planen vid en reell, komplex krissituation. Exempel på detta problem uppdagas i utvärderingsrapporten om Barentshavsövningen där SOS-larms personal inte kände till larmplanens specifika rutiner, vilket försvårade de internationella larmningsrutinerna och kontakterna med Norge och Ryssland (Myndigheten för samhällsskydd och beredskap 2011). För att sammanfatta: MSB:s övningsutvärdering läggs upp utifrån övningens design och simuleringens olika faser. De primära datakällorna är direkta och indirekta observationer, frågemetoder, i form av intervjuer, enkäter och uppföljningsseminarier, samt dokumentanalys. Socialstyrelsen: utvärdering av de nationella riktlinjerna Socialstyrelsens utvärderingsenhet har till uppgift att granska de nationella riktlinjerna för ”god vård”. Utvärderingar läggs upp som evidensbaserade, kvantitativa mätningar av vårdens kvalitet. Syftet är att producera indikatorer för att bedöma om sjukvårdsbehandlingar uppnår god vård. Utvärderingsenheten operationaliserar därför de sex generella kriterier på god vård, som finns nedskrivna i Socialstyrelsens nationella riktlinjer från 2008, till statistiska, forskningsbaserade indikatorer. Enligt de nationella riktlinjerna krävs det att vårdinsatserna uppnår följande sex kriterier för att klassificeras som god vård: Kunskapsbaserad/ändamålsenlig; säker; patientfokuserad; jämlik; effektiv; tidsrimlig. För att utvärdera dessa kriterier designas en jämförande processutvärdering. Fokus ligger på att dokumentera vårdens behandlingar och procedurer för att se huruvida vårdgivarna följer fastslagna rekommendationer baserade på tidigare forskning. Den tänkta programteorin är att ifall rekommenderad praxis följs kommer det i sin tur att leda till bästa möjliga långsiktiga resultat för patienterna. Många av indikatorerna som används är processindikatorer … resultaten ska förhoppningsvis förbättras om man följer processerna på ett bra sätt. … De är väldigt processorienterade. Vi sätter processerna i sitt sammanhang på något sätt och redovisar strukturvariabler och visar vissa resultat. Men vi kan inte med säkerhet säga att en god följsamhet vad gäller just de här indikatorerna leder till ett bättre resultat. Men det ska framförallt sägas att det är processen som vi tittar på (Utvärderare 1: Socialstyrelsen). 57 NATURVÅRDSVERKET Rapport Utvärderingsprocessen är lång, i genomsnitt tre till fyra år. Detta beror på att utvärderingen först måste utveckla indikatorer och sedan genomföra en nationell utvärdering och mätning. Riktlinjerna sammanställs inledningsvis av andra enheter inom Socialstyrelsen, medan utvärderingsenhetens uppgift är att operationalisera riktlinjerna till ett antal indikatorer för att därefter utvärdera graden av följsamhet bland landets landsting och sjukhus. Utvärderingsmetoden baseras på dokumentstudier. Under det första året konkretiseras riktlinjerna till ett antal indikatorer. Denna konkretisering sker på basis av tidigare forskning och rekommendationer om bästa praxis. Denna uppgift utför myndigheten i samverkan med experter inom det medicinska området. Utvärderingarna baseras på forskningsrapporter, dokument och databaser. Mängden indikatorer och mått som sammanställs är av betydande omfattning. För att belysa detta innehöll exempelvis Socialstyrelsens rapport om hjärtsjukvård inte mindre än 45 olika indikatorer (Socialstyrelsen 2009). Den största datakällan representeras av de olika typerna av hälso- och sjukvårdsregister som Socialstyrelsen och landsting förfogar över. Utvärderaren kan eventuellt bestämma att avgränsa granskningen eller att indela den i olika samhällsgrupper, exempelvis utifrån ålder, kön, geografiskt område eller administrativ nivå. Nästa steg är att föra in det i indikatorslistan och skriva specifikationer så indikatorn avgränsas. Man tittar på exakt vilka åldergrupper som är relevanta att följa upp. … Ska vi redovisa … könsuppdelat? Ska vi lägga in socioekonomiska variabler som kan vara intressanta? Och sedan, förstås, på vilken nivå i övrigt ska man redovisa – på riksnivå eller kan man även ta det på landstings- eller sjukhusnivå? … Det beror naturligvis litet grann på hur stort patientunderlaget är. Det handlar om att försöka hitta balansen för varje indikator mellan populationens storlek och tillgänglig data … så det är en avvägning. Och det här arbetet med att specificera indikatorerna så de blir mätbara är ganska tidsödande (Utvärderare 1: Socialstyrelsen). Därefter samlas nödvändig data in från olika register för att kunna bearbetas av utvärderingsenheten. Nästa utvärderingssteg består i en expertgranskning; specialister tittar på indikatorers rådata och lämnar kommenterar om avgränsningar och indelningar behöver justeras. Indikatorerna sammanställs sedan i en specifik mall med beskrivningar för varje indikator, eventuella felkällor, tolkningskriterier och storleken på variationen i förhållande till rikets medelvärde. Utvärderingsrapporterna kring god vård utgör därmed en relativ bedömning av hur ett givet landsting eller sjukhus ligger i relation till rikets medelvärde. Det handlar således inte om någon absolut bedömning av god vård. Utvärderingen söker helt enkelt presentera en kvantitativ, evidensbaserad bedömning om i vilken utsträckning landsting och sjukhus följer Socialstyrelsens nationella riktlinjer. Trots att Socialstyrelsen ämnar utvärdera huruvida landsting och sjukhus har uppnått ”god vård” saknar utvärderingarna ett patientperspektiv. Perspektivet är inte i första hand medborgarnas utan utgångspunkten är evidensbaserade rekommendationer (Utvärderare 1: Socialstyrelsen). 58 NATURVÅRDSVERKET Rapport Enkelt uttryckt är det experters och forskares syn på patientens bästa som ligger till grund för utvärderingen, inte patientens upplevelse av vården. Frågemetoder förekommer därmed inte. 5.4 Diskussion Konvergensen bland de undersökta myndigheternas utvärderingsmetoder är betydande – de flesta utgår från programteori. Vanligvis används kvalitativa metoder, till exempel intervjuer, dokumentanalys eller kvalitativ analys av statistik. Två enheter kan emellertid betraktas som undantag: MSB:s övningsutvärdering och Socialstyrelsens utvärderingsenhet. För att börja med MSB:s övningsutvärdering använde den ett bredare spektrum av kvalitativa metoder, i synnerhet fallstudier, rollspel, observationer och experiment för att bedöma hur krisberedskapen fungerar under realistiska situationer och för att fastställa huruvida aktörerna agerar enligt krisplanen. Bordsövningar, där aktörer arbetade utifrån dokumentuppgifter, tillämpas också av denna myndighet. Socialstyrelsens utvärderingsenhet använder ofta kvantitativa metoder för att utvärdera de nationella riktlinjerna gällande god vård. Statistiska metoder används för att utveckla evidensbaserade indikatorer som därefter granskas i ljuset av den statistik som finns lagrad i olika hälso- och sjukvårdsdatabaser. Metoden baseras uteslutande på expertmedicinsk kunskap. I nuläget ingår varken alternativa professionella perspektiv eller brukarna i utvärderingarna. 59 NATURVÅRDSVERKET Rapport 60 NATURVÅRDSVERKET Rapport 6 Att mäta, tolka & bedöma utvärderingsresultat Not everything that can be counted counts and not everything that counts can be counted (Einstein) Mätning, tolkning och bedömning av utvärderingsresultat är en väsentlig del av en utvärdering. Utvärderarens uppgift är att mäta de aspekter som är viktiga, men därtill måste utvärderaren även vara observant på att inte uteslutande granska de aspekter som är enkla att mäta. Mätning ligger till grund för utvärderarens bedömningar och slutsatser. Likierman (1993: 15) har korrekt observerat att: ”what gets measured is what gets done” (det som mäts är det som görs). Mätning och indikatorer ger alltså feedback och information till den utvärderade organisationen angående hur väl den har presterat; hur den har arbetat mot interventionens mål; vilka resultat som har uppnåtts; om dessa prestationer har lyckats åtgärda det ursprungliga samhällsproblemet; samt identifiera vilka områden som organisationen behöver arbeta vidare med (se Meekings 1995; Smith 1995; Jackson 1993). Mätningssystem och måttstockar är därför helt centrala för utvärderingen. 6.1 Hur utvecklas bedömningsgrunder? För att kunna bedöma graden av måluppfyllese, resultat och effekter behöver utvärderaren tänka ut preciserade mått och indikatorer. Måtten måste vara relevanta i förhållande till interventionens mål och fånga de centrala delarna av interventionen. De måste vidare vara begripliga för potentiella användare. Det är också viktigt att måtten är kontrollerbara. Måttstocken måste vara realistisk och kostnadseffektiv. Integritet är också viktigt i den mening att måttstocken inte skall vara möjlig att manipulera i syfte att uppnå bra prestationsbetyg. Proxy-mått som kan förvränga prestationen måste också undvikas (Lindgren 2006; Likierman 1993). Det är därför viktigt att de valda måtten täcker de viktigaste delarna av interventionen eller organisationen. Utvärderaren är tvungen att i flera led gå igenom bedömningsgrunderna för en intervention. Enligt Lindgren måste utvärderaren först fastställa interventionens mål, för att därefter utveckla en programteori med hypoteser om hur interventionen kan tänkas fungera. Dessa steg hjälper utvärderaren att identifiera vilka aspekter av interventionen som skall bedömas. Nästa steg är att definiera och analysera nyckelbegrepp så att det tydliggörs vilka typer av utfall som utvärderingen skall mäta och bedöma. Dessa begrepp behöver i nästa led operationaliseras för att kunna undersökas. Slutligen skall indikatorer bestämmas som förmår mäta programmets mål. Trots att fastställandet av bedömningsgrunder verkar bestå av ett antal enkla, rationella steg är verkligheten avsevärt mer komplicerad. Jackson (1993) diskuterar svårigheterna med att fastställa bedömningsgrunder för offentliga organisationer utifrån följande faktorer: mångtydiga mål; multipla intressegrupper och brukare; osäkerhet eller okända risker inom policyområdena; och komplexa och sektorsö- 61 NATURVÅRDSVERKET Rapport vergripande organisationsstrukturer. Till följd av denna komplexitet är det svårare att utveckla rationella bedömningsgrunder för offentliga organisationer än vinstmaximerande företag. Måttutvecklandet tenderar således att sakna en tydlig, linjär process. 6.2 Olika typer av bedömningar och bedömningens grunder Som en konsekvens av NPM-reformer och styrideologier baserade på mål- och resultatstyrning har antalet bedömningsgrunder ökat kraftigt. Granskningssamhället har skapat ett stort behov av information, indikatorer och standarder för att bedöma olika prestationer. Detta betyder att organisationer ständigt förväntas producera mer och mer data för att tillfredsställa dessa informationsbehov (Hood 2007; Lindgren 2006): I Sverige märks granskningssamhället främst genom att anspråken på myndigheterna att kontrollera, mäta och redovisa resultat av sina verksamheter tenderar att öka år för år (Lindgren 2006:14). Hood hävdar att denna informationsexplosion inneburit ett skifte mot ”government by numbers” (sifferstyrning). Enligt Hood (2007) kan det förkomma olika typer av bedömningssystem beroende på olika idéer om hur offentliga interventioner bör mätas och vilka typer av variablar som bör ingå i ett mätningssystem. Han identifierar tre huvudsakliga typer av mätningssystem med fokus på olika prestationsaspekter och variablar: Målbaserad mätning med prestationsmål eller riktlinjer som bedöms med hjälp av att fastställa särskilda indikatorer och standarder; Rankingmått innebär en jämförelse mellan den nuvarande prestationen och andra prestationsmått, till exempel tidigare prestationer eller andra enheter; Upplysningsmått är ofta processinriktade bedömningar, exempelvis av administrativa system men utan fasta mått. Dessa mätningssystem baseras på tre skilda synsätt på hur man skall mäta prestationer. Det första utgår från en absolut mätning av prestationsgrad i ljuset av angivna standarder. Det andra innebär en relativ bedömning där resultaten eller prestationen sätts i jämförelse med andra variablar, vilka kan vara skilda tidpunkter eller andra organisationer. Det tredje och sista är en processanalys där olika processer med hjälp av beskrivande analys identifieras som antingen bra eller dåliga. Enligt Jackson (1993) är möjligheterna att bedöma och jämföra prestationer begränsade om inte måttstocken är tydligt angiven. 6.3 Mätningssvårigheter Att sammanställa mått och indikatorer för utvärderingar har varit vanligt i Sverige alltsedan införandet av NPM reformer. Men denna trend är inte oproblematisk för 62 NATURVÅRDSVERKET Rapport offentliga organisationer. Enligt en granskning av myndigheters utvärderingar genomförd av Statskontoret (2002) uppdagades att relativt få myndigheter har fastställt tydliga måttstockar för sina utvärderingar. Faktum är att 75 % av utvärderingarna från olika myndigheter saknar måttstock. Det är också få myndigheter som för en diskussion om vilka variablar som ingick i utvärderingens jämförelser eller bedömningar. I hälften av utvärderingarna förekom en diskussion kring interventionens effekter, men endast 25 % utvecklade något mått för att skatta dessa effekter. Det flesta myndighetsutvärderingar diskuterar prestation enbart i översiktliga termer utifrån uppdragsgivarens mål och arbetar sällan fram egna operationaliseringar eller mått. Det är därför svårt för utvärderingarna att mäta och bedöma de prestationer som studeras. Dessa svårigheter diskuteras närmare i avsnitten nedan. Diffusa och vaga mål: Den linjära idealmodellen för mätning vid utvärderingar ger vid handen att det finns tydliga och mätbara mål. I verkligheten kännetecknas emellertid interventioner ofta av oklara mål, såsom ramlagar. Vagt formulerade mål skall tolkas på lägre nivåer. Exempel på detta område är god vård, god miljö och jämlik tillgång till likvärdiga tjänster (se Lindgren 2006; Brunsson 2000). Dessa diffusa mål är omtvistade och kan också vara svåra att operationalisera. Målkonflikter kan därtill uppstå eftersom myndigheter ofta erhåller flera mål från regeringen utan tydlig inbördes prioritering (Collier 2006). Vidare är det svårt att fastställa entydiga bedömningsgrunder när många interventioner implementeras sektorsövergripande genom nätverk av organisationer (Leeuw 2002). Svårlösta målkonflikter kan uppstå när olika organisationer prioriterar vitt skilda mål. Organisationer kan också tolka mål utifrån olika perspektiv beroende på den rådande kunskapsbasen. I denna kontext visar Maycraft Kall (2010) hur svåra psykiatriska sjukdomar kan tolkas som ett medicinskt, socialt eller kriminologiskt problem. För mycket mätning och för många mått: Granskningssamhället har skapat ett stort informationsbehov samt en uppsjö nya mekanismer för att samla in data och mäta prestationer. Det är dock problematiskt att så mycket tid och resurser ägnas åt själva mätningen istället för organisatoriska förbättringar. Problemet sammanfattas av Hume och Wright (2006): ”you don’t make a pig fatter by weighing it” (grisen blir inte tyngre för att man ständigt väger den). Istället behövs en balans mellan mätnings- och förbättringsinsatser. En annan utmaning är att informationssamhället ger upphov till mängder av information, vilket riskerar leda till ett informationsöverflöde (Meeekings 1995); organisationen ”drunknar” helt enkelt i all information (Liekerman 1993). Överproduktion av mått och indikatorer försvårar organisationens möjligheter att fastslå tydliga prioriteringar för det arbetet. Utvärderaren måste därför vara försiktig och avgränsa fokus till de viktigaste målen och indikatorerna. 63 NATURVÅRDSVERKET Rapport Påverkbarhet: Ett mätningssystem bör enbart fokusera på de aspekter som är möjliga att påverka. Om personalen ställs till svars för okontrollerbara, orealistiska eller orättvisa aspekter reduceras tilliten till utvärderingsprocessen (Hood 2007; Likierman 1993). Det är inte alltid enkelt att hitta ett direkt kausalt samband mellan personalens agerande och utfallet, då det senare kan ha påverkats av andra faktorer än personalens handlande (Collier 2006; Smith 1995). Mätning bör inte heller användas för att angripa personalen. Tidigare forskning har visat att ett sådant förfarande sällan leder till förbättringar. Snarare får det till följd att personalen känner sig utsatta och agerar utifrån ett uppfattat behov av att skydda sig själva (Hume och Wright 2006; Rogers & Williams 2006). Utvärderaren måste varsamt undvika att mätningssystemet ger upphov till olika typer av negativa beteenden som urholkar utvärderingens tillförlitlighet. Mäta det viktigaste eller mäta det enklaste? Einsteins inledande citat tar upp de svårigheter som uppstår när mätning enbart fokuserar på indikatorer som enkelt kan mätas på bekostnad av en förståelse för interventionens djupare och svårare frågor. I teorin kan modellen anta att allt kan mätas, men i verkligheten kompliceras möjligheterna till att få en helhetsbild av det faktum att endast vissa delar är synliga eller mätbara. Vissa utvärderare använder proxymått som en metod för att åtgärda detta problem. Det betyder att man försöker granska en annan faktor för att kompensera avsaknaden av direkta mått på den huvudsakliga faktor som man är intresserad av. På så vis försöker man indirekt mäta en given variabel. Detta är ingalunda riskfritt då proxymått ibland kan vara enkla att manipulera (Collier 2006; Broadbent 2007; Jackson 1993; Likierman 1993). Ett exempel på detta är ”teaching to the test” (att undervisa till provet). Med detta menas att provresultat används som ett proxymått för att utvärdera undervisningens kvalitet, en aspekt som är både svår att definiera och mäta. 6.4 Att mäta utvärderingsresultat och myndigheter Mätningssystem och bedömningsgrunder är inte uppenbara delar av de undersökningar som ligger till grund för denna rapport. Måloperationalisering, mätningsinstrument och konkreta mått diskuteras sällan explicit. Berörda utvärderingar tog i regel sina utgångspunkter från styrdokumentens mål och formuleringar, men det är ovanligt att dessa operationaliserades för att skapa tydliga bedömningsgrunder. Vanligt är det däremot att utvärderingsenheten och rapporterna baserades på Hoods upplysningsmått, det vill säga det rör sig ofta om processinriktade bedömningar av olika administrativa funktioner. Fokus ligger på att finna likheter och skillnader i tolkningar samt att fastställa handläggningsproblem, dock utan tydligt specificerade mått. Några enheter utgör emellertid undantag i detta avseende. Socialstyrelsens utvärderingsenhet och MSB:s övningsutvärdering använder mål- och ranking- 64 NATURVÅRDSVERKET Rapport baserade mätningssystem (diskuteras mer utförligt nedan). Det kan eventuellt också finnas en mångtydighet vad gäller myndigheternas roller såväl som en osäkerhet angående var gränsen skall dras mellan utvärderingens roll som producent av underlag och andra enheters uppgift att tillhandahålla vägledning. I ljuset av detta kan det eventuellt betraktas som att operationaliseringen övergår gränsen till vägledning. Mätningssystem och mått synes vara funktioner som myndigheternas utvärderingsenheter borde kunna utveckla i högre utsträckning. Naturvårdsverket Naturvårdsverkets utvärderingssektion baserar sina bedömningar på en programteori som tar avstamp i hur interventionen borde fungera samt hur miljöarbetet kan kopplas samman med olika aktörers insatser. För detta ändamål avkrävs upplysningsmått som kan identifiera de olika processer och aktörer som varit involverade i miljöarbetet vad gäller handläggning av ärenden och implementering av politiken. Det kan också förekomma inslag av rangordning där olika aktörers bedömning av miljöarbete jämförs och utvärderas. Rapporten om Dispens för strandskyddet jämförde kommuners och länsstyrelsers roller och tolkningar av lagen för att ge underlag till en ny vägledning, vars syfte är att minska variationerna och främja likformighet på tolkningsområdet (Naturvårdsverket 2011). För detta ändamål användes inte några fasta mått eller indikatorer. Rapporten om Nedskräpning utvecklade ett teoretiskt analysinstrument samt presenterade förslag på vilka kommuner som framstår som goda exempel på området. Urvalet av kommuner grundades emellertid inte på några fastställda prestationskriterier. Istället låg en mer processinriktad analys till grund för rekommendationerna (Naturvårdsverket 2012). Naturvårdsverket använder sällan indikatorer eller fasta mått med målnivåer för att bestämma vilken prestationsnivå som skall bedömas vara tillfredställande. Utgångspunkten är istället att fokusera på processer, rutiner och tolkningar på lägre nivåer. Myndigheten för samhällsskydd och beredskap (MSB) Om man undantar övningsutvärderingar är det relativt ovanligt med fasta mått på de utvärderingar som genomförs av MSB. Det är istället betydligt vanligare med kvalitativa bedömningar enligt en upplysningsmodell. En del brukar tänka ”oj vi kan inte mäta” och tror inte att man kan göra en utvärdering på så vis. Man får göra kvalificerade bedömningar som är så pass objektiva som möjligt och … vara så öppen som möjligt med hur man gör dessa bedömningar (Utvärderare 2: MSB). Val av mätningssystem kan också bero på vilket policyområde som utvärderas samt huruvida det redan finns mått angivna i styrdokument. Rapporten om Hantering av olyckor och allvarliga händelser saknade fasta mått. De kvalitativa bedömningarna grundades istället på programteori och en särskild kedjemodell. Utvärderaren ansåg inte att det ingick i deras uppgift att betygsätta prestationer eftersom detta kunde få negativa konsekvenser: 65 NATURVÅRDSVERKET Rapport Det är viktigt att motverka en syndabocksmentalitet och istället mer rikta in sig på organisation och problemlösning … Genom att avdramatisera det hela och fånga upp brister i kommunen och andra organisationer kan man arbeta med förbättringsåtgärder (MSB:2012b:16). En annan rapport – Perioder med stora snömängder – utgjorde i första hand en analys i upplysningssyfte. Den saknade såväl fasta mått som tydligt tolkningsramverk. En enklare ranking presenterades emellertid i syfte att jämföra med snöhanteringen under tidigare år. Slutsatsen var att det var svårt att bedöma hur snösituationer bör hanteras: Det finns inga färdiga mallar för eller perfekta exempel för hur en organisation bäst förbereder sig för kriser (MSB 2010b:55). Den upplysningsinriktade analysen följde logiskt av utvärderingens upplägg som var en sektorsövergripande analys baserad på andra organisationers interna utvärderingar om snöhantering. MSB:s övningsutvärderingar innehåller i viss mån ett mer uttalat mätningssystem. I rapporten om kärnkraftsövningen återfinns detaljerade begreppsdefinitioner (MSB 2011: bilaga 1) samt fasta kvalitativa mått för de inledanade faserna av krisen. Larmplanens aktivering betygsattes enlig en fyragradig skala. Det högsta betyget, god förmåga, definierades och skattades på följande sätt i utvärderingsrapporten: Förmågan är god Organisationen tillämpar planering och rutiner för att initiera de inledande åtgärderna i hanteringen av en kärnteknisk olycka och dess konsekvenser. 1. Larmkedjan samt verifiering genomförs utan försening. 2. En för händelsen relevant krisledningsstruktur aktiveras direkt efter larmen. (MSB 2011: Bilaga 2) Det sämsta betyget, mycket bristfällig prestation under larmningsfasen, beskrivs i följande termer: Mycket bristfällig förmåga Stora brister i tillämpningen av planer och rutiner för de inledande åtgärderna. 1. Larmkedjan sam verifiering har stora förseningar eller ingen larmning/verifiering genomförs. 2. Oförmåga att aktivera för händelsen relevant krisledningsstruktur. (MSB 2011:Bilaga 2) Vid sidan av dessa fanns två medelbetyg: förmågan är i huvudsak god men har vissa brister, och det finns en viss förmåga men den är bristfällig. I vissa krishanteringsfaser fanns även fasta mål, till exempel tidsmål för hur lång tid aktiveringen borde ta (MSB 2011). Att utveckla mått och målnivåer för MSB:s övningsutvärderingar var ingen enkel uppgift. Den inkluderade stora sektorsövergripande, ibland internationellt sektorsövergripande, övningar med multipla aktörer. Det råder ingen enighet om vad som kan anses som god eller bristfällig prestation: 66 NATURVÅRDSVERKET Rapport När man tittar på den här stora sektorsövergripande delen … är problemet att … alla inblandade på något vis måste vara överens på den lägsta nivån och det är sällan fallet. Vi försöker uttala oss om vad som är bra eller godkänd nivå … Men det är nästan omöjligt med 40 organisationer att komma fram till vad som är … bra. Så vi försöker göra det så gott det går, annars får vi … själva vara tydliga med vad vi menar … Vi gör vår bedömning utifrån detta (Utvärderare 1: MSB). Socialstyrelsen Utvärderingsenheterna på Socialstyrelsen har ganska olika sätt att ta itu med mätningsproblemet. Uppföljningsenheten arbetar mestadels med upplysande system eller rangordningar medan Utvärderingsenheten har utvecklat ett omfattande kvantitativt system för att kunna mäta god vård. De bedömningar som Socialstyrelsens uppföljningsenhet gör varierar huvudsakligen beroende på vilka regeringsuppdrag som enheten tilldelas. Den gemensamma nämnaren är att de baseras på processinriktade upplysningssystem. Fokus ligger på att identifiera vad som fungerar bra respektive dåligt med olika reformer och insatser samt att lokalisera förbättringar som skulle kunna genomföras på regional och lokal nivå. Det är inte fråga om någon systematisk mätning med fasta mått; mätning betraktas generellt som problematisk för de typer av utvärderingar som Uppföljningsenheten sysslar med: Den stora svårigheten som vi diskuterar här är att det sällan finns någon ”baseline” eller något att jämföra med … Vad är bättre och sämre, vad är mer eller mindre? Detta problem återkommer i någon form nästan oberoende av vad vi har för uppdrag (Utvärderare 2: Socialstyrelsen). Det händer ibland att vissa mått ingår i en särskild satsning. Rapporten om Vårdgarantin och kömiljarderna hade fasta mått och rangordnade olika landsting på basis av en jämförande analys. Utvärderingen utgick från de maximala väntetiderna som fanns i satsningen, till exempel att det borde förekomma telefonkontakt samma dag, primärvårdsbesök inom en vecka, specialistvårdsbesök inom 90 dagar och behandling inom 90 dagar. Utvärderingen jämförde det faktiska utfallet med målen utifrån dessa mått (Socialstyrelsen 2010b). Utvärderingen om Barnet i vårdnadstvister kunde däremot inte mätas på detta sätt. Istället byggde utvärderingen på kvalitativa bedömningar av berörda aktörer (Socialstyrelsen 2011). Det är därför ovanligt att Uppföljningsenheten använder mått eller indikatorer i syfte att göra absoluta bedömningar av olika prestationer. Istället genomförs kvalitativa bedömningar. Socialstyrelsens utvärderingsenhets granskningar av de nationella riktlinjerna för god vård har ett avancerat mätningssystem baserat på Hoods idéer om mål- och rangordningsbaserade mätningar. Utgångspunkten är att mäta, kategorisera och jämföra vilka landsting och sjukhus som uppnår god vård vad gäller behandlingar av vissa sjukdomar. Som tidigare diskuterats definieras god vård i de nationella riktlinjerna som: kunskapsbaserad/ändamålsenlig, säker, patientfokuserad, jämlik, effektiv och tidsrimlig. Processen för att operationalisera och utveckla indikatorer 67 NATURVÅRDSVERKET Rapport är lång – ungefär ett år. Först samlas evidensbaserad kunskap in för att kunna operationalisera målen med stöd i tidigare forskning. En expertgrupp har till uppgift att granska ett stort antal vetenskapliga studier för att därefter komma fram till vilka behandlingar som är att rekommendera under en viss sjukdomsfas. Expertrekommendationerna sammanställs sedan till indikatorer som ska granskas med hjälp av olika datakällor (se metodkapitlet). Utvärderingsrapporten redovisar resultaten och graden av variation från rikets medelvärde. Vissa rapporter, som den om hjärtsjukvård, tillämpar ett ”trafikljussystem”: grönt ljus betyder låg grad av variation, gul signalerar medelvariation, och rött indikerar stor variation. Det finns även grått och vitt ljus. Det förstnämnda betecknar resultat som är svåra att värdera, exempelvis på grund av stor spridning i resultaten. Det senare relaterar till fall när det inte finns tillräcklig data för att på ett tillfredsställande sätt kunna bedöma indikatorn (Socialstyrelsen 2009). Socialstyrelsens mått representerar således en relativ mätning som indikerar hur ett visst landsting eller sjukhus placeras i förhållande till rikets medelvärde. En absolut mätning medges inte då målnivåer saknas för att fastställa huruvida rikets uppnådda medelvärde är tillfredsställande eller bristfälligt. Utvärderingsenheten är medveten om detta och utvärderarna kan i nuläget inte uttala sig om vilken nivå en indikator borde ligga på, exempelvis i termer av hur många procent som borde få en viss behandling. Vi saknar egentligen i ganska hög grad målnivåer för våra indikatorer – och det är ju ett projekt i sig att ta fram mål – att kunna säga att för den här patientgruppen bör åtminstone 80 % eller 90 % få den här behandlingen – för det är en helt annan del. Nu tittar vi på den bästa behandlingen – sen kan det vara så att inte alla ska ha den behandlingen för att det finns kontraindikatorer – andra saker som gör att man inte kan få behandlingen. … Men vi har inget mål som säger att här borde man ligga utan vi får istället använda oss av rikets medelvärde. Vi får bedöma om det är en stor variation eller inte, enligt indikatorer (Utvärderare 1:SS). Socialstyrelsen har dock som ambition att utveckla sådana målnivåer i framtiden. Men det innebär detaljerade indikatorer och exakta instruktioner för vårdpersonal om hur en patient skall behandlas. Det man kan se är att mätning länkas till utvärderingens kontrollsyfte; det man vill uppnå är en standardisering av patientbehandling som möjliggör förbättrad vård. Ett annat problem är att det i nuläget finns bristfälliga indikatorer för att inkludera patienters perspektiv i bedömningen. Skälet är att det är vetenskaplig forskning och läkares medicinska kunskaper som står i förgrunden. Att bedömningsgrunderna för vad som ska räknas som ”god vård” överhuvudtaget inte omfattar patienters perspektiv och erfarenheter synes vara problematiskt. Detta problem är inbyggt i Socialstyrelsens mätning av god vård; komplexa kvalitativa processer och erfarenheter omvandlas till siffor. Frågan är dock om det är möjligt att bedöma vårdinsatser utan att ta hänsyn till patienternas upplevelser? Oavsett vilket skall det noteras att Socialstyrelsen har kommit längre i sitt arbete med operationalisering och mätning än övriga myndigheter som ingår i denna studie. 68 NATURVÅRDSVERKET Rapport 6.5 Diskussion Den empiriska analysen ovan visar att det finns stora skillnader angående hur de tre myndigheterna mäter och bedömer prestationer i sina utvärderingar. Myndigheterna använder sig helst av en upplysningsmodell, det vill säga en processinriktad analys av tolknings- och implementeringsmekanismer. Denna upplysningsmodell används ofta i samband med en rangordningsmodell där prestationer jämförs över tid eller i förhållande till andra aktörer. Det fanns dock två utvärderingstyper som använde tydligt uttalade mätningssystem. MSB:s övningsutvärdering var även den procesinriktad, men fasta kategorier låg till grund för bedömningen av prestationer. Exempel på detta är att larmningsprocessen bröts ned till olika beskrivande indikatorer som delades in i fyra kategorier. Socialstyrelsens utvärderingar av de nationella riktlinjerna har som uttalat mål att öka kontrollen över vårdens kvalitet genom att standardisera behandlingarna och minska variationerna. Metoden för detta är att utveckla flertalet indikatorer som kan mäta god vård. Alltjämt saknas emellertid målnivåer för att enkelt kunna bedöma vilken vård som är bra respektive dålig. Anledningen till detta är att nuvarande utvärderingar på området ”god vård” fokuserar på relativa resultat. Det bör dock sägas att det även finns risker med att formulera specifika målnivåer då detta kan leda till ett ”race to the bottom”; med andra ord, de som ligger över målnivån kan komma att sänka sina ambitionsnivåer till den angivna målnivån eftersom det sparar pengar och en sådan nivå är tillräcklig för att undgå kritik. Exempel på en sådan utveckling kan hämtas från andra länder, särskilt de anglosaxiska, där den minimala nivån förvandlas till den nivå som generellt accepteras och landsting och sjukhus anpassar sina beteenden till att uppnå just denna nivå. I övrigt saknas för tillfället ett patientperspektiv, vilket måste betraktas som problematiskt. Kan man i överhuvudtaget uttala sig om god vård utan att patienternas upplevelser tas i beaktande? 69 NATURVÅRDSVERKET Rapport 70 NATURVÅRDSVERKET Rapport 7 Att använda & sprida resultat [H]ow can evaluations be conducted in ways that lead to use? How do we avoid producing reports that gather dust on bookshelves, unread and unused? (Patton 2000:425) En lyckad utvärdering är en utvärdering som används (Vedung 1998:209). Utgångspunkten är därför att en utvärdering skall komma till användning. Det är dock viktigt att ta hänsyn till att offentliga myndigheters utvärderingar sker inom en politisk kontext: utvärderingen används ofta för att förbättra den offentliga politikens beslutsfattande och implementering. Utvärderingar kan därför användas för olika politiska ändamål, bland annat för att: Formulera politik och fatta policybeslut; Ge feedback om implementering av lagar och andra beslut; Göra kritiska analyser av policyutfall och policyresultat. Att göra utvärderingar användbara är viktigt för att stärka samhällets kapacitet att agera genom institutioner och för dess förmåga att lösa policyproblem (Patton 2000, 2002; Stern 2005 i Karlsson Vestman och Connor 2006). Enligt Patton (2000) brukar utvärderaren uppfylla förhandlingsroller mellan olika intressegrupper som skall ta del av utvärderingsresultatet. Utvärderingar kan också användas indirekt. Rossi m fl. (2004) hävdar att utvärderingars användbarhet också omfattar idémässig användning (conceptual utlilization). Här kan utvärderingar påverka hur vissa policyfrågor tolkas och diskuteras. De kan även användas i övertalningssyfte (persuasion utilization), det vill säga utvärderingar ligger till grund för politikers möjligheter att rama in policyområden och övertala allmänheten om behovet av vissa politiska åtgärder alternativt visa på framgångsrika politiska insatser. Utvärderingsresultat används också av departement och myndigheter som skall förbereda nya policymål och lagar samt myndigheter, tjänstemän och professioner som skall implementera dessa policymål och lagar. För att utvärderingsresultatet skall kunna användas i olika sammanhang måste det emellertid finnas tydliga strategier för att sprida och informera om utvärderingens resultat och slutsatser. 7.1 Vem använder utvärderingar Det finns många olika intressenter och aktörer, både inom och utanför policyprocessen, som använder utvärderingsresultat. Det finns direkta användare som politiker, myndighetspersonal, anställda inom kommuner, företag och brukare. Forskare och experter har också ett intresse av utvärderingsresultaten. Därtill finns en rad andra användare som intressegrupper, fackliga organisationer, journalister och allmänheten (Weiss 1998; Vedung 1998; Rossi m fl. 2004). 71 NATURVÅRDSVERKET Rapport 7.2 Hur används utvärderingar? Det finns flera olika användningssätt för utvärderingar. Meekings (1995) identifierar tre huvudsakliga sätt: 1) Besluts- eller ledningsstöd som handlar om att förbättra beslutsfattandets kvalitet; 2) Kontrollsyfte som granskar huruvida implementeringen ledde till önskat utfall och bedömer kvaliteten på prestationer inom myndigheter; 3) Inlärningssyfte där utvärderingar används för att förbättra myndigheters kunskaper genom att sprida information, erfarenheter och lärdomar inom organisationen (se också Rossi m fl. 2004). För att nyttan med en utredning skall vara så stor som möjligt är det viktigt att utvärderingen redan från början utformas med tanke på hur resultaten är tänkta att komma till användning. Om inte finns en betydande risk för förvirring bland personalen, vilket kan minska tilliten till utvärderingen. Besluts- och ledningsstöd Utvärderingar skapar möjligheter att fatta bättre beslut (Statskontoret 2001:22, 1) Ett centralt syfte med utvärderingar är att ge underlag till beslutsfattare. Med stöd av dessa utvärderingar kan beslut bekräftas, förbättras eller ändras. Utvärderingar bidrar till det fortlöpande arbetet genom att föra fram nya idéer, identifiera positiva och negativa utfall, hjälpa beslutsfattare att välja mellan olika alternativ och sprida tillgängliga erfarenheter och kunskaper (Weiss 1998; Vedung 1998). Enligt Vedung kan utvärderingar användas som upplysning för att belysa ett samhällsproblem eller föra fram alternativa synsätt på hur ett känt problem kan hanteras. Utvärderingar kan också användas av beslutsfattare för att skapa legitimitet och för att söka stöd för en viss politik. I detta avseende kan utvärderingen bli en del i den partipolitiska maktkampen. Utvärderingar kan också åberopas inom ramen för policyprocessens förhandlingar mellan olika aktörer, exempelvis regeringspolitiker, lokala politiker, partier, tjänstemän, brukare, fackliga organisationer, intressegrupper, och så vidare. Vedung hävdar att utvärderingen även kan begagnas för negativa ändamål, det vill säga beslutsfattare hänvisar till utvärderingar för att undvika att fatta beslut eller som en taktisk mekanism för att vinna tid. Power (1997; 2003) hävdar att i vissa fall har utvärdering kommit att bli ett slags samhällsritual; det viktigaste är snarare att en utvärdering genomförs än att ta del av dess resultat. I denna mening fungerar utvärderingar ibland som en skyddsmekanism för att undvika kritik eller för att motivera beslut som redan har fattats. Sammantaget kan man dock säga att utvärderingar utgör en viktig del av beslutsprocessen och har potentialen att ligga till grund för förbättrade policybeslut. Kontrollsyfte En utvärdering kan användas för att kontrollera huruvida insatser har implementerats i enlighet med statens intentioner. För att bedöma graden av måluppfyllese eller kvaliteten på prestationen blir utvärderingen ett verktyg för att dela ut beröm och kritik. Utvärderingar används på så sätt som en mekanism för ansvarsutkrävande – den implementerande organisationen ställs till svars för sitt agerande (Pat- 72 NATURVÅRDSVERKET Rapport ton 2000; Jackson 1993). Jackson manar till varsamhet när utvärderingar används i kontrollsyfte (1993). Detta eftersom det krävs tydliga riktlinjer från ledningens/beslutsfattarnas sida gällande vad som är implementeringens prioriteringar och vad som kan anses vara goda respektive dåliga prestationer. Likierman (1993) argumenterar att ett kontrollsyfte förutsätter att utvärderingen återspeglar prestationer på ett rättvist sätt. Mål måste vara realistiskt uppsatta och det får inte förekomma kritik gällande faktorer som ligger utanför organisationens/enhetens kontroll. Det krävs alltså ett mått försiktighet. Utvärdering i kontrollsyfte måste på ett rättvist sätt reflektera prestationer annars finns en överhängande risk att det uppstår både förvirring och ilska från personalens sida. I situationer där personalen får kritik för okontrollerbara faktorer kan en kontrollutvärdering reducera tilliten till hela utvärderingsprocessen. Inlärningssyfte Inlärning är en viktig målsättning med utvärderingsprocessen eftersom många myndigheter ”don’t know what they don’t know” (Meekings 1995). Utvärderingen har en viktig uppgift i att tillhandahålla organisatoriska kunskaper och lärdomar som andra kan dra nytta av (Weiss 1998; Statskontoret 2002). Weiss (1998) diskuterar utvärderingars roll för att förbättra kunskaper och underlätta organisationens inlärning och förståelse utifrån följande aspekter: 1) kartläggning av interventionens historia, utveckling och resultat; 2) feedback till praktiker om implementeringsprocessen och vad som fungerat bra respektive dåligt; 3) främjande av tanke och reflektion. Statskontoret (2002) hävdar att en optimalt fungerande inlärningsprocess är avhängig av rutiner för kunskapsspridning inom organisationen så att intressenter både inom och utanför myndigheter kan dra nytta av, och lära av, varandras erfarenheter. Dessa rutiner kan vara svåra att genomföra i praktiken, men är viktiga för att undvika att problem upprepas. Risken finns också att ”målstyrda” utvärderingar inte beaktar processvariabler som organisationens kunskapsutveckling och att erfarenheter av olika procedurer, metoder och arbetssätt kan gå förlorade om fokus är alltför snäv inriktad på mål och slutresultat. Om inlärningssyften skall realiseras är det med andra ord viktigt att mellanliggande processer tas i beaktande. 7.3 Utvärderingar och spridningsstrategier Som redan diskuterats kan olika aktörer använda utvärderingar på olika sätt. Enligt Vedung (1998) bör en utredare beakta hur utvärderingsresultatet skall spridas och följas upp både internt och externt. Statskontoret (2002) hävdar att många myndigheter saknar tydliga rutiner på dessa områden. Distributionsstrategier bestäms ofta av den enskilda handläggaren. Denne avgör hur man lämpligast når ut med utvärderingens resultat. Risken finns dock att utvärderingar ibland ”stannar” hos den individuella handläggaren och dennes enhet, vilket innebär att kunskaper inte sprids vidare. När så är fallet finns det en uppenbar risk för upprepning och dupli- 73 NATURVÅRDSVERKET Rapport cering. Utvärderingsresultat från en enhet eller ett program kan vara användbara för andra enheter och andra policyområden, men utan tydliga rutiner är det inte alltid självklart att potentiella användare får ta del av resultaten och metoderna från dessa utvärderingar. 7.4 Att följa upp tidigare utvärderingar Utvärderingar planeras, genomförs och presenteras för beslutsfattare, huvudmän och övriga intressenter. Men, vad händer därefter? Utmynnar utvärderingar i några ändringar eller förbättringar? Utvärderare behöver reflektera över huruvida utvärderingens resultat och dess användande behöver följas upp i framtiden. Kännedom om utfallen av tidigare utvärderingar och hur resultaten används i praktiken kan utgöra viktig information för planerandet och genomförandet av kommande utvärderingar. Rutiner för systematisk uppföljning av utvärderingar är således en central komponent. Men utvärderingens användning kan eventuellt påverkas av andra faktorer. Weiss (1998) anger två sådana faktorer: organisatoriska motsättningar och politisk miljö. Den förstnämnda relaterar till organisationers komplexa natur och att utvärderingar kan komma att utmana den underliggande kulturen och accepterade praxiser inom organisationen. Den senare betonar att offentliga utvärderingar äger rum inom en komplex politisk miljö. Utredningar kan exempelvis begränsas av ideologiska förändringar. Demokratiska val kan eventuellt påverka regeringens policymål eller prioriteringar likväl som implementeringsviljan på landstings- eller kommunnivå. Patton (2000) hävdar också att svårigheter kan uppdagas om det har skett personalförändringar efter utvärderingens genomförande (t ex personalförflyttningar eller befordringar). Nya aktörer kan eventuellt föra in nya dagordningar, ideologier och prioriteringar. Allt detta kan påverka hur utvärderingens resultat betraktas, tolkas och huruvida rekommendationer från utvärderingen skall implementeras. 7.5 Att använda och sprida utvärderingsresultat i tre myndigheter 15 De flesta myndigheterna utvärderar frågor som har uppstått antigen internt eller frågor som regeringen beordrat utvärdering av. I båda fallen är det uppdragsgivaren själv som är den primära användaren av utvärderingsresultaten. Vanligtvis gällde utvärderingarna nationella policyfrågor som implementerades på lägre nivåer av länsstyrelser, landsting och kommuner. Utvärderingsresultaten är sålunda också användbara för de aktörer som är ansvariga för att implementera besluten. Utvärderingsresultat kan vara av intresse även för andra aktörer, till exempel brukarför- 15 Detta avsnitt baseras på intervjuer och dokumentstudier som finns i bilagor 1, 2 och 3. 74 NATURVÅRDSVERKET Rapport eningar, professionella förbund, företag och andra intresseorganisationer inom en given sektor. Då det finns flera olika typer av användare blir det viktigt att säkerställa att utvärderingsresultatet sprids så brett som möjligt. Även om vissa likheter är skönjbara bland de tre myndigheterna vad gäller rutiner för att sprida utvärderingsresultat saknas en fast praxis. Detta innebär en viss variation inte bara mellan myndigheter utan även inom dem. Det saknas också fasta rutiner för hur tidigare utvärderingars rekommendationer skall följas upp, vilket åter avspeglas i variationer mellan de tre myndigheterna. Naturvårdsverket De målgrupper som primärt använder utvärderingsrapporter är de som beställt utvärderingen. Dessa är i regel de tjänstemän som arbetar med frågan inom Naturvårdsverket och Miljödepartmentet. Naturvårdsverkets utvärderingssektion initierar vanligtvis inte själv utvärderingarna utan dessa beställs av klienter, trots att det händer ibland att utvärderingssektionen själv initierar analyser eller påtalar ett utvärderingsbehov inom ett visst område. På så vis kommer utvärderingarna naturligt till användning eftersom beställaren är i behov av utvärderingens resultat. Upplägget med en beställare och en utförare kan eventuellt innebära att övergripande frågor med ett bredare användningsområde sällan utvärderas. Naturvårdsverkets utvärderingar används huvudsakligen för policyberedning och implementering. De ligger ofta till underlag för lagformuleringar. Utvärderingar används också som underlag till implementeringsstöd. Exempel på detta är att två av de rapporter som ingick i denna studie skulle användas som underlag för nya vägledningar inriktade på att öka graden av standardisering när det gäller tillämpningen av den gällande lagstiftningen: För att tillämpningen ska bli mer likvärdig krävs bland annat en välutvecklad praxis … Utifrån utvärderingsresultat ser vi också att länsstyrelserna efterfrågar flera kanaler för att utveckla en enhetlig tolkning av lagstiftningen … Det är något som kan utvecklas och där Naturvårdsverket bör agera som en samlande kraft och driva arbetet för att skapa dessa kanaler och plattformar (Naturvårdsverket 2011:50). Naturvårdsverkets utvärderingar används också för att granska effekterna av särskilda satsningar för att kunna se vilka effekter som uppnåtts. Utvärderingssektionen har kontakter med olika användarorganisationer. Dessa kontakter ligger främst på tjänstemannanivå vid enheter inom Naturvårdsverket eller departementet, men i viss mån har även kontakter etablerats på kommun- och länsstyrelsenivå. Kontakterna mellan utvärderare och politiker är sällan direkta, men i vissa fall kan det hända att politiker bjuds in till seminarier för att ta del av utvärderingsresultatet. Att resultaten från utvärderingar skall spridas är fastslaget i den så kallade utvärderingschecklistan, vilket sedan görs med stöd av att en kommunikationsplan tas fram av beställaren. Det är dock inte utvärderingssektionen som ensam ansvarar för att kommunicera utvärderingens resultat. Denna uppgift åligger istället beställaren. Presentationer och seminarier är vanliga sätt att sprida resultaten från olika 75 NATURVÅRDSVERKET Rapport utvärderingar. En annan spridningsstrategi är att distribuera rapporter. Utvärderingar görs även tillgängliga på myndighetens hemsida. Å andra sidan saknas fasta rutiner och praxiser för att följa upp tidigare utvärderingar och deras effekter. Ibland sker en typ av uppföljning i årsredovisningen. Det handlar i detta sammanhang om en enklare redovisning med frågor som skall ställas till beställaren några år senare. Det rör sig i huvudsak om hur utvärderingen har påverkat beställarens verksamhet, exempelvis om riktlinjerna förändrats, om nya utbildningar initierats och om en förbättring skett efter att organisationen tagit del av utvärderingen. Uppföljningens resultat sammanställs sedan i tabellform. Sammantaget kan man säga att uppföljningen huvudsakligen består av en muntlig uppskattning från beställarens sida. Det bör dock påpekas att dessa uppföljningar inte sker på årsbasis. Uppföljningar leder sällan till en ny utvärdering. Detta sker enbart om det inkommer en särskild beställning för ett nytt uppdrag. Uppföljningar framstår därmed som aningen ad hoc. För det första saknas systematisk uppföljningspraxis och, för det andra, varierar uppföljningarna från år till år. Myndigheten för samhällsskydd och beredskap De målgrupper som i första hand använder MSB:s utvärderingar är olika samhällsorganisationer med ansvar för krisberedskap och krishantering, till exempel länsstyrelser, landsting och kommuner. Andra samhällsgrupper samt privata aktörer som måste agera vi krissituationer kan också beröras av utvärderingarna. Övningsutvärderingar används dessutom av internationella aktörer i flera länder. Användare av MSB:s utvärderingar kan sålunda betraktas som en bred grupp av intressenter med hemvist såväl inom som utanför den offentliga sektorn. De två utredare inom MSB som intervjuats för denna rapport lyfte fram användning som ett centralt instrument för att öka lärandet inom såväl de externa organisationerna som utvärderas som inom MSB. Det är just ”lessons learned”; hur man tar tillvara resultat och verkligen får in dem i verksamheten (Utvärderare 1: MSB). Det är lärande … Jag har funderat mycket kring det där med lärande och kontroll … men jag tycker att i just det här fallet så kan vi faktiskt fokusera på lärandet (Utvärderare 2: MSB). Inslag av lednings- och beslutsstöd kan emellertid också skönjas i den mening att inlärningsmekanismer kommer att leda till förbättrade framtida policy- och ledningsbeslut. Det huvudsakliga användningsområdet för enhetens utvärderingar är som underlag till lärande. Genom att kartlägga policyn/organisationen och dess resultat identifieras vilka aspekter som fungerat bra respektive mindre bra. I förlängningen leder denna kartläggning till en dialog kring dessa erfarenheter och hur krishanteringen kan förbättras. Utvärderingsresultatet sprids först och främst genom att den färdiga rapporten skickas ut till olika intressenter samt görs tillgänglig på MSB:s hemsida. Som komplement anordnas seminarier med aktörer som har deltagit i utvärderingen. Såväl preliminära resultatseminarier samt slutseminarier kan förekomma. Utvärde- 76 NATURVÅRDSVERKET Rapport ringsgruppen försöker också distribuera sina utvärderingsresultat i andra sammanhang, till exempel genom att presentera resultaten på konferenser eller andra samverkansforum. MSB saknar etablerad praxis vad gäller uppföljning av tidigare utvärderingar. Ingen är formellt ansvarig att följa upp hur tidigare utvärderingar har kommit till användning i praktiken. Några utvärderare brukar driva frågan utifrån sitt eget intresse, och vid sidan av andra arbetsuppgifter. Exempel på detta är att under seminarier och konferenser initiera diskussioner kring vem som varit ansvarig att genomdriva förändringar samt belysa vad som hänt med tidigare utvärderingar. Det är ingen som riktigt har det uttalade ansvaret … det tycker jag är ett problem som jag också har påtalat. … Men det där är inte mitt arbete. … Jag driver det lite grann vid sidan av … för att faktiskt se att det händer någonting. Det borde finnas en mer … institutionaliserad funktion för att verkligen ta tag i det. Det är faktiskt det som jag saknar allra mest … någon form av praxis för hur vi faktiskt ska jobba med det för här tror jag man ska kunna ha en grundpraxis oberoende av vad det är för typ av utvärdering. Som det är nu så är det väldigt mycket upp till vårt eget engagemang … att försöka driva den här frågan i alla fall (Utvärderare 1: MSB). Det kan också hända att utvärderingsgruppen får i uppdrag att följa upp en tidigare utvärdering. En av utvärderingsgruppens nuvarande utvärderingar om Nordsam, ett samarbete mellan sex länsstyrelser representerar en uppföljning av en tidigare utvärdering genomförd flera år tidigare. Men på det stora hela saknas systematik i detta avseende. Detta är dock ett område som MSB har ambitionen att förbättra och arbeta vidare med. Det är också relativt sällsynt att utvärderingsgruppen har direkta kontakter med politiker på olika nivåer. Dessa kontakter äger inte heller rum på något systematiskt sätt. Vid vissa tillfällen deltar regeringspolitiker i samhällsövningar medan de vid andra tillfällen avböjer att medverka. Socialstyrelsen Socialstyrelsens två utvärderingsenheter har skilda strategier med avseende på hur utvärderingarna används, distribueras och följs upp. Detta beror helt enkelt på att de har olika målsättningar och funktioner. Socialstyrelsens utvärderingsenhet granskar hur väl de nationella riktlinjerna följs i praktiken. Utvärderingar har således ett uttalat kontrollsyfte. Utgångspunkten är att utvärdera graden av följsamhet vad gäller de detaljerade riktlinjer som landsting och vårdgivare skall följa. Utvärderingarna ger därmed en tydlig bild av hur landsting och sjukhus ligger till i förhållande till varandra. Med tanke på att vi vill kunna uttala oss skarpt och säga att man inte riktigt når upp till en god vårdstandard (Utvärderare 1: Socialstyrelsen). Sjukhusdirektörer och professionella inom vården är viktiga användare av dessa utvärderingsrapporter. Tanken är även att dessa utvärderingar skall ge underlag till de politiker och verksamhetschefer som kontrollerar resursallokering och därmed 77 NATURVÅRDSVERKET Rapport verksamhetens förutsättningar. Andra användare inkluderar SKL, professioner, patientgrupper med flera. Utvärderingen publiceras så att alla berörda huvudmän kan ta del av innehållet. Respektive landsting är dock ansvarigt för att resultatet förmedlas inom den egna organisationen. Med publiceringen av dessa utvärderingar följer ett stort medieintresse: lokal massmedia rapporterar om bedömningen av de lokala sjukhusen, och ris och ros delas ut till de lokala vårdinrättningarna. I samband med publiceringen erbjuder utvärderingsenheten att hålla regionala seminarier där resultaten bryts ned för att specifikt belysa situationen i den valda regionen. Under dessa seminarier förs också diskussioner med politiker, verksamhetschefer och vårdgivare kring varför resultaten ser ut som de gör. Tanken med de nationella riktlinjerna är att de kontinuerligt skall följas upp för att bedöma prestationerna inom vården. Riktlinjerna utvärderas därmed på regelbunden basis, i genomsnitt vart tredje eller vart fjärde år, utifrån samma metod. Tidigare utvärderingar ligger emellertid till grund för efterkommande granskningar genom att utmejsla särskilda problemområden där en utökad fokus behövs. De rapporter som Socialstyrelsens uppföljningsenhet sammanställer adresserar flertalet användare och nyttjas både som beslutsunderlag och för inlärningssyften. Utvärderingen användes som … kunskapsunderlag som kan användas för olika system. Det innehåller kunskap … nya kunskaper som man inte har haft tidigare (Utvärderare 2: Socialstyrelsen). Regeringen beställer och använder uppföljningsrapporterna for att besluta om nya politiska interventioner, ändra lagstiftningen eller för att få överblick över utfallen av tidigare reformer och insatser. Eftersom uppföljningsenheten får sina uppdrag direkt från regeringen står dessa två i regelbunden kontakt. Andra användare är framförallt kommuner och landsting, men även intresseorganisationer såsom SKL, professionella grupper, patienter och andra relevanta aktörer berörs av dessa uppföljningar. Uppföljningsenhetens utvärderingar sprids på olika sätt. Det finns fasta rutiner för samarbetet mellan utvärderingens projektledare och Socialstyrelsens kommunikatör. Rapporter skickas till regeringen och utvärderingens deltagare och presentationer och seminarier anordnas för att vidare diskutera resultaten. Rutiner för mediekontakter finns inarbetade, och interaktionen med media beror delvis på uppdragets art och hur omfattande intresset för resultaten är. Pressmedelanden, presskonferenser och seminarier arrangeras om tillräckligt intresse bedöms föreligga. Övriga potentiella intressenter kan, ifall efterfrågan finns, ta del av rapporten vid konferenser eller seminarier. Uppföljningsenheten försöker också sprida kunskapen internt genom att exempelvis arrangera lunchseminarier. Dessa interna seminarier brukar dock vara glest befolkade. Det har inte etablerats något systematiskt sätt att kontrollera utvärderingens uppföljning eller undersöka om utvärderingen fått några effekter. Uppföljning sker endast på informella vägar, framförallt med hjälp av utvärderarnas professionella och personliga kontakter med andra organisationer. Avsaknaden av rutiner och 78 NATURVÅRDSVERKET Rapport finansiering för återkoppling och uppföljning av utvärderingens faktiska konsekvenser måste betraktas som ett problematiskt inslag. 7.6 Diskussion De utvärderingar som undersökts för denna rapport genomfördes generellt för följande ändamål: lärande; beslutsstöd; information om hur interventionen fungerar i verkligheten; och hur arbetet med dessa frågor kan förbättras. Spridningsstrategierna uppvisar också betydande likheter med distribuering av rapporter, seminarier och presentationer som dominerande strategier. Det är också allmänt sett på så vis att myndigheterna sällan har någon formell uppföljningsmekanism för att undersöka följderna av utvärderingarna. Naturvårdsverket genomför dock enklare undersökningar via telefon eller e-post av tidigare utvärderingar. En specifik enhet avvek i viss mån från ovan nämnda mönster – Socialstyrelsens utvärderingsenhets utvärderingar av de nationella riktlinjerna. Trots att Socialstyrelsens ”nationella” utvärderingar har förbättrings- och lärandesyften finns även ett kontrollsyfte, med fokus på ökad standardisering och följsamhet. Dessa utvärderingar baseras därför på ett hårdare styrningsperspektiv och använder indikatorer för att göra bedömningar om vilka sjukhus som är bäst respektive sämst. Grundantagandet är att stora lokala variationer till följd av ramlagar är negativa och att en högre grad av standardisering behöver uppnås för att säkerställa ”god vård”. Dessa utvärderingar följs upp på ett institutionaliserat sätt eftersom indikatorerna på god vård utvärderas åter inom tre till fyra år. 79 NATURVÅRDSVERKET Rapport 80 NATURVÅRDSVERKET Rapport 8 Slutsatser & rekommendationer I en demokrati kan utvärderingar spela olika roller i samhället. Till att börja med genererar utvärderingar information som är viktig för att kunna utkräva ansvar av olika makthavare. Ansvar kan avkrävas såväl uppåt som nedåt. Den förstnämnda varianten inbegriper feedback till politiker och beslutsfattare angående hur policybesluten genomförts i realiteten samt vilka resultat och effekter som uppnåtts. Med ansvarsutkrävande nedåt åsyftas att brukare kan bedöma interventionerna och hur dessa utförts. Medborgarna får därtill möjlighet att bedöma hur partier och politiker använt sina mandat. Myndighetsutvärdering kan också bidra med information för internt bruk, exempelvis för att bedöma hur föreskrivna riktlinjer fungerar i praktiken. Utvärdering är också en central del av förvaltningsreformer inspirerade av NPM, vilka har skapat ett stort informationsbehov. Staten kan använda utvärdering som ett instrument för informationsstyrning vad gäller hur lagstiftningen eller policyinsatserna tolkas, implementeras och bedöms. Beslutsfattare på alla nivåer använder sig av utvärderingar för att kunna fatta policy- och implementeringsbeslut. En kontrollfunktion är också framträdande. Utvärderingar ligger till grund för statens övervakning av hur centralt bestämda beslut implementeras på lägre nivåer. Utvärdering används också för att stimulera lärande och erhålla feedback som i förlängningen kan leda till förbättringar vad gäller beslutsfattande och tillämpning. Denna forskningsutredning har utgått från det övergripande syftet att undersöka utvärderingens roll, organisering och genomförande inom statliga myndigheter. Den övergripande frågeställningen från kapitel ett var: hur fungerar utvärderingsfunktionen i svenska myndigheter och vilka lärdomar kan Naturvårdsverket ta del av för deras egna utvärderingar? Den övergripande frågan specificerades till fyra frågor som har diskuterats i de sex tidigare kapitlen: Vilken organisering och roll har utvärdering inom olika sak/politikområden? Hur används resultaten? Hur skiljer sig sättet man studerar effekter mellan områdena? Har utvärderingar som genomförts varit ett stöd för implementeringen av politiken, och i så fall på vilket sätt? Vilka erfarenheter kan vara användbara för Naturvårdsverkets utvärdering av miljöarbetet? Denna forskningsutredning har bidragit med både en litteraturöversikt och en empirisk undersökning. Den empiriska undersökningen jämförde Naturvårdverkets utvärderingssätt med fyra andra utvärderingstyper tillämpade på Myndigheten för samhällsskydd och beredskap samt Socialstyrelsen. I de avslutande avsnitten kommer resultaten från föregående kapitel först att sammanfattas för att därefter kunna formulera några rekommendationer för Naturvårdsverkets utvärderingssektions fortsätta arbete med att utveckla myndighetens utvärderingsfunktion. 81 NATURVÅRDSVERKET Rapport 8.1 Slutsatser Denna undersökning omfattade fem typer av utvärderingar fördelade på tre statliga myndigheter: Naturvårdsverkets utvärderingssektion, MSB:s utvärdering; MSB:s övningsutvärdering; Socialstyrelsens utvärderingsenhet, samt; Socialstyrelsen uppföljningsenhet. De resultat som diskuterats i denna rapport påvisar både likheter och skillnader i hur myndigheterna arbetade med utvärderingsfrågor. De flesta hade flera utvärderingsroller och arbetade utifrån olika utvärderingsuppdrag. Dessa kunde vara externt initierade, till exempel regeringsuppdrag, eller iscensatta internt antingen av utvärderingsenheten eller av andra enheter inom myndigheten. I denna rapport har sex delar av utvärderingsfunktionen belysts: utvärderingens målsättning; utvärderingens organisation och struktur; utvärderares kompetenser; utvärderingsmetoder; utvärderingens mätningssystem, och; utvärderingens spridning och användning. Studiens slutsatser sammanfattas i följande avsnitt. Utvärdering: målsättning och roller De undersökta myndigheterna uppfyllde många olika utvärderingsroller, med varierande mål. Det var vanligt att enheterna arbetade utifrån ett brett spektrum av utvärderingsroller, däribland formativa och utvecklande utvärderingar samt slututvärderingar. Den huvudsakliga rollen bestod ofta i att bistå beslutsfattare eller interna enheter med underlag och kunskaper som kunde komma till användning för nya policybeslut, ny lagstiftning och nya riktlinjer. De kunde också tas i bruk som underlag till pågående interventioner. Slututvärdering genomfördes också för att bedöma resultaten av avslutade projekt och satsningar. Överlag genomfördes utvärderingarna utifrån flera perspektiv. Vanligast förekommande var att anta ett mål- och resultatperspektiv med fokus på graden av måluppfyllese. Det var inte heller ovanligt med aktörsperspektiv; utvärderingen utgick från aktörer som på något sätt påverkats av interventionen. Naturvårdsverkets utvärderingssektion arbetade med en mängd olika interna och externa uppdrag. Huvudsyftet var inlärning. Utvärderingar ses som ett instrument för att generera information och kunskap som andra enheter kan använda sig av. Utvärderingens organisation Utvärderingsfunktionen organiseras överlag på likartade sätt inom myndigheterna. För det mesta handlar det om en extern utvärdering; den initieras, finansieras och används i huvudsak utanför den utvärderade organisationen. I vissa fall fanns inslag av intern utvärdering i bemärkelsen att den utvärderade organisationen medverkade i initieringen av utvärderingsprojektet. Regeringsuppdrag var vanligt förkommande. Dessa uppdrag innebär att avståndet mellan initiering, finansiering, användning och utvärderingsobjektet blir särskilt markant. Ett ovanligt förhållande mellan utvärderare och utvärderad härrör till fall där en myndighets utvärderingsenhet utvärderar andra organisationers grad av följsamhet till myndighetens egna råd och rekommendationer. Naturvårdsverket tillämpar en beställar-utförarmodell där utvärderingssektionen utför utvärderingar beställda av individuella 82 NATURVÅRDSVERKET Rapport enheter (eller regeringen) genom ett förfrågningssystem. Det finns möjligheter för strategiska och övergripande utvärderingsfrågor att komma upp på dagordningen genom att strategiska frågor prioriteras samt möjligheten för utvärderingssektionen att själv initiera utvärderingar. Det är oklart huruvida vissa enheter helt enkelt kan undvika att utvärderas genom att inte skicka in någon förfrågan. Sett från ett ledningsperspektiv verkar detta vara problematiskt. Andra enheter inom Naturvårdverket kan upphandla sina egna utvärderingar utanför myndigheten men det saknas i vissa fall fullständig information gällande vilka utvärderingar som har upphandlats på detta sätt. Utvärderare: roller och kompetenser Utvärderarnas bakgrunder är en annan aspekt där betydande likriktning uppdagas mellan de tre myndigheterna. De flesta av utvärderarna är samhällsvetare. Ibland förekommer också sakkunniga. Denna blandning anses fördelaktig eftersom utvärderingar kan omfatta flera perspektiv. Vissa enheter utgår ifrån expertmodeller med fast anställda utvärderare från särskilda professioner. Socialstyrelsen har utredare med professionella kunskaper inom hälso- och socialvård. Naturvårdsverkets utvärderingssektion uppvisar också en personal med varierande utbildningar. Naturvetare såväl som miljöekonomer återfinns inom enheten. Det finns såväl likheter som skillnader beträffande utvärderingsrollerna. I regel förekommer en extern expertroll; utvärderingen granskar opartiskt prestationer utifrån en viss vetenskaplig kunskapsbas och med hjälp av expertis inom utvärderingsenheten eller myndigheten. Naturvårdsverket har också ett utpräglat inlärningssyfte med flera av sina utvärderingar. Utvärderarens huvudsakliga roll är i sådana fall att agera som samtalsledare. Det är svårt att säga om Naturvårdsverket i dessa fall aktivt reflekterar kring sin utvärderarroll. Utvärdering: design och metoder De flesta utvärderingsenheter utgår från programteori och vanligvis används kvalitativa metoder som frågemetod och dokumentanalys. Naturvårdsverkets utvärderingssektion följer i stort detta mönster. Vissa enheter kan emellertid betraktas som undantag. MSB:s övningsutvärdering använder olika kvalitativa metoder, som fallstudier, rollspel, observationer och experiment, för att öva hur krisberedskapen fungerar under realistiska förhållanden samt för att kontrollera att aktörerna agerar enligt krisplanen. Därutöver förekommer bordsövningar där aktörer arbetar utifrån dokumentuppgifter. Socialstyrelsens utvärderingsenhet använder även kvantitativa metoder för att kunna utvärdera de nationella riktlinjerna utifrån evidensbaserade indikatorer som granskas i ljuset av statistik samlad i olika hälso- och sjukvårdsdatabaser. I nuläget saknas emellertid ett patientperspektiv i Socialstyrelsen utvärderingar av de nationella riktlinjerna. Det är möjligt att Naturvårdsverket skulle kunna använda mer kreativa metoder för att utveckla nya perspektiv i sina utvärderingar av miljöarbetet. Trots att Naturvårdsverket inte kan genomföra övningar i samma utsträckning som MSB borde det vara möjligt att tillämpa bordsövningsmetoden på utvärderingar av miljöarbe- 83 NATURVÅRDSVERKET Rapport tet. I nuläget använder Naturvårdsverket gruppintervjuer. Dessa skulle kunna utvecklas ytterligare, exempelvis med fallstudier för att simulera hur aktörer arbetar när de tolkar och implementerar lagstiftningen. Utvärderingssektionen kan eventuellt också undersöka möjligheterna att använda statistiska metoder i större utsträckning. Det skulle möjligen också kunna finnas vissa aktiviteter som skulle kunna belysas med hjälp av observationer. Att mäta, tolka och bedöma Av de utvärderingsaspekter som undersökts i denna rapport är mätnings- och bedömningssystemen troligen det svagast utvecklade området. Flera enheter utvecklar varken några mått eller fastställer tydliga bedömningskriterier i förväg. Det tillämpas inte heller någon måttstock för att bedöma utvärderingsresultaten. Analysen uppdagade stora skillnader mellan de tre myndigheterna vad gäller hur de mäter och bedömer prestationer i sina utvärderingar. Vanligast förekommande är att myndigheterna använder sig av en upplysningsmodell med en processinriktad analys och diskussion, dock utan fasta mekanismer. Upplysningsmodellen används också i samband med en rangordningsmodell som jämför prestationerna över tid eller i förhållande till andra aktörer. Två enheter använder ett mer uttalat mätningssystem för att tolka utvärderingsresultat. MSBs övningsutvärdering var visserligen processinriktad, men bedömde vissa prestationer, till exempel larmningsprocessen, utifrån en fyrgradig betygskala. Socialstyrelsens utvärderingar av de nationella riktlinjerna har ett mer uttalat kontrollsyfte och har utvecklat en mängd indikatorer för att kunna bedöma god vård. Med detta sagt saknas både ett brukarperspektiv samt målnivåer. Att utveckla tolkningskriterier eller analysinstrument är ett område som Naturvårdsverket kunde utveckla i sina utvärderingsrapporter. Målsättningen i detta avseende bör vara att tydligt fastställa utvärderingens bedömningsgrunder. Att använda och sprida utvärderingsresultat I dagens granskningssamhälle produceras visserligen mycket information, men det är inte alltid klart hur dessa kunskaper används i praktiken samt om utvärderingen har synliga effekter inom policyområdet. Bland de undersökta utvärderingsenheterna önskar många arbeta vidare med frågor om hur utvärderingar används i praktiken. De flesta utvärderingsenheterna var måna om att sprida sina resultat till ett stort antal intressenter. Ofta saknas emellertid tid och resurser för att följa upp tidigare utvärderingseffekter i syfte att se om rekommendationerna hade implementerats och vilka faktiska effekter som den förda politiken medfört. Utvärderingar genomförs ofta som separata projekt, men utvärderare på samtliga utvärderingsenheter diskuterade behovet av, och ambitionen, att göra mer vad gäller användningsfrågan. Socialstyrelsens utvärderingar av de nationella riktlinjerna är föremål för regelbundna uppföljningar vart tredje till vart fjärde år för att kunna kontrollera att vårdgivande organisationer närmar sig de olika riktlinjerna. För Naturvårdsverkets del är uppföljning något som kunde utvecklas. Exempelvis skulle ett rapporteringssystem kunna kartlägga hur utvärderingarna används i praktiken samt fastställa om den genomförda utvärderingen fick några konkreta effekter. 84 NATURVÅRDSVERKET Rapport 8.2 Rekommendationer för utvärdering av miljöarbetet I det kontinuerliga arbetet med att utveckla utvärderingsfunktionen, dess olika strategier samt, inte minst, frambringa alternativa perspektiv på miljöarbetet, skulle ett antal rekommendationer kunna övervägas. Dessa rekommendationer riktas främst till utvärderingssektionen, men några rekommendationer bör också kunna övervägas på ledningsnivå. Överväga om det finns ett tillförlitligt system och tillförlitliga strategier för att identifiera och initiera olika typer av strategiska och övergripande utvärderingsfrågor. Identifiera och överväga riskerna med att enheter kan undvika utvärdering samt hur detta problem bäst kan hanteras. Infoga mekanismer som säkerställer att alla utvärderingar inrapporteras, oavsett om utvärderingen genomförs på utvärderingssektionen eller upphandlas externt, för att undvika överlappande frågor eller duplikationer. Utvärderingssektionen beaktar vilka typer av kunskapsbakgrunder och kompentenser som behövs på sektionen vid nyanställningar. Överväga behoven av utomstående expertis vid särskilda utvärderingar i syfte att få tillgång till nya idéer eller perspektiv. Reflektera över vilken utvärderingroll som utvärderingssektionens utvärderare skall uppfylla vid varje utvärdering. Överväga om det finns alternativa utvärderingsmetoder som utvärderingssektionen kunde använda för att tillföra nya perspektiv till deras utvärderingar, till exempel: o Statistiska metoder o Simuleringar/rollspel/vinjettstudier o Observationer Arbeta med att utveckla olika mätningssystem för att tolka och bedöma de prestationer som ligger till grund för utvärderingens slutsatser. Dessa kan vara: o Beskrivande kriterier för acceptabla prestationer o Statistiska indikatorer Undersöka möjligheterna att förbättra uppföljningssystem för att kartlägga hur utvärderingen används i praktiken samt utveckla ett system för att bedöma om utvärderingen fick några effekter på hur miljöarbetet genomförs. 85 NATURVÅRDSVERKET Rapport 86 NATURVÅRDSVERKET Rapport 9 Referenser Ahlbäck, S. 1999, Att kontrollera staten: den statliga revisionens roll I den parliamentariska demokratin, Uppsala, Acta Universitatis Upsaliensis. Ahlbäck Öberg, S. & Öberg, P.O. 2005, ”Democratic Knowledge” Axess, Online – accessed 25 maj 2010, http://www.axess.se/english/2005/05/essay_obeg.php. Ahlbäck Öberg, S. 2008, ‘Den oundgängliga förvaltningen: den verkställande makten’, i Bennich-Björkman L. & Blomqvist P. (2008) Mellan folkhem och Europa – svensk politik i brytningstid, Malmö: Liber, s. 171-192. Broadbent, J. 2007, ’If you can’t measure it, how can you manage it? Management & governance in Higher Educational Institutions’, Public Money & Management, 27(3) s. 193-198. Browne, A. & Wildavsky, A. 1984, ‘What should evaluation mean to implementation’, in Pressman & Wildavsky 1984 Ed., Implementation, Los Angeles: University of California Press, s. 181 205. Brunsson, K. 2000, ‘Det går inte at styra med resultat’ Statsvetenskapliga Tidskrift, 103(3), s. 235-241. Clarke, J. Gewirtz, S. Hughes, G. & Humphrey J. 2000, “Guarding the public interest: auditing public services” I Clarke, J. Gewirtz, S. McLaughlin E. (Eds.) 2000, New managerialism – new welfare? , London: SAGE, s. 250-266 Collier, P.M. 2006, ‘In search of purpose and priorities: Police performance indicators in England & Wales’, Public Money & Management, 26(3) s. 165-172. Dahler-Larsen, P. 2006, “Evaluation after disenchantment? Five issues shaping the role of evaluation in society” in Shaw IF, Greene JC. & Mark MM. 2006, The SAGE handbook of Evaluation, London: SAGE pp. 141-160. Dahler-Larsen, P. 2007, ”Evaluation and public management” I Ferlie, E. Lynn L.E. & Pollitt, C. The Oxford handbook of public management, Oxford: Oxford University Press s. 615 639. Donaldson, S.I. & Lipsey, M.W. 2006, ’Roles for theory in contemporary evaluation practice: developing practical knowledge’, in Shaw, I., Greene, J. & Mark, M. (2006) The SAGE Handbook of Evaluation, London: SAGE s. 56-75 Dunleavy, P. & Hood, C, (1994) ‘From old public administration to new public management’, Public Money and Management, Vol. 14, No. 3, s. 9 16. Exworthy, M. & Halford, S. 1999, ‘Professionals and managers in a changing public sector: conflict, compromise and collaboration’, in Exworthy, M. & Halford, S (Eds), 1999, Professionals and the new managerialism in the public sector, Buckingham, Open University Press, s. 1-17. Hall, P & Löfgren, K. 2006, Politisk styrning i praktiken, Malmö: Liber. 87 NATURVÅRDSVERKET Rapport Hertting, N. & Vedung, E. (2009) Den utvärderingstäta politiken: styrning och utvärdering i svensk storstadspolitik, Lund: Studentlitteratur. Hood, C, 1991, ‘A Public management for all seasons?’ Public Administration, 69(1) s. 3-19. Hood, C. 2007, ‘Public services management by numbers: Why does it vary? Where does it come from? What are the gaps and the puzzles? Public Money & Management, 27(2) s. 95-102. Hume, C. & Wright, C. 2006 ‘You don’t make a pig fatter by weighing it - performance management: the experience of the Youth Justice Board’, Public Money & Management, 26(3) s. 189-192. Jackson, P.M. 1993, Public service performance evaluation: a strategic perspective, Public Money & Management 13(4) s 9-14. Karlsson Vestman, O. & Connor R.F. 2006, ‘The relationship between evaluation and politics, in Shaw, I., Greene, J. & Mark, M. (2006) The SAGE Handbook of Evaluation, London: SAGE s. 225-242. King, R. 2007, The regulatory state in an age of governance: soft words and big sticks, Basingstok: Palgrave MacMillan. Kvale, S. 1997, Den kvalitativa forskningsintervjun, Lund Studentlitteratur. Leeuw, F.L. 2002 ’Evaluation in Europa 2000: challenges to a growth industry’, Evaluation 8(1) s. 5-12. Likierman, A. 1993, ‘Performance indicators: 20 early lessons from managerial use’ Public Money & Management 13(4) s 15-22 Lindgren, L. 2006, Utvärderingsmonstret: kvalitets- och resultatmätning i den offentliga sektorn, Lund: Studentlitteratur. Maycraft Kall, W. 2010, The Governance Gap: Central-local Steering & Mental Health Reform in Britain & Sweden, Uppsala: Acta Universitatis Upsaliensis. Maycraft Kall W. 2011, “The governance of professional knowledge – weak professions & the policy process: social work & mental health reform in Britain and Sweden”, Paper presented to the Nordic Political Science Conference, Wasa, Finland August 9-12 2011 Mawhood, C 2002, Accountability and performance improvement – are they complementary? Public Management and Policy Association. Meekings, A 1995 ‘Unlocking the potential of performance measurement: A practical implementation guide’, Public Money & Management 15(4) s 5-12. Montin, S. 2004, Moderna kommuner, Lund: Liber. Myndigheten för samhällsskydd & beredskap, hemsida, www.msb.se, accessed 28 maj 2012. 88 NATURVÅRDSVERKET Rapport Naturvårdsverket, hemsida www.naturvårdsverket.se, accessed 29 maj 2012 Olsen, JP. & March, JG. 2004, ‘The logic of appropriateness’, Arena working paper series, University of Oslo, Working Paper 09/2004. Osborne, David, & Gaebler, Ted, 1993/4, Sluta ro, börja styra!: förvandla den offentliga sektorn (Reinventing government) (Translated by: Lennart Lauenstein) Stockholm : Tiden Owen, J.M. 1999, Program Evaluation: forms and approaches, London: Sage. Patton, M.Q. 2002, ’A vision of Evaluation that strengthens democracy’, Evaluation 8(1) s. 125-139. Patton, M.Q. 2000, ‘Utlization focused evaluation’ i Stufflebeam, D.L. Madaus, G.F. & Kellaghan T. (Eds) (2000) Evaluation models, Boston: Luwer Acaemic Publishers s. 425-438. Petersson, O. 2005, Statsbyggnad: den offentliga maktens organisation (5:e upplaga), Stockholm: SNS. Pierre, J. & Peters B.G. (2000) Governance, politics and the state, Basingstoke: Macmillan. Pollitt, C, & Summa H, 1997, ‘Trajectories of reform: public management change in four countries’, Public Money and Management, Vol. 17 No. 1 Jan/Mar 1997 s. 7-18. Pollitt, C & Bouckaert G, 2004 Public management reform: a comparative analysis (2nd ed), Oxford: Oxford University Press. Power, M. 1997, The Audit Society: rituals of Verification, Oxford: Oxford University Press. Power, M 2003, ‘Evaluating the audit explosion’, Law & Policy, 25(3), s 185-202. Price, DK. 1965, The scientific estate, Cambridge MA: Harvard University press. Rein, M. 2006, ‘Reframing problematic policies’ in Moran, M. Rein, M & Goodin R. 2006 The Oxford handbook of Public Policy, Oxford, Oxford University Press, pp. 389-405. Rogers, P. & Williams, B. 2006, ‘Evaluation for practice improvement and organizational learning’, in Shaw, I., Greene, J. & Mark, M. (2006) The SAGE Handbook of Evaluation, London: SAGE s. 76-97. Rossi, PH. Lipsey, MW. & Freeman HE. 2004, Evaluation: a systematic approach (2nd Ed.) Thousand Oaks CA: SAGE. Rothstein, B. 2010, ‘Välfärdsstat, förvaltning och legitimitet’ i Rothstein, B red) (2010) Politik som organisation (4:e upplaga), Stockholm: SNS, s. 7-30. Ruin, O. 1982, ’Sweden in the 1970s: Policy making becomes more difficult’ i Richardson, J (Ed.) 1982, Policy styles in Western Europe, London: George Allen & Unwin, s. 141 167. 89 NATURVÅRDSVERKET Rapport Smith, P. 1995, ‘Performance indicators and outcomes in the public sector’, Public Money & Management, 15(4) s. 13-16. Socialstyrelsen hemsida www.socialstyrelsen.se, accessed 30 maj 2012 Statskontoret, 2001, Utvärderar för bättre beslut! – Att beställa utvärderingar som är till nytta i beslutsfattandet, Stockholm: Statskontoret 2001:22. Statskontoret, 2002, Utvärderingar och politik II. Hur använder regeringen utvärderingar? Stockholm: Statskontoret, 2002:21 Vedung, E. 1998, Utvärdering i politik och förvaltning, Lund: Studentlitteratur. Vedung, E. 2006, ‘Evaluation research’, i Peters B.G. & Pierre J. 2006, Handbook of Public Policy, London: SAGE, s. 397 416. Vedung, E. 2010 ‘Four waves of Evaluation – diffusion’, Evaluation 16(3), s. 263-277. Weiss, C. 1998, Evaluation (2nd ed.) New Jersey USA: Prentice Hall. Wilensky, H. L. (1964) ‘The Professionalization of everyone?’, The American Journal of Sociology. 70(2), s. 137-158. 90 NATURVÅRDSVERKET Rapport Bilaga 1: Intervjuguide Här återfinns en förteckning över de semi-strukturerade frågor som med stöd i tidigare utvärderingsforskning har utgjort utgångspunkt för intervjuerna och dokumentstudien: Introduktionsfrågor 1. Kan du berätta lite om utvärderingsenheten, och vilka typer av utvärderingar som enheten sysslar med? 2. Vem anser du är huvudkonsument av enhetens utvärderingsrapporter? Med andra ord, vem läser rapporterna? (Politiker/myndighetensledning/intern personal/kommuner/länsstyrelser/landsting/företag/brukare/media) Utvärdering: roll och målsättning 3. Vad anser du vara utvärderingsenhetens huvudmål? Hur bestäms dessa mål? 4. Vilka typer av utvärderingar fokuserar enheten i huvudsak på? Policymål? Processer? 5. Är det någon särskild del av policyprocessen som din enhet/avdelning tenderar att i första hand utvärdera? Organisering av utvärderingar 6. Hur bestäms (initieras) vilka utvärderingar som kommer att genomföras under året? Regeringsuppdrag? Interna prioriteringar? Rotationsprincipen? Ekonomisk storlek? Kan vissa områden undvika att utvärderas? 7. Vilka typer av organisationer/enheter utvärderas mest frekvent? Enheter inom den egna organisationen? Kommuner/landsting? Företag? 8. Vilka bakgrunder har de som är anställda på utvärderingsenheten? 9. Anlitas ofta olika typer av kompetenser utanför myndigheten? I så fall, vilken typ? (konsulter/experter/akademiker) 10. Hur genomförs en utvärdering? Vilka metoder används mest regelbundet? (dokumentstudier/intervjuer/observationer/experiment) Mätning och effekter 11. Ge exempel på hur ni mäter era utvärderingsresultat? 12. När utvecklas mätningsinstrumenten? Före utvärderingen eller efter datainsamlingen? 13. Hur fastställs tolkningskriterier, det vill säga kriterier för bra respektive dåliga prestationer? 14. Vad anser du vara de största svårigheterna med att mäta resultaten inom de områden ni utvärderar? 91 NATURVÅRDSVERKET Rapport Utvärderingens resultat: användning och informationsspridning 15. Hur används resultaten? 16. Finns det rutiner för hur en utvärdering tas emot och sprids? (Rutinmässig distributionsgång eller avhängig av individuella handläggare?) 17. Hur sprids och diskuteras utvärderingsresultaten internt och externt? (Distribuerande av utvärderingsrapporter/träningsdagar/seminarier/ media 18. Genomförs någon uppföljning om utvärderingars praktiska användande? Används utvärderingsresultat för att förbättra implementeringen? 19. Är utvärderingsresultaten av intresse för regerings- eller riksdagspolitiker? På vilket sätt diskuteras resultat med politiker? 92 NATURVÅRDSVERKET Rapport Bilaga 2: Empirisk undersökning Intervjuer Myndigheten för samhällsskydd och beredskap Utvärderare 1 MSB: Ansvarig för utvärdering av övning, Enheten för strategisk analys (15 juni 2012) Utvärderare 2 MSB: Programansvarig för utvärdering, Enheten för strategisk analys (15 juni 2012) Naturvårdsverket Utvärderare NVV: Sektionschef, Sektionen för utvärdering (18 juni 2012) Socialstyrelsen Utvärderare 1 SS: Enhetschef, Enheten för utvärdering (21 juni 2012) Utvärderare 2 SS: Enhetschef, Enheten för uppföljning (17 augusti 2012) Dokument Förteckning över de utvärderingsdokument som ingick i dokumentstudien. Myndigheten för Samhällsskydd & Beredskap (MSB) 2010a, Handbok: Utvärdering av övningar. 2010b, Perioder med stora snömängder vintern 2009/2010: Redovisning av regeringsuppdrag att analysera och utvärdera hu krisberedskapen fungerat under perioder med stora snömängder vintern 2010. 2011, Utvärdering SAMÖ-KKÖ 2011 2012a, Exercise Barents Rescue 2011. 2012b, Hur tar kommunerna tillvara erfarenheter från olyckor och allvarliga händelser? Naturvårdsverket 2011, Dispens från strandskyddet: En utvärdering av roller, ansvar och förutsättningar efter förändingen i lagstiftning 2009, Rapport 6472. 2012, Det här är ingen skräpfråga: En utvärderings av kommunernas arbete mot nedskräpning, Rapport 6494. Socialstyrelsen 2009, Öppna jämförelser och utvärdering 2009: Hjärtsjukvård. 2010a, Öppna jämförelser och utvärdering 2010: Psykiatriskvård – ett steg på vägen. 2010b, Uppföljning av den nationella vårdgarantin och ”kömiljarden: Årsrapport 2010. 2011, Familjerätten och barnet i vårdnadstvister: uppföljning av hur 2006 års vårdnadsreformer slagit igenom i socialtjänstensarbete. 93
