Strukturpåverkan genom sturkturfonderna. Erfarenhet av

STRUKTURPÅVERKAN GENOM
STRUKTURFONDERNA?
En diskussion om utvärdering av EU:s strukturfonder i Sverige
och erfarenheter av teoribaserad utvärdering
Uppdrag
Ämne:
[Uppdrag]
Bidrag till
SVUF-konferensen 2013
Datum:
November 2013
Författare: Göran Brulin, utvärderingsansvarig för Regionalfonden, Tillväxtverket
Ingrid Rydell & Marcus Holmström, Ramböll Management Consulting
1.
Inledning
Ett av de viktigaste instrumenten inom EU:s sammanhållningspolitik är
strukturfonderna och sammanhållningsfonden som omfattar drygt en tredjedel av
EU:s budget. Strukturfonderna är en enorm satsning räknat både i ambitioner och i
pengar. Sammanhållningspolitiken syftar till att minska regionala skillnader och
ojämlikhet mellan människor - göra skillnad i Europa när det gäller tillväxt och
sysselsättning. Genom strukturfonderna ska den regionala tillväxtpolitiken och
arbetsmarknadspolitiken förändras, förbättras och förstärkas. De är EU:s viktigaste
verktyg för att skapa smart, hållbar och inkluderande tillväxt. Insatserna ska vara
nyskapande, experimenterande och additionella i förhållande till reguljär
verksamhet.
Precis som för strukturfonderna själva, är ambitionerna för vad utvärdering av dem
ska leda till mycket ambitiösa. Faktum är att Kommissionens tanke är att
utvärderingspraxis i EU:s fonder och program ska påverka förvaltningspraxis i de
28 medlemsstaterna: ”De nya EU-reglerna ska inte bara förbättra rådande praxis i
regionalfondsprogrammen, genom införandet av systematisk uppföljning och
utvärdering, utan de ska också leda till spridningseffekter inom den inhemska
förvaltningspraxisen”, (Riché 2013, s 62).
Bara i Sverige kanaliserar Europeiska regionala utvecklingsfonden (Regionalfonden
hädanefter) och Europeiska socialfonden (Socialfonden) 15 miljarder kronor under
programperioden 2007-2013 – som dessutom i princip ska dubblas med nationella
medel. Ungefär lika mycket pengar har avdelats till Sverige i kommande
programperiod. I Sverige har ca 36 miljoner kronor använts till
programföljeforskning och ca 120 miljoner kronor till projektföljeforskning bara för
Regionalfonden. Betydligt större resurser än tidigare programperioder har satsats
på utvärdering i Regionalfonden och Socialfonden.
1/17
Tanken är alltså att strukturfonderna ska påverka de nationella strukturerna för
tillväxt och arbetsmarknad genom de projekt fonderna finansierar - men också
genom hur de utvärderas.
Men är uppföljning och utvärdering viktigt? Påverkar de strukturer och politik? Ja,
om man får tro den levande debatten. Förutom tidigare beskrivningar av
”utvärderingsmonstret” (Lindgren 2006) och slentrianmässiga referenser till
”utvärderingssamhället” har uppföljning och utvärdering varit särskilt hett
omdiskuterat under 2012 och 2013. Debattörer har framfört att uppföljning
snedvrider verksamheten inom polisen, vården och skolan, att professionernas
auktoritet och status urholkas och att politik utformas för att vara utvärderingsbar.
För några tongivande exempel, se Maciej Zarembas uppmärksammade
reportageserie om vården i Sverige (2013 a-e), Shirin Ahlbäck med fleras
debattartiklar (2013a,b) om hur överdriven uppföljning och enögd användning av
idéer från New Public Management kan leda till oönskade eller till och med skadliga
bieffekter och Daniel Tarschys (2012) diskussion om vad ett starkt tryck på
kvantitativa studier kan få för följder.
Debatten har upprepat den ständigt aktuella frågan: när är uppföljning och
utvärdering värdefullt? Och för vem? I den här promemorian vill vi diskutera hur
uppföljning och utvärdering används inom strukturfonderna. Vi hoppas att våra
erfarenheter som utvärderingsansvarig för Regionalfonden respektive utvärderare
på en av Sveriges största leverantörer av utvärderingar kan bidra till intressanta
inspel i diskussionen om utvärdering i Sverige.
2.
Bakgrund: utvärdering inom EU:s strukturfonder 2007-2013
Kommissionens ambitioner för strukturfonderna förpliktigar. EU liksom
Tillväxtverket och ESF-rådet (de svenska myndigheter som administrerar
fonderna), prioriterar utvärdering som instrument för att vässa strukturfondernas
strukturpåverkan.
Kommissionens krav och förväntningar inför innevarande programperiod satte
tydliga avtryck i den svenska nationella strategin och det satsades som nämnt
betydligt större resurser på utvärdering i Regionalfonden och Socialfonden under
programperiod 2007-2013 än tidigare. Regionalfonden och Socialfonden har
arbetat gemensamt med ”lärande utvärdering genom följeforskning” för att utbyta
kunskap och erfarenheter av utvärderingsarbetet och för att kunna dra
gemensamma lärdomar av arbete med strukturfonderna .
1
1
En gång per år har regeringskansliet avkrävt utvärderingsansvariga i ERUF och ESF en rapportering av samarbetet. Erfarenheter och
kunskaper från utvärderingen under programperioden 2007-2013 finns rapporterad i ett antal rapporter; ”En syntes av följeforskningen i
de regionala strukturfonds-programmen. 23 slutsatser”, (Tillväxtverket 2012) och gemensamma böcker som ”Lärande utvärdering genom
följeforskning”, (Svensson m fl 2009), ”Att äga, styra och utvärdera stora projekt”, (Brulin och Svensson 2011) samt i ”Att fånga effekter
av program och projekt”, (Svensson m fl 2013).
2/17
Den stora nymodigheten för utvärdering i perioden 2007-2013 var att EUkommissionen anvisade så kallad ongoing evalutation – alltså löpande utvärdering
- vilket benämndes ”följeforskning” i de åtta svenska regionalfondsprogrammen
och ”lärande utvärdering” i det nationella socialfondsprogrammet. Trycket mot
löpande utvärdering kom från ett behov att förbättra timing i utvärderingsarbetet.
Tidigare arbetade man främst med mitt- och slututvärderingar. Båda varianterna
tenderade att komma med sina insikter och rekommendationer när det antingen
var för sent för att justera den pågående satsningen eller för sent för att påverka
beslut för den eller satsningar som följde. Genom att trycka på ett löpande
utvärderingsarbete hoppades Kommissionen och de svenska myndigheterna kunna
öka effektiviteten i satsningarna genom tidigare slutsaser och rekommendationer.
3.
Våra erfarenheter från innevarande programperiod (2007-2013)
Våra erfarenheter från innevarande programperiod (2007-2013) stämmer överens
med en del av kritiken från debattörerna i inledningen: en tendens att uppföljning
av enkla indikatorer snedvrider insatser, att indikatorer ersätter mål, att enkel
uppföljning används för att förklara komplexa fenomen. Det är problem som gör
uppföljning och utvärdering skadlig eller i bästa fall ointressant och måste hanteras
i kommande programperiod.
Men medan debattörerna ovan ser att uppföljning och utvärdering får stor
påverkan på hela system så ser vi snarast motsatt fenomen: att uppföljning och
utvärdering visserligen påverkar enskilda strukturfondsprojekt, men endast i
mindre utsträckning själva systemet för strukturfonderna. Om utvärdering ska ha
en strategisk funktion måste den påverka hur strukturfondsprogrammen
organiseras och styrs: hur programmen formuleras, hur organisation riggas, hur
projektansökningar utformas, beviljas och styrs m.m. Detta beror till stor del på att
uppföljning och utvärdering upphandlas av projektledningen och oftast har haft ett
snävt fokus på enskilda projekt utan att sätta projektet i ett bredare sammanhang
eller klargöra hur projektet hänger ihop med strukturfondernas långsiktiga
effektmål.
Sammantaget är det vår bild att utvärdering av strukturfonderna har varit ett
svagt instrument för att skapa förståelse för om och varför projekt och program
har lett till önskade effekter, vilket undergräver strukturfondernas möjligheter att
göra skillnad i Sverige för tillväxt och sysselsättning (även om det självklart också
beror på politisk vilja, organisation och programstyrning – men det är en helt
annan diskussion). På en mer greppbar nivå är det vår bild att även om
utvärderingar har bidragit med värdefulla insikter till de respektive projekten, har
dessa insikter sällan kunnat användas i hemorganisationen, projektägaren, eller på
programnivå eller policynivå.
3/17
3.1
Utvärderingarna har ofta fokuserat på enskilda projekt och bidrar sällan
till strategisk nivå
De projektutvärderingar som har genomförts i innevarande programperiod har
oftast upphandlats av projektledare och inte av till exempel projektägare. Detta
tenderar att styra utvärderingarna mot den operativa verksamheten, själva
genomförandet av projektet, vilket ger information som är viktig för
projektledaren. Däremot ger det mindre information som är användbar för
projektägare, förvaltande myndighet eller ännu mindre beslutsfattare på strategisk
nivå, vilket påverkar sannolikheten att strukturfonderna blir strukturpåverkande.
Projektutvärderingarna tenderar också att fokusera på projektets mål och mindre
på kopplingen till programmålen, mer långsiktiga effekter, som projekten ska bidra
till. Båda dessa tendenser gör att projektutvärderingar ofta är svåra att använda
för att:
Jämföra projekt – vilket hämmar lärandet mellan och från projekten under
projektperioden samt i planering och design av nya projekt. Allt för ofta
”uppfinns hjulet på nytt” utan att tidigare erfarenheter, samlad kunskap och
inte minst utvärderingar har kommit till användning.
Aggregera kunskap om många projekt till att dra slutsatser av programmet –
trots att strukturfondernas syfte är att uppnå programmålen och inte
separerade projektmål
Dra slutsatser kring om och i så fall hur projekt har påverkat sin
hemorganisation – trots att det är ett välkänt problem att projekt fungerar som
frikopplade satelliter och inte leder till långsiktig påverkan på sina
hemorganisationer
Tanken bakom strukturfonderna är att de ska ge utrymme för nyskapande och
experimenterande verksamheter, som ska kunna gå utöver – vara additionella - till
reguljär verksamhet. Men när är experimentell verksamhet intressant? När
experimenten tas till vara: testas och utvärderas och faktiskt påverkar reguljär
verksamhet när de faller väl ut.
Idag är det ett välkänt problem att strukturfondsprojekt fungerar som satelliter: de
drivs utanför moderskeppet och överges när projekttiden är slut. Det finns flera
anledningar till det, men att utvärderingar riktar sig mot projektledning och sällan
engagerar eller intresserar projektägare och än mindre strategiska beslutsfattare
är en bidragande orsak. Ytterligare en är att projekt utvärderas separat, att de
sällan grupperas tematiskt för att kunna jämföra insatser inom samma område.
Självklart kan projekt och program påverka på andra sätt, genom erfarenheter och
lärdomar, det vi vill peka på är att utvärdering som det används idag är ett
ineffektivt instrument för att dra lärdomar och skarpa slutsatser.
4/17
3.2
Indikatorer misstas för mål, uppföljning misstas för utvärdering
Det finns flera problem som knyter an till användning av indikatorer i förhållande
till utvärdering inom utvärdering i allmänhet och utvärdering av strukturfonderna i
synnerhet. Men först, vad är en indikator?
En indikator är en mätbar företeelse som indikerar ett tillstånd eller en utveckling.
Indikatorer används för att kvantifiera och förenkla företeelser och underlätta
förståelsen av en komplex verklighet. Indikatorer kan användas för olika saker: för
att följa upp projektgenomförande (antal deltagare, andel deltagare som tillhör
projektets målgrupp etc.); för att följa upp projektmål (t.ex. antal deltagare i
anställning år 2 efter deltagande); för att skapa en bild av ett tillstånd (t.ex. antal
projektansökningar inom ett visst område, antal medverkande aktörer etc.) eller
för att följa utvecklingen av en fråga eller ett projekt. Indikatorer kan inte själva
förklara ett tillstånd, de ger endast en bild. Däremot kan indikatorer användas i en
analys med ett förklarande syfte.
Trots att indikatorer i sig alltså inte är särskilt komplicerade att förstå ser vi flera
problem med hur de används:
Ofta används indikatorer i uppföljning och utvärdering som faktiskt inte är
relevanta för hur projektet arbetar eller ens för vad det ska uppnå. Inom en
satsning på elva riskkapitalprojekt inom Regionalfonden följs till exempel antal nya
företag upp, trots att riskkapitalfonder inte syftar till att skapa nya företag.
Möjligen är det intressant att analysera i en effektutvärdering på mycket lång sikt
om ökade riskkapitalinvesteringar leder till ett gynnsamt företagsklimat som ger
ökad tillväxt i nystartade företag. Men antal nya företag är en irrelevant indikator
för uppföljning av projektet. Många projekt följer dessutom upp för många
indikatorer som oftare går direkt till arkivet än till analys.
Ett annat problem är indikatorer som inte är tillförlitliga. En vanlig indikator inom
Regionalfonden är ”antal skapade arbetstillfällen” som är en mycket problematisk
eftersom den är svår att mäta och därför sällan blir tillförlitlig. Denna indikator har
tolkats på otaliga sätt. Ofta som tillväxt i arbetstillfällen i deltagande företag,
alldeles oavsett vilken tillväxt företaget sannolikt skulle ha haft utan insatsen. Det
har lett till en grav överskattning av projektens bidrag till arbetstillfällen och en
överrapportering – många företag deltar i flera projekt för strukturfonderna eller
andra finansiärer som alla rapporterar samma skapade jobb.
Det förekommer att indikatorer används som mål. Mål är det en insats ska uppnå.
En indikator kan användas för att operationalisera och mäta ett mål. En enhet är
neutral ”antal personer i arbete” medan ett mål anger en riktning eller nivå – ”en
ökad andel personer i arbete” eller ”75 % av deltagarna i arbete”. Komplexa mål
behöver dessutom uppföljning av flera indikatorer för att en vettig analys ska
kunna göras. Om vi får veta att 75 % av deltagarna i ett visst projekt faktiskt har
5/17
kommit i arbete så kan vi ändå inte fastställa om det är pga. deltagande i insatsen.
För att kunna göra det behöver vi mer data och flera indikatorer som till exempel
rekrytering till projektet, utveckling inom relevanta branscher, deltagarnas
bakgrundsvariabler som utbildning, hemort, ålder osv.
Enögd indikatorsuppföljning kan leda till att indikatorerna blir styrande, att mer
fokus läggs på enkla indikatorer än på sammansatta mål. Följeforskningen i
Regionalfonden visar exempelvis att projekt som stödjer framväxten av
nödvändighets- och levebrödsföretagande prioriteras eftersom sådana projekt gör
att man snabbt kan nå goda resultat på indikatorn ”nya företag”. Detta trots att
målen i den nationella strategin när det gäller entreprenörskap och
näringslivutveckling handlar om stöd till innovativt entreprenörskap som främjar
nya snabbväxande företag, snarare än levebrödsföretag (Tillväxtverket 2012:20).
Förutom att många indikatorer är irrelevanta givet projektets syfte eller
missvisande för att de inte går att mäta så har många projekt väldigt många
indikatorer att följa upp. Det leder till ineffektivitet när projekten – och förvaltande
myndighet – måste lägga tid på att samla in data på (ointressanta) indikatorer.
3.3
Olika tolkningar av följeforskning och lärande utvärdering – men
förbättringar i timing
Den stora förnyelsen av utvärdering i innevarande programperiod var alltså krav
på ongoing evaluation - Följeforskning och lärande utvärdering. Vad det är har
tolkats på en mängd olika sätt. Medan det i vissa fall har utformats som processtöd
för projektledaren har det i andra fall lagts upp som renodlad utvärdering med ett
löpande upplägg med regelbundna utvärderingsinsatser. Sammantaget är det vår
bild att timing i utvärdering har förbättrats, att det ofta har varit värdefullt att
tidigt få input om hur genomförandet utvecklas, om målgruppen nås och så vidare.
Däremot har det löpande upplägget inte påverkat utvärderingarnas relevans för
andra intressenter än projektägare eller hur indikatorer används.
4.
Fokus på teoribaserad lärande utvärdering i kommande programperiod
(2014-2020)
De problem som vi tar upp ovan är vi inte ensamma om att se. Även EUkommissionen har uppmärksammat problem med att indikatorer används som mål
och att effektutvärderingar ofta kan beskriva effekter av en insats men sällan
förklara dem. Var det fel insats? Var det fel på hur insatsen genomfördes? Var det
något i omvärlden – finanskrisen - som påverkade resultatet?
Men, ingen anledning att misströsta: både uppföljning och utvärdering kan ju vara
relevanta och effektiva verktyg för att förstå och utveckla verksamheter. EUkommissionen stavar vägen framåt teoribaserad utvärdering. De ser denna ansats
som ett sätt att spåra vägen från insats till effekt och ge en god överblick över en
insats och dess sammanhang. Såhär säger EU-kommissionen:
6/17
”Theory-based evaluations can provide a precious and rare commodity, insights
into why things work, or don’t and under what circumstances.“ (ERDF 2013:7).
Om man ska kunna stå till svars för medborgarna måste man kunna svara på
frågor om varför olika insatser ger effekter, hur, för vem och på vilka villkor.
Tänkta och oavsiktliga effekter är lika relevanta, viktiga och utmanande. EUkommissionens krav på att utvärdering av fonderna ska vara teoribaserad är den
stora förnyelsen av utvärderingsansatsen för kommande programperiod
(ERDF/ERUF 2013).
Det kan vara bra att komma ihåg att teoribaserad utvärdering inte är något nytt.
Det är något som har diskuterats och praktiserats åtminstone sedan 1960-talet
(se en översikt i Hansen & Vedung 2010).
Det är samma utvärderingsmetoder som tidigare. Skillnaden från annan
utvärdering är framförallt ansatsen att utgå från en kausal modell som uttryckligen
länkar aktiviteter med långsiktiga effekter och tar hänsyn till insatsens
sammanhang. Denna ansats har genomförts och diskuterats inom utvärderarskrået
i decennier. Däremot är det något nytt att en så tung aktör som EU-kommissionen
inte bara förespråkar utan faktiskt föreskriver att utvärdering av strukturfonderna
ska göras teoribaserat.
På svenska understryks också att utvärdering inte bara ska vara teoribaserad, utan
också lärande. Utvärderingsarbetet av strukturfonderna ska på ett tydligt sätt
knytas till gemensamma processtöd och plattformar för lärande och
kunskapsutbyte. Samarbetet och samordningen mellan ansvariga för
utvärderingsarbetet inom respektive fond ska stärkas för att det ska kunna skapas
en gemensam bild över fondernas sammantagna bidrag till strukturförändringar för
smart och hållbar tillväxt för alla. Till detta kommer en förhoppning om att det
teoribaserade arbetssättet i sig ska öka lärande inom projekt- och
programutvärderingar genom att ansatsen fokuserar på sammanhang och
effektkedjor.
4.1
Vad är teoribaserad utvärdering?
Det finns en omfattande litteratur om vad teoribaserad utvärdering är och hur den
kan definieras. Här använder vi en enkel definition: med teoribaserad utvärdering
menar vi en utvärdering som utgår från en konstruktion (eller rekonstruktion) av
en kausal modell som beskriver vad en insats ska leda till (vilka effekter) hur och
för vem.
Vi kallar den kausala modellen för en förändringsteori här, men kärt barn har
många namn som effektkedja, effektlogik, projektlogik, interventionslogik mm.
7/17
De antaganden som görs om hur en insats ska leda till effekter klarläggs.
Förändringsteorin, dess underliggande antaganden och omvärldsfaktorer testas
sedan systematiskt utifrån existerande kunskap och (oftast) en kombination av
metoder för datainsamling och analys.
Teoribaserad utvärdering kan användas oavsett vilket stadium en insats är i. En
teoribaserad utvärdering kan utvärdera endast genomförande: genomförs insatsen
enligt förändringsteorin? Den kan också utvärdera effekter på kort och lång sikt.
Den främsta fördelen med teoribaserad effektutvärdering är att de kan fungera
som relevanta beslutsunderlag. Om beslutsfattare ska bestämma vilken politik som
ska genomföras – eller hur - behöver hen mycket kunskap om vad det är som
ligger till grund för en kausal effekt.
En teoribaserad ansats ska inte förväxlas med metoder för datainsamling eller
analys. Det finns en olycklig tendens att koppla samman teoribaserad utvärdering
med kvalitativa metoder. Det finns ingen sådan koppling. Teoribaserad utvärdering
är metodnetutral. Poängen är att en teoribaserad utvärdering bygger på att testa
en kausal modell för den insats som ska utvärderas. Hur förändringsteorin testas
beror på vad som är möjligt: genom experimentella eller kvasiexperimentella
upplägg som använder en kontroll- eller jämförelsegrupp eller genom upplägg utan
jämförelsegrupp som bygger på olika typer av processpårning eller genom en
kombination av metoder med och utan experiment. Utvärderingar av komplexa
program kommer att behöva flera metoder och flera datakällor för att vara
trovärdiga (se t.ex. diskussion i Bjurulf et.al. 2012).
Teoribaserad utvärdering och utvärdering genom bidragsanalys (contribution
analysis på engelska) ligger mycket nära varandra (se t.ex. Leeuw 2012, Mayne
2001 och 2008). Teoribaserad utvärdering karaktäriseras av:
En förändringsteori
En förklarande ambition
En kombination av metoder för datainsamling och analys
Användning av redan känd kunskap: forskning, analys, utvärdering, beprövad
erfarenhet
Fokus på förutsättningar och omvärldsfaktorer som påverkar insatsen
Fokus på både process och effekter
En miniversion av teoribaserad utvärdering är en utvärdering som utgår från en
förändringsteori. Men en förändringsteori ska inte förväxlas med en bild på lådor
och pilar som visar vilka mål som ska uppnås. En bra förändringsteori ger en bred
bild av insatsen med beskrivningar av:
Målgruppen och dess behov (problembeskrivning)
8/17
Vilka aktiviteter som ska genomföras och vilka effekter ska uppnås på olika
lång sikt
Hur effekterna ska uppnås - en beskrivning av de orsakssamband som antas
finnas mellan insats och effekt man antar
Hur insatsen ska genomföras för att möjliggöra att orsakssambanden fungerar
eller inträffar
Insatsens sammanhang (kontext) – och hur det påverkar insatsen
Individnivå: t.ex. målgruppens behov och karaktäristika, möjlighet till
rekrytering
Organisationsnivå: t.ex. Resurser, kompetens, erfarenhet av liknande
insatser
Systemnivå: t.ex. Beskrivning av politikområdet, lagstiftning, konjunktur,
relaterade insatser eller aktörer
Kort sagt, en försändringsteori ska visa vilka effekter på kort och lång sikt en
insats (till exempel ett regionalfondsprojekt) förväntas leda till genom sina
aktiviteter och en teoribaserad utvärdering syftar till att klargöra om några effekter
på ett trovärdigt sätt kan knytas till en insats. Riché skriver att ”teoribaserade
utvärderingar är särskilt relevanta för beslutsfattare, eftersom de förklarar varför
en insats fungerar eller inte fungerar i ett givet sammanhang. Detta möjliggör en
generalisering av insatser och metoder för utveckling.” (2013:61).
5.
Vad är det som är så bra med teoribaserad utvärdering?
Vi har många goda erfarenheter av att själva arbeta teoribaserat eller av att ha
tagit del av teoribaserade utvärderingar. Vi ser att ett teoribaserat arbetssätt
hanterar de problem som vi har sett i innevarande programperiod kring ensidigt
fokus på det enskilda projekt eller program som inte kopplar insatserna till vilka
långsiktiga effekter som förväntas uppnås samt problem kring indikatorer med för
många och irrelevanta indikatorer, och ibland indikatorer som styr. En teoribaserad
ansats ökar sannolikheten att utvärderingar blir relevanta för fler än de allra
närmast sörjande i projektledningen och därmed mer användbara. Relevans,
lärande och inte minst användbarhet för projekt- och programledning, projekt- och
programägare och beslutsfattare på regional och nationell nivå är avgörande för att
utvärdeirngar ska vara värdefulla (för en diskussion om användbarhet se t.ex.
Rosén och Wolf-Watz 2009).
Vi kommer att använda ett case, den teoribaserade utvärderingen –
följeforskningen - för de elva projekt i form av saminvesteringsfonder för
riskkapitalinvesteringar som drivs som regionalfondsprojekt från 2009-2020, för
att diskutera teoribaserad utvärdering i praktiken.
9/17
5.1
En förändringsteori kan ge en gemensam förståelse bland intressenter för
syfte och förväntade effekter
2009 startades elva rikstäckande regionala saminvesteringsfonder genom
finansiering från Regionalfonden och regionala medfinansiärer. Tillväxtverket valde
att upphandla en utvärderare för alla elva fonder för att kunna jämföra fonderna
med varandra och få en sammanhållen analys. Ramböll fick uppdraget tidigt efter
projektens start.
Bara att börja utvärdera! Eller? 2009 fanns det ingen samstämmighet mellan
Regionalfondens förvaltande myndighet Tillväxtverket, regionala finansiärer,
projektägare eller för den delen Näringsdepartementet om vad fondernas
verksamhet skulle leda till, hur framgång för fonderna skulle definieras. Det fanns
däremot många olika meningar om detta: avkastning, nya arbetstillfällen, fler
riskkapitalinvesteringar i hela landet, flera investerare, en struktur för
investeringar i hela landet. Detta är ett vanligt problem i projekt och dess
utvärderingar. Målformuleringar, ansökningar och andra styrdokument ger ofta lite
handledning och det visar sig i allmänhet att projektledning, projektägare och
enskilda medarbetare har tolkats insatsens syfte olika. Det fanns inte heller någon
detaljerad behovsanalys att falla tillbaka på.
Om det inte finns en gemensam förståelse för vad framgång är, vem ska då
bestämma över hur framgång för fonderna definieras? Vem ska bestämma över
vilka frågor som ställs i utvärderingen och hur de bör besvaras? Det kan en
utvärderare inte själv svara på, utan bygger på en process som inkluderar flera
nivåer av intressenter: finansiärer, projektägare, projektledare, sakkunniga,
representanter från målgruppen.
Det tog ungefär ett år att ta fram en gemensam förändringsteori för
riskkapitalfonderna som Tillväxtverket, fondernas VD:ar, projektägarna och
regionala finansiärer var överens om. Den bygger på intervjuer, workshops, analys
av ansökningar, analys av EU:s regelverk och analys av Sveriges regelverk samt
forskning på området.
Det försåtligt uppenbara målet med riskkapital är avkastning. Men medan privata
investerare arbetar med riskspridning förväntas offentliga investerare att
genomgående ha en hög risknivå, eftersom det är där man förväntar sig ett
marknadsmisslyckande. Offentliga investeringar, till exempel offentligt riskkapital,
syftar till avkastning på samhällsinvesteringen: samhällsnytta.
Faktum är att det inte finns några formella krav på positiv avkastning i
riskkapitalprojekten. Det finns bara krav på att den avkastning som genereras ska
återinvesteras i regionen. Däremot har projekten själva satt upp krav på positiv
avkastning på sina portföljer.
10/17
Styrdokumenten förtydligade inte heller vilken samhällsnytta riskkapitalprojekten
förväntades generera, annat än i svepande ordalag “stödja utvecklingen av
konkurrenskraftiga SMF” eller “stimulera entreprenörskap för tillväxt och
innovation”. Att explorativa satsningar ges ramverk och övergripande mål snarare
än detaljerade målkedjor är helt rimligt, så länge satsningens intressenter sätter
sig ner tillsammans och formulerar dessa målkedjor. Efter ett år av processande
hade intressenterna enats om att riskkapitalprojekten har två effektspår att
förhålla sig till:
Riskkapitalprojekten ska leda till regional utveckling i bemärkelsen
arbetstillfällen genom kapitalinvesteringar och aktivt ägarskap i fondernas
portföljbolag. När fonderna säljer sina innehav ska de återinvestera
avkastningen i regionen.
Riskkapitalprojekten ska bidra till en långsiktig struktur för privata och
offentliga riskkapitalinvesteringar genom att privata investerare aktiveras
genom möjlighet att dubbla det kapital som kan investeras och genom att
oerfarna investerare får tillgång till expertis och erfarenhet inom denna typ av
investeringar, vilket gör att de kan fungera som aktiva och självständiga
investerare i framtiden
Förändringsteorin förtydligade att den “samhällsnytta” som projekten förväntas
bidra till är:
Kompetenta privata investerare
Aktiva privata investerare
Att riskkapitalinvesteringar sprids utanför de större städerna
Jobbtillväxt i regionerna där projekten är aktiva
Det är vår bild att den långa processen bakom den gemensamma förändringsteorin
fungerade som en plattform för ökad förståelse mellan myndigheter, regionala
finansiärer, projektägare och fondernas VD:ar. Medan offentliga aktörer behövde
lära sig mer om vilka effekter riskkapitalprojekt kan förväntas bidra till behövde
riskkapitalprojektens personal och ägare lära sig mer om strukturfondernas logik.
En teoribaserad ansats stärker utvärderingens funktion som en plattform för
lärande och argumentation (se t.ex. Valovirta 2002 för en diskussion om att
utvärdering kan användas för dialog och argumentation).
Målet om att bidra till en långsiktig struktur av investerare pekar också väldigt
konkret på en direkt strukturpåverkan som strukturfonderna syftar till – att
lyckade projekt ska transformeras till eller överföras till reguljär verksamhet. Att
tidigt väcka diskussion kring att ett tidsbegränsat projekt syftar till en långsiktig
struktur för investeringar i Sverige ökar sannolikheten för att det faktiskt sker (se
t.ex. Hertting och Vedung 2009 för en diskussion om offentliga insatser som
farkoster för förändring).
11/17
5.2
Ett relevant ramverk för uppföljning och utvärdering
Förutom gemensam förståelse för en insats syfte ger en förändringsteori en
relevant analysram för utvärderingen. Viktigast är förstås att de som styr
riskkapitalprojekten fick en tydlig signal om att de bör prioritera insatser som
stödjer utveckling av en infrastruktur för investeringar. Men det är också viktigt att
tydliggörande av en insats syfte drastiskt minskar risken att utvärdering missar att
följa upp avgörande delar av verksamheten.
Förändringsteorin gör det också lättare att undvika indikatorinferno. Indikatorer
borde väljas ut utifrån en behovsanalys, en insats förändringsteori, men oftast
väljs de ut mer eller mindre godtyckligt utifrån programmål innan insatsen har
startat. En förändringsteori ger argument för varför vissa indikatorer är
missvisande för det specifika projektet. I utvärderingen av riskkapitalprojekten
minskades antalet indikatorer som de förväntades följa upp under det första årets
utvärdering, med stöd i förändringsteorin.
5.3
Kan ge kunskap om kausala mekanismer
En vanlig kritik av utvärdering gäller att de ger förenklade analyser och inte klarar
av att fånga osynliga effekter som attitydförändring eller strukturförändring. Vissa
hänför problemet till preferenser i samhället för renodlat kvantitativa upplägg med
ofta begränsade möjligheter att förklara effekter eller samband (se t.ex. Brulin et
al 2013, Tarschys 2012). Samtidigt argumenterar många för att ickeexperimentella upplägg som processpårning eller bidragsanalys mycket väl kan ge
kunskap om kausala mekanismer (Mayne 2001, 2008, Bjurulf et al 2012, ERDF
2012 med flera). Vi håller med. Den här typen av arbetssätt är heller inget nytt,
utan lika vardagligt som accepterat av både allmänheten och hela yrkeskårer. Ett
exempel är hela det juridiska systemet. I brottsmål används spår av DNA som
bevisning, men knappast som enda bevis för att fälla någon för ett brott. Till det
kommer frågor som uppsåt eller alibi – var den misstänkte gärningsmannen ens på
brottsplatsen? Vi står ut med att juridik bygger på sammanvägda bedömningar
eftersom det är det enda som går att göra. Man kan bevisa sannolikheter men inte
sanningen. Detsamma gäller utvärderingar. Komplexa utvärderingar kommer att
behöva triangulera olika data och olika analysmetoder.
I vårt case går det till exempel att studera hur portföljbolagen utvecklas och
jämföra med liknande företag, branschindex eller liknande. Men “aktivt ägarskap”
en avgörande komponent för att riskkapitalprojekten ska kunna utveckla sina
portföljbolag. Det krävs information om hur riskkapitalprojekten har agerat som
ägare för att förstå framgångar eller misslyckanden. Utan kunskap om detta är det
svårt, för att inte säga omöjligt, att göra en relevant analys av projektens effekter.
12/17
5.4
Tydliggör motsägelser i regelverk eller förväntade effekter
En teoribaserad ansats är också ett effektivt verktyg för att identifiera motsägelser
i regelverk eller målstruktur. Den resonerande processen i och med utvecklingen
av en förändringsteori identifierar svaga länkar längs effektkedjan.
Motstridiga regelverk är ett välkänt dilemma när det gäller strukturfonderna. Alla
vet att regel nummer 1 (även om den är informell) är: ”inte en krona ska skickas
tillbaka till Bryssel”. Det finns starka incitament att se till att de medel som har
tilldelats Sverige ska stanna i Sverige. Pengarna måste förbrukas inom
programperioden, annars återförs de till Bryssel. Detta ger en uppenbar risk för att
pengar investeras på bekostnad av kvaliteten i investeringarna.
I vårt case bedöms riskkapitalprojekten på kort sikt framförallt utifrån (en hög)
investeringstakt, vilket står emot uppdraget att välja ut de väldigt sällsynta företag
som kan utvecklas till guldägg. Dessutom går själva konstruktionen med
riskkapitalfonder i form av projekt med en relativt kort projektperiod stick i stäv
med hur riskkapitalfonder vanligen drivs. Riskkapitalister arbetar vanligen i längre
cykler för att hinna utveckla de företag de investerar i.
Dessutom har projekten en stram budget för management, samtidigt som de
förväntas gå in med små investeringar i små företag med oerfarna medinvesterare
och verka för de horisontella kriterierna – alltså ett mycket arbetskrävande
uppdrag som snarare borde peka mot en mer generös budget för management.
Dessutom köper riskkapitalister ägarandelar i företag. Vad får en vettig
entreprenör att ta in ett tidsbegränsat projekt som ägare i hennes företag? Där
inte ens VD vet vad som ska hända med innehaven när projekten stängs.
De här motsägelserna i regelverk och uppdrag påverkar hur projektens operativa
verksamhet kan utformas och är helt avgörande för att kunna göra en relevant
utvärdering och inte minst för att kunna skapa rimliga förväntningar på vad
riskkapitalprojekten kan och inte kan uppnå. Analysen av dessa inbyggda
motsättningar och vilka konsekvenser de får för den operativa verksamheten och
vilka effekter som uppnås ger användbar och väldigt viktig kunskap om hur
liknande insatser i kommande projekt bör utformas.
6.
Slutsatser
Enligt vår bedömning har utvärdering av strukturfonderna varit ett svagt
instrument för att skapa förståelse för om och varför projekt och program har lett
– eller inte lett - till önskade effekter. Även om utvärderingar har bidragit med
värdefulla insikter till de respektive projekten, har dessa insikter sällan kunnat
användas i hemorganisationen, projektägaren, eller på programnivå eller
policynivå. I nästa programperiod föreskriver EU-kommissionen teoribaserad
utvärdering vilket vi stödjer.
13/17
Vi tror att bättre utvärdering av strukturfondernas insatser kan bidra till att
insatserna får större effekt: mer valuta för pengarna
Vi tror att teoribaserad utvärdering är ett viktigt ramverk för att göra
utvärderingar mer relevanta, tillförlitliga och användbara
Vi tror att lärande utvärdering, som bygger dels på att utvärderaren kopplas in
tidigt i en insats livscykel och att insatsens intressenter involveras, är en viktig
princip för hur utvärderingar bör genomföras för att göra dem mer tillförlitliga
och användbara
Utvärdering av strukturfonderna är viktigt för utvärdering i Sverige generellt
eftersom strukturfonderna omfattar så många utvärderingar och så många
utvärderare. Innevarande programperiod gav viktiga erfarenheter av att förbättra
timing genom ett tidigare och löpande utvärderingsupplägg vilket har gett avtryck
på utvärdering i Sverige även utanför strukturfonderna såvitt vi kan se. Vi hoppas
att kommande programperiods fokus på ett teoribaserat upplägg kan ge
motsvarande avtryck framöver med avseende på större fokus på långsiktiga
effekter och hur projekt påverkar och påverkas av sitt sammanhang.
14/17
7.
Referenser
Ahlbäck, S., Widmalm, S., (2012) ”Professionalism nedvärderas i den
marknadsstyrda staten”, DN 20121026,
Ahlbäck, S., Widmalm, F., Widmalm, S., (2013) ”Vårdens kontrollsystem bättre för
andra områden”, DN, 2013-04-17
Bjurulf, Staffan och Agnetha Nilsson 2013: “Att mäta effekter av regional
utveckling” i Lennart Svensson, Göran Brulin, Sven Jansson, Karin Sjöberg (red.)
Att fånga effekter av program och projekt. Lund: Studentlitteratur.
Brulin, Göran och Lennart Svensson 2011: Att äga, styra och utvärdera stora
projekt. Lund: Studentlitteratur.
Brulin, Göran 2013: “Om effekter i Regionalfonden” i Lennart Svensson, Göran
Brulin, Sven Jansson, Karin Sjöberg (red.) Att fånga effekter av program och
projekt. Lund: Studentlitteratur.
Brulin, Göran och Lennart Svensson 2013: “Långsiktiga, överraskande och
oväntade effekter ” i Lennart Svensson, Göran Brulin, Sven Jansson, Karin Sjöberg
(red.) Att fånga effekter av program och projekt. Lund: Studentlitteratur.
Brulin, Göran and Lennart Svensson 2012: Managing Sustainable Development
Programmes – A Learning Approach to Change. London: Gower Publishing
Company.
Brulin, Göran och Lennart Svensson 2011: Att äga, styra och utvärdera stora
projekt. Lund: Studentlitteratur.
Donaldson, Stewart I.; Christie, Christina A. & Mark, Melvin, M. (2009). What
Should Count as Credible Evidence in Applied Research and Evaluation Practice.
London: Sage Publication
ERDF/ERUF, EUROPEAN REGIONAL DEVELOPMENT FUND AND COHESION FUND.
The Programming Period 2014-2020. GUIDANCE DOCUMENT ON MONITORING
AND EVALUATION. Concepts and Recommendations, April 2013)
ESF, European Social Fund. Programming Period 2014-2020- Monitoring and
Evaluation of European Cohesion Policy. Guidance document.
Hanse, Balle Morten & Vedung, Evert. 2010. ”Theory-Based Stakeholder
Evaluation” American Journal of Evaluation September 2010 vol. 31 no. 3 295313
15/17
Hertting, Nils & Evert Vedung. 2009 ”Den utvärderingstäta politiken: Styrning och
utvärdering i svensk storstadspolitik” Lund: Studentlitteratur.
Leeuw, Frans L. 2012 “Linking theory-based evaluation and contribution analysis:
Three problems and a few solutions”, Evaluation, 18(3) 348–363
Lindgren, Lena. 2006 “Utvärderingsmonstret: kvalitets- och resultatmätning i den
offentliga sektorn”, Lund: Studentlitteratur
Mayne, J. 2001 “Addressing Attribution through Contribution Analysis: Using
Performance Measures Sensibly”, Canadian Journal of Program Evaluation, 16 (1)
364-377
Mayne, J. 2008 “Contribution analysis: An approach to exploring cause and effect”,
ILAC Brief 16, Institutional Learning and Change (ILAC) Initiative, Rome, Italy
Jansson, Sven 2013: “Vad kan vi lära av Socialfonden” i Lennart Svensson, Göran
Brulin, Sven Jansson, Karin Sjöberg (red.) Att fånga effekter av program och
projekt. Lund: Studentlitteratur.
Riché, Marielle 2013: “Teoribaserad utvärdering” i Lennart Svensson, Göran Brulin,
Sven Jansson, Karin Sjöberg (red.) Att fånga effekter av program och projekt.
Lund: Studentlitteratur.
Rosén, Kajsa, Wolf-Watz Olov. 2011: ”Användaren i centrum”, paper presenterat
på SVUF:s konferens 2011
Svensson, Lennart, Göran Brulin, Sven Jansson, Karin Sjöberg (red.) 2013: Att
fånga effekter av program och projekt. Lund: Studentlitteratur.
Svensson, Lennart, Göran Brulin, Sven Jansson, Karin Sjöberg (eds.) 2009:
LEARNING Through Ongoing EVALUATION. Lund: Studentlitteratur.
Svensson, Lennart, Göran Brulin, Sven Jansson, Karin Sjöberg (red.) 2009:
Lärande utvärdering genom följeforskning. Lund: Studentlitteratur.
Tarschys, Daniel (2012). Granskare och politiker: någon som lyssnar? I: Molander,
Per (red.) Kunskapen och makten. En antologi om gränslandet mellan forskning
och offentligt beslutsfattande. Stockholm: Atlantis.
Tillväxtverket (2012). En syntes av följeforskningen i de regionala strukturfondsprogrammen. 23 slutsatser. Rapport 0129. Stockholm: Tillväxtverket.
Valovirta, V. (2002) ”Evaluation Utilization as Argumentation”, Evaluation 8(1) 6080
16/17
Zaremba, M. (2013) artikelserie i flera delar om uppföljning inom vården, a, b, c,
d, e:
”Vad var det som dödade Herr B?”, DN 2013-02-17
”Hur mycket bonus ger ett benbrott?”, DN 2013-02-25
”Hur mycket oro tål en människa?”, DN 2013-03-05
”På vilken prislista står din njursvikt?”, DN 2013-03-03
”Förlåt dem, ty de visste inte vad de gjorde”, DN 2013-04-24
17/17