Utvärdering som stödjande verktyg vid kompetensutveckling

Konferenspaper, Svenska utvärderingsföreningen, 8–9 oktober 2015
Utvärdering som stödjande verktyg
vid kompetensutveckling
- Överföring av lärande och kunskapsanvändning
bland personal i äldreomsorg
Annika Claesson, Örebro universitet
Sammanfattning av licentiatuppsats:
Annika Claesson (2015): Utvärdering som stödjande verktyg vid kompetensutveckling –
överföring av lärande och kunskapsanvändning bland personal i äldreomsorg. Örebro:
Örebro universitet, Örebro Studies in Social Work 15.
Samverkan mellan Eskilstuna kommun, Mälardalens högskola och Örebro universitet
Som utbildningsledare i Eskilstuna kommun i vård- och omsorgsförvaltningen har jag haft
målet att samtidigt med mitt arbete i organisationen även forska och lära mig om frågor som
rör utvärdering och personalens kompetensutveckling och använda de kunskaperna i arbetet,
dvs. i olika former föra forskningen närmare verksamheten. I maj 2015 slutförde jag
licentiatuppsaten ”Utvärdering som stödjande verktyg vid kompetensutveckling – överföring
av lärande och kunskapsanvändning bland personal i äldreomsorg” (Claesson, 2015). Jag
bedrev forskningsarbetet i rollen som kommundoktorand i samverkan mellan Eskilstuna
kommun, Mälardalens högskola och Örebro universitet där jag genomförde
forskarutbildningen. I detta konferenspaper återger jag kortfattat uppsatsens innehåll och
hoppas bidra till organisationers tankar och intresse i frågan om utvärdering vid
kompetensutveckling samt till läsning av uppsatsen i sin helhet. Jag ger först en introduktion
följt av ett empiriskt exempel, teoretiska utgångspunkter och tidigare forskning. Därefter
följer ett metodavsnitt och avslutningsvis centrala slutsatser och diskussion.
Introduktion
Den här licentiatuppsatsen/avhandlingen handlar om utvärdering vid kompetensutveckling
hos personal i äldreomsorgen. Äldreomsorgen står inför stora utmaningar. Vård- och
omsorgsbehovet bedöms öka i Sverige samtidigt som pensionsavgångarna bland personal
inom äldreomsorgen kommer att vara stora de kommande åren (Socialstyrelsen, 2015;
Sveriges Kommuner och Landsting, 2014). Strategiskt kompetensförsörjningsarbete är därför
en central och uppmärksammad fråga. Dels för att säkerställa att utförarorganisationen har
den kompetens som behövs nu och framåt, och dels i fråga om att tillse att denna kompetens
används i arbetet. Ett vedertaget problem i organisationer vid genomförande av
utbildningsaktiviteter, t.ex. kurser och fortbildning för personal, är att lärandet inte överförs så
att personalen faktiskt använder kunskaperna i arbetet. När personalen inte använder sina
nyvunna eller fördjupade kunskaper från utbildningen ger det inte heller avtryck i
verksamheterna. Efter en avslutad kompetensutvecklingsinsats är det vanligt att man
genomför en utvärdering av måluppfyllelse av lärandemålen. Det är detta som utvärderas
snarare än överföringsprocessen av lärandet till användning av kunskaperna. Trots att en
sådan utvärdering av själva överföringen av lärande är nödvändig, framhåller Saks och Burke
(2012) att forskning om utvärdering och forskning om överföring ofta brukar vara separerade
från varandra. Istället utgör dessa områden två olika spår inom forskning om
överföringsprocessen som mer sällan kopplas samman. Det är en sådan sammankoppling som
varit grunden för min licentiatavhandling. Avhandlingens syfte var att undersöka styrkor och
svagheter hos den summativa utvärderingsansatsen vid kompetensutvecklingsinsatser för
vård- och omsorgspersonal, samt om denna ansats kan bidra till överföringsprocessen för
individen och gruppen, från utbildningen till att kunskaperna används i arbetet. Den
summativa ansatsen studerades också i förhållande till alternativa ansatser i fråga om dess
förmåga att bidra till en sådan utveckling.
Det är inte ovanligt att utvärderingar av olika insatser sker utifrån den traditionella
modellen med mål och resultat (input – output). Utvärderingen genomförs efter en avslutad
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
1
aktivitet eller insats. En sådan summativ utvärdering fokuserar på om de omedelbara målen
har uppnåtts. Den studerar inte vad som sker på lång sikt som en effekt av insatsen, och
fokuserar inte heller på att studera insatsens process medan den pågår. Som alternativ till den
summativa utvärderingen finns den formativa. Den handlar mer om processen som sådan och
syftar snarare till att kunna göra förbättringar under pågående verksamhet (Karlsson, 1999;
Karlsson Vestman, 2011; Vedung, 1998, 2002, 2011). Trots att det numera är närmast
obligatoriskt med utvärdering innebär det inte att denna organiseras, läggs upp och genomförs
på ett enhetligt sätt (Hertting & Vedung, 2009). Organisationerna prioriterar utvärdering som
företeelse, dvs. själva beställandet eller existensen av utvärderingen. Men paradoxalt nog
försvårar detta samtidigt utvärderingens användning för lärande och utveckling eftersom
utvärderingarna ofta genomförs rutinmässigt med oklara instruktioner. I strategier för att
utforma och göra utvärderingarna mer användbara ingår att involvera deltagarna mer på olika
sätt samt att engagera beställarna i utvärderingen och dess kommande användning (Petersén
& Olsson, 2013).
Sveriges välfärdssektor ska leverera högsta möjliga kvalitet till personer som behöver
tjänsterna. Av de ca 290 000 som är anställda inom Sveriges kommuners socialtjänst med
äldreomsorg bedöms ca 140 000 personer behöva nyrekryteras på grund av pensionsavgångar,
under förutsättning att inga förändringar görs i arbetssätt och bemanning (Sveriges
Kommuner och Landsting, 2011, 2014). Arbetsgivarna behöver använda kompetenserna på
rätt sätt, utveckla arbetsmiljön och arbetsorganisationen samt utnyttja tekniken mer och på
bättre sätt. För att uppnå regeringens nationella mål och vision för socialtjänst inom
äldreomsorgs- och funktionsnedsättningsområdet är personalens kompetens och strategier för
kompetensförsörjning avgörande faktorer (Regeringen, 2015; Socialstyrelsen, 2013).
Äldreomsorgen framstår sedan ett decennium som en starkt förändringspräglad verksamhet
med allt mer tidspressat arbete (Szebehely, 2006). Mot bakgrund av ett ökat införande av
marknadsinfluerade organisationsmodeller och styrformer (inom ramen för det som brukar
kallas New Public Management) har verksamheterna påverkats av budgetåtstramningar och
organisationsförändringar. Resultat är viktigare än process. New Public Management (NPM)
handlar om en tydligare styrning i organisationer för effektivare resursanvändning (Hood,
1995). Ett sätt att möta äldreomsorgens utmaningar med demografisk utveckling, marknadsinfluerade styrmodeller, rekryteringsbehov och pensionsavgångar har under det senaste
årtiondet varit att genomföra tidsbegränsade satsningar på omsorgspersonalens
kompetensutveckling (Bennich, 2012). En sådan satsning var Kompetensstegen som ägde rum
mellan år 2006 och 2008. Mot bakgrund av Statskontorets rapportering om hur statsbidrag
följs upp och utvärderas konstaterar Socialstyrelsen (2013) dock att sådana kompetenshöjande
satsningar ofta görs som punktinsatser. Risken finns därmed att kompetensutvecklingen
stannar av efter ett projekt då huvudmännen har svårt att skapa förutsättningar för ett
långsiktigt kompetensförsörjningsarbete. Vid utbildning behöver man också kunna bedöma
om personalens kunskapsnivå har ökat och om kunskapen omsätts i praktiken.
Kompetensutvecklingen behöver integreras i arbetspraktiken och inte enbart ske vid enskilda
utbildningstillfällen eftersom erfarenheten visar att insatserna behöver innehålla former av
kontinuerlig återkoppling.
Arbetsgivaren ansvarar för kompetensförsörjningen och behöver med systematiska
arbetssätt tillgodose att personalen har den kompetens som krävs för sitt arbete och att
2
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
kompetensen används på rätt sätt (Granberg & Ohlsson, 2009). I vård- och omsorgssektorn är
det arbetsgivarens ansvar att planera och ge personalen förutsättningar för
kompetensutveckling i relation till verksamhetsbehoven, dvs. att införa och förankra nya
kunskaper och metoder i arbetet (Socialstyrelsen, 2011a, 2011b, 2012). De anställda ska få
stöd i att hålla sin kompetens aktuell för befintliga och kommande hjälpbehov samt att kunna
använda kunskaperna i sitt arbete. Därför ökar kravet på kommunerna i fråga om att ansvara
för och bedriva ett kontinuerligt arbete med kompetensförsörjningsprocesserna, dvs. det
arbete som utförs i en organisation för att säkerställa att rätt kompetens finns så att
verksamhetens mål uppnås och dess behov tillgodoses (Socialstyrelsen, 2013; Swedish
Standards Institute, 2011). I det arbetet utvecklas och styrs processer för kompetensanalys,
planering, genomförande och utvärdering. Att utvärdera kompetensutvecklingsinsatserna
framstår då som ett viktigt moment. Utvecklingen av organisationers arbetssätt för
utvärdering av kompetensutveckling och kompetensförsörjningsarbetet är därför av stor vikt.
Jag menar att en viktig del i kommunernas strategiska kompetensarbete är att utforma och
genomföra utvärdering av kompetensutvecklingsinsatser hos personalen så att utvärderingen
främjar att lärandet överförs och används i arbetet som ett led i att uppnå verksamhetsmålen.
Ett konstaterande är att trots organisationernas satsningar på riktade utbildningsaktiviteter
för sin personal, då individen utvecklar ett lärande, överförs ofta kunskaperna inte till praktisk
användning (Döös & Ohlsson, 1999; Saks & Burke, 2012). Utvärderingens roll för
överföringsproblematiken blir därför en angelägen fråga. Det brukar vara lättare för en
organisation att utvärdera om lärandemålen för en utbildning eller kurs har uppfyllts och vad
deltagarna tycker de har lärt sig om utvärderingen görs i samband med avslut, som så ofta
sker. Svårare är att utvärdera hur deltagarna använder sina nya eller fördjupade kunskaper i
arbetet en tid efter utbildningen. Denna fråga inrymmer en komplexitet och kräver mer tid,
kunskap och resurser av organisationen (Ellström, 2009; Kirkpatrick & Kirkpatrick, 2006;
Saks & Burke, 2012).
Problemområde och frågor
Licentiatavhandlingens centrala problemställning är utvärderingens ansats och genomförande
som ett stödjande verktyg för överföringen av lärandet vid kompetensutveckling. Det handlar
sålunda om:
1) att överföringen av lärandet till arbetspraktiken inte sker i den omfattning som önskas
eller efterfrågas. Transformeringen av lärande till kunskapsanvändning i arbetet har
visat sig vara väsentlig men svår att stödja i organisationer
2) att det lärande som sker ofta stannar hos individen snarare än att vidareutvecklas till ett
kollektivt lärande, i den meningen att arbetsgruppen gemensamt utvecklar nya synsätt
och förbättrade arbetssätt som leder till ett organisatoriskt lärande med förändring av
organisatoriska rutiner och processer
3) att en vanlig rutin är att utvärdering genomförs summativt efter en avslutad
utbildningsaktivitet.
Utifrån detta problemområde formulerades frågor inriktade på att undersöka om och hur
denna traditionella utvärderingsform med summativ ansats kan understödja överföringen av
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
3
den erhållna kunskapen till den vardagliga arbetspraktiken hos individen och arbetsgruppen.
Frågorna rör också huruvida utvärderingsansatsen stödjer utveckling av ett s.k. organisatoriskt
lärande, dvs. utveckling av gemensamma synsätt och förbättrade arbetssätt med förändring av
organisatoriska rutiner och processer. Frågeställningarna undersöks i relation till en tidigare
genomförd summativ utvärdering av en kompetensutvecklingsinsats, Kompetensstegen, bland
vård- och omsorgspersonal inom äldreomsorg i en kommun.
Det empiriska exemplet – en lokal utvärdering i en kommun
Kompetensstegen var en statlig satsning med kompetenshöjande insatser för Sveriges
kommuners vård och omsorg om äldre, styrd av direktiv och organiserad som en särskild
nationell kommitté för Kompetensstegen. Regeringen avsatte drygt en miljard kronor till
satsningen och ville stärka kommunernas systematiska kvalitets- och kompetensutvecklingsarbete samt förbättra personalens kompetens och därmed höja standarden och kvaliteten i
äldreomsorgen. Totalt deltog 287 kommuner. Dessa utformade själva sina kompetensutvecklingsinsatser och ansvarade för att utvärdera dem. Den nationella kommittén gav ut ett
vägledningsmaterial med exempel på metoder och tillvägagångssätt för att genomföra
utvärderingarna (Socialdepartementet, 2006a, 2006b; Socialstyrelsen, 2009; Statskontoret,
2009). Med hjälp av sina utvärderingar skulle kommunerna dra nytta av gjorda erfarenheter
och finna former för en mer systematisk kompetensutveckling av äldreomsorgspersonal för att
höja kvaliteten. Kommunernas uppställda mål för kompetensinsatserna behövde utvärderas.
Det lokala utvärderingsarbetet skulle spela en aktiv roll och bidra till underlag för reflektion
och lärande vid arbetsplatsen så att personalens kompetens kunde stärkas och de äldres
situation förbättras. På en arbetsplats kräver det organisering.
Den tidigare gjorda lokala utvärderingen, dvs. det empiriska exemplet, syftade till att få en
bild av vilket lärande som hade uppnåtts, om det tillämpades bland personalen samt om
lärandet hade lett till ökad kompetens hos medarbetare och en förbättring för de äldre genom
Kompetensstegen (Claesson, 2009). Förutsättningarna för genomförandet av utvärderingen
var i huvudsak 1) att extra statligt medel för finansiering av en mer omfattande utvärdering
beviljades lokalt i kommunen i samband med avslut av Kompetensstegens utbildningsinsatser,
vilket inte gav möjlighet att göra en föremätning, samt 2) att utvärderingen – på önskemål
från förvaltnings- och utförarledning – inte skulle ta så mycket tid i anspråk på grund av
signaler om hög arbetsbelastning och tidspress i verksamheterna. Detta medförde att cheferna
och medarbetarna inte kunde delta aktivt i utvärderingen i någon större omfattning. Med
denna givna ram beslutades i samråd mellan utvärderaren och handledaren från Mälardalens
högskola att genomföra en utvärdering med summativ utvärderingsansats och en målresultatmodell för att undersöka lärandemålens uppfyllelse samt vilket lärande och vilken
användning som hade uppnåtts. Emellertid är det känt att en summativ ansats avser att mäta
målen snarare än att fånga upp och bedöma underliggande faktorer i insatsens process, vilka
kan påverka insatsens resultat i form av uppnådda mål (Jess, 2011, 2013; Rogers, 2011).
Därför användes inledningsvis programteori som verktyg. I programteorin identifierades
frågan om huruvida lärandet och den kritiska reflektionen har betydelse för
4
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
kompetensinsatsens resultat. Lärandet antogs kunna påverka både under tiden mellan process
och resultat samt på kort och lång sikt, vilket gör detta viktigt att utvärdera.
Utvärderingen genomfördes med en summativ ansats och i första hand en kvantitativ
metod. För enkätstudien operationaliserades påståenden för bedömningskriterierna på individ, grupp- och organisationsnivå för 1) vuxnas föreställning om sitt lärande, 2) måluppfyllelse
av lärandemål, 3) lärande, med utgångspunkt i transformationsteorin (Mezirow, 1991, 2000)
med instrumentellt, kommunikativt, emancipatoriskt lärande samt 4) användning av kunskap i
arbetet. Utifrån ett urvalsförfarande valde 339 medarbetare med olika professioner att svara på
enkäten. Datainsamlingen genomfördes ca 2–3 månader efter Kompetensstegens slut. Som
komplement till enkätstudien genomfördes kvalitativa gruppintervjuer. I dessa följdes
frågeställningar upp om kompetensutveckling, lärande och kunskapsanvändning med
undersköterskor/vårdbiträden i fyra arbetsgrupper, för att ge en något mer fördjupad bild av
deras perspektiv. Utvärderingsresultaten indikerade en relativt hög måluppfyllelse av
lärandemålen, dvs. deltagarnas egna uppfattningar om utbildningen, t.ex. om utbildningens
innehåll motsvarade deras förväntningar och hade koppling till arbetet, om utbildningen lade
vikt vid att utgå från brukarens behov i arbetet samt om deltagarens tidigare yrkeserfarenheter
och kunskaper togs tillvara under utbildningen. Resultaten visade bland annat att deltagarnas
uppfattning om deras eget instrumentella, kommunikativa och transformativa lärande hade
uppnåtts. Det organisatoriska stödet för kompetensutveckling, lärande och användning ute i
verksamheterna visade sig vara mycket betydelsefullt.
Utifrån enkätsvar och intervjuer urskiljdes ett antal så kallade ”kritiska punkter” vilka
antogs kunna inverka på om en övergång/överföring från utbildningsinsatsens lärande till
kunskapsanvändning på arbetsplatsen blir mer eller mindre effektiv (figur 1).
Figur 1. Kritiska punkter för övergången/överföring mellan lärande och kunskapsanvändning vid
kompetensutveckling i Kompetensstegen (Claesson, 2009, s 42).
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
5
Teoretiska utgångspunkter och tidigare forskning
Om lärande och överföringsprocessen
Att få kompetensutveckling att fungera från formell utbildningsinsats till kunskapsanvändning
i verksamheten inom äldreomsorgen är en krävande och komplex process (Bennich, 2012).
Lärandeteorierna skiljer mellan olika typer av lärande, däribland single- och doublelooplärande, anpassnings- och utvecklingsinriktat lärande, formellt och informellt lärande
samt individuellt lärande, grupplärande och organisatoriskt lärande – dvs. vem som lär i en
arbetsorganisation (Argyris & Schön; 1996; Döös & Wilhelmson, 2005; Ellström, 1992;
Ellström, Ekholm, & Ellström 2003; Granberg, 2009; Granberg & Ohlsson, 2009; Schön,
1987; Wilhelmson, 1998a, 1998b). Det finns flera sätt att förstå grupplärande respektive
organisatoriskt lärande. I den här licentiatuppsatsen innebär organisatoriskt lärande att det
finns en befäst vilja och beredskap, i organisationen, hos ledningen och hos den närmaste
chefen, till verksamhetsutveckling i relation till verksamhetsmålen genom kompetenshöjning
bland omsorgspersonalen. Det handlar om såväl ledningens stöd för goda förutsättningar för
lärande som stöd till förbättring och utveckling av strukturer, rutiner och arbetssätt samt
kompetensutvecklingsstrategier. Därtill kommer stöd för att det individuella lärandet och den
individuella kompetensen hos personalen sprids och samordnas på gruppnivå, vilket gör att
nya sätt att agera i arbetet och i organisationen kan utvecklas. Lärandet bärs upp av en social
interaktion mellan individerna och bygger på en gemensam gruppreflektion som i sin tur
avgör vilket lärande som utvecklas (Kock, 2010a, 2010b; 2010c; Kock & Ellström, 2011;
Larsson, 2004; Senge, 1995). I avhandlingsarbetet tog jag fasta på lärandeteorier utifrån
perspektiven individuellt lärande, grupplärande och organisatoriskt lärande inför analysen om
och hur utformningen och genomförandet av det konkreta utvärderingsexemplet var relevant
ur ett sådant lärandeperspektiv. I analysarbetet ingick att de goda förutsättningar som behövs
för individens och arbetsgruppens utveckling av sitt lärande är betydelsefulla för utvecklingen
av ett organisatoriskt lärande. Att individen och arbetsgruppen tillsammans reflekterar över
sitt utförande i arbetet och uppgiften är en viktig del av en så kallad handlingsgemenskap där
erfarenheter delas mellan individer och där lärande sker (Wenger, 1998). Mezirows (1991,
2000) transformationsteori om utveckling av ett instrumentellt, kommunikativt och
emancipatoriskt lärande utgör en teoretisk utgångspunkt. Teorin handlar om att det sker en
perspektivförändring hos den lärande individen genom att denna kritiskt reflekterar och
därmed förändrar sin föreställningsvärld (Wilhelmson, 1998a, 1998b). En kritisk aspekt är
dock att teorin inte tydligt lyfter fram kontexten för individens, gruppens och organisationens
lärande. En annan teoretisk utgångspunkt är Baldwin och Fords (1988) tidiga
transfereringsmodell som bidragit till forskningen om överföring (figur 2). De identifierade
tre huvudområden i modellen: 1) training input, 2) training output och 3) conditions of
transfer.
6
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
Figur 2. A model of the Transfer Process (Baldwin & Ford, 1988, s 66)
Sammanfattningsvis innehåller överföringsprocessen flera områden och komponenter vars
samspel är nödvändiga och som har direkt eller indirekt påverkan på lärandet samt dess
överföring till arbetspraktiken. Baldwin och Ford kritiserade sin modell med att det behövs
ytterligare forskning om överföring med ett mer interaktivt perspektiv och om svårigheten att
forma värdekriterier. Tidigare forskning hade fokuserat enbart på det första området, training
input (den som lär, design, arbetsmiljö) snarare än att försöka utveckla ett ramverk som
innehåller mer komplexa interaktioner vid utbildningsinsatser.
Om utvärdering
Utvärdering inom socialt arbete är en komplex uppgift (Blom, Morén & Nygren, 2011). Olika
mätverktyg har tidigare utvecklats för att studera överföring av lärande och dess
förutsättningar. Det är dock vanligtvis svårt att utvärdera förändringar i personalens beteenden
utifrån det lärande som skett. Inte minst gäller detta i fråga om utbildningsinsatsens
långsiktiga effekter i verksamheten (Burke & Hutchins, 2008; Burke & Saks, 2009; Holton,
Bates & Ruona, 2000; Kirkpatrick & Kirkpatrick, 2006; Saks & Belcourt, 2006; Saks &
Burke, 2012; Rogers & Williams, 2006).
Utvärderingens utveckling brukar beskrivas med böljor och generationer. Parallellt med
den pågående evidensböljan finns också lärandeböljan som karaktäriseras av dialog,
följeforskning, kunskapande och processtöd (Denvall, 2011; Vedung, 2006, 2010). Sjöberg
(2008) refererar till Karlsson som beskriver att den rådande utvärderingstrenden från år 2000
och framåt rör sig om två parallella paradigm, närmare bestämt den summativa och den
formativa utvärderingen. Inom den summativa utvärderingsansatsen används måluppfyllelsemodellen i stor utsträckning som anses fokusera på och bedöma den totala effektiviteten efter
att en insats har avslutas. Den är därför viktig som underlag för beslutsfattare och finansiärer
för beslut om att fortsätta eller att avsluta ett program eller projekt (Patton, 2008). En
summativ utvärdering kräver en avstämning mot tydliga kriterier som ligger till grund för
bedömningen. Kriterierna kan vara svåra att utveckla om målen för det som ska bedömas är
oprecisa och svåra att tyda (Karlsson, 1999; Karlsson Vestman, 2011; Vedung, 1998, 2002,
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
7
2011). Kompetensutvecklingsinsatser kan till exempel utvärderas motsvarande Four Levelsmodellens fyra nivåer, och då oftast den första och andra nivån, reaction och learning, dvs.
deltagarens upplevelser av en utbildning och vad denna anser sig ha lärt sig (Kirkpatrick &
Kirkpatrick, 2006). I den formativa utvärderingsansatsen fokuseras mer på att följa vad som
händer under processen och hur detta sker. I ansatsen görs bedömningar under processens
gång för att kunna justera i insatsen medan denna pågår. Centralt är lärandeperspektivet,
dialogen, interaktionen och deltagandet i utvärderingsaktiviteter och omfattar både individer
och organisationer (Karlsson, 1999; Karlsson Vestman, 2009, 2011; Patton, 2008).
Forskning lyfter fram programteorin som ett viktigt utvärderingsredskap för att tydliggöra
underliggande mekanismer som antas generera händelser som påverkar insatsens resultat.
Programteorin guidar oss fram till nödvändiga och relevanta utvärderingsfrågor, frågor som
om de besvaras kan leda till bättre kunskap och utveckling av verksamheten (Denvall, 2011;
Donaldson, 2007; Jess, 2011, 2013; Rogers, 2000; Rogers, Petrosino, Huebner & Hacsi, 2000;
Rogers & Williams, 2006; Weiss, 1998). En utgångspunkt i denna licentiatavhandling är
programteorins möjligheter att i en given kontext, som vid utvärdering av kompetensutveckling bland personal i äldreomsorgen, ta oss under ytan och fånga upp komplexa
förutsättningar som inverkar på det tänkta resultatet av en utbildningsinsats.
Avhandlingens teoretiska ramverk
För avhandlingens analysarbete utvecklades en tolkningsram utifrån teorier och tidigare
forskning. I den illustreras komplexiteten med de olika förutsättningar för
kompetensutveckling, lärande och dess överföringsprocess som behöver samspela och därmed
också komplexiteten i att utvärdera denna process (figur 3) (Claesson, 2015).
Figur 3. Avhandlingens tolkningsram – förutsättningar och villkor vid kompetensutveckling och dess
transformering av lärande till kunskapsanvändning (Claesson, 2015, s 76).
8
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
Tolkningsramen kan ses som en programteori. Varje del i programteorin kan också innefatta
andra programteorier, vilket gör kompetensutveckling och överföring av lärande komplext att
utvärdera. Till exempel pågår parallella lärandeloopar på olika nivåer som är beroende av sina
lärandemiljöer och strategier för kompetensutvecklingen på arbetsplatsen.
I avhandlingens analys undersöks styrkor och svagheter hos den summativa
utvärderingsansatsen samt alternativ till den. Utgångspunkt tas i förutsättningarna och
villkoren ovan, vilka anses påverka lärandet och dess överföring samt vilket lärande och
vilken kunskapsanvändning som uppnås vid kompetensutveckling av personal. Var kommer
den summativa ansatsen in i processen? Den lokala utvärderingens bedömningskriterier för
lärande analyseras mot bakgrund av lärandeteorier, såsom bland annat Mezirows (1991, 2000)
transformationsteori, som talar för att individen transformerar sitt lärande i olika
lärandedomäner genom kritisk reflektion. Utvärderingens utformning och genomförande
analyseras i relation till om och på vilket sätt utvärderingen främjat dels single- och doublelooplärande och dels individens och arbetsgruppens lärande från utbildningsinsats till
kunskapsanvändning i arbetet. Organisatoriskt lärande förutsätter beredskap och en positiv
inställning på ledningsnivå till kompetensutveckling, organisatoriska förändringar och
förbättringsarbeten. Visar utvärderingen om en sådan insikt och beredskap fanns? Diskussion
förs om utvärderingen förmått stödja deltagarnas överföringsprocess vid kompetensutvecklingsinsatsen. Den summativa ansatsens styrkor och svagheter diskuteras i förhållande
till de förutsättningar och den komplexitet som råder vid överföring av lärande till användning
i arbetet. Frågan är huruvida den summativa ansatsen förmår fånga upp och stödja denna
överföring hos individen, arbetsgruppen och i organisationen?
Metod
Avhandlingsarbetet bedrevs utifrån min roll som kommundoktorand. Mina dubbla roller, dels
som utbildningsledare och intern utvärderare inom kommunal verksamhet och dels som
kommundoktorand, gav mig goda erfarenheter. Dessa olika roller diskuteras vidare i
avhandlingen.
Utgångspunkter
Från ett metateoretiskt och hermeneutiskt perspektiv analyserades den tidigare gjorda
summativa utvärderingen, dvs. det konkreta utvärderingsexemplet från kommunal
äldreomsorg i Sverige som ägde rum inom ramen för Kompetensstegen under år 2006–2008.
Analysen gjordes utifrån forskning och teorier om kompetensutveckling, lärande och
överföringsprocessen, summativ och formativ utvärderingsansats, programteori samt den
komplexitet som råder kring dessa frågor. Det är viktigt att framhålla att fokus var att granska
den summativa utvärderingsansatsens styrkor och svagheter för ändamålet, och inte primärt
att kritisera eller bedöma dess tillämpning i förvaltningen där empirin hämtats. Utgångspunkt
togs i synen på kausalitet som återfinns hos kritisk realism, dvs. att verkligheten har ett djup
med olika verklighetsnivåer. Verkligheten är inte transparent och kan inte enkelt observeras. I
stället innehåller den krafter och mekanismer som bara kan upptäckas indirekt via effekterna
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
9
som de orsakar. Kunskap som förklarar olika skeenden behöver därför sökas under den
empiriskt observerbara ytan. Uppgiften blir att ”blottlägga de mekanismer som genererar det
fenomen som studeras” (Danermark, Ekström, Jakobsen & Karlsson, 2003, s 14; Ekström,
1993). Vidare: sådana generativa mekanismer leder till effekter i samklang med kontextuella
förhållanden, dvs. mekanismen aktiveras och leder till effekter i en unik kontext i ett möte
med andra kausala mekanismer/strukturer. Utifrån de tre grundläggande faktorerna kontext,
mekanismer och resultat/effekt måste utvärderarna bygga sina orsaksförklaringar kring det
förlopp som utvärderas (Blom & Morén, 2010; Pawson & Tilley, 1997).
Vid utvärdering av olika insatser är man intresserad av att finna ut huruvida resultaten har
uppståtts som följd av insatsen eller kanske av någon annan inverkande faktor. Med en
positivistisk experimentell design blir det därmed svårt att hävda att resultaten verkligen är en
följd av insatserna. Insatsen blir till en ”svart låda”. Man studerar ”input” och ”output” men
inte vad som sker däremellan. Att försöka öppna denna låda är den programteoretiska
utvärderingens uppgift. Utvärderingen hjälper då till att fördjupa analysen genom att gå under
ytan och visa hur insatsens olika delar hör samman. Det handlar om att i någon mån utveckla
en slags förklarad kunskap om innehållet i en insats, samt hur och på vilket sätt innehållet har
betydelse för resultatet. Insatsen illustreras därmed som en grå låda, som till åtminstone viss
del synliggör innehållet i processen och dess betydelse för resultatet (Scriven i Blom &
Morén, 2010, 2011). Programteorin vid utvärdering har sammanfattningsvis ambitionen att
utveckla kausala generativa samband mellan input och output genom att studera
underliggande mekanismer, deras kontext och relationerna dem emellan. Dessa samband har
en annan betydelse än orsakssambanden inom positivistiska kausalmodeller med koppling till
experimentell utvärderingsdesign. Programteori bygger följaktligen på en kausalsyn som
handlar om mekanismer och kontext (Jess, 2013; Rogers, 2011). Det skulle exempelvis kunna
innebära att det är komplext att utvärdera kompetensutvecklingen och mäta vilka effekter som
insatsen har gett, eftersom kompetensutvecklingen inte sker som ett enkelt kausalt samband
(Kock, 2010b). Avhandlingens tolkningsram (figur 3) illustrerar en komplexitet med olika
förutsättningar och villkor hos individen, i utbildningsinsatsen och på arbetsplatsen i
kontexten för kommunal äldreomsorg. Dessa förutsättningar behöver samspela med varandra
så att de stödjer deltagarnas överföring av lärandet och bidrar till att resultat och
organisatoriskt lärande kan uppnås. Vid utvärdering av överföringsprocessen behöver hänsyn
tas till denna komplexitet. I det konkreta utvärderingsexemplet fanns en medvetenhet om att
den summativa ansatsen i sig har svårt att synliggöra underliggande faktorer i en process som
kan påverka insatsens resultat. Därför tillämpades programteori som ett komplement till den
summativa ansatsen i ett försök att fånga upp lärandet och dess användning. I min ambition
att närma mig avhandlingens fråga var det viktigt att ta hänsyn till detta när det gäller
kompetensutvecklingsinsatser. Därför antog jag ett kritiskt realistiskt och programteoretiskt
perspektiv i ett försök att öppna den ”svarta lådan” för kopplingen mellan utvärdering och
överföringsprocess.
10
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
Slutsatser och diskussion
Analysen av licentiatavhandlingens konkreta utvärderingsexempel från kommunal
äldreomsorg pekade på ett antal svagheter hos den summativa ansatsen och dess tillämpning i
relation till processen med att överföra lärande till kunskapsanvändning. Dessa handlade
bland annat om problemet att i förväg kunna tydliggöra och bestämma bedömningskriterierna,
exempelvis i kompetensutvecklingsinsatsens kontext, vilket kanske blir tydligt först under
själva utbildningsaktiviteten och efter denna i arbetet. Ett annat problem är att överföringsprocessen och förutsättningarna i den och i dess kontext fortsätter att vara dolda i den
summativa ansatsen. Redan från start fanns en medvetenhet om dessa svagheter. Det gjorde
att man i den tidigare gjorda utvärderingen i möjligaste mån försökte kompensera för dessa,
bland annat genom att använda programteori. Den summativa ansatsens ramar och de
kontextuella förutsättningar som den granskade utvärderingen fick på ett nationellt och lokalt
plan visade sig inte vara tillräckliga som stöd till överföringen av lärandet vid kompetensutvecklingsinsatserna. I grunden handlar det om huruvida den summativa ansatsen kan utgöra
ett stöd för den avgörande överförinprocessen. I detta fall är frågan huruvida deltagarnas
lärande via formella utbildningar/kurser överförs till kunskapsanvändning i arbetspraktiken på
såväl individuell nivå som grupp- och organisationsnivå.
Avhandlingens centrala slutsatser är följande:
 Den summativa ansatsen tar inte hänsyn till processen och dess förutsättningar, i detta
fall processen för överföring av lärande
 Den summativa ansatsen stödjer inte deltagarnas kritiska reflektion och lärande i
överföringsprocessen
 Tidsramarna och resurserna i kompetensutvecklingsinsatsens kontext tillåts inverka på
valet av utvärderingsansats.
Ett problem som utvärderaren kan stöta på vid summativ ansats är att målen som ska
utvärderas kan vara svåra att precisera och operationalisera (Karlsson, 1999, Karlsson
Vestman, 2011; Vedung, 1998, 2011). Därför behövs ett gediget förarbete och kunskaper om
såväl insatsen som ska utvärderas som den kontext som den sker inom. Då den summativa
ansatsen ofta mäter kvantifierbara mål finns risken att en utvärderings enkätfrågor kan bli
relativt ytliga. Insikten om dessa operationaliseringssvårigheter ledde till att jag valde att
tillämpa programteori och försöka komma åt och synliggöra vissa av de förutsättningar som
kan finnas dolda i överföringsprocessens ”svarta låda” vid genomförandet av utvärderingen.
Trots ett omfattande operationaliseringsarbete visar analysen av den tidigare gjorda
utvärderingen att det är svårt att utveckla bedömningskriterier som fångar upp lärandets och
överföringsprocessens samtliga förutsättningar och villkor. Ett konstaterande är att den
summativa ansatsen inte förmår öppna processens ”svarta låda”, utan reducerar innehållet i
överföringsprocessen till de problem som input-output-modellen för med sig (Pawson &
Tilley, 1997). Det verkar komplext och svårt att ringa in, konstruera och formulera så exakta
bedömningskriterier så att en utvärdering med summativ ansats förmår fånga upp och mäta
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
11
samtliga delar av denna kompetensutvecklingsprocess av lärande, dess transformering till
kunskapsanvändning och dess kontext.
Vid utvärdering med summativ ansats gör man som regel en bedömning efter avslutad
insats med en rapport och återkoppling till beställare och/eller beslutsfattare (Patton, 2008;
Vedung, 1998; 2002, 2011). Vid kompetensutvecklingsinsatser inryms då vanligtvis ingen
organiserad utvärderingsaktivitet där deltagarna aktivt deltar under och efter insatsen. En
summativ ansats antas följa en enkel, linjär modell i stället för en mer komplicerad eller
komplex modell som inkluderar processer (Rogers, 2011). I detta fall är processen
överföringen av lärandet. Den summativa ansatsen följer inte den pågående processen genom
att identifiera och tydliggöra påverkan från olika komplexa förutsättningar eller dess förlopp i
ena eller andra riktningen. På så vis blir inte ansatsen öppen för hur olika mekanismer och
strukturer verkar i kompetensutvecklingsinsatsen och i deltagarnas överföring av lärandet.
Ansatsen förmår då inte att under processen fånga upp deltagarnas nödvändiga kritiska
reflektion för hur ett formellt lärande (via kurser/fortbildning) överförs till individen och till
ett grupplärande som sätter avtryck i arbetspraktiken. Det innebär att individen och
arbetsgruppen då inte blir delaktiga i själva utvärderingsaktiviteten. Möjligheten att ifrågasätta
både sitt eget sätt att utföra arbetet och exempelvis rutiner och arbetssätt i organisationen
uteblir, men enligt tidigare forskning är detta ifrågasättande nödvändigt för överföringen. I
forskningen framhålls just den kritiska reflektionen som nödvändig för utvecklingsinriktat
lärande och double loop-lärande (Ellström, 1992; Granberg & Ohlsson, 2009; Larsson, 2004;
Mezirow, 2000; Senge, 1995). Utvärderingsaktiviteten kan därmed inte sägas bli optimal för
deltagarnas lärande. Avhandlingens empiriska exempel har åskådliggjort att oavsett vissa
kompensatoriska åtgärder (programteori) bidrog inte den summativa ansatsen till att fånga
upp och stödja deltagarnas successiva utveckling och kritiska reflektion kring sitt lärande och
överföringen av nyvunna kunskaper till arbetet under utbildningens gång. Detta gällde även
efter utbildningen när deltagarna var tillbaka i sin arbetspraktik. Analysen pekar även på
behovet av alternativa utvärderingsansatser som är formativa och som följer processen som
sådan, som stödjer lärande och utveckling men som också är kopplade till arbetet och dess
verksamhetsutveckling (Svensson & Sjöberg, 2009).
Tidsramarna och verksamheternas resursinsatser visade sig ha inverkan på vilken typ av
utvärderingsansats som tillämpades vid kompetensutvecklingsinsatserna i äldreomsorgen. Det
handlar om tidsramar, dels i samband med beredningen av en kompetensutvecklingsinsats,
och dels vilket tidsutrymme och vilken ork som praktiskt finns för utvärderingsaktiviteter på
arbetsplatserna. Uppdragsgivarens (staten) givna tidsramar för en satsning och en
organisations tidsramar och resurser verkar därmed väga tyngre vid valet av
utvärderingsansats än risken att inte få en långsiktig behållning. Följden verkar därför kunna
bli att man inte väljer en utvärderingsansats som ger bättre förutsättningar för
överföringsprocessen i verksamheterna. Det är svårt att dra andra slutsatser än att
utvärderingen, trots den goda avsikten vad gäller vägledningsmaterialet till kommunerna, från
statens sida här verkar handla om ett rutinmässigt beteende vad gäller utvärderingar (Petersén
och Olsson, 2013).
12
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
Alternativ ansats
Slutsatserna pekar på att den summativa utvärderingsansatsen, när det gäller överföring av
lärande till kunskapsanvändning vid kompetensutvecklingsinsatser, inte förmådde fånga upp
denna process med dess komplexitet av olika förutsättningar och villkor. Det är problematiskt
eftersom utvärderingen bör vara ett viktigt och naturligt inslag i kompetensutvecklingen för
att stödja den kritiska reflektionen hos den enskilda individen och arbetsgruppen i
överföringen av lärandet. Analysen visar att alternativa utvärderingsansatser behövs i
samband med kompetensutvecklingsinsatsen, vilka till sin karaktär är formativa och kan ta
fasta på och stödja själva lärandet och kompetensutvecklingsprocessen i sin helhet, från
utbildning till användning i arbetet. Hur ska då en alternativ utvärderingsansats kunna
uppfylla dessa krav?
Fördjupade kunskaper om både transformeringsprocess och utvärderingsansatser genom
mitt avhandlingsarbete samt den gjorda analysen av det konkreta utvärderingsexemplet ledde
fram till fem utgångspunkter. Dessa tar fasta på problematiken i att vid utvärdering både
rapportera resultat och att vara stödjande i överföringsprocessen vid kompetensutveckling:
 förutsättningar – tidsramar och resursinsats
 formativ ansats – utvärderingsaktiviteter som stöd till kritisk reflektion och lärande,
individuellt och i grupp
 programteori som teoretisk modell
 värdering – kvantitativ och kvalitativ interaktion
 kontinuerlig utvärdering av överföring av lärande som en del i ett långsiktigt
kompetensförsörjningsarbete.
En organisation som har en beredskap för alternativa utvärderingsansatser som är förankrade
och finns ”mer naturligt” i befintliga verksamhetsprocesser bör ha bättre möjligheter att
uppfylla ovan nämnda krav på utvärdering. Som ett led i ett systematiskt och långsiktigt
kompetensarbete
skulle
formativa
och
lärande
utvärderingsansatser
vid
kompetensutvecklingsinsatser troligen lättare kunna planeras in och genomföras med god
framförhållning på arbetsplatserna.
Den formativa ansatsen är mer inriktad på processen och på att kunna göra förbättringar
under pågående verksamhet (Karlsson Vestman, 2011; Patton, 2008). Det framstår som
nödvändigt med organiserade utvärderingsaktiviteter för processen hos en kompetensutvecklingsinsats, dvs. under och efter, för både kort- och långsiktigt bibehållande av
insatsens lärande och användning. Om det i stället hade varit möjligt för deltagarna att med
stöd av utvärderaren synliggöra och studera hinder och möjligheter för sin egen och gruppens
överföring av lärande till arbetet och att kritiskt reflektera över detta i överföringsprocessen
hade det förmodligen kunnat vara ett stöd. I den formativa utvärderingsansatsen kommer
processen i fokus och kan då bättre utgöra ett stöd till den så nödvändiga kritiska reflektionen
och transformeringen av lärande till kunskapsanvändning. Att stödja och stimulera gruppens
kritiska reflektion kring dess gemensamma lärande, där perspektiv och erfarenheter delas och
där gruppen gemensamt formulerar hur den nyvunna kunskapen ska överföras och användas i
det praktiska arbetet, kan ses utgöra en styrka i en alternativ ansats (jfr Wenger, 1998).
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
13
Programteori som teoretisk modell vid utvärdering av kompetensutvecklingsinsatser kan
användas aktivt och genomgående som stödjande verktyg i kommunikationen med en
verksamhet/arbetsplats samt dess medarbetare och chef. Med stöd av utvärderaren kan
arbetsgruppen få möjlighet att tillsammans arbeta fram en lokal programteori för
arbetsplatsen. I arbetet med att börja öppna den ”svarta lådan” skulle inverkande
förutsättningar och villkor då kunna synliggöras i den aktuella kontexten för överföringen av
lärandet för respektive arbetsgrupp (Scriven refererad i Blom & Morén, 2011; Pawson &
Tilley, 1997). Detta öppnar för att gemensamt och löpande utvärdera överföringen av lärandet
på arbetsplatsen med hänsyn till den komplexitet av förutsättningar och villkor som forskning
och teorier framhåller som nödvändigt för en mer stabil överföringsprocess (figur 3).
Programteorin skulle sammantaget kunna användas som ett konkret reflektionsredskap i
stödet för överföringsprocessen vid kompetensutvecklingsinsatser i äldreomsorg, i bästa fall
som en integrerad del i organisationens långsiktiga kompetensarbete och verksamhetsutveckling.
Den summativa ansatsen med dess måluppfyllelse lämnar i huvudsak kvantitativa
upplevelsemått efter en avslutad insats till beslutsfattare/ledning. Ur perspektivet ”långsiktig
behållning av lärande” skulle det som den summativa ansatsen främst bidrar med kanske i
första hand kunna ses som en kortsiktig lösning för utvärdering. Den mäter måluppfyllelse –
som i sig är viktigt, men som visar sig vara otillräckligt vad gäller stöd till överföring av
lärande vid kompetensutvecklingsinsatser. I den formativa ansatsens inriktning är lärandet
centralt och fokuserar i stället på insatsprocessen, vad som sker och hur. Att både kunna
rapportera måluppfyllelse vid en organisations kompetensutvecklingsinsatser och fånga upp
och stödja överföringsprocessen för lärandet framstår som nödvändigt i äldreomsorgen.
Organisationer bör därför öppna upp för ökad interaktion mellan kvantitativa bedömningar av
måluppfyllelse och kvalitativa värderingar med stöd till kritisk reflektion över lärande,
överföringsprocess och kunskapsanvändning. Denna interaktion kan ses följa 2000-talets
utvärderingstrend, som Karlsson beskriver som två pågående parallella synsätt: den
summativa ansatsens mål, medel och effekter respektive den formativa ansatsen med fokus på
lärande för individ och organisation (refererad i Sjöberg, 2008; Sjöberg, Brulin & Svensson,
2009).
Avslutning – utvärdering av överföringsprocessen som del i ett långsiktigt kompetensarbete
Denna licentiatavhandling visar att utvärderingens ansats, utformning och genomförande
följaktligen spelar en mycket viktig roll vid kompetensutvecklingsinsatser och i deltagarnas
överföringsprocess, vilket stärker tidigare forskning. Eftersom det som ska utvärderas rör
personalens kompetensutveckling är det motiverat och rimligt att även själva
utvärderingsinsatserna kan värdera och bidra till deltagarnas överföring av lärandet till
arbetspraktiken. Utvärderingen behöver därför fungera som ett stödjande verktyg för
utveckling av deltagarnas lärande och användning av kunskaperna i arbetspraktiken i ett
långsiktigt kompetensutvecklings- och försörjningsperspektiv. Med utgångspunkt i bland
annat Baldwin och Fords (1988) ursprungliga transfereringsmodell samt teorier och tidigare
forskning (figur 2 och 3) bör utvärderingsaktiviteter komma in och genomföras som en del av
lär- och överföringsprocessen – som ett led i att synliggöra och stimulera goda förutsättningar
hos individen, i utbildningens design, i arbetsmiljön och i kontexten för de som lär samt
14
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
kopplingarna mellan dessa områden. För en mer stabil och lyckad överföringsprocess och
verksamhetsutveckling över tid behövs att den formativa utvärderingsansatsen ges stöd och
förutsättning att kunna genomföras i organisationerna.
Mot bakgrund av dagens styrmodeller (NPM) och dess konsekvenser, däribland
tidsåtstramningar i verksamheterna, kvarstår dock svårigheten att skapa tillräckligt tids- och
handlingsutrymme för arbetsgrupper i äldreomsorg att göra gemensamma reflektioner
(Ellström et al. 2003; Hood, 1995; Szebehely, 2006). Att välja och tillämpa en formativ
utvärderingsansats försvåras utifrån äldreomsorgens tidspress, krav och kontext. Problemet
med hårt tidspressade verksamheter hindrar oftast dessa att skapa och stödja viktiga
förutsättningar för överföringsprocessen hos individ och arbetsgrupp, i utbildningsinsatsernas
utformning och i personalens arbetsmiljö. Detta problem öppnar samtidigt för utvärderingsfrågan ytterligare. En formativ och lärande utvärderingsansats behöver förutsättningar,
däribland avsättning av tid och resurser för arbete med dessa frågor i verksamheterna. Detta
talar sammantaget för att äldreomsorgens arbetsgivare och företrädarna för offentlig
förvaltning bör ta ytterligare krafttag för att, förutom den summativa ansatsens
måluppfyllelsebedömningar, också i större utsträckning organisera för formativa och lärande
utvärderingsansatser som bättre fångar upp och stödjer de enskilda deltagarnas och
arbetsgruppernas viktiga överföringsprocess vid kompetensutvecklingsinsatser.
Referenser
Argyris, C., & Schön, D. (1996). Organizational Learning II: Theory, Method, and Practice.
Addison-Wesley: Reading, MA.
Baldwin, T. T. & Ford, J. K. (1988). Transfer of training: A review and directions for future
research. Personnel Psychology, 41, s 63-105.
Bennich, M. (2012). Kompetens och kompetensutveckling i omsorgsarbete. Synen på
kompetens och lärande – i spänningsfältet mellan
samhälleliga förutsättningar och organisatoriska villkor. Doktorsavhandling. Linköpings
universitet: Institutionen för beteendevetenskap och lärande.
Blom, B., & Morén, S. (2010). Explaining Social Work Practice – The CAIMeR Theory.
Journal of Social Work, 10, s 98-119.
Blom, B., & Morén, S. (2011). Kritisk realistisk utvärdering. I B, Blom, S. Morén & L,
Nygren (Red.), Utvärdering i socialt arbete. Utgångspunkter, modeller och användning (s
139-154). Stockholm: Natur och Kultur.
Blom, B., Morén, S., & Nygren, L. (2011). I Utvärdering i socialt arbete. B. Blom, S. Morén.,
& L. Nygren (Red.), Utvärdering i socialt arbete. Utgångspunkter, modeller och
användning (s 17-33). Stockholm: Natur och Kultur.
Burke, L. & Hutchins, H. (2008). ‘A study of best practices in training transfer and proposed
model of transfer’, Human Resource Development Quarterly, 19, s 107–28.
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
15
Burke, L. A., & Saks, A. M. (2009). Accountability in Training Transfer: Adapting
Schlenker´s Model of Responsibility to a Persistent but Solvable Problem. Human
Resource Development Review, 8, s 382-402.
Claesson, A. (2009). En utvärdering av Kompetensstegen i Eskilstuna kommun, 2009.
Lärande – Användning. – Kompetensförstärkning för medarbetare och förbättring för de
äldre. Eskilstuna: Eskilstuna kommun i samverkan med Mälardalens högskola.
Claesson, A. (2015). Utvärdering som stödjande verktyg vid kompetensutveckling. –
överföring av lärande och kunskapsanvändning bland personal i äldreomsorg.
Licentiatuppsats. Örebro: Örebro Universitet, Örebro Studies in Social Work 15.
Danermark, B., Ekström, M, Jakobsen, L., & Karlsson, J. Ch. (2003). Att förklara samhället.
Lund: Studentlitteratur.
Denvall, V. (2011). Det sociala utvärderingslandskapet. I B, Blom, S. Morén & L, Nygren
(Red.), Utvärdering i socialt arbete. Utgångspunkter, modeller och användning (s 37-54).
Stockholm: Natur och Kultur.
Donaldson, S. I. (2007). Program theory-driven evaluation science: Strategies and
applications. New York: Lawrence Erlbaum Associates.
Döös, M., & Ohlsson, J. (1999). Pedagogik i arbetslivet - om pedagogiska ingripanden i
organisationer för att främja utveckling av kompetens. I Konst, kultur, vetenskap, Stiftelsen
Södertörns Sommaruniversitet, s 26-29.
Döös, M., & Wilhelmson, L. (2005). Kollektivt lärande. Om betydelsen av interaktion i
handling och gemensam handlingsarena. Pedagogisk forskning i Sverige, 10, s 209-226.
Ekström, M. (1993). Sociologiska förklaringar och variabelanalysens gränser. En kritisk
analys med exempel från medicinsk sociologi. Sociologisk Forskning, 2, s 26-58.
Ellström P-E. (1992). Kompetens, utbildning och lärande i arbetslivet. Stockholm: Norstedts
Juridik AB.
Ellström, P-E. (2009). Användning och nytta av utvärderingar: ett lärandeperspektiv. I L.
Svensson, G. Brulin, S. Jansson, & K. Sjöberg (Red.), Lärande utvärdering genom
följeforskning (s 103-129). Lund: Studentlitteratur.
Ellström, E., Ekholm, B., & Ellström, P-E. (2003). Verksamhetskultur och lärande. Om
äldreomsorgen som lärandemiljö. Lund: Studentlitteratur.
Granberg, O. (2009). Lära eller läras. Om kompetens och utbildningsplanering i arbetslivet.
Lund: Studentlitteratur.
Granberg, O., & Ohlsson, J. (2009). Från lärandets loopar till lärande organisationer. Lund:
Studentlitteratur.
Hertting, N., & Vedung, E. (2009). Den utvärderingstäta politiken. Styrning och utvärdering i
svensk storstadspolitik. Lund: Studentlitteratur.
16
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
Holton, E. F., Bates, R. A., & Ruona, W. E. A. (2000). Development of a Generalized
Learning Transfer system Inventory. Human Resource Development Quarterly, 11, s 333360.
Hood, C. (1995). ”The ’New Public Management’ in the 1980s: Variations on the Theme”
Accounting, Organizations and Society, 20, s 93-109.
Jess, K. (2011). Programteori för utvärderingsverkstäder. I B.G. Eriksson, & P-Å. Karlsson
(Red.), Verkstäder för utvärdering i välfärdsverksamheter – Erfarenheter från några
svenska FoU-enheter och högskolor (s 35-43).
Jess, K. (2013). Evaluating complex interventions – a challenge. Paper presented at the 27th
Annual Conference of the American Evaluation Association, Washington. Hämtad 23
januari, 2014 från http://comm.eval.org/communities/resources/viewdocument/?
DocumentKey=74b845e7-b0e5-427f-b145-dc059ae602cd
Karlsson, O. (1999). Utvärdering – mer än metod. Tankar och synsätt i
utvärderingsforskningen. Stockholm: Svenska kommunförbundet.
Karlsson Vestman, O. (2009). Meningen med utvärdering. I L. Svensson, G. Brulin, S.
Jansson, & K. Sjöberg (Red.), Lärande utvärdering genom följeforskning (s 55-80). Lund:
Studentlitteratur.
Karlsson Vestman, O. (2011). Utvärderandets konst. Lund: Studentlitteratur.
Kirkpatrick, D. L., & Kirkpatrick, J. D. (2006). Evaluating training programs. The four
levels. San Francisco, CA: Berrett-Koehler Publishers.
Kock, H. (2010a). Kompetensutveckling – strategier och metoder. I H, Kock (Red.),
Arbetsplatslärande – att leda och organisera kompetensutveckling (s 99-116). Lund:
Studentlitteratur.
Kock, H. (2010b). Kompetensutveckling i företag – motiv och drivkrafter. I H, Kock (Red.),
Arbetsplatslärande – att leda och organisera kompetensutveckling (s 81-97). Lund:
Studentlitteratur.
Kock, H. (2010c). Kompetensutveckling på arbetsplatsen – sammanfattande slutsatser och
reflektioner. I H, Kock (Red.), Arbetsplatslärande – att leda och organisera
kompetensutveckling (s 161-192). Lund: Studentlitteratur.
Kock, H., & Ellström, P-E. (2011). Formal and integrated strategies for competence
development in SMEs. Journal of European Industrial Training, 35, s 71-88.
Larsson, P. (2004). Förändringens villkor. En studie av organisatoriskt lärande och
förändring inom skolan. Doktorsavhandling. Stockholm: Handelshögskolan.
Mezirow. J. (1991). Transformative dimensions of adult learning. San Francisco, California:
Jossey-Bas.
Mezirow, J. (2000). Learning to Think Like an Adult: Core Concepts of Transformations
Theory. In J. Mezirow. (Ed.) Learning as transformation: critical perspectives on a theory
in progress (s 3-33). San Francisco, California: Jossey-Bas.
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
17
Patton, M. Q. (2008). Utilization-Focused Evaluation. Thousand Oaks: SAGE.
Pawson, R., & Tilley, N. (1997) Realistic Evaluation, London: Sage.
Petersén, A, C., & Olsson, J, I. (2013). An evaluation paradox in social work? An empirical
study of evaluation use in connection with temporary programmes in Swedish social work.
European Journal of Social Work, s 1-17.
Regeringen. (2015). Mål för social omsorg. Omsorg om äldre människor. Hämtad 1
september 2015 från http://www.regeringen.se/regeringens-politik/social-omsorg/mal-forsocial-omsorg
Rogers, P. (2000). Causal Models in Program Theory Evaluation. New Directions for
Evaluation, 87, s 47-55.
Rogers. P. (2011). Programteori som verktyg för utvärdering. I B, Blom, S. Morén & L,
Nygren (Red.), Utvärdering i socialt arbete (s 122-138). Stockholm: Natur och Kultur.
Rogers, P., Petrosino, A., Huebner, T., & Hacsi, T. (2000). Program theory evaluation:
Practice, promise, and problems. New Directions for Evaluation, 87, s 5-13.
Rogers, P. J., & Williams, B. (2006). Evaluation for practice improvement and organizational
learning. In I, F, Shaw, J, C, Greene & M, M, Mark (Eds.), The Sage Handbook of
Evaluation (s 76-97). London: The Cromwell Press Ltd.
Saks, A. M., & Belcourt, M. (2006). An investigation of training activities and transfer of
training in organizations. Human Resource Management, 45,
s 629-648.
Saks, A. M., & Burke, L. A. (2012). An investigation into the relationship between training
evaluation and the transfer of training. International Journal of Training and Development,
16, s 118-127.
Schön, D. A. (1987). Educating the reflective practitioner: toward a new design for teaching
and learning in the professions. San Francisco: Jossey-Bass.
Senge, P. (1995). Den lärande organisationens konst. Falun: Nerenius & Santérus förlag.
Sjöberg, K. (2008). Lärande utvärdering/följeforskning – femte generationens utvärdering?
Paper från kurs Lärande utvärdering/följeforskning, Linköpings universitet, ESF-rådet,
Nutek. Hämtad 3 juli, 2014 från http://www.apel-fou.se/wpcontent/uploads/2014/06/Paper-femte-gen1208.pdf
Sjöberg, K., Brulin, G., & Svensson L. (2009). I L. Svensson, G. Brulin, S. Jansson, & K.
Sjöberg (Red.), Lärande utvärdering genom följeforskning
(s 259-279). Lund: Studentlitteratur.
Socialdepartementet. (2006a). Kompetensstegen. Stockholm: Socialdepartementet.
Socialdepartementet. (2006b). Vägledning vid utvärdering av Kompetensstegen. Stockholm:
Socialdepartementet.
18
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
Socialstyrelsen. (2009). Personalutbildning i äldreomsorg – blir den till nytta för de äldre?
En utvärdering av Kompetensstegen. Stockholm: Socialstyrelsen, Institutet för utveckling
av metoder i socialt arbete.
Socialstyrelsen. (2011a). Ledningssystem för kvalitetsarbete. Stockholm: Socialstyrelsen.
Socialstyrelsen. (2011b). Information om Socialstyrelsens nya föreskrifter och allmänna råd
om ledningssystem för systematiskt kvalitetsarbete (SOSFS 2011:9). Stockholm:
Socialstyrelsen.
Socialstyrelsen. (2012). Rätt kompetens hos personal i verksamheter för personer med
funktionsnedsättning. Stockholm: Socialstyrelsen.
Socialstyrelsen. (2013). Tillståndet och utvecklingen inom hälso- och sjukvård och
socialtjänst. Lägesrapport 2013. Stockholm: Socialstyrelsen.
Socialstyrelsen. (2015). Tillståndet och utvecklingen inom hälso- och sjukvård och
socialtjänst. Lägesrapport 2015. Stockholm: Socialstyrelsen.
Statskontoret. (2009). Kompetensstegens organisering – effektiv hantering av stöd till
kommunerna? (2009:15). Stockholm: Stadskontoret. Hämtad 3 juni, 2014 från
http://www.statskontoret.se/upload/Publikationer/2009/200915.pdf
Svensson, L., & Sjöberg, K. (2009). Utvärdering som stöd för hållbar utveckling. I L.
Svensson, G. Brulin, S. Jansson, & K. Sjöberg (Red.), Lärande utvärdering genom
Sveriges Kommuner och Landsting. (2011). Här finns Sveriges viktigaste jobb. En
rekryteringsprognos för välfärdssektorn. Stockholm: Sveriges Kommuner och Landsting.
Sveriges Kommuner och Landsting. (2014). Så möter vi rekryteringsutmaningarna i vården
och omsorgen. Stockholm: Sveriges Kommuner och Landsting.
Swedish Standards Institute. (2011). Kompetensförsörjning. Från strategi till resultat.
Stockholm: SIS Förlag.
Szebehely, M. (2006). Omsorgsvardag under skiftande organisatoriska villkor – en
jämförande studie av den nordiska hemtjänsten. Tidskrift for Arbejdsliv, 8, s 49-66.
Vedung, E. (1998). Utvärdering i politik och förvaltning. Lund: Studentlitteratur.
Vedung. E. (2002). Utvärderingsmodeller. Socialvetenskaplig tidskrift, nr 2-3.
Vedung. E. (2006). Utvärdering som megatrend, gigatrend och fyra böljor. I Hansen, H. F.
(Red.), Den organiserede forvaltning: politik, viden og værdier i samspil (105-150).
Köpenhamn: Politiske studier.
Vedung. (2009). Utvärdering i politik och förvaltning. Lund: Studentlitteratur.
Vedung, E. (2010). Four Waves of Evaluation Diffusion. Evaluation, 16,
s 263-277.
Vedung, E. (2011). Några traditionella utvärderingsmodeller. I B, Blom, S. Morén & L,
Nygren (Red.), Utvärdering i socialt arbete (s 103-121). Stockholm: Natur och Kultur.
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling
19
Weiss, C. (1998). Evaluation. Methods for studying programs and policies. London: PrenticeHall International.
Wenger, E. (1998). Communities of Practice. Learning, Meaning and Identity. New York:
Cambridge University Press.
Wilhelmson, L. (1998a). Lärande dialog. Samtalsmönster, perspektivförändring och lärande i
gruppsamtal. Doktorsavhandling. Stockholm: Stockholms universitet, Pedagogiska
Institutionen.
Wilhelmson, L. (1998b). Vuxenpedagogikens uppgift. Stockholm: Stockholms universitet,
Pedagogiska Institutionen.
20
ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling