Att utvärdera kommunikationsinsatser

Att utvärdera kommunikationsinsatser
Annelie Helmersdotter Eriksson
Faugert & Co Utvärdering
Vad är utvärdering?
Utvärdering handlar om:
• 
• 
• 
• 
• 
Hur gick det?
Varför gick det så?
Vad har vi åstadkommit?
Kunde vi ha gjort annorlunda?
Vad ska vi ändra på?
2
Forts. Vad är utvärdering?
Utvärdering:
•  Svarar på specifika frågor
•  Värderar mot tydliga kriterier
•  Analyserar och förklarar
•  Bygger på empiri
•  Ger input till beslut och policy
Uppföljning - Utvärdering
Uppföljning
Utvärdering
Regelbunden och fortlöpande
Granskning och värdering av
särskilt utvalda områden
Mest kvantitativ
Särskilda tillfällen
Ofta totalundersökning
Djupare analys/förståelse
Samlad, översiktlig bild
Saklig, värderingsfri, neutral
Data -frågor
Uppföljningsfrågor
Utvärderingsfrågor
Uppföljningsdata
OK!
Ingen vägledning
Utvärderingsdata/
design
Inga styrdata
OK!
5
Vad kan utvärderas?
•  Måluppfyllelse
•  Effekter
•  Arbetsformer
•  Resultatspridning
•  Organisation
•  Samarbete och utbyte därav
•  Processer
•  Etc.
Kampanj
Räckvidd
Projekt
Attityder
Ex på utvärdering av informationskanaler
• 
• 
• 
• 
• 
• 
• 
• 
Personaltidningar och andra trycksaker
Annonser
Broschyrer
Webb
Film
Sociala medier (Facebook, Twitter etc)
Handböcker
Etc.
7
När kan utvärdering ske?
•  Innan
•  Under tiden
•  Efter
Timing…
8
När kan utvärdering ske (2)?
Formulera problem
Måluppfyllelse
Utvärdering
Följa upp
Besluta om
åtgärder
Genomförande
9
Bikupa
Hur används utvärdering i er verksamhet idag?
Hur skulle ni vilja använda utvärdering i er verksamhet?
10
Utvärderingsfrågor (1)
Bra utvärderingsfrågor...
• 
…ska vara empiriska
• 
…ska kunna besvaras på flera sätt
• 
…ska kunna ge faktiska svar
• 
…ska ge användbara svar
• 
…ska kunna fånga upp berördas frågor
Max 3-4 grundfrågor per utvärdering
11
Utvärderingsfrågor (2)
Sokratiska frågemetoden
– öppna sonderande frågeord
Varför? Vad? Var?
Hur? Vem? Vilka? När?
Om…
12
Frågekonst
• 
• 
• 
• 
• 
• 
Bakgrundsvariabler
Enkla och tydliga frågor
Endast en fråga åt gången
Korta frågor
Klar och tydlig uppställning av frågorna
Tänk på frågornas ordningsföljd
13
Vilken typ av information behövs?
Tala för sig själv,
eller för andra?
Fakta eller
bedömningar?
Konkreta
erfarenheter eller
visioner?
Information på bredden
eller på djupet?
Avspegla nuläget eller
vara en återblick?
Kvalitativ eller
kvantitativ
information?
14
Skäl för val av ansats
•  Mäta effekter
Kvantitativ •  Mäta spridning
ansats
•  Mäta ”nuläge”
•  Jämföra över tid och eller mellan grupper
Kvalitativ
ansats
•  Förstå
•  Rekonstruera/beskriva processer och skeenden
•  Fånga upp idéer, lärdomar, berördas bedömningar, kritik
•  Få en bild av områden där man inte har så stor kännedom
•  Underlag för att formulera relevanta frågor
15
Exempel på metoder
Kvantitativ ansats
Kvalitativ
ansats
•  Postenkät
•  Webbenkät
•  e-postenkät
•  Statistik
•  Djupintervjuer
•  Telefonintervjuer
•  Gruppintervjuer
•  Fokusgrupper
•  Observation
16
Praktiska erfarenheter
•  Oberoende = viktigt för trovärdighet och accepterande av
slutsatser.
•  Interaktion underlättar acceptans för resultat.
•  Kunskap/insikt om kontexten är viktigt för att kunna sätta in
analysen/slutsatserna i ett rättvisande perspektiv.
•  Ibland behövs en mix av kompetenser, både sakkompetens och
utvärderarkompetens.
•  Säkra kvaliteten genom att exvis använda både mjuka och hårda
data.
•  Utvärdering på tidigt stadium kan undvika problem senare.
17
Tack för er uppmärksamhet!
[email protected]
Tel: 070-493 19 22
Technopolis Group has offices in Amsterdam, Ankara, Brighton,
Brussels, Paris, Stockholm, Tallinn and Vienna.
18