Att definiera och mäta samhällseffekter

Att definiera och mäta
samhällseffekter
Sara Modig och Åsa Minoz
22 januari 2015
TSP
Tjänsteoperatör
Hemma
gateway
Det ö ppna öppna Det smarta nhätet emmet EXDIN
Smarta hemmet
Uppstart
Källa: Kate Raworth, Senior Researcher, OxfamGB
PWC:
Behov
”
Lösning
Effekt
Innovation handlar om nya eller bättre sätt att skapa
värden för samhälle, företag och individer. Innovationer
är nya lösningar som svarar mot behov och efterfrågan i
vardagen och omvärlden. Värdet uppstår i
nyttiggörandet och tillämpningen av en idé. Värdet som
skapas kan ta många former – ekonomiska, sociala eller
miljömässiga värden.
1. Trigger
2. Förslag
6. Systemförändring
3. Prototyper
5. Skala upp
4. Uthållighet
Källa: E(er Youngfounda2on.org ”
I keep six honest serving men
(They taught me all I knew);
Their names are
What and Why and When
and How and Where and Who.
Rudyard Kipling
För vem och i vilket sammanhang skapar
UDI-projektet värde?
Behov
Lösning
Effekt
Vad?
Effektlogik – vad är det?
Att systematiskt och visuellt
formulera och presentera
er gemensamma förståelse av
sambanden mellan resurser
och aktiviteter i insatsen och
de förändringar eller effekter
som ni vill uppnå
Utforskande av
fungerande
lösning(ar)
Behov
Nuläge
Resurser
Insatsens kontext
– vems behov, i
vilket
sammanhang?
Aktiviteter
Resultat
Insatsens
effektivitet
(utfall/resurser)
Effekt
Utfall
Effekt
Insatsens
verkningsgrad
eller
ändamålsenlighet
Vårt UDI-projekt Varför?
Behov Vem?
Vad? Vart?
Effekter
Effektlogik, förändringsteori
Resultat
Verksamhet
Behov
Nuläge i
förhållande
till det
framtida
önskade
läget
Resurser
Aktiviteter
Kostnad,
timmar…
Event,
Processer…
Substantiv
Verb
Resultat
Kvantitet/
Kvalitet
En viss kvantitet
eller kvalitet
Verifiera och validera
Lär och förbättra
Utfall
Förändring
Ökning,
minskning,
förbättring
Önskad
effekt
Systemeller
samhällsförändring
Varför?
Effektlogik – varför?
•  Mer genomtänkta och ändamålsenliga insatser
•  Bättre uppföljning av insatser under vägs och
efteråt
•  Ökat lärande av utvecklingen för att justera
insatser under genomförande
•  Dokumentera och utbyta evidens kring vad som
fungerar och varför
•  Engagera och motivera projektteam och
partnerskap, investorer och andra intressenter
”
For us good intentions are not
good enough. We know that good
intentions don’t always lead to
good outcomes.
NESTA (2013), Standards of evidence:
an approach that balances
the need for evidence with innovation
Lärprocess
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
Kommunicera
effekt
Hur?
Börja med vad ni vill uppnå!
•  Vad vill vi bli ihågkomna för när det gäller
faktiskt åstadkomna förändringar?
•  Vilken långsiktig förändring vi vill se som
en följd av just vårt projekt?
•  För vem och i vilket sammanhang vill vi
skapa värde?
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
Kommunicera
effekt
Nödvändiga förutsättningar för effekt
• 
• 
• 
• 
• 
• 
Vilka förändringar måste ske?
På vilken nivå behöver förändringarna ske?
Vilken roll spelar externa intressenter?
Vilka partnerskap behövs?
Hur bidrar aktiviteter och initiativ?
Vilka resurser behövs?
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
Kommunicera
effekt
Foto av Abdallah @ Flickr CC BY 2.0 Grundläggande förändring i system eller samhälle
som projektet är tänkt att bidra till på längre sikt (≈ 10 år)
Resurser
Aktiviteter
Utfall
Resultat
Effekt
Vilka förutsättningar måste vara
uppfyllda för att detta ska ske?
En konkret, mätbar förändring i beteende eller förutsättningar
som möjliggjorts av projektets utfall (på kort och lång sikt)
Resurser
Aktiviteter
Resultat
Utfall
Effekt
Vilka förutsättningar måste vara
uppfyllda för att detta ska ske?
Konkreta, mätbara förändringar (produkter, tjänster,
ramverk m.m.) som är resultat av projektets aktiviteter.
Resurser
Aktiviteter
Resultat
Utfall
Effekt
Workshop
TSP
Tjänsteoperatör
Hemma
gateway
Det ö ppna öppna Det smarta nhätet emmet EXDIN
Smarta hemmet
För vem och i vilket sammanhang skapar
UDI-projektet värde?
Behov
Lösning
Effekt
Vilka resultat, utfall och effekter kan ni
identifiera i dokumentationen? Identifiera
ett par som ni bedömer mycket relevanta.
Grundläggande förändring i system eller samhälle
som projektet är tänkt att bidra till på längre sikt (≈ 10 år)
Resurser
Aktiviteter
Utfall
Resultat
Effekt
En konkret, mätbar förändring (på kort och lång sikt) i beteende eller
förutsättningar som möjliggjorts av projektets resultat
Resurser
Aktiviteter
Resultat
Utfall
Effekt
Konkreta, mätbara förändringar (produkter, tjänster, ramverk m.m.)
som är resultat av projektets aktiviteter.
Resurser
Aktiviteter
Resultat
Utfall
Effekt
Är vi på rätt väg?
När är vi framme?
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
Kommunicera
effekt
Lärprocess
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
Kommunicera
effekt
Hur kan ni veta om ni är på väg
mot avsedda effekter?
•  Indikatorer som möjliggör att utvärdera och
analysera effektlogiken / förändringsteorin.
•  Indikatorer bör vara :
– 
– 
– 
– 
– 
S pecifika
M ätbara
A ccepterade (assignable) /uppnåeliga
R elevanta
T idssatta
–  Praktiska att samla in
–  Kvantitativa
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
Kommunicera
effekt
Insamling av data
• 
• 
• 
• 
• 
Vilka data ska samlas in?
Hur ska de samlas in?
Vem samlar in dem?
När ska de samlas in?
Vad ska göras med dem?
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
43
Kommunicera
effekt
Insamlingsmetoder
• 
• 
• 
• 
• 
• 
Intervjuer
Fokusgrupper
Enkäter
Observationer
Litteraturgenomgångar
Andra
•  Praktiskt, resurseffektivt
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
Kommunicera
effekt
Att tänka på
•  Glöm inte bort för vem och i vilket
sammanhang värdeskapandet ska ske
•  Låt det inte bli för krångligt
•  Samla in data för att använda!
Utveckla
effektlogik
Samla
data
Definiera
indikatorer
Dra
lärdomar
Analysera
data
Kommunicera
effekt
Workshop
Välj ett resultat, ett utfall eller en effekt
(prioritera): Vilka indikatorer skulle kunna
användas för att mäta detta/dessa?
Reflektion
TSP
Tjänsteoperatör
Hemma
gateway
Det ö ppna öppna Det smarta nhätet emmet EXDIN
Smarta hemmet
Vilka är dina viktigaste insikter från detta
pass i relation till arbetet med effektlogik
i ditt eget UDI-projekt?
Tack för oss! Åsa Minoz
[email protected]
Tel 072-210 88 26
Sara Modig
[email protected]
Tel 072-210 88 27 Praktiska visionärer som banar väg för nya modeller för samhällsutveckling