PARTICIPATORNE EVALVACIJE

PRIROČNIK ZAPRIPRAVO IN IZVEDBO
PARTICIPATORNE EVALVACIJE
za projekte Mednarodnega razvojnega sodelovanja
KAZALO
ZAHVALA
UVOD: EVALVACIJA KOT PROCES MEDSEBOJNEGA UČENJA ....
V dokumentu pred vami so zbrana osnovna vodila in orodja za izvajanje »medvrstniške«
participatorne evalvacije projektov mednarodnega razvojnega sodelovanja oziroma ostalih relevantnih
projektov in programov. Poudarek modela je na participatorni evalvaciji, za katero je značilno, da se
izvaja v tesnem sodelovanju in partnerstvu relevantnih oseb, ki projekt izvajajo ali uporabljajo njihove
storitve (so-odločanje kaj se evalvira, koga se vključi, katere metode se uporabijo, itd.). Poudarek je na
vključevanju različnih deležnikov, predvsem primarnih uporabnikov/ciljnih skupin, v evalvacijo ter na
spodbujanju individualnega in organizacijskega učenja in razvoja kapacitet tako na področju evalvacije
kot izboljšanju posameznega programa oziroma projekta.
Evalvacija lahko priskrbi navodila, kako lahko izboljšamo načrtovanje, politiko in strategije, prav tako
identificira nenačrtovane rezultate in posledice naše razvojne iniciative, ki mogoče niso jasne iz
vsakodnevne implementacije projekta. Informacije, ki jih pridobimo iz projekta, prav tako prispevajo k
organizacijskem učenju kot tudi prispevajo k izgradnji globalno-lokalne baze o razvojni učinkovitosti.
Pri tem gre za spodbujanje in razvijanje spremenjenega razumevanje, kako izvajamo evalvacijo, da
sama evalvacija predstavlja proces deljenja znanj in izkušenj, kot tudi evalvacijskih sposobnosti vseh
vključenih akterjev.
Priročnik je tako namenjen vsem, ki so tako ali drugače vključeni v projekte razvojnega sodelovanja.
Ključno vodilo pri njegovi pripravi je predstavljaja enostavnost uporabe, namen pa je spodbujanja
kulture evalvacije in medsebojnega učenja med najrazličnejšimi razvojnimi akterji in njihovimi partnerji.
Pririročnik sestavljajo:
- Kratek teoretični uvod v participatorno evalvacijo
- Vodila in praktične nasvete za izvajanje evalvacije (koraki evalvacije)
- Orodja in metode pridobivanja podatkov (s poudarkom na participatornih tehnikah evalvacije)
- Uporabne obrazce (templates), kot so »Terms of refference«, poročilo, itd.
Model evalvacije je bil pripravljen in pilotno tesiranna dveh razvojnih projektih slovenskih nevladnih
organizacij, so-financiranih s strani Ministrstva za zunanje zadeve, katerega kratko poročilo je
priloženo samemu modelu.
TEORIJA: UVOD V PARTICIPATORNO EVALVACIJO
KAJ JE EVALVACIJA?
KAJ JE PARTICIPATORNA EVALVACIJA?
Je flekisibilen proces, Gre za flekisibilen proces, ki se nenehno razvija in prilagaja glede na
programske specifične razmere in potrebe).
TABELA 1: Načela, ki razlikujejo konvencionalne evalvacije od participatorne evalvacije:
Poudarki E
Kdo
spodbudi
evalvacijo?
Kdo določa
indikatorje
napredka
programa?
vloga
evalvatorja
Primernost
evalvacije
Participatorna evalvacija
Predstavlja
flesibilen
proces
individualnega
in
kolektivnega
učenja in razvoja kapacitet, ki odraža
potrebe, interese in skrbi primarni
uporabnikov projekta in njegovih
izvajalcev. Zaposleni na projektu in
uporabniki storitev projekta so
vključeni v postavljanje evalvacijskih
vprašanj, izbire metode, pridobivanja
podatkov
in
pripravi
poročil,
ugotovitev in priporočil.
Zaposleni na projektu, člani
skupnosti in ostali deleženiki
Konvencionalna
Teži k znanstveni objektivnosti ter distancira
zunanje evalvatorje od ostalih deležnikov
evalvacije; osredotoča se na merjenje uspeha
glede na prej določene indikatorje; daje
prednost potrebi po informacijah o projektu s
strani donatorjev in političnih odločevalcev, kot
pa posameznikom, ki implementirajo pograme
in ljudi, na katere program vpliva.
Zaposleni na projektu, člani
skupnosti in ostali deleženiki
Profesionalni evalvatorji in zunanji strokovnjaki
Moderator, pogajalec, »kritični
prijatelj«, udeleženec v procesu
Če želimo pridobiti podatke o učinku
projekta na uporabnike
programa/projekta.
Zunanji strokovnjak, vodja
Kadar potrebujemo informacije o
pogledu različnih deležnikov na
posamezen projekt.
Kadar deležniki nimajo časa, da aktivno
sodelujejo ali prihaja do velikih nestrinjanj med
posameznimi deležniki, kar lahko oteži
kolaborativni pristop.
Donatorji in vodje projektov
Potreba po neodvisni zunanji oceni in kjer so
potrebne specializirane informacij, ki jih lahko
priskrbijo samo tehničnih strokovnjaki;
Kadar se pojavijo težave z
implementacijo programa oziroma
želimo pridobiti informacije za
nadgradnjo in izboljšanje projekta.
Stroški
evalvacije
Čas, energija in zaveza s strani
lokalnih prebivalcev, zaposlenih na
projektu in ostalih deleženikov
Honoraji za svetovalce in strokovnjake
Izguba »kritičnih informacij«, ki jih lahko
priskrbijo zgolj ključni deležniki.
Prednosti
Koordinacija in vključevanje ter
usposabljanje za evalvacijo številnih
vključenih
Lokalno znanje in ugotovitve, ki
odražajo lokalne razmere.
Potrditev informacij s strani ključnih
deležnikov.
Razvoj kapacitet na področju
evalvacije vseh udeležencev v
procesu.
izboljša
komunikacijo
med
zaposlnimi in vključenimi v programe
Večje
lastništvo
na
rezultati
evalvacije.
Spodbudi refleksijo med ključnimi
deležniki o napredku projekta in
možnih izboljšavah le-tega.
Neodvisna ocena.
Standarizirani indikatorji pogosto dopuščajo
primerjavo z ugotovitvami ostalih raziskav.
Lahko je časovno manj zahtevna, saj so
evalvacijska vprašanja in metode zbiranja
informacij , določene vnaprej ali s strani
evalvatorja, ki dela z ožjim krogom ljudi.
Prilagojeno po: Undef 2004, Harvard Family Research Project 2007, Zukoski in Luluquisen, 2002.
KAKO PARTICIPATORNA JE PARTICIPATORNA EVALVACIJA?
Deležniki, ki lahko sodelujejo pri participatornem spremljanju in evalvaciji, so vsi tisti, ki so tako ali
drugače povezani s projektom, predvsem pa so osebe, ki se odločijo, da bodo uporabljale podatke in
najdbe evalvacije. Le-ti se lahko vključujejo na vseh ravneh evalvacije – vključno z fokusom evalvacije,
oblikovanjem vprašanj, identifikaciji kredibilnih virov informacij,pripravi priporočil. To poveča tudi
kredibilnost, potencialno uporabnost in trajnost evalvacijskih rezultatov.
V evalvacijo oziroma evalvacijsko skupino, lahko vključimo: Vpletene v implementacijo projekta:
zaposleni, partnerji, zunanji strokovnjaki, prostovoljci, itd.
 Posameznike ali skupine, na katere ima projekt neposreden vpliv: ciljne skupine projekta,
uporabniki storitev, vladne institucije, itd.
 Ostale deležnike: donatorji, politični odločevalci, kritiki ali podporniki projekta, itd.
Participatorna evalvacija je lahko časovno veliko bolj zahtevna kot konvencionalna evalvacijo, kjer so
vprašanja, ki jih želimo vprašati in metode, k jih bomo uporabili postavljene vnaprej, ali določene s
strani evalvatorja, ki dela z enim ali dvema administratorjema, prav tako si bodo morali udeleženci
vzeti čas, če bodo želeli učinkovito sodelovati v procesu. Vključevanje velikega števila deležnikov
lahko zahteva naslavljanje razlik v pogledih in konfliktih.
Zaradi intenzivnosti participatorne evalvacije, je pomembno, da ocenimo stroške in prednosti pri
uporabi participatornega pristopa ter določimo kakšna bo stopnja participacije v posamezni evalvaciji.
Glede na to, lahko vključuje tudi različne stopnje vključevanja deležnikov v sam proces evalvacije številne evalvacije lahko usklajujejo participatorne in konvencionalne pristope.
STOPNJE PARTICIPACIJE /grafika/

Proces je voden s strani ključnih uporabnikov posameznih storitev, širok spekter deležnikov je
aktivno vključujen v razvoj evalvacije v vseh njenih fazah. Podrobnosti evalvacije niso
popolnoma identificirane na samem začetku – končen rezultat participatorne evalvacije je
popolnoma v rokah participantov, in ni določen s strani evalvatorja ali zunanjega vira.

Evalvacija usklajuje particpatorne in konvencionalne pristope, participatorne metode se
uporabljajo na različnih stopnjah evalvacijskega procesa (priprava evalvacijskega načrta,
priprava priporočil, itd), nismo zavezani k celovitem participatornem procesu.

Vprašanja, ki jih želimo vprašati in metode, k jih bomo uporabili so postavljene vnaprej, ali
določene s strani zunanjega evalvatorja, ki dela z enim ali dvema administratorjema ter se
posvetuje z zaposlnimi na projketu
x
KORAK ZA KORAKOM: PRIPRAVA IN IZVEDBA EVALVACIJE
X
Ključni koraki za izvedbo evalvacije so:
Korak1: Odločitev do katere stopnje bo v danih razmerah evalvacija lahko participatorna in določitev
evalvacijske skupine
Korak2: Priprava osebne izkaznice projekta
Korak3: Priprava evalvacijskega načrta, vključno z izbiro metodologij za zbiranje
podatkov
Korak4: Zibranje podatkov in izvedba evalvacije
Korak5: Refleksija in priprava priporočil
Korak6: Načrt za vključevanje priporočil v projektu
1
!! Za izvedbo evalvacije so pomembni vsi njeni koraki, pri čemer pa so začetni koraki ključnega
pomena za njeno uporabnost. Različni deležniki (od projetnih vodij do udeležencev
programa/projekta) so lahko vključeni v evalvacijski proces na različnih stopnjah.
KORAK1: Odločitev do katere stopnje bo v danih razmerah evalvacija lahko participatorna in določitev
evalvacijske skupine
Razmislite, kdo bo vključen v evalvacijsko skupino in kakšne bi bile lahko njihove vloge. Koliko članov
projekta/njegovih deležnikov bo povabljenih k sodelovanju v ožjo evalvacijsko skupino? Kaj jih bo
motiviralo, da bodo sodelovali? So zavezani k participatorni evalvaciji? V posameznih projektuh – će
se za to izkaže potreba - se lahko evalvacijska skupina oblikuje kot delovna skupina predstavnikov
.
različnih projektnih deležnikov
V evalvacijsko skupino lahko vključimo:
Evalvacijska skupina.... x
KORAK 2: Priprava osebne izkaznice projekta
Za izvedbo evalvacije, je pomembno, da imajo vsi vključeni dobro razumevanje kaj evalviramo – torej
ozadje projekta in njegovo logiko. Za vspostavitev tega razumevanja, lahko pripravimo »osebno
izkaznico« projekta, ki vključuje podatke kot so: x
S evalvacijsko skupino lahko izvedemo sestanek na katerem skupina vzpostavi logiko projekta in
evalvacijski načrt (glej Korak 3).
OSEBNA IZKAZNICA PROJEKTA
Evalvacija zahteva dobro poznavanja ozadja projekta, njegovega konteksta, aktivnosti, namena in
ciljev. Pred vzpostavitvijo evalvacijskega načrta, skupaj z evalvacijsko skupino, preglejte in dogradite
osebno izkaznikoc in »logiko projekta«, tako da se vsi strinjate in zavedate kaj je cilj in namen
projekta ter kaj evalvirate in kaj počnete s tem.
Ime projekta:
Izvajalska organizacija:
Financerji:
Trajanje projekta:
Geografski obseg projekta:
Faza implementacije: Na kakšni stopnji je projekt, torej v katerem letu izvajanja? Gre izvajanje po
načrtu? V
PODROČJE: PREPREČEVANJE NASILJA
Potreba: Kakšen je razvojni problem ali razvojne priložnosti, ki jih projekt želi nasloviti?
Beneficiaries ali ciljne skupine: Kdo so beneficiarlies ali ciljne skupine projekta? Kdo so
posamezniki, skupine ali organizacije, ki imajo posredne ali neposredne koristi od projekta?
Rezultati in cilji: Kakšne spremembe (cilji/outcomes) ali prijemljive produkte ali storitve (outputs) se
pričakujejo kot rezultat projekta? Kaj mora projekt doseči, da se bo rezumel kot uspešen?
Splošni cilji (upravičenje projekta):
Specifični cilji (outcome):
Pričakovani rezultati (output): konkretni produkti in storitve projekta
Aktivnosti: Katere aktivnosti bodo izvedene v programu, da bo dosegel pričakovano spremembo?
Partnerji in deležniki: Kdo so partnerji projekta? Kaj je njihova vloga in prispevek – vključno s
finančnimi prispevki, in-kind, vodstvom, znanjem, itd.? Kako je bilo partnerstvo oblikovano? Kako
deluje?
Načrtovanje projekta: Kako je bil projekt načrtovan? Kako so bila strateška partnerstva oblikovana?
Spremembe od prvotnega načrta: Ali je prišlo, in če do kakšnih sprememb v načrtovanju in
strategiji projekta? Vpliva to na doseganje načrtovanih rezultatov?
Možnost izvajanja evalvacije: So načrtovani rezultati in cilji ustrezno določeni, primerni in napisani
na način, da jih lahko merimo? Obstajajo evalvacijski sistemi, ki bi lahko prispkrbeli veljavne in
2
zanesljive podatke? Je potreben ponoven razmislek in redifinicija ciljev in pričakovanih rezultatov?
LOGIČNI MODEL PROJEKTA: Opis projekta v enostavnem logičnem modelu lahko olajša
razumevanje projekta, njegovih ciljev in aktivnosti za vse vključene v projektno evalvacijo. Skupaj z
evalvacijsko skupino, preglejte in dogradite logiko projekta, tako da se vsi strinjate kaj je cilj projekta,
kaj evalvirate in kaj počnete s tem.
Graf model
Korak 3: Priprava evalvacijskega nacrta
Evalvacijski nacrt določa obseg, zahteve in evalvacijska pri;akovanja in služi kot vodilo in referenčna
točka, ki nas vodi skozi evalvacijo. Evalvacijski design se rayvije v sodelovanju s ključnimi deležniki in
evalvacijskimi partnerji, s cimer se zagotovi, da so njihova vprašanja naslovljenja in da bo ključno
občinstvo za evalvacijo razumelo videlo evalvacijske rezultate kot pomembne in uporabne.
Priprava evalvacijskega nacrta nam omogoca, da lahko strukturiramo in povežemo ključne elemente
evalvacije, prav tako nam pomaga osredotočiti evalvacijo na najbolj kritične projektne elemente.
Participatorna evalvacija predstavlja flekisibilen proces, ki se prilagaja glede na potrebe in okoliščine
3
posameznega programa/projekta, tako mora biti evalvacijski design unikaten in prilagojen
posameznim okoliščinam in namenu evalvacije.
4
Evalvacijski nacrt gradi na Osebni Izkaznici projekta in vsebuje:
 Namen in cilje evalvacije
 Dolocitev kriterijev evalvacije
 Fokus in kriterije evalvacije in ključna evalvacijska vprašanja, na katere želimo z evalvacijo
dobiti odgovor
 Vire in metode pridobivanja podatkov, ki so kredibilne in pomenske
 Postopki, ki bodo uporabljeni za analizo in interpretacijo podatkov
 Dokazi, ki jih bomo uporabili, s katerimi bomo pokazali, kako je projekt uspešen in
demonstrirali njegove rezultate (outputs in outcomes)
EVALVACIJSKI NAČRT – template
Graf - TABELA
Koraki za pripravo posameznih elementov evalvacijskega nacrta

NAMEN in CILJI EVALVACIJI
Vsaka evalvacija mora imeti namen in cilj, ki postavi smer evalvacije. Cilji in nameni evalvacije morajo
razjasniti naslednje:
- Zakaj izvajamo evalvacijo in zakaj v tem specifičnem času?
- Kakšne informacije potrebujemo?
5
- Kdo bo informacije uporabljal?
Evalvacija lahko ima ve; ciljev in namenov, ki med seboj niso izključujoči. Evalvacijo tako lahko
izvajamo z namenom, da:
Evalvacija lahko priskrbi navodila, kako lahko izboljšamo načrtovanje, politiko in strategije, prav tako
identificira nenačrtovane rezultate in posledice naše razvojne iniciative, ki mogoče niso jasne iz
vsakodnevne implementacije projekta. Informacije, ki jih pridobimo iz projekta, prav tako prispevajo k
organizacijskem učenju kot tudi prispevajo k izgradnji globalno-lokalne baze o razvojni učinkovitosti
Različni cilji in nameni evalvacije niso medsebojno, evalvacijo tako lahko npr. izvajamo:
 Pridobimo informacije, kako lahko izboljšamo načrtovanje, politiko in strategije: Kaj je delovalo
in kaj ne? Zakaj in v kakšnem kontekstu? Kako bi lahko to naredili drugače in dosegli boljše
rezultate?
 Informacije o statusu projekta, napredku proti zaželjenim ciljem in rezultatom in okoliščinah, ki
6
jih določajo: Pridobimo informacije ali smo naredili, kar smo rekli da bomo naredili? Kakšna je
vrednost, učinkovitost in kakovost projekta? ….
Primer: Projektna evalvacije je spodbujena s strani projektnih izvajalcev, z namenom, da se pridobijo
informacije o status projektne implementacij, zagotovi odgovornost za porabo sredstev in izvedbo
projektnih aktivnosti in pripravijo priporo in morebitne potrebene popravke.

OBSEG EVALVACIJE
Obseg evalvacije osredotoci evalvacijo, tako da postavi meje, kaj bo evalvacija vkljucevala in kaj ne.
Dolocevanje obsega evalvacije vkljucuje:
Enoto analize: projekt, program, posamezne aktivnosti
Časovno obdobje ali fazo implementacije: katero obodbje projekta evalviramo, gre za
koncno ali vmesno evalvacijo
Sredstva porabljena za analizo: finančna sredstva, čas, ostala sredstva
Ciljne skupine, benificiaries in ostali deležniki vključeni v evalvacijo:
Splošno, lahko projektne deležnike razdelimo v tri, medsebojno povezane skupine:
 Tiste, ki spodbudijo in so vkljuceni v evalvacijo: evalvacijsko skupino
 Vpletene v implementacijo projekta: zaposleni, partnerji, zunanji strokovnjaki, prostovoljci, itd.


Posameznike ali skupine, na katere ima projekt neposreden vpliv: ciljne skupine projekta,
uporabniki storitev, vladne institucije, itd.
Ostale deležnike: donatorji, politični odločevalci, kritiki ali podporniki projekta, itd.
Pri tem idenificiramo kljucne posameznike ali skupine, ki bodo vkljucene v evalvacijo:
TABELA X: IDENTIFIKACIJA KLJUČNIH DELEŽNIKOV ZA IZVEDBO EVALVACIJE
SKUPINE VKLJUCENE PREDSTAVNIKI
OPIŠI POSAMEZNE VREDNOSTE,
INTERESE, PRIČAKOVANJA, ki lahko igrajo
V EVALVACIJO
SKUPIN
ključno vlogo pri interpretaciji evalvacije

DOLOCITEV KRITERIJEV EVALVACIJE IN EVALVACIJSKIH VPRASANJ
Evalvacijski kriteriji nam pomagajo, da osredotočimo evalvacijo, s tem, da dolocimo ključne
standarde/področja na osnovi katerih bo projekt ocenjen. Ti lahko služijo kot vodila, ki zagotavljajo, da
evalvacija pokriva najbolj kritična/pomembna področja projekta.
Kriteriji evalvacije so lahko naslednji:
-
Relevantnost (relevance)
Učinkovitost (effectiveness)
Finančna učinkovitost (efficiency)
Trajnost razvojnih prizadevanj (sustainability of development efforts)
Omogočujoče okolja (enabling environment)
Načela in principi človekovih pravic (human rights based approach)
Vsi kriteriji niso primerni ali enako potrebni za vse projekte, pri njihovem določanju pa je pomembno,
da se vprašamo: Kateri kriterij bo sproduciral najboj koristne informacije glede na sredstva, ki so na
7
voljo? Ali je posamezen kriterij uporaben ali primeren za posamezno evalvacijo?
8
Kako izbrati evalvacijske kriterije:
- Do kakšnega obsega kriterij informira evalvacijo?
- Katere informacije in kakšne vrste potrebujemo?
- Se enako osredotocima na vse kriterije?
- Je ta kriterij uporaben ali primeren za evalvacijo?
- Nam bo dal koristne informacije glede na dana sredstva?
DOLOCITEV EVALVACIJSKIH VPRAŠANJ
Za vsakega od izbranih kriterijev, je potrebno dolociti evalvacijska vprasanja, s katerimi bomo lahko
pridobili informacije potrebne za vsak kriterij. V nadaljevanju so napisana nekateri primeri moznih
splosnih evalvacijskih vprasanj, vendar je pomembno, da so le-ta prilagojena intervjuvancu oziroma
posameznim ciljnim skupinam.
Pri izbiri vprasanj moramo biti pozorni na X
Za pridobitev odgovorov na postavljena vprašanja, je potrebo vzpostaviti specifična vprašanja za
pridobivanja informacij za posamezen kriterij evalvacije, ki morajo biti prilagojeni ključnim deležnikom
in ciljim skupinam.
KRITERIJ UČINKOVITOST: Smo naredili kar smo obljubili, da bomo naredili? Ali so bili projektni cilji
ali rezultati doseženi in v kakšni meri jih lahko pripišemo projektu?
Z učinkovitostjo merimo obseg do katerega so bili načrtovani cilji in rezultati projekta doseženi ter do
katere mere lahko pripišemo opaženo spremembo projektnim aktivnostim in rezultatom. Ocenjevanje
učinkovitosti pri evalvaciji rezultatov, se v veliki meri nanaša na obseg do katerega so projektne
9
aktivnosti prispevale k doseganju zaželjenih ciljev, pri cemer se uspeh meri z vnaprej postavljenimi
10
indikatorji.
Ocenjevanje učinkovitosti vključuje naslednje korake:
1. Merjenje spremembe v doseženem specifičnih ciljih (outcomu) ali rezultatih projekta (outcom)
2. Pripisovanje dosežene spremembe k izbranemu projektu (projektna evalvacija)
3. Ocenjevanje vrednosti spremembe (pozitivne ali negativne)
Kadar je projekt izveden v partnerstvu z drugim razvojnim akterjem, mora evalvacija
upoštevatiprispevke vsakega posameznega partnerja, prav tako je potrebno ocenit, kaj predstavlja
dodano vrednost sodelovanja?
TABELA X: MERJENJE UCINKOVITOSTI
UČINKOVITOST: So bili vsi projektni cilji ali rezultati uresničeni in v kakšni meri jih lahko
pripišemo projektu?
VPLIV/SPREMEMBA:
Indikator
Osnova
Cilj
Trenutno
Načini
Komentarji
stanje
potrditve /
/ potrditve
metode
zbiranja
informacij
CILJI (outcome):
REZULTAT 1
(output):
REZULTAT 2
(output):
Prilagojeno po: X
Določevanje ciljev in rezultatov projekta
Če želimo evalvirati projekt, moramo postaviti jasne, merljive splošne in specitične cilje projekta, ki
odražajo kaj smo s projektom želeli doseči. Kljub temu, da je to lahko samo po sebi umnevno, številne
evalvacije izgubijo svoj pomen, ker na začetku nismo jasno določili, kaj so cilji in rezultati projekta, ki
jih evalviramo.
V kolikor tega nismo razčistili, bo težko odgovoriti na eno ključnih evalvacijskih vprašanj – “Smo
naredili, kar smo rekli, da bomo naredili”?



SPECIFIČNI CILJI (OUTCOME): kratkoročne spremembe, ki so nastale kot rezultat
posamezne izkušnje, vključenja v projekt in njegove aktivnosti. Primer:
PROJEKTNI REZULTATI (OUTPUT): merimo s številom ljudi, produktov in institucij, ki smo
jih dosegli. Primer«: 200 učiteljev usposobljenih v delu z otroci s posebnimi potrebami, kot
rezultat delavnice.
DOLGOROČNI CILJI: dolgoročni cilji so cilji, ki jih lahko pričakujemo šele nekaj časa po
posameznikovi izkušnji s projektom. Primer:
EVALVACIJSKA VPRASANJA ZA MERJENJE UCINKOVITOSTI:
So bili projektni cilji ali rezultati doseženi in v kakšni meri jih lahko pripišemo projektu?
Kvantitativno



Smo naredili kar smo obljubili, da bomo naredili? Kje smo trenutno?
So bile vse projektne potrebe uresničene?
So bili cilji in rezultati projekta realističn? Kako jih lahko naredimo bolj realistične?
Kvalitativno
 Kaj se je spremenilo v vaši skupnosti, kot rezultat, projekta? Kaksen je bil ucinek vključenosti v
projekt? Nepričakovane posledice projekta)?
 So, in kako so posamezne aktivnosti prispevale k projektnim ciljem in rezultatom? Kakšni so
bili ključni vplivi projektnih aktivnosti na izbrane ciljne skupine?
 Je in kako, je projekt prispeval k posameznemu cilju projekta (prilagojeno glede na
posamezne cilje projekta) :
Večji osveščenosti ciljnih skupin: Katere aktivnosti so bile izvedene za višanje
osveščenosti ciljnih skupin? Se je osveščenost ciljnih skupin o problemu povišala kot
rezultat izbranih aktivnosti?
o Izgradnji kapacitet ciljnih skupin: Katere aktivnosti so bile izvedene za izgradnjo
sposobnosti in kapacitete za naslavljanje razvojnega izziva? Kakšne sposobnosti,
kapacitete in znanja so nastale kot posledice projektnih aktivnosti?
o Večjemu povezovanju in sodelovanju ključnih delznikov: Opišite nova partnerstva, ki
so bila oblikovana za delovanje na tem področju? Kakšna je bila narava partnerstva in
kakšna je bila njihov prispevek?Se je povečala usklajenost ciljnih skupin kot rezultat
projekta?
Kaj je največji uspeh projekta?
o


Kakšne dokaze imamo, da lahko katerekoli izmed omenjenih sprememb pripišemo k projektu?
Kateri ostali dejavniki izven projekta, so lahko prispevali k spremembam?
KRITERIJ FINANČNE UČINKOVITOSTI
Finančna učinkovitost ocenjuje kako ekonomično so sredstva in vlozki (kot so finančne donacije,
sredstva, ekspertiza in čas) prevedene v same rezultate. Pri ocenjevanju finančne učinkovitosti,
projektna evalvacija raziskuje obseg do katerega so bila sredtva porabljena oziroma kako bi lahko bila
sredstva uporabljena bolj učinkovito za doseganje željenih rezultatov.
Vprašanja za pomoč:
 Kateri so ključni dosežki projekta in kakšna sredstva smo za to potrebovali?
 Bi katere od projektnih aktivnosti lahko izpeljali financno bolj ucinkovito?
 Ali obstaja bolj ekonomicen način, da bi dosegli cilje in reyultate projekta?
 Kako so sredstva razporejena med partnerji? Koliksen delez sredstev je porabljen lokalno?
KRITERIJ: RELEVANTNOST IN PRIMERNOST: Ali projekt odraža prioritete in potrebe ciljnih
skupin oziroma uporabnikov projketa?
Pri nanašanjo kriterija relevantnosti, evalvacija ocenjuje obseg do katerega načrtovanje, oblikovanje in
11
implementacija projekta odražaya lokalni kontekst oziroma obseg do katerega so zaželjeni projektni
cilji in razultati skladni s prioritetami in potrebami ciljnih skupin in koncnih uporabnikov projekta ter
nacionalnimi in lokalnimi prioritetami.
Z drugimi besedami, ocenjevanje relevantnosti in primernosti projekta se navezuje na skladnost s
percepcijo, »kaj je potrebno« kot je bilo zastavljeno s strani načrtovalcev/oblikovalcev projekta in
realnostjo, kaj ciljne skupine in ključni uporabniki dejansko potrebujejo.
Primerljivost, kot pod-kategorija relevantnosti, se navezuje na kulturno sprejemljivost in izvedljivost
aktivnosti oziroma metod za doseganje projektnih ciljev in rezultatov, torej ali so projekt oziroma
njegove aktivnosti sprejemljive in izvedljive znotraj posameznega lokalnega kontaksta. Npr. projekt je
lahko relevanten, ker naslavlja problem, ki ga uporabniki vidijo kot pomembnega, vendar neprimen, saj
njegove metode oziroma aktivnosti niso skladne s kulturo ali niso izvedljive znotraj geografskih in
ostalih realnostih v katerih se projekt izvaja.
EVALVACIJSKA VPRASANJA ZA KRITERIJ RELEVANTNOSTI:




Kako je potekal proces načrtovanja in oblikovanja projekta/programa? So bila kakšna
posvetovanja s ciljnimi skupinami?
Projekt po vašem mnenju naslavlja pomembno in priortitetno vprašanje za vaš lokalni
kontekst?
Se cilji in rezultati projekta odražajo v mednarodnih, nacionalnih ali regionalnih (političnih,
zakonodajnih ali drugih dokumentih in prioritetah?
Se cilji in rezultati projekta odrazajo v problemskem drevesu?
Primer EVALVACIJSKIH VPRASANJ ZA PRIMERNOST:
 Katere aktivnosti projekta/strategije imajo po vašem mnenju največji vpliv na doseganje
željenjih rezultatov in ciljev projekta?
 Katere strategije/aktivnosti so delovale dobro za doseganje ciljne skupine v projekt. Zakaj?
11



Imate kakšne ideje, kako bi lahko drugače postavili/oblikovali/izpeljali projekt, da bi bil ta bolj
učinkovit in relevanten za lokalni kontekst? Bi lahko uporabili kakšne bolj učinkovite metode za
doseganje ciljev in rezultatov projekta?
Katere aktivnosti in startegije smo spremenili? Zakaj?
Potrebujemo kakšno dodatno znanje/sposobnosti/kapacitete, da bi lahko delo opravili bolj
učinkovito?
DOLOCANJE PRIMERNOSTI IN RELEVANTNOSTI Z PROBLEMSKIM DREVESOM
<graf Problemsko drevo>
KRITERIJ TRAJNOST: Obstajajo družbene, ekonomske, politične, institucionalne in ostale razmere,
ki omogočajo nadaljevanje projekta oziroma nadaljno uporabo njegovih rezultatov?
Trajnost meri obseg, do katere se aktivnosti, rezultati in aktivnosti projekta nadaljujejo po koncu
projekta, pri čemer se ocenjujejo družbene, ekonomske, politične, institucionalne in ostale razmere za
nadaljavanje projekta oziroma uporabo njegovih rezultatov. Z drugimi besedami, pri evalvaciji delamo
projekcije o nacionalnih kapacitetah do nadaljujejo, spodbujajo in zagotavljajo razvojne rezultate tudi
12
po zaključku projekta.
Primer vprasanj za dolocanje trajnosti projekta:






Je bil projekt oblikovan in implementiran trajnosto, vključno z:
o razvojem kapacitete ključnih nacionalnih deležnikov?
o Organizacijske ureditve, ki bodo dovoljevale nadaljevanje projekta in uporabo njegovih
rezultatov
o Politični in zakonodajni okvirji?
Se model ali aktivnosti projekta nadaljujejo čez začetno financiranje? So finančni in ekonomski
mehanizmi na voljo, da zagotovijo nadaljevanje projekta ko se le-ta konča?
Kateri projektni rezultati se lahko porabljajo po koncu projekta?
13
Do kakšnega obsega je model ali pristop lahko prenese na ostale skupnosti?
Je v okviru projekta nastala kakšna nova pobuda?
Kako bi lahko izboljšali trajnost projekta?
KRITERIJ: OMOGOČUJOČE OKOLJE
Omogočjujoče okolje (t.i. enabling environment) se navezuje na zunanje dejavnike, ki pomembno
vplivajo na zmožnosti nekega projekta, da doseze zastavljene cilje in rezultate.
Omogočujoče okolje lahko ločimo na 3 kategorije:
 Elementi, ki se navezujejo na vse vlade, in so povezani s spoštovanjem obstoječih regionalni
in mednarodnih pravnih inštrumentov, ki varujejo temeljne pravice (svoboda združevanja,
izražanja, pravica do svobodnega delovanja brez državnega vmešavanja, pravica do
12
13


sodelovanja in komuniciranja, pravica do iskanja in zagotavljanja sredstev in obveznost
države da zaščiti
Elementi, ii se navezujejo na vlade donatorice do NVO.jev v državi donatorici in NVO-jev v
državi prejemnici (skozi menahizme financiranja). Ta element vključuje politike, odnose s
NVO/ji,političen dialog, itd.
Elementi, ki jih priskrbi prejemnica NVO.-jev v razvojnem kontekstu, npr. resnična participacija
pri oblikovanju nacionalnih razvojnih strategij, politične dialoga, itd.
Ključna vprašanja:
 Kakšne so ovire, s katerimi se srečujete, ko želite implementirati programe preprečevanja
nasilja v vaši skupnosti? V smislu: denarja, človeškoh virov, odnosa, kulture, politik.

Je vzpostavljen ugodno okolje za delovanje nevladnih organizacij?


Kako projekt ali program sodeluje ali je koordiniran s strani ostalih projektov in organizacij?
Kako je projekt financiran? Ima ustrezna sredstva? Je okolje financiranja ugodno in finančni
tok predvidljiv in fleksibilen? Vplivajo zamiki pri financiranju na samo izvedbo projekta?
Kakšna dejanja ali podpora s strani donatorjev, relevantnih ministrstev in ostalih akterjev, ki
pomembno vplivajo na “omogočujoče okolje” projekta, bi lahko pomembno prispevala k
izboljšanju projekta in doseganju njegovih ciljev in rezultatov
Razpisni pogoji odražajo in spoštujejo prioritete, kot jih vidijo nevladne organizacija?


OSTALE TEME
SKLADNOST Z NAČELI IN STANDARDI ČLOVEKOVIH PRAVIC
HRBA k razvojnim prizadevanjem vključuje potrebo, da zagotovimo, da razvojne strategije spodbujajo
zahteve nosilcev pravic in korespondnečne obveznosti nosilcev dolžnosti. Ta pristop prav tako
poudarja potrebo po naslavljanju takojšnjih, undrelaying in strukturnih vzrokih zakaj ne realiziramo
takšnih pravic. Koncept civilnega vključevanja koz mehanizma za zahtevanje pravic je prav tako
pomemben vidik splošnega okvirja. Kjer je primerno, mora evalvacija oceniti obseg do katerega je
iniciativa spodbusila kapacitete nosilcev pravic, da zahtevajo svoje pravice in nosilcev dolžnosti, da
14
zahtevajo svoje obveznosti.
Podporna vprašanja za kriterij skladnosti z načeli in standardi človekovih pravic:

Ali projekt povezuje identificirane razvojne probleme s standardi človekovih pravic?

Ali projekt identificira nosilce dolžnosti in nosilce pravic?

Ali projekt priskrbi obsežno analizo kapacitet nosilcev dolžnosti in nosilcev pravic, da
izpolnijo svoje naloge in zahtevajo svoje pravice?

Ali so ciljne skupine razumljene kot aktivni agenti ali pasivni prejemniki?

Ali projekt analizira/vključuje različne potrebe moških in žensk?


Koga bi še lahko vključili v delo?
Kaj bi morali narediti, da bi razširili mrežo ljudi, ki so vključeni in delujejo na tem področju?
15
<opis HRBAja>
x
IZBOR METODOLOGIJE IN NACINA ZBIRANJA PODATKOV
Številni projekti nimajo dovolj časa ali sredstev, da bi postavili pridobivali obsezne podatke in statistike,
zato je pogosto cilj, da najdemo načine kako zbirati informacije, ne da bi preveč obremenili
posameznike vključene v projekt, pa vendar bi vseeno pridobili indomacije, ki so potrebne, da
odgovorimo na evalvacijska vprašanja. Pri izbiri metodologij zbiranja podatkov, je pomembno, da
orodja prilagodimo različnimi projektnim potrebam in njihovim ciljem ter ciljem evalvacije.
Pri tem je dobro imeti v mislih značilnosti dobrega procesa zbiranja informacij: uporabnost, praktičnost,
sodelovanje, sistematičnos, točnost in etičnost.
TEHNIKA
Face-to-face
intervjuji
Kdaj so primerni?
Intervjuji z majhnim številom posameznikov, ki imajo
največ znanjo o projektu oziroma posameznem
vprašanju.
Intervjuji so strukturirani okoli seta odprtih vprašanj,
ki jih predhodno oblikujemo, s čimer dosežemo
konistentnosti pri zbiranju informacij/izbranih
informacij.
Koristno urodje za pridobivanje poglobljenih
informacijah o projektnih aktivnostih.
Priskrbi možnosti za razjasnitev odgovorov in
dodatne informacije.
Nasveti
Uporabljen s specifično
skupino ljudi - zaposleni na
projektu in njihova mnenja o
strenghts and weakneses
projekta) ali s ključnimi
informanti, ki imajo znanje o
projektu (npr. fornt line
service providers)
Dobra metoda, da jo
uporabimo z respondenti, ki
imajo nizko stopnjo
pismenosti in jim je lahko
nelagodno odgovarjat
pismeno.
Tisti ki intervjuva, mora biti
usposbljnem,
da
ne
pridobiva bias odgovorov
skozi postavljanje vprašanj.
Fokusne
skupine
Majhna skupina (8-12) ljudi, je zbrana v eni sami
razpravi, da odprto razpravlja o idejah, vprašanjih in
izkušnjah
Facititator mora ostati
nevtralen in mora imeti
dobre facilitatorske
spodobnosti.
Telefonski
intervju
Deluje podobno kot face-to-face intervju, vendar je
izveden po telefonu.
Če pošljete intervjuvancu
kopijo intervujskih vprašanj
(intervju gude) predhodno,
lahko rezultira v bolj
premišljeni diskusiji;
Intervjuji, tako osebno not
po telefonu, so alternaitev
fokucni skupini, če se želite
izogniti skupinskemu
vplibvu na odgovore, ki jih
Mini – ankete
(mini surveys)
Majhno števillo ljudi (20-25) vprašamo omejeno
število vprašanj.
dajo ljudje.
Kadar oblikujete vprašalnik,
bodite pozorni na to, da niso
oblikovani na način, da bi
lahko vodili k nepristranskim
ali zavajajočim
informacijam.
Omejitev vprašanj lahko
poveča stopnjo vprašanja
vprašalnika.
Osredotočanje na manjše,
izbrane naslove, ki jim
sledimo s telefonskim
klicem, lahko poveča
response rate.
Vse naketere naj bodo prej
pilotno testirane, zato da
zagotovimo, da vprašanja
uspejo pri pridobivanju
informacij, ki so potrebne.
Neighburhood
maping
Slike kažejo lokacije in tipe sprememb na nekem
področju, ki jih moramo evalvirati.
Flow diagrams
Vizualni diagram, ki kaže predlagane in zaključene
spremembe v sistemu
Fotografije
Fotografije ki kažejo spremembe v skupnostih, ki so
se pojavile skozi čas
Oralna
zgodovina
zgodbe
Raziskava
survey
in
-
Zgodbe, ki zajamejo napredek s tem da se
osredotočajo na one person's or organisation's
accpount of change
Takšna raziskava omogoča zbiranje podatkov, od
večjih skupin, kadar je pomembna standarizacija.
Raziskave so lahko oblikovane na več načinov,
vendar so vedno sestavljene iz dveh komponent:
vprašanj in odgovorov.
Raziskava bo tipično izbrana, kadar zberemo
informacije s strani velikega števila ljudi oziroma
kadar potrebujemo odgovore na točno določen set
vprašanj. (
Prilagojeno po: x
KORAK 4: Iskanje odgovorov na evalvacijska vprašanja: Zbiranje informacij, njihova analiza in
izgradnja konsenza glede rezultatov evalvacije
Ko zberemo evalvacijske podatke, morajo biti ti strnjeni in analizirani, prav tako morajo biti identificiranI
16
ključne rezultati . Ko so informacije izbrane, evalvacijska skupina kolektivno analizira podatke.
Evalvator-facilitator sodeluje skupaj s participanti, da dosežejo konsenzus glede najd, zaključkov in
17
priporočil evalvacije.
X
KORAK 6: Uporaba evalvacijskih rezultatov
Participatorna evalvacija vključuje načine, kako lahko uporabimo rezultate evalvacije skozi projekt kot
tudi na samem koncu. Nekatere vprašanja, ki jih moramo razmisliti pri razvoju evalvacije so naslednja:
 kako so bile najdbe evalvacije uporabljene pri prihodnjem razvoju znanja?
 Kako bodo evalvacijski rezultati uporabljeni, da bodo vplivali na politiko (policy) in raziskovalne
prioritete?
X
ZAKLJUCEK
LITERATURA
ANEKSI