Validitet i bedömning av reell kompetens inom högre utbildning

Validitet i bedömning av reell kompetens inom
högre utbildning
Tova Stenlund
Institutionen för Tillämpad Utbildningsvetenskap:
Beteendevetenskapliga Mätningar,
Umeå Universitet
Vad är Beteendevetenskapliga mätningar?
”Målsättningen är att utveckla och utvärdera metoder,
instrument, teorier och system för att beskriva, tolka och
förstå individers och gruppers kunskaper, färdigheter
och attityder.”
• Institutionens arbete
¾ Högskoleprovet, Nationella prov, Körkortsprovet m.m
• Mitt forskningsområde
¾ Bedömning av vuxnas reella kompetens inom högre
utbildning/Validering
Dagens presentation:
¾ Definition och syfte
¾ Situationen i Sverige.
- Exempel på bedömning av reell kompetens inom
högre utb. (yrkeslärarprogrammet)
¾ Validitet/kvalitet i bedömningen.
Begreppet ”Validering” är komplicerat!
”Validering är en process som innebär en strukturerad bedömning,
värdering, dokumentation och erkännande av kunskaper och
kompetens som en person besitter oberoende av hur de förvärvats (Ds
2003:23). ”
Men…
• Validitet i ett vetenskapligt sammanhang, att mäta vad som var
avsett att mätas och inget annat, och Validering, att utvärdera
validiteten i en metod eller instrument
Tre huvudsakliga områden
1. Inför vidare studier, behörighet eller som underlag för
urval.
2. Anpassad utbildning, ofta inom yrken med brist på
utbildad personal, ex vårdyrken, yrkeslärare.
3. I relation till arbetslivet, arbetssökande eller utveckling i
sitt arbete
Avhandlingsområde:
”Validitet
i bedömningen av reell kompetens inom
högre utbildning!”
Två huvudsakliga syften med validering inom högre utbildning:
- få tillgång till en utbildning som man normalt inte är kvalificerad
för, behörighet
- få en förkortad utbildning, tillgodoräkna sig poäng
Reell kompetens!
• Formell kompetens
- Strukturerat lärande, erhållen inom utbildningssystemet
• Informell kompetens
- Ostrukturerat (till viss del omedvetet) lärande genom
dagliga aktiviteter, som ex i arbetet eller hemmet
• Icke-formell kompetens
- Kan vara både strukturerade och medveten, erhållen på
arbetsplatsen eller frivilligt deltagande i fritidsaktiviteter
Bedömning av reell kompetens i Sverige!
I samband med antagning högre studier:
• Egen beskrivning av vad man kan åtföljs av bevis, ex
anställningsintyg,
- Antagningsenheten gör bedömningen om en person anses
uppfylla grundläggande behörighet
- Särskild behörighet, programansvarig eller studierektor gör
bedömningen
Forts. Bedömning av reell kompetens i Sverige
• Behovsanpassad verksamhet
- Bristyrken, ex behov av behöriga yrkeslärare
- Högre utbildningnivå efterfrågas i vissa yrkeskategorier,
ex från barnskötare till förskollärare eller från
förskollärare till lågstadielärare
Men……
• Inget enhetligt system!
• Ny myndighet för yrkeshögskolan.
Hur mätas/bedöms reell kompetens?
Verktyg/instrument för bedömning:
• Portfolio
• Självskattning
• Dokumentanalys
• Intervjuer
• Prövning, teoretisk/praktisk
• Lärarbedömning
• Diagnos
Olika modeller för bedömning av
reell kompetens
• Konvergent/bevis
¾
¾
¾
¾
Om du kan?
kontrollerande, mot fastställda kriterier
bevis för kunskap/kompetens bedöms och ges ett värde (poäng).
Dokumentanalys, lärarbedömningar, prövning osv.
• Divergent/process
¾ Vad du kan?
¾ Inga färdiga svar, vad individen lärt
¾ En process där reflektion och identifikation av
kunskap/kompetens översätts och ges ett värde
¾ Självskattningar, intervjuer, diagnos, studievägledning portfolio
osv.
Valideringsdelegationens modell
Kartläggning
Yrkesbedömning/prövning
Certifiering/praktik/
tillgodoräknande
Kontrollerande
Normerad och spetskompetens
Utforskande
Generell kompetens
Exempel: ValiWeb
• System för att validera, bland annat, sökande till
yrkeslärarutbildningen
• Utbildningen är uppdelad i två delar:
1. Yrkesrelaterad kompetens
2. Pedagogisk kompetens
• Poäng främst i den yrkesrelaterade delen av utbildningen
• Upp till ett och ett halvt år kortare utbildning.
Exempel på
valideringsmodell
inom högre
utbildning
1. Claim for APL based on
vocational background
2. Description and evaluation
of vocational background
Vocational background
needed to continue the
process
Not sufficient
vocational background
3. Occupational experts judge
the work-related competence
4. Final decision from the
university
Admission and the
full amount of
credits
Admission, but not
the full amount of
credits
Not admitted
Varför är det viktigt med kvalitet i bedömningen av reell
kompetens?
• High stake!
- Ju större konsekvenser en bedömning får för individen desto
viktigare är det att bedömningen är rättvis och tillförlitlig
- Bedömningen av reell kompetens inför högre studier innebär
stora konsekvenser för individens framtida yrkeskarriär.
Vilka blir konsekvenserna för samhället om bedömning inte är
tillförlitlig?
Studier i avhandlingen!
I. Review över området med ett validitetsperspektiv. (Stenlund, T. (2009) Assessment of
Prior Learning in Higher Education: a review from a validity perspective. Assessment & Evaluation in Higher
Education. Publicerad online 4 augusti 2009)
II. Studie (enkät) som undersöker upplevelsen av bedömningen av reell
kompetens hos sökande till yrkeslärarprogrammet. (Stenlund, T., (submitted) Threats
against the valid use of Assessment of Prior Learning in Higher Education: Claimants` experiences of the
assessment process. Assessment in Education: Principles, policy and practice).
III. Studie som undersöker validiteten i antagningsbeslut inom
yrkeslärarutbildningen. (Stenlund, T., (submitted) Validity in admission decisions based on Assessment
of Prior Learning in Higher Education. Assessment and Evaluation in Higher Education)
IV. Studie som undersöker reliabiliteten i bedömningen av reell kompetens.
(Stenlund, T., (work in progress) Intra- and Inter rater reliability in Assessment of Prior Learning. PARE.)
Kvalitet i bedömningen av reell kompetens inom högre
utbildning (Stenlund, 2009):
1. Proceduren för bedömningen bör var tydligt definierad för de som
söker, involverad personal (som ex bedömare), och intressenter.
Kriterier för att bedöma reell kompetens skall också inkluderas.
2. Bedömningen skall mäta och värdera reell kompetens utan att ta
hänsyn till var eller hur man erhållit kompetensen.
3. Den akademiska institutionen är ansvarig för bedömningen
4.
Bedömningen av reell kompetens bör vara valid and reliabel.
5. Bör ha samma kvalitetskrav som andra mer traditionella
bedömningar.
6.
De som genomgår bedömningen bör få hjälp och vägledning
genom processen, och de bedömare som är involverade i
processen bör ha rätt utbildning.
7.
Förbättring och utvärdering av bedömningens kvalitet bör ske
kontinuerligt.
Gemensamma principer (EU, 2004)
• Individuella rättigheter
- Frivillig, rättvis, tillgång, respekt
• Aktörernas förpliktelser
- Fastställa system och metoder, kvalitet, vägledning och information
• Tillit och förtroende
- Genomskinlighet, rättvisa, kvalitet
• Trovärdighet och legitimitet
- Opartiskhet, undvika intressekonflikter, professionell kompetens
Modell för att hitta och undersöka möjliga hot mot
validiteten i bedömningar (Crocks, Kane & Cohen, 1996)
1.Administrering
2.Scoring/poängsättning
3.Aggregation/total poäng
6.Evaluation/värdering
7.Decision/Beslut
4.Generalization
5.Extrapolation
8.Impact/Konsekvenser
1. Administration
• Möjliga hot
- Genomförandet, vilka procedurer som följs och
presentationen av en bedömning kan påverka resultatet
av bedömningen
- Resultatet kan antingen bli oförtjänt bättre eller sämre
om man inte följer lämpliga procedurer
2.Scoring, 3.Aggregation och 4.Generalization
• Reliabilitet och generaliserbarhet
• Ex på möjliga hot
- Intra-rater or inter-rater inconsistency, avsaknad av
bedömaröverensstämmelse, d.v.s. resultatet beror på vem
som gör bedömningen
- Decrease of dependability, om man t e x bara använder
en form av, eller väldigt få, uppgifter (bedömningsgrund)
minskar pålitligheten i bedömningen.
5. Extrapolation/Samstämmigheten mellan det som
bedöms och de riktlinjer som säger vad som ska bedömas
• Möjliga hot
- construct under-representation, man utelämnar något
som borde ingå i bedömningen
- construct irrelevant variance, man inkluderar något som
inte borde ingå i bedömningen
6. Evaluation/ hur man formar bedömningarna
• Möjliga hot
- Olämpliga bedömningar,
Positive bias, bedömningen är mer positiv än den borde
vara, baseras på annat än själva bedömningsmaterialet
Negativa bias, bedömningen är mer negativ än den borde
vara, ex en grupp bedöms mindre kompetent än en
annan likvärdig grupp
7. Decision/Beslut tagna som följd av bedömningen
• Möjliga hot
- Olämpliga kriterier (standards)
8. Impact/Konsekvenser för deltagarna eller samhället
• Möjliga hot
- Positive consequences not achieved
- Serious negative impact occurs
Resultat av studier!
• Studie I: Relativt outforskat område!
• Studie II:
- Skillnader i hur ofta de var i kontakt med personal/vägledning
- Svårt att beskriva sin yrkeskompetens och att komma ihåg allt,
tidskrävande
- Otydligt, vad som krävs för att få ett bra resultat, hur
bedömningen och beslut tas, vad som saknas
- Brist på återkoppling, bristfällig information om resultatet
Forts. Resultat av studier
• Studie III:
- Skillnad mellan yrkesexperternas bedömning och högskolornas
beslut
- Skillnader i policy mellan universiteten
- Gruppskillnader (kön och erfarenhet som yrkeslärare)
• Studie IV:
- Svårt att bedöma yrkeskompetens, subjektivitetsproblem
- Bättre intra-rater reliabilitet än inter-rater reliability
Några slutsatser!
• Standardisering av proceduren, ex för att säkerställa att alla
sökande får samma behandling,
• Gemensam policy för alla universitet, ex för att undvika att någon
får en fördel eller nackdel beroende på vilket universitet de söker
till
• Tydlig och genomskinlig definition (kriterier) av det som ska
bedömas
• Viktigt med utbildning av yrkesexperter, personal vid
universiteten (även studievägledare), medvetenhet om hur de gör
bedömningar och vilka hot mot validiteten som föreligger
förbättrar möjligheten till en bra bedömning
• Fortgående kvalitetssäkring, oavsett instrument
Tack för mig!