Analysstöd för ombedömningen av nationella prov

2015-02-06
1 (12)
Analysstöd för Skolinspektionens ombedömning av nationella prov
Inledning
Uppdraget
Prov och delprov som ingått i omrättningen av prov skrivna VT 2014
2
2
2
Genomförandet av ombedömningen
Urval av skolor
Urval av elevlösningar
Urval av delprov för ombedömning
Genomförandet av ombedömningen
4
4
5
5
6
Att tolka
Prickning
Tolka resultaten med försiktighet
Teknisk not: Beräkning av avvikelsegrad mellan skolans bedömning och
ombedömningen
6
6
6
9
Insamling av uppgifter
10
Rapporter och utredningar
11
Styrdokument
11
Skolinspektionen, Box 23069, 104 35 Stockholm, Besök: Sveavägen 159
Telefon: 08-586 080 00, Fax: 08-586 080 10
www.skolinspektionen.se
2015-02-06
2 (12)
Inledning
Skolinspektionen samlar varje år in ett stort antal bedömda elevlösningar på
utvalda delprov från de nationella proven. Proven avidentifieras och bedöms
sedan på nytt av erfarna lärare som rekryterats av Skolinspektionen.
Syftet med ombedömningen är att främja en likvärdig bedömning av proven,
och resultaten är ett av underlagen som Skolinspektionen granskar inför tillsyn
av skolor och huvudmän. Urvalet av skolor för ombedömning sker därför
bland de huvudmän som det följande året ingår i Skolinspektionens regelbundna tillsyn.
Syftet med ombedömningen är inte att uttala sig om enskilda provbetyg. Ombedömningen kan aldrig leda till att ett provbetyg som satts av skolan ändras.
Att en skolas bedömning av proven skiljer sig från genomsnittet betyder heller
inte att skolans bedömningar är felaktiga. Olika bedömare tolkar provens bedömningsanvisningar olika, och de delprov som väljs ut för ombedömning är
till stor del sådana där det inte finns tydliga ”rätt och fel svar” på frågorna.
En hög avvikelsegrad i förhållande till andra skolor kan dock vara en indikation
på att skolan behöver utveckla sina processer för bedömning och betygssättning. Det är alltid processen som leder fram till resultatet som granskas i Skolinspektionens tillsyn, inte resultaten/provbetygen i sig.
Resultaten bör även ligga till grund för en diskussion hos skolor och huvudmän där processerna för bedömning och betygssättning diskuteras, till exempel
inom ramen för det systematiska kvalitetsabetet. Frågor som kan diskuteras i
ett sådant arbete är till exempel om resultaten känns väntade eller oväntade,
vad som kan tänkas ligga bakom dem, och om det finns några lärdomar att dra
utifrån resultaten i utvecklingen av skolans processer för bedömning och betygssättning. Diskussionen kring resultaten blir ofta som mest värdefull om
flera olika skolor, gärna med olika huvudmän, arbetar tillsammans.
Uppdraget
Uppdraget att samla in och ombedöma nationella prov anges i Skolinspektionens regleringsbrev. Där anges också att syftet är att stödja en likvärdig bedömning och betygssättning av proven över landet, samt att insamling och åtgärder
ska kopplas till myndighetens tillsynsverksamhet. Myndighetens regleringsbrev i sin helhet återfinns på adressen nedan:
http://www.esv.se/Verktyg--stod/Statsliggaren/Regleringsbrev/?RBID=16043
Prov och delprov som ingått i omrättningen av prov skrivna VT 2014
SKOLINSPEKTIONEN
2015-02-06
3 (12)
För mer information om utformningen av respektive delprov, se analysstödet
för resultaten på nationella kursprov.
Årskurs/Skolform
Ämne/Kurs
Delprov
Version
Grundskolans
Årskurs 6
Svenska/Svenska
som andraspråk
C1 och C2
(samredovisas)
2014
Engelska
C
2014
Matematik
D
2014
Biologi
A
2014
Kemi
A
2014
Fysik
A
2014
Samhällskunskap
A1 och A2
(samredovisas)
2014
Religionskunskap
B1 och B2
(samredovisas)
2014
Historia
B
2014
Geografi
B
2014
Svenska/Svenska
som andraspråk
B och C (endast
C redovisas)
2014
Engelska
C
2014
Matematik
D
2014
Biologi
A2
2014
Kemi
A2
2014
Fysik
A2
2014
Samhällskunskap
B
2014
Religionskunskap
B
2014
Historia
A
2014
Grundskolans
Årskurs 9
2015-02-06
4 (12)
Gymnasieskolan
Geografi
A
2014
Svenska 1/Svenska
som andraspråk 1
B och C (endast
C redovisas)
VT 2014
Engelska 5
C
VT 2014
Matematik 1a
D
VT 2014
Matematik 1b
D
VT 2014
Matematik 1c
D
VT 2014
Under 2015 har dessutom en pilotstudie avseende ombedömning av nationella
prov inom den kommunala vuxenutbildningen på gymnasienivå genomförts.
De ombedömda proven genomfördes vid skolorna under höstterminen 2013.
Årskurs/Skolform
Ämne/Kurs
Delprov
Version
Kommunal
vuxenutbildning på
gymnasienivå
Svenska 1/Svenska
som andraspråk 1
B och C (endast
C redovisas)
HT 2013
Engelska 5
C
HT 2013
Matematik 1a
D
HT 2013
Matematik 1b
D
HT 2013
Matematik 1c
D
HT 2013
Genomförandet av ombedömningen
Urval av skolor
Ombedömningen genomförs i dagsläget för de nationella prov som skrivs i
årskurs 6 och årskurs 9, gymnasiets inledande kurser samt motsvarande kurser
inom kommunal vuxenytbildning på gymnasial nivå.
Alla skolor ingår inte i ombedömningen ett givet år, utan det görs ett slumpvis
urval av skolor bland de huvudmän som det följande året ingår i Skolinspektionens regelbundna tillsyn.
SKOLINSPEKTIONEN
2015-02-06
5 (12)
Urval av elevlösningar
För att kunna genomföra ombedömningen vid så många skolor som möjligt
ombedöms endast ett eller två ämnen per skola, oftast ett språkämne och ett
NO/SO-ämne eller matematik. När en skola valts ut till ombedömningen görs
en slumpvis tilldelning av ämnen för ombedömning. Därefter görs ett slumpvis
urval av elever bland dem som skrivit provet den aktuella terminen. Urvalet
görs tillräckligt stort för att resultaten ska vara representativa på skolnivå. Max
antal prov att skicka in har dock satts till 100 för grundskolor och 200 för gymnasieskolor. Om fler prov krävs för representativitet för två ämnen dras istället
bara ett ämne för den aktuella skolan. Liksom vad gäller tillsynen i stort är urvalet liksom maxgränsen för antal prov baserat på skolenheter, så skolor som är
uppdelade på flera enheter kan få en eller flera skolenheter utvalda för ombedömning.
Urvalets representativitet avser det aktuella delprovet vid den aktuella provterminen, och kan inte generaliseras till att gälla andra versioner av provet (till
exempel tidigare års prov), prov i andra ämnen, eller andra prov i samma ämne
(till exempel skolans egna prov).
Av olika skäl kan det också hända att alla prov som begärts in från en skola inte
kan ombedömas. Särskilt om antalet ombedömda prov vid skolan är litet (under ca 30) kan även ett begränsat bortfall ha betydelse för urvalets representativitet, och det är därför viktigt att alltid tolka resultaten försiktigt.
Urval av delprov för ombedömning
Alla nationella prov är uppdelade i flera delprov. Vissa av delproven innehåller
laborativa eller muntliga delar, eller uppgifter som ska genomföras i grupp.
Denna typ av delprov är inte möjliga att ombedöma. Det är heller inte särskilt
intressant att ombedöma delprov som mestadels består av frågor där eleven
ska välja mellan ett antal fasta svarsalternativ, eftersom utrymmet för subjektivitet i bedömningen här är mycket litet och tidigare erfarenhet har visat att
stora avvikelser är mycket sällsynta.
Av dessa skäl ombedöms inte hela proven, utan endast ett eller två delprov per
prov. De delprov som väljs ut för ombedömning är sådana som kan ombedömas (dvs som inte har laborativa eller muntliga inslag etc), men där det inte
finns tydliga ”rätt och fel svar” på uppgifterna. I praktiken betyder det att prov
som till stor del består av uppsatsfrågor där eleven ska formulera sig fritt i
skrift utifrån en öppen frågeställning är de som väljs ut för ombedömning. För
vissa ämnen, till exempel matematik, finns inga sådana delprov. Då väljs istället det delprov som för det givna ämnet kan antas ha störst utrymme för subjektivitet i bedömningen.
2015-02-06
6 (12)
Genomförandet av ombedömningen
De skolor som väljs ut att delta i ombedömningen skickar in kopior av bedömda prov till Skolinspektionen. Lärarens betyg och anteckningar samt uppgifter om elevens identitet tas bort. Därefter bedöms proven på nytt av erfarna
lärare som rekryterats av Skolinspektionen. Ursprungsbedömningen jämförs
sedan med ombedömarens bedömning, och resultaten sammanställs per skola
och ämne.
Ombedömarna bedömer sina prov enskilt, det vill säga sambedömning tillämpas inte. Däremot sprids varje enskilds skolas elevlösningar över flera ombedömare, för att minimera risken att en enskild ombedömares bedömningar får
stort genomslag i de sammantagna resultaten, så att jämförelsen av resultat
mellan skolor blir så rättvis som möjligt. Beroende på ämne och årskurs fördelas proven mellan ca 3 till 30 olika ombedömare. Undantag är Svenska som
andraspråk samt prov skrivna inom vuxenutbildningen, som endast har 1-3
ombedömare per delprov (gäller 2014 års ombedömning).
För svenska och engelska finns en särskild kontroll som innebär att om det skiljer mer än två betygssteg mellan bedömning och ombedömning, alternativt om
ursprungsbedömaren ger godkänt betyg (A-E) men inte ombedömaren eller
vice versa, så går provet vidare till en andra ombedömare. Slutbetyget från ombedömningen blir då den av de två ombedömarnas bedömningar som ligger
närmast ursprungsbedömningen.
Att tolka
Skillnaden mellan skolans och ombedömarnas bedömning av elevlösningarna
rapporteras som skolrapporter per skolenhet (en rapport per ombedömt delprov), samt som sammanställning på huvudmannanivå.
För de prov som genomfördes vid skolorna under vårterminen 2014 redovisas
resultaten under 2015 i två separata omgångar. I början av året publiceras resultaten för de skolor som ingår i Skolinspektionens tillsynsplan för vårterminen
2015, och i mitten av året publiceras resultaten för de skolor som ingår i tillsynsplanen för höstterminen 2015.
Prickning
Inga resultat för en skolenhet rapporteras om antalet ombedömda elevlösningar för aktuellt delprov understiger 10 stycken vid skolenheten, eller om färre än
hälften av de prov som skrevs vid skolenheten för det aktuella delprovet och
terminen har ombedömts.
Tolka resultaten med försiktighet
SKOLINSPEKTIONEN
2015-02-06
7 (12)
Att en skolas bedömning av proven skiljer sig från genomsnittet betyder inte
att skolans bedömningar är felaktiga. Olika bedömare tolkar provens bedömningsanvisningar olika, och de delprov som väljs ut för ombedömning är till
stor del sådana där det inte finns tydliga ”rätt och fel svar” på uppgifterna. Antalet prov och skolor som ombedömts för ett enskilt ämne varierar också, och är
ibland lågt. Därför är det alltid viktigt att tolka resultaten försiktigt, som utgångspunkt för en diskussion. En hög avvikelsegrad kan dock vara en indikation på att skolan behöver utveckla sina processer för bedömning och betygssättning. Det är alltid processen som leder fram till resultatet som granskas i
Skolinspektionens tillsyn, inte resultaten/provbetygen i sig.
Skolrapport
Tabell 1: Andel stora avvikelser mellan skolans bedömning och ombedömningen
I Tabell 1 redovisas antalet och andelen stora avvikelser mellan skolans och
ombedömarnas bedömning av de insamlade elevlösningarna. En stor skillnad
definieras som att det skiljer två betygssteg eller mer mellan de två bedömningarna, alternativt ett betydande antal belägg (poäng) för de delprov där delprovsbetyg inte sätts 1. Exempelvis gav skolan A där ombedömaren gav C, eller B där
ombedömaren gav E osv.
Skolans avvikelsegrad jämförs med den genomsnittliga avvikelsegraden för
alla ombedömda skolor för det aktuella delprovet och terminen. Det är just
jämförelsen med genomsnittet som är intressant ur likvärdighetssynpunkt, inte
andelen avvikelser mellan skolans bedömning och ombedömningen som sådan.
Observera att avvikelsegraden inte är jämförbar mellan olika ämnen och delprov, eftersom proven är konstruerade på olika sätt. Observera också att ombedömningen avser ett av provets delprov, inte hela provet.
Om skolans andel stora avvikelser i någon riktning skiljer sig markant från genomsnittet (+/- 10 procentenheter skillnad eller mer) markeras detta med en
stjärna (*) efter skolans andel. Markeringen är ett stöd för att göra det lättare att
se större skillnader.
Jämförelsen med genomsnittet är det viktiga
Det är viktigt att fokusera på jämförelsen med genomsnittet när resultaten tolkas. Det är denna skillnad som är intressant, inte andelen avvikelser i sig. Om-
Se ”Teknisk not: Beräkning av avvikelsegrad mellan skolans bedömning och ombedömningen” nedan.
1
2015-02-06
8 (12)
bedömningens syfte är att stödja likvärdighet i bedömningen. Det betyder att
målsättningen är att olika skolor i så hög utsträckning som möjligt ska lägga
ribban på samma nivå när proven bedöms.
De delprov som väljs ut för ombedömning är sådana där det alltid kommer att
förekomma ett mått av subjektivitet i bedömningen (oftast består de av långa
fritextsvar). Skolinspektionens ombedömare har stor erfarenhet av att bedöma
prov inom sitt ämne, men det går inte att säga att det är just de som gör ”rätt
bedömning” av proven.
Därför använder inte Skolinspektionen resultaten för att jämföra skolans bedömningar med ombedömarnas bedömning som sådan, utan för att jämföra
skolorna med varandra. En likvärdig bedömning av proven innebär ju att alla
skolor bör tolka och tillämpa bedömningsanvisningarna på ett likvärdigt sätt.
Till exempel: om en skola i 20 % fallen sätter högre delprovsbetyg än ombedömarna, och den genomsnittliga andelen avvikelser i denna riktning också är 20
%, så finns det ingen indikation på att skolan ifråga sätter högre provbetyg än
genomsnittskolan. Att denna genomsnittsnivå är innebär högre provbetyg i
snitt än vad som är fallet i ombedömningen är ur likvärdighetssynpunkt
mindre intressant.
Om det däremot är så att en skola i 20 % fallen sätter högre delprovsbetyg än
ombedömarna, och den genomsnittliga andelen avvikelser i denna riktning
bara är 5 %, så är det en indikation på att skolan ifråga tenderar att sätta högre
delprovsbetyg än genomsnittsskolan för en given nivå på elevens prestation.
Hur många skolor som ombedömts varierar per ämne och årskurs. För delprov
där färre än 10 skolor ombedömts bör resultaten tolkas med extra försiktighet,
eftersom genomsnittsvärdet då bygger på ett litet antal skolor som kanske inte
är representativt för skolor i allmänhet.
Tabell 2: Medelavvikelse från ombedömningen i förhållande till andra skolor
Medan tabell 1 endast redovisar större avvikelser mellan skolans och ombedömarnas bedömning, tar tabell 2 hänsyn till alla avvikelser och räknar ut ett medelvärde av dessa.
Skolorna rangordnas sedan efter denna genomsnittsavvikelse. Om en skola
hamnar på plats 1 av 20 betyder det att skolan bland de 20 skolor som fått det
aktuella delprovet ombedömt är den som i genomsnitt sätter de högsta delprovsbetygen/ger flest belägg (poäng) i förhållande till ombedömarna. På motsvarande sätt betyder plats 20 av 20 att skolan sätter de lägsta delprovsbetygen
i förhållande till ombedömarna, av de skolor som ombedömts.
SKOLINSPEKTIONEN
2015-02-06
9 (12)
En hög eller låg rangordning i tabell 2 motsvaras ofta, men inte alltid, av en hög
andel stora avvikelser i tabell 1. Vissa delprov är dock sådana att stora avvikelser är mycket ovanligt. I dessa fall kan en skola hamna högt eller lågt i rankingen i tabell 2 även utan att ha en hög andel stora avvikelser. I det fall en skola
har en hög eller låg rank enligt tabell 2, men inte en ovanligt hög andel stora
avvikelser enligt tabell 1, betyder det att det aktuella delprovet är sådant att
stora avvikelser mellan två bedömare är ovanliga. Det kan till exempel röra sig
om delprov som inte är renodlade uppsatsprov utan innehåller en blandning
av kortare fritextsvar och frågor med fasta svarsalternativ.
Resultatet i tabell 2 kan då fortfarande utgöra värdefull information till den
enskilda skolan/bedömaren, till exempel som analysunderlag i det systematiska
kvalitetsarbetet. När Skolinspektionen analyserar resultaten inför tillsyn av
skolor och huvudmän ligger dock fokus på andelen stora avvikelser enligt tabell 1.
Tabell 3: Frågor om bedömningen
I samband med att skolan sänder in prov för ombedömning besvaras även ett
antal frågor om hur bedömningsprocessen sett ut för dessa prov. Svaren redovisas i tabell 3. Frågorna om bedömningsprocessen är frivilliga för skolorna att
besvara, och samtycke måste ges för att de ska inkluderas i redovisningen. Därför kan antalet prov i tabell 3 skilja sig från det antal som redovisas i tabell 1.
Skolenhetens svar jämförs med ett genomsnitt för aktuellt delprov och termin,
men det finns inga markeringar för stora skillnader. Svaren ger information om
skolans process för bedömning av de nationella proven som kan vara intressant
när resultaten analyseras.
Rapport för huvudman
Huvudmannarapporterna redovisar vilka av huvudmannens skolor som ingått
i ombedömningen för den aktuella redovisningsterminen, vilka delprov som
ombedömts per skola och hur många. Utöver det framgår om någon av skolorna har resultat som skiljer sig från genomsnittet i någon riktning, baserat på
andelen avvikelser enligt tabell 1. Huvudmannarapporten ger alltså endast en
översiktlig sammanställning. De detaljerade resultaten återfinns i skolrapporterna för respektive enskild skola.
Teknisk not: Beräkning av avvikelsegrad mellan skolans bedömning och
ombedömningen
För de delprov där ett delprovsbetyg A-F sätts definieras en ”betydande avvikelse” enligt skolrapporternas tabell 1 som att det skiljer två betygssteg eller
mer mellan skolans bedömning och ombedömningen.
2015-02-06
10 (12)
När den genomsnittliga avvikelsegraden som ligger till grund för tabell 2 räknas ut för dessa prov omvandlas först delprovsbetygen till en numerisk skala 020 med samma antal steg mellan boksavsbetygen: F=0, E=4, D=8, C=12, B=16,
A=20. Sedan subtraheras värdet från skolans bedömning med värdet från ombedömningen för att uttrycka avvikelsegraden. Ett fall där skolan satt A och
ombedömaren C redovisas alltså som ”8”. Om ombedömaren satt A och skolan
B blir skillnaden ”-4”. Negativa värden indikerar alltså att skolan satt ett lägre
delprovsbetyg än ombedömaren. Genomsnittsavvikelsen för en skola är medelvärdet av dessa differenser för alla elevlösningar som ombedömts.
För de delprov där delprovsbetyg inte sätts omvandlas i stället antalet belägg
(poäng) på E- C- respektive A-nivå till skalan 0-20 enligt följande modell:
((E*10 + C*15 + A*20) / (max(E)*10 + max(C)*15 + max(A)*20)) * 20
Där E, C respektive A står för det antal belägg som skolan respektive ombedömaren angivit för delprovet, och max(E), max (C) respektive max(A) står för
det maximala antal belägg som kan uppnås för det aktuella delprovet.
Resultatet av denna beräkning är att även de bedömningar som yttrycks i belägg kan standardiseras till ett enskilt indexvärde på skalan 0-20. På samma sätt
som för delproven med bokstavbetyg uttrycks därefter avvikelsegraden som
”skolans bedömning minus ombedömingen”. En avvikelse på 6 eller mer mellan
de båda standardiserade bedömningarna definieras som en ”betydande avvikelse” enligt vad som redovisas i skolrapportens tabell 1.
Eftersom ett enskilt belägg får olika stor vikt i beräkningen dels beroende på
det totala antalet belägg som kan uppnås, dels beroende på om det är ett E-, Celler A-belägg, så går det inte att ge en enskild siffra för hur många belägg som
krävs för att skillnaden mellan bedömningarna ska räknas som betydande, det
varierar från prov till prov.
För ett hypotetiskt delprov med 3 möjliga belägg på respektive nivå är till exempel en skillnad på 1 C-belägg och 2 A-belägg i bedömning (3,3,3 vs 3,2,1)
tillräckligt för att skillnaden ska räknas som betydande. För ett delprov med 10
möjliga belägg på respektive nivå krävs fler beläggs skillnad mellan de två bedömningarna, till exempel 2 belägg på E-nivå, 3 på C-nivå och 4 på A-nivå, för
att skillnaden ska räknas som betydande.
Insamling av uppgifter
Papperskopior av bedömda elevlösningar samt kompletterande information
om bedömning och bedömningsprocess samlas in från skolorna på begäran av
Skolinspektionen. Urval av elevlösningar och begäran om prov hanteras av
SKOLINSPEKTIONEN
2015-02-06
11 (12)
Statistiska Centralbyrån (SCB), på uppdrag av Skolinspektionen. Uppgiftslämnare är rektor vid de skolor som ingått i urvalet.
För uppdraget samlas uppgifter även in från registret över provebetyg på nationella kursprov som sammanställs av Statistiska Centralbyrån (SCB) på uppdrag av Skolverket.
Inga resultat för en skolenhet rapporteras om antalet ombedömda elevlösningar för aktuellt delprov understiger 10 stycken vid skolenheten, eller om färre än
hälften av de prov som skrevs vid skolenheten för det aktuella delprovet och
terminen har ombedömts.
Anledningen till att ombedömningsresultat saknas kan vara att vissa elever inte
genomfört provet, att bristfällig kopiering eller scanning av prov gjort att delprovet inte kunnat omrättas i sin helhet, att skolan inkommit för sent med de
begärda elevlösningarna, att resultatet från skolans bedömning inte angetts på
giltigt format, att elevlösningar inte kunnat återfinnas av skolan mm.
På grund av betydande bortfall i vissa fall bör uppgifterna tolkas med försiktighet. Om elevlösningarna i bortfallet har andra egenskaper än elevlösningarna i svarspopulationen, till exempel en högre eller lägre bedömaröverensstämmelse än vad som är fallet för de elevlösningar som kunnat omrättas, har bortfallet en snedvridande effekt på resultaten.
Rapporter och utredningar
Rapporter och utredningar kring tidigare års ombedömningar (”omrättning”)
av nationella prov återfinns genom sökning på publikationstypen ”Ombedömning av nationella prov” i Skolinspektionens sökfunktion för publikationer:
http://www.Skolinspektionen.se/sv/Beslut-och-rapporter/Publikationer/#
Mer information finns även på Skolinspektionens webplats om ombedömningen:
http://www.Skolinspektionen.se/ombedomning
Styrdokument
Uppdraget att ombedöma nationella prov anges i Skolinspektionens regleringsbrev. 2014 års ombedömning regleras av regleringsbrevet för 2014, som
återfinns via nedanstående länk.
http://www.esv.se/Verktyg--stod/Statsliggaren/Regleringsbrev/?RBID=16043
2015-02-06
12 (12)
Skolinspektionen har rätt att begära in prov från skolorna enligt förordning
(1992:1083) om viss uppgiftsskyldighet för huvudmännen inom skolväsendet
med mera.