docMitä hyötyä arvioinneista?
download 
Report Transcription
Mitä hyötyä arvioinneista?
1 Sirpa Moitus • Hannele Seppälä Mitä hyötyä arvioinneista? Selvitys Korkeakoulujen arviointineuvoston 1997–2003 toteuttamien koulutusala-arviointien käytöstä KORKEAKOULUJEN ARVIOINTINEUVOSTO 2 ISBN 952-206-000-3 ISSN 1457-3121 Kustantaja: Korkeakoulujen arviointineuvosto Kansi: Juha Ilonen Taitto: Pikseri Julkaisupalvelut Tammer-Paino Oy Tampere 2004 3 Esipuhe Korkeakoulujen arviointineuvosto aloitti tänä vuonna kolmannen kautensa, joten tehdyistä arvioinneista ja niiden vaikutuksista voidaan saada jo tietoa. Arviointineuvostossa omaksutun käytännön mukaan olemme keskittyneet ensi sijassa kehittävään arviointiin; ammattikorkeakoulujen toimilupa-arvioinnit edustivat eräänlaista ’akkreditaatiota’, mutta niiden aika on jo ohi. Useat tahot ja erityisesti korkeakoulut itse ovat toivoneet tutkimusta siitä, mitä hyötyä arvioinneista on ja miten niitä käytetään. Arviointineuvosto päättikin tehdä tällaisen selvityksen toisen kautensa lopussa, ja kohteeksi otettiin erityisesti koulutusalakohtaiset arvioinnit. Neuvoston ensimmäisellä toimikaudella pääkohteina olivat koulutusala- ja ohjelma-arvioinnit, mutta niiden lisäksi tehtiin useita korkeakoulujen kokonaisarviointeja. Toisen kauden painopisteenä olivat erilaiset teema-arvioinnit, joiden taustalla oli monenlaisia ajankohtaisia koulutuspoliittisia kysymyksiä, kuten esim. opintojen ohjaus, opiskelijavalinnat, avoin yliopisto, jne. Neuvoston kolmannella toimikaudella sen tärkeimmäksi tehtäväksi muodostuu korkeakoulujen laadunvarmistusjärjestelmien auditointi, joka liittyy läheisesti Bologna-prosessiin. Sen sisältöä tarkennettiin vuoden 2003 Berliinin ministerikokouksessa, ja sen päämääränä on Eurooppalaisen korkeakoulutusalueen (European Higher Education Area) muodostaminen vuoteen 2010 mennessä. Tutkintojen eurooppalainen vastaavuus, opintojen hyväksilukeminen ja liikkuvuuden edistäminen ovat kaikki läheisessä suhteessa korkeakoulujen laatutyöhön ja itse asiassa seuraavat siitä. Jo oman kilpailukykymme ja laadun uskottavuuden vuoksi Suomen on oltava vahvasti tässä työssä mukana ja mieluummin vielä sen eturivissä. Nyt julkaistu selvitys antaa monipuolisen kuvan siitä, miten korkeakoulut näkevät arviointityön ja sen mahdolliset puutteet ja siitä saadut hyödyt. Omalta osaltaan tämä selvitys myös pyrkii vastaamaan siihen, että mitä kaikkea kehittävä arviointi sisällöltään on tai voisi olla. Selvitys antaa toivottavasti korkeakouluille myös aineksia rakentaa omaa sisäistä laadun arviointiaan ja varmistusta ja sekä niihin liittyvää asiantuntemusta. Korkeakoulujen arviointineuvosto on hyvin kiitollinen tähän mennessä saamistaan korkeakoulujen reaktioista ja kommenteista, jotka ovat jatkossakin tervetulleita. Niiden perusteella neuvosto voi edelleen parantaa ja kehittää omaa toimintaansa sekä siten varmistaa Suomen korkeakoululaitoksen kansainvälistä kilpailukykyä, laatua ja uskottavuutta. Ossi V. Lindqvist, professori Korkeakoulujen arviointineuvoston puheenjohtaja 4 Sisällys 1 Johdanto __________________________________________________ 5 2 2.1 2.2 2.3 2.4 2.5 Koulutusala-arvioinneissa käytetty arviointimalli _____________ 6 Suunnitteluvaihe _____________________________________________ 7 Itsearviointi _________________________________________________ 8 Ulkoinen arviointi ____________________________________________ 9 Arviointiraportti ____________________________________________ 11 Seuranta-arviointi ___________________________________________ 11 3 3.1 3.2 3.3 3.4 Selvityksen toteutus ______________________________________ Selvityksen tavoitteet ________________________________________ Aineiston keruu ____________________________________________ Selvitykseen osallistuneet koulutusohjelmat ja oppiaineet ____________ Vastausten käsittely __________________________________________ 13 13 13 14 16 4 Oppiaineille ja koulutusohjelmille tehdyn kyselyn tulokset ____ 4.1 Vastauksen laadintaprosessi korkeakouluissa ______________________ 4.2 Arviointikokemus ja perehdytys ________________________________ 4.2.1 Aiempi arviointikokemus __________________________________ 4.2.2 Perehdytyksen riittävyys ja sen kehittäminen ___________________ 4.3 Arvioinnin tulosten hyödyntäminen _____________________________ 4.3.1 Arvioinnin tulosten käsittely _______________________________ 4.3.2 Arviointeja seuranneet konkreettiset kehittämistoimenpiteet _______ 4.3.3 Syitä suositusten toteutumatta jäämiseen _____________________ 4.4 Arvioinnin merkitys ja vaikuttavuus _____________________________ 4.4.1 Arvioinnin merkitys koulutuksen kehittämiselle _________________ 4.4.2 Muut koulutuksen kehittämiseen vaikuttaneet tekijät ____________ 4.5 Arviointimenetelmän arviointi _________________________________ 4.5.1 Arviointimenetelmän yleiset vahvuudet ja heikkoudet ____________ 4.5.2 Itsearvioinnin vahvuudet ja heikkoudet _______________________ 4.5.3 Arviointivierailun tai korvaavan menetelmän vahvuudet ja heikkoudet ___________________________________________ 4.5.4 Arviointiraportin vahvuudet ja heikkoudet _____________________ 4.5.6 Seuranta-arvioinnin vahvuudet ja heikkoudet __________________ 4.5.7 Kansainvälisen arvioinnin merkitys __________________________ 4.5.8 Arviointimenetelmän kehittämisehdotuksia ____________________ 18 18 18 18 20 24 24 25 27 28 28 30 31 32 34 5 5.1 5.2 5.3 Rehtorikyselyn tulokset ___________________________________ Rehtorikyselyn toteutus ______________________________________ Koulutusala-arviointien hyödyllisyys korkeakouluille ________________ Korkeakoulujen arviointineuvoston rooli tulevaisuudessa ____________ 47 47 47 48 6 Yhteenveto ja pohdintaa __________________________________ 51 36 38 40 41 42 LIITE: Kyselylomake _____________________________________________ 56 5 1 Johdanto Korkeakoulujen arviointineuvosto on toteuttanut vuosina 1997–2003 yhteensä 11 koulutusala-arviointia1. Toisen nelivuotisen toimikauden päättyessä Korkeakoulujen arviointineuvosto päätti selvittää korkeakoulujen kokemuksia ja mielipiteitä koulutusala-arviointien vaikuttavuudesta. Sen sijaan opetusministeriön ja sidosryhmien näkemyksiä ei selvityksessä kartoitettu. Selvityksen taustalla olivat kysymykset siitä, 1) tuottavatko koulutusala-arvioinnit sellaista tietoa, josta on hyötyä oppiaineiden ja koulutusohjelmien koulutuksen laadun kehittämiselle, 2) onko tätä arviointitoimintaa tarpeen jatkaa ja 3) jos vastaus edelliseen kysymykseen on myönteinen, miten menetelmää tulisi kehittää. Selvitys palvelee myös uutta, vuonna 2004 toimintansa aloittanutta Korkeakoulujen arviointineuvostoa, kun se suunnittelee tulevaa arviointiohjelmaa ja valitsee arviointimenetelmiä. Selvitys tehtiin laadullisena kyselynä, joka lähetettiin keväällä 2003 korkeakoulujen vastattavaksi. Selvityksen kohteeksi valittiin mahdollisimman edustava otos kaikista Korkeakoulujen arviointineuvoston koulutusalakohtaisiin arviointeihin osallistuneista koulutusohjelmista ja oppiaineista. Kyselyn vastausprosentti oli 80 %. Myös korkeakoulujen rehtoreille tehtiin lyhyt kysely koulutusala-arviointien vaikuttavuudesta korkeakoulujen johdon näkökulmasta. Rehtorikyselyn vastausprosentti oli 46 %. Kyselyssä selvitettiin, millaista kokemusta oppiaineilla ja koulutusohjelmilla oli arviointitoiminnasta ennen Korkeakoulujen arviointineuvoston toteuttamaa arviointia, pitivätkö yksiköt arviointineuvostolta saamaansa perehdytystä riittävänä, miten yksiköt ovat hyödyntäneet arviointien tuloksia, millaista merkitystä arvioinnilla on ollut koulutuksen kehittämiselle ja miten yksiköt kehittäisivät arviointimenetelmää. Tämän raportin luvussa 2 kuvataan ensin taustaksi koulutusala-arvioinneissa käytetty arviointimenetelmä pääpiirteissään. Selvityksen toteutus esitellään luvussa 3 ja tulokset luvuissa 4–5. Luvussa 6 tehdään yhteenveto ja johtopäätöksiä selvityksen tuloksista. Raportissa on haluttu antaa tilaa koulutusohjelmien ja oppiaineiden äänelle. Tästä syystä raportissa on runsaasti suoria lainauksia vastauksista. 1 Tässä raportissa käytetään käsitettä koulutusala-arviointi koulutusohjelma-arvioinnin sijasta, koska arviointeihin ovat useimmiten osallistuneet sekä yliopistojen oppiaineet ja ammattikorkeakoulujen koulutusohjelmat tai muut alan koulutusta antavat yksiköt. 6 2 Koulutusala-arvioinneissa käytetty arviointimalli Vuosina 1997–2003 toteutetuissa koulutusala-arvioinneissa arvioinnin perusmalli on koostunut neljästä vaiheesta: • • • • arvioinnin suunnittelu korkeakoulun tekemä itsearviointi ulkopuolinen asiantuntija-arviointi, johon liittyy arviointivierailu julkinen arviointiraportti. Koulutusala-arvioinnit ovat kestäneet 1–1,5 vuotta. Arviointiprosessin eri vaiheista ovat vastanneet seuraavat tahot: Taulukko 1. Korkeakoulujen arviointineuvoston arviointiprosessin vaiheet Arviointiprosessin vaihe Vastuutaho Tehtävä 1. Suunnitteluvaihe Eri tahot KKA (tavoitteet, näkökulma) KKA Suunnitteluryhmä* Johtoryhmä KKA Aloitteita arviointikohteiksi Arviointikohteen valinta ja rajaus 2. Itsearviointivaihe Korkeakoulut 3. Ulkoinen arviointi 4. Arviointiraportti Arviointiryhmä Arviointiryhmä Johtoryhmän nimeäminen Arvioitavan aiheen kartoitus Projektisuunnitelman laatiminen Projektisuunnitelman hyväksyminen ja ulkoisen arviointiryhmän nimeäminen Itsearviointiprosessi ja itsearviointiraporttien laadinta Arviointivierailut korkeakouluihin Arviointiraportin laadinta ja julkistus Arviointiprosessin viidentenä vaiheena on ollut seuranta-arviointi eli follow-up, jonka Korkeakoulujen arviointineuvosto on toteuttanut yleensä noin kolmen vuoden kuluttua alkuperäisestä arvioinnista. Jokaiseen arvioinnin vaiheeseen on liittynyt eri ryhmien perehdyttämistä tehtäväänsä. Seuraavassa luonnehditaan tarkemmin arviointiprosessin eri vaiheita. * Suunnitteluryhmä on nimetty, mikäli arvioinnin kohde on ollut erityisen laaja ja vaatinut esim. normaalia laajempaa taustakartoitusta. 7 2.1 Suunnitteluvaihe Korkeakoulujen arviointineuvosto on päättänyt itsenäisesti arvioinnin kohteista ja menetelmistä. Arviointialoitteita ovat Korkeakoulujen arviointineuvoston lisäksi tehneet korkeakoulut, opetusministeriö, jokin muu ministeriö, työelämän edustajat, opiskelijajärjestöt ja muut organisaatiot. Korkeakoulujen arviointineuvosto (KKA) ei ole itse arvioinut, vaan se on päättänyt arviointien käynnistämisestä ja kutsunut asiantuntijoita suunnittelemaan ja toteuttamaan arvioinnit. Projektisuunnitelman on laatinut johtoryhmä, joka on täsmentänyt arvioinnin tavoitteet, sisällöt ja menetelmät. KKA on käsitellyt ja vahvistanut projektisuunnitelman. Tiedonkulku KKA:n ja johtoryhmän välillä on järjestetty siten, että johtoryhmän puheenjohtajana on toiminut yleensä KKA:n jäsen. KKA on nimittänyt johtoryhmän esityksestä ulkoisen arviointiryhmän sekä järjestänyt projektin päätösseminaarin. KKA:n pääsihteeri ja sektorien vastuusuunnittelijat ovat osallistuneet useissa hankkeissa johtoryhmätyöskentelyyn. Arvioinnin suunnittelussa on käytetty arvioinnin laajuudesta riippuen yksitai kaksiportaista mallia. Mikäli arvioitava kohde on ollut laaja ja hahmottumaton, suunnitteluprosessi on järjestetty kaksiportaisena, jolloin arviointia on suunniteltu sekä suunnittelu- että johtoryhmässä. Mikäli kyse on ollut selkeärajaisesta arviointitehtävästä, tällöin suunnittelusta on vastannut johtoryhmä. Mikäli suunnitteluvaihe on järjestetty kaksiportaisena, suunnitteluryhmän tehtävänä on ollut kartoittaa arvioitava alue ja tehdä ehdotus arvioinnin rajaukseksi. Tällöin kartoitustehtävä on ollut usein laaja, ja siihen on voinut liittyä esimerkiksi kyselyjä korkeakouluille ja niiden tulosten kokoamista erilliseksi taustaraportiksi. Useissa tapauksissa suunnitteluryhmä on aloittanut myös projektisuunnitelman laadinnan. Pääsääntöisesti kaikissa arviointiprojekteissa on toiminut johtoryhmä, jonka tehtävänä on ollut mm. • • • • • määritellä arviointiprojektin tavoitteet, sisällöt ja menetelmä eli laatia projektisuunnitelma tehdä ehdotus Korkeakoulujen arviointineuvostolle arviointiryhmän kokoonpanosta järjestää arviointiryhmälle keskustelu- ja perehdytystilaisuus, jossa käydään läpi mm. projektisuunnitelmaan sisältyviä asioita seurata arvioinnin etenemistä osallistua arviointiraportin julkistustilaisuuteen. Suunnitteluryhmä ja johtoryhmä ovat koostuneet yleensä 5-7 jäsenestä. Johtoryhmän puheenjohtaja on ollut yleensä KKA:n jäsen ja ryhmän jäsenet korkeakoulujen, työelämän ja opiskelijajärjestöjen edustajia, jotka ovat edustaneet arvioitavan alan substanssi- ja/tai pedagogista asiantuntemusta. Kun arviointiprojekti on päätetty käynnistää, johtoryhmä on järjestänyt arvioinnin aloitusseminaarin, johon on kutsuttu edustajat kaikista arviointiin osal- 8 listuvista korkeakouluista tai mikäli arvioinnin kohteena on ollut yksi korkeakoulu, edustajat sen eri yksiköistä. Aloitusseminaarin tarkoituksena on ollut käydä keskustelua projektin tavoitteista ja toteutuksesta ja tarjota korkeakouluille tilaisuus kommentoida projektisuunnitelmaa. Seminaarin jälkeen projektisuunnitelmaa on täsmennetty. KKA:n rekrytoima projektisuunnittelija on toiminut johtoryhmän sihteerinä ja vastannut johtoryhmän päätösten toimeenpanosta. 2.2 Itsearviointi Itsearviointi on ollut keino kerätä tietoa arviointikohteesta ja työkalu korkeakouluille oman toimintansa kehittämiseen. Itsearviointien tarkoituksena on ollut pyytää korkeakouluja kokoamaan tietoja arvioitavasta asiasta, kannustaa niitä arvioimaan oman toimintansa vahvoja ja heikkoja puolia sekä rohkaista niitä tekemään kehittämissuunnitelmia. Usein itsearviointi on avannut korkeakouluille uusia näkökulmia arvioitavaan asiaan. Korkeakoulut ovat voineet itse päättää, miten ne organisoivat itsearvioinnin, mutta KKA on suositellut, että arviointiin osallistuisi mahdollisimman laajasti arvioitavan yksikön henkilökuntaa ja opiskelijoita. Korkeakoulut ovat soveltaneet itsearvioinnin organisoinnissa erilaisia menettelyitä. Usein korkeakoulut ovat nimenneet ohjausryhmän, joka on kerännyt kyselyin, haastatteluin, seminaarein tai muilla tavoin henkilökunnan ja opiskelijoiden näkemyksiä arvioitavasta asiasta, analysoinut koottua aineistoa ja laatinut tältä pohjalta yhteisen itsearviointiraportin. Itsearviointiprosessin konkreettisena tavoitteena on ollut laatia itsearviointiraportti arviointiryhmän käyttöön. Itsearviointiraportin muoto ja enimmäislaajuus on ennalta määritelty itsearviointiohjeissa ja -kysymyksissä. KKA on pitänyt tärkeänä, että itsearviointiraportti sisältää sekä toiminnan kuvausta että sen analyyttistä arviointia. Tämän vuoksi tätä seikkaa on usein korostettu itsearviointiohjeissa. Määrällisiä tietoja on kysytty korkeakouluilta yleensä vain taustoittamaan arviointia. Joissakin arvioinneissa opiskelijoita on pyydetty laatimaan oma erillinen itsearviointiraportti. Tällöin paikallisilla opiskelija- ja ainejärjestöillä on ollut keskeinen rooli opiskelijoiden itsearviointiprosessin koordinoinnissa. Korkeakoulujen arviointineuvosto on tehnyt tiivistä yhteistyötä opiskelijoiden kattojärjestöjen Suomen ylioppilaskuntien liitto SYL ry:n ja Suomen Ammattikorkeakouluopiskelijayhdistysten Liitto – SAMOK ry:n kanssa opiskelijoiden perehdyttämiseksi itsearviointiin. 9 2.3 Ulkoinen arviointi Arviointiryhmää koottaessa KKA:n tavoitteena on ollut saada kokoon mahdollisimman monipuolinen ja laaja-alainen asiantuntemus suhteessa arvioitavaan alaan, teemaan tai korkeakouluun. Yleensä ryhmissä ovat olleet edustettuna korkeakoulut, työelämä ja opiskelijat. Arvioitsijoiden yleisinä valintakriteereinä ovat olleet arvioitavan alan tai teeman sekä suomalaisen koulutus- ja arviointijärjestelmän tuntemus. Osallistuminen arviointikoulutukseen tai korkeakoulujen sisäisissä tai ulkoisissa arviointiprojekteissa hankittu käytännön arviointikokemus on ollut eduksi. Arviointiryhmän tehtävänä on ollut mm. • • • • • • • • • perehtyä saamaansa toimeksiantoon, täsmentää arviointitehtävää ja määritellä mahdolliset arviointikriteerit tutustua korkeakoulujen tuottamiin itsearviointiraportteihin määritellä mahdolliset lisätiedontarpeet, kuten tilastolliset taustatiedot organisoida arviointivierailu ja mahdolliset muut arviointiprosessin vaiheet, kuten teemakeskustelut tehdä arviointivierailut korkeakouluihin muodostaa itsearviointiraporttien ja arviointivierailujen pohjalta näkemys arvioitavan ilmiön laadusta sekä valtakunnallisesti että arviointiin osallistuvissa korkeakouluissa tehdä suosituksia arvioinnin kohteena olevan toiminnan laadun parantamiseksi. Suositukset voivat olla valtakunnallisia, korkeakoulu-, laitos- ja koulutusohjelma-/oppiainekohtaisia. laatia arvioinnin loppuraportti osallistua arvioinnin päätösseminaariin. Arviointiryhmä on ollut ad hoc -periaatteella toimiva asiantuntijaryhmä, joka on ollut johtopäätöksissään itsenäinen. Näin ollen arviointiryhmä on muodostanut oman näkemyksensä koulutuksen laadusta ja kirjannut sen arviointiraporttiin, jonka sisältöön KKA ei ole puuttunut. Kukin arviointiryhmän jäsen on osallistunut aktiivisesti ja tasavertaisena jäsenenä ryhmän työskentelyyn. Ryhmän on edellytetty olevan objektiivinen ja tasapuolinen kaikkia arviointiin osallistuvia korkeakouluja kohtaan. Arviointi on perustunut korkeakoulujen arviointiprosessissa tuottamaan aineistoon, arviointivierailun aikana tehtyihin haastatteluihin sekä mahdollisesti muihin koulutusalaa koskeviin selvityksiin. Arviointiryhmä on vastannut korkeakouluihin tehtävistä arviointivierailuista. Arviointivierailu on ollut luonteeltaan vuorovaikutteinen ja arvioitavan koulutuksen kehittämistä tukeva. Vierailun aikana arviointiryhmän tehtävänä on ollut täydentää itsearviointiraportin perusteella saatua kuvaa arviointikohteesta. Arviointiryhmälle on ollut mahdollista saada lisäperusteluja itsearviointiraportissa esitetyille asioille, tarkistaa epäselviksi tai puutteellisiksi jääneitä kohtia ja saada lisätietoa ongelmallisista tai kehittämistä vaativista osa-alueista. Vierailun aikana arviointiryhmän tehtävänä on ollut myös esittää palautetta ja kehittämisideoita arviointiin osallistuvalle yksikölle. 10 Arviointivierailu yhteen korkeakouluun on kestänyt koulutusala-arvioinneissa yhden työpäivän ja kokonaisarvioinneissa 2–3 työpäivää. Korkeakoulut ovat saaneet arviointiryhmältä etukäteen rungon vierailupäivän kuluksi, jonka pohjalta ne ovat laatineet yksityiskohtaisen vierailuohjelman. Arviointivierailu on sisältänyt yleensä seuraavia elementtejä: • • • • • • korkeakoulun tai koulutusohjelman johdon haastattelu opetushenkilökunnan ja muun henkilökunnan haastattelu opiskelijoiden haastattelu työelämän / sidosryhmien edustajien haastattelu tutustuminen koulutusyksikön opetus- ja oppimisympäristöön ja opinnäytetöihin suullinen arviointipalaute arviointiryhmältä koulutusyksikölle. Mikäli arviointiin on osallistunut useita korkeakouluja, ideaalimalli olisi se, että arviointiryhmä vierailee kaikissa arviointiin osallistuvissa korkeakouluissa tai koulutusohjelmissa. Toisinaan arviointiin osallistuvia yksiköitä on kuitenkin ollut niin paljon, että vierailu on voitu tehdä vain osaan korkeakouluista. Näissä tapauksissa arviointiryhmä on päättänyt vierailukohteiden valintakriteereistä ja informoinut niistä korkeakouluja. Valintakriteereinä on usein käytetty mm. koulutusalakohtaista, alueellista ja kielellistä edustavuutta. Perinteisen haastattelumenettelyn sijasta arviointivierailu on voitu toteuttaa myös perusmallia varioiden. Joissakin arviointiprojekteissa arviointivierailujen toteutuksessa on käytetty benchmarking-menetelmää, jolloin arviointiin osallistuneet yksiköt ovat vierailleet toistensa yksiköissä. Joissakin arvioinneissa arviointivierailut on korvattu kokonaan jollakin muulla menetelmällä, kuten teemakeskusteluilla. Tällöin tavoitteena on usein ollut luoda valtakunnallinen keskustelufoorumi, jossa arvioitavan ilmiön laadusta on voitu keskustella samanaikaisesti kaikkien koulutuksen järjestäjien ja merkittävimpien toimijaryhmien kanssa. Räätälöityjä malleja on esitelty yksityiskohtaisemmin KKA:n arviointimenetelmiä kuvaavassa raportissa, joka ilmestyy vuonna 2004. Projektisuunnittelija on vastannut arviointivierailujen järjestämisestä yhdessä arviointiin osallistuvien korkeakoulujen nimeämien arviointiyhteyshenkilöiden kanssa. Korkeakoulut ovat saaneet etukäteen rungon vierailupäivän kuluksi ja ohjeet henkilöistä, joita arviointiryhmä haluaa haastatella (esim. korkeakoulun johto, henkilökunnan edustajat ja työnantajien edustajat). Opiskelijajärjestöjä on yleensä pyydetty valitsemaan haastateltavat 5–10 opiskelijaa. Tältä pohjalta korkeakoulut ovat valmistelleet tarkennetun vierailuohjelman, josta ovat käyneet ilmi haastateltavien nimet, mahdollinen tutustumiskierros opetusja oppimisympäristöön ja opinnäytetöihin sekä muut vierailuun liittyvät käytännön seikat. Arvioinnin päättyessä korkeakoulut ovat saaneet kutsun arvioinnin päätösseminaariin, jossa on keskusteltu projektin tuloksista ja johtopäätöksistä sekä sen esiinnostamista kehittämistarpeista eri tahojen näkökulmasta. 11 2.4 Arviointiraportti Arviointiryhmän yksi tärkeä tehtävä on ollut antaa arviointiin osallistuvalle yksikölle palautetta koulutuksen tai arvioitavan ilmiön laadusta. Palaute on perustunut arviointiryhmän yhteiseen näkemykseen. Arviointipalautetta on annettu kahdella tavalla: 1. Arviointiryhmä on antanut arviointiin osallistuvalle yksikölle suullisen palautteen arviointivierailupäivän päätteeksi. 2. Arviointiryhmä on antanut arviointiin osallistuvalle yksikölle kirjallisen palautteen. Mikäli arviointiryhmän vierailuohjelmaan on sisältynyt suullinen palaute, arviointiryhmällä on ollut oma kokous ennen palautteen antamista. Tällöin ryhmä on sopinut keskenään palautteessa esiinotettavista asioista. Yleensä palautteen on esittänyt arviointiryhmän puheenjohtaja, joka on korostanut, että kyseessä ovat arviointiryhmän ensimmäiset huomiot, joita arviointiryhmä voi vielä tarkistaa arviointiraporttia laatiessaan. Koulutuksen järjestäjälle on yleensä varattu mahdollisuus käyttää vastauspuheenvuoro. Suullinen palaute on yleensä koettu hyvin tärkeäksi, koska se antaa korkeakoulun henkilökunnalle ja opiskelijoille tuoreeltaan käsityksen arviointiryhmän näkemyksistä. Arviointipalautteet on kirjattu projektin loppuraporttiin. Arviointiin osallistuneille on laadittu yleensä kirjallinen yksikkökohtainen palaute. Palautteen laajuus on riippunut arviointityypistä. Koulutusala-arvioinneissa ja teema-arvioinneissa palautteet ovat olleet yleensä 3–5 sivua/arvioitu yksikkö. Joissakin arvioinneissa arviointiryhmä on antanut kirjallista palautetta myös niille korkeakouluille, jotka ovat laatineet itsearviointiraportin, mutta joissa arviointiryhmällä ei ole ollut mahdollisuutta vierailla. Toisaalta joissakin arvioinneissa ei-vieraillut kohteet eivät ole saaneet omaa palautetta, vaan niitä koskevat arvioinnit on sisällytetty arviointiryhmän laatimiin valtakunnallisiin johtopäätöksiin ja suosituksiin. 2.5 Seuranta-arviointi Korkeakoulujen arviointineuvosto on toteuttanut seuranta- eli follow up-arviointeja noin kolmen vuoden kuluttua varsinaisesta arvioinnista. Seuranta-arvioinnin tavoitteena on ollut • • tukea arviointiin osallistuvaa yksikköä koulutuksen laadun kehittämisessä selvittää arvioinnin käyttöä ja vaikuttavuutta arvioitujen yksiköiden kannalta. Seuranta-arvioinnin suunnittelu on toteutettu samalla tavalla kuin varsinaisessa arvioinnissa; ts. KKA on kutsunut johtoryhmän valmistelemaan seuranta-arvioinnin projektisuunnitelman, joka sisältää tavoitteet, sisällöt ja menetelmät. Johtoryhmä on valmistellut myös itsearviointikysymykset. 12 Seuranta-arvioinneissa itsearviointi on toteutettu yleensä selvästi suppeampana kuin varsinaisessa arvioinnissa. Itsearviointikysymykset ovat liittyneet mm. seuraaviin aihealueisiin: • • • arvioinnin tulosten vastaanotto ja käsittely arvioinnin merkitys ja vaikuttavuus arvioinnin käyttö. Tätä selvitystä tehtäessä vuoden 2003–2004 vaihteessa KKA on toteuttanut neljä koulutusala-arviointien seuranta-arviointia. Menetelmä ei ole vielä vakiintunut, vaan seuranta-arvioinneissa on kokeiltu erilaisia malleja. Joissakin seuranta-arvioinneissa arviointiraportin on koonnut itsearviointiraporttien pohjalta KKA:n ulkopuolinen sihteeri. Tällöin kyse on ollut lähinnä kuvailevasta yhteenvedosta. Joissakin tapauksissa seuranta-arviointeihin on pyritty saamaan mukaan arvioiva elementti pyytämällä alkuperäisiä arvioitsijoita laatimaan raportti korkeakoulujen itsearviointiraporttien pohjalta. 13 3 Selvityksen toteutus 3.1 Selvityksen tavoitteet Korkeakoulujen arviointineuvosto päätti keväällä 2003 toteuttaa koulutusalaarviointien vaikuttavuutta koskevan selvityksen. Selvityksen tavoitteena oli • • • kerätä Korkeakoulujen arviointineuvoston arviointeihin osallistuneilta koulutusohjelmilta ja oppiaineilta palautetta koulutusala-arvioinneissa käytetyn arviointimenetelmän vahvuuksista, kriittisistä kohdista ja hyödyllisyydestä koulutuksen kehittämisessä tuottaa kuvailevaa aineistoa Korkeakoulujen arviointineuvoston omien toimintatapojen dokumentoimiseksi ja kehittämiseksi tuottaa tietoa tulevalle Korkeakoulujen arviointineuvostolle arviointimenetelmän käyttökelpoisuudesta ja kehittämissuunnista. Selvityksestä rajattiin pois yksittäisten arviointiprojektien alakohtaisten suositusten toteutumisen arviointi, koska tätä tehtävää varten toteutetaan erillisiä seuranta-arviointeja eli ns. follow-up-arviointeja. Sen sijaan tarkoitus oli selvittää arviointimenetelmän toimivuutta yleisemmällä tasolla. 3.2 Aineiston keruu Päätös aineiston keruusta tehtiin Korkeakoulujen arviointineuvoston työvaliokunnassa, joka käsitteli selvityksen tavoitteita ja menetelmää kahdessa kokouksessa keväällä 2003. Kyselylomakkeen laadinnasta ja kyselyn käytännön toteutuksesta vastasivat projektisuunnittelijat Sirpa Moitus ja Hannele Seppälä. Selvityksen aineisto kerättiin kahdella kyselyllä, jotka osoitettiin koulutusala-arviointien yhteyshenkilöille ja korkeakoulujen rehtoreille. Koulutusala-arviointien yhteyshenkilöiden kyselylomakkeessa kysymykset koskivat koulutusohjelman tai oppiaineen aikaisempaa arviointikokemusta, perehdytystä KKA:n järjestämään koulutusala-arviointiin, arvioinnin tulosten hyödyntämistä sekä arvioinnin merkitystä ja vaikuttavuutta. Lisäksi vastaajia pyydettiin arvioimaan koulutusala-arvioinneissa käytettyä menetelmää. Kysymykset olivat avoimia. Kyselylomake on tämän raportin liitteenä. Yhteyshenkilöitä pyydettiin kokoamaan vastaukset omassa yksikössään valitsemallaan tavalla. Kysely lähettiin yhteyshenkilölle sähköpostitse 26.5.2003, ja vastaukset pyydettiin palauttamaan 29.8.2003 mennessä. Yksiköille, joista ei saatu vastausta määräaikaan mennessä, lähetettiin muistutus sähköpostitse jatkaen vastausaikaa 19.9.2003 asti. Rehtorikyselyn toteutus kuvataan luvussa 5.1. 14 3.3 Selvitykseen osallistuneet koulutusohjelmat ja oppiaineet Korkeakoulujen arviointineuvosto on toimintansa aikana toteuttanut 11 koulutusala-arviointia, joissa on käytetty seuraavia menetelmiä: Taulukko 2. Korkeakoulujen arviointineuvoston toteuttamat koulutusala-arvioinnit 1997–2003 Arviointiprojektin nimi Tot. (kv.=kansainvälinen vuosi arviointi) Arvioinnin suunnittelu Itsearviointi* Arviointivierailu Arviointiraportin laadinta Tuotantotalouden korkea-koulutuksen arviointi (kv.) Terveysalan korkeakoulutuksen arviointi Yliopistoissa annettavan opettajankoulutuksen arviointi 1998 perusmalli perusmalli perusmalli perusmalli 1999 perusmalli perusmalli perusmalli perusmalli 2000 perusmalli perusmalli meta-analyysi 2000 dokumenttianalyysi ja delfoimenetelmä perusmalli perusmalli perusmalli 2000 perusmalli portfoliomenetelmä perusmalli perusmalli perusmalli 2000 perusmalli tutkimusaineistot, arviointivierailut perusmalli 2001 perusmalli perusmalli: sisältönä koulutuksen ja tutkimuksen yhtäaikainen arviointi perusmalli perusmalli perusmalli 2002 perusmalli perusmalli perusmalli 2003 perusmalli perusmalli fokusryhmäkeskustelut ja arviointivierailut perusmalli 2003 perusmalli perusmalli perusmalli perusmalli 2004 perusmalli perusmalli yhteistyöseminaarit perusmalli Ammatillisen opettajankoulutuksen arviointi Tietoteollisuuden korkeakoulutuksen arviointi (kv.) Slavistiikan ja baltologian koulutuksen ja tutkimuksen arviointi (kv.) Konetekniikan korkea-koulutuksen arviointi (kv.) Media- ja viestintäalan korkeakoulutuksen arviointi Rakennustekniikan korkeakoulutuksen arviointi (kv.) Kauppatieteiden ja liiketalouden korkeakoulutuksen arviointi (kv.) Sosiaalialan korkeakoulutuksen arviointi *Itsearviointikysymykset kuitenkin räätälöidyt jokaisessa arviointiprojektissa perusmalli 15 Tämän selvityksen piiriin valittiin kahdeksan arviointiprojektia: neljä tekniikan alan arviointia, terveysalan, slavistiikan ja baltologian, media- ja viestintäalan sekä kaupan ja liiketalouden arviointi. Selvityksen ulkopuolelle rajattiin molemmat opettajankoulutuksen arvioinnit ja sosiaalialan arviointi. Opettajankoulutuksen arvioinneista oli ennen tätä selvitystä toteutettu seuranta-arvioinnit, mutta yksiköiltä oli kysytty eri kysymyksiä kuin tässä selvityksessä, joten aineistoa ei voitu hyödyntää tässä yhteydessä. Sosiaalialan arviointi taas oli selvitystä toteutettaessa vielä kesken. Selvitykseen valittuihin kahdeksaan arviointiin on osallistunut yhteensä 166 koulutusohjelmaa ja oppiainetta. Koska arviointeihin osallistuneiden yhteismäärä on varsin suuri, kysely päätettiin kohdentaa rajatulle otokselle siten, että osallistuvat koulutusohjelmat ja oppiaineet edustaisivat mahdollisimman monipuolisesti erilaisia yksiköitä. Selvitykseen osallistujien valintakriteereinä olivat • • • korkeakoulutyyppi siten, että edustetuksi tulevat yliopistot ja ammattikorkeakoulut koulutusala siten, että edustetuksi tulevat kaikki KKA:n arviointeihin osallistuneet alat arvioinnin toteutus siten, että edustetuksi tulevat • ns. perinteisiin ja menetelmällisesti poikkeaviin projekteihin osallistuneet yksiköt • eri kielillä toteutettuihin projekteihin osallistuneet yksiköt • yksiköt, joihin tehtiin arviointivierailu ja yksiköt, joissa ei vierailtu • yksiköt, jotka saivat arviointipalautteen ja yksiköt, jotka eivät saaneet palautetta. Selvitykseen valittiin yhteensä 87 koulutusohjelmaa ja oppiainetta ammattikorkeakouluista ja yliopistoista. Kyselyn kanssa samanaikaisesti oli käynnissä slavistiikan ja baltologian arvioinnin seuranta, jossa käytettiin pitkälti yhdenmukaista kyselyrunkoa tämän selvityksen kanssa. Näin ollen tämän alan oppiaineille ei tehty enää uutta kyselyä, vaan seuranta-arvioinnissa kertynyttä aineistoa käytettiin hyväksi tässä selvityksessä. Slavistiikan ja baltologian arvioinnin seurannassa ei kuitenkaan kysytty kysymyksiä 2, 9 ja 10. Kyselyyn valituista 87 koulutusohjelmasta ja oppiaineesta 70 vastasi kyselyyn. Näin ollen kyselyn vastausprosentti on 80 %. 16 Taulukko 3. Arviointeihin osallistuneet, selvitykseen valitut ja selvitykseen vastanneet koulutusohjelmat ja oppiaineet arviointiprojekteittain Arvioinnin kohteena ollut koulutus Arviointiin osallistuneet koulutusohjelmat ja oppiaineet Selvitykseen valitut koulutusohjelmat ja oppiaineet Yo Amk Yht. Yo Amk 5 10 15 6 Terveydenhuoltoala 11 19 30 Slavistiikka ja baltologia 11 - Tietoteollisuus 7 Opettajankoulutus Selvitykseen vastanneet koulutusohjelmat ja oppiaineet Yht. Yo Amk Yht. 6 12 5 4 9 5 7 12 3 7 10 11 5 - 5 5 - 5 8 15 4 6 10 4 3 7 11 - 11 - - - - - - Ammatillinen opettajankoulutus - 5 5 - - - - - - Konetekniikka 4 17 21 4 9 13 2 6 8 15 15 30 6 7 13 5 7 12 Rakennusala 2 17 19 2 7 9 2 4 6 Kauppatiede ja liiketalous 7 18 25 6 7 13 6 7 13 73 109 182 38 49 87 32 38 70 Tuotantotalous Media- ja viestintäala YHTEENSÄ 3.4 Vastausten käsittely Koulutusohjelmien ja oppiaineiden lähettämät vastaukset luokiteltiin aluksi arviointiprojekteittain ja teemoittain. Kuhunkin kysymykseen saadut vastaukset analysoitiin sisällönanalyysilla luokitellen maininnat eri näkökulmien mukaan ja laskien, montako kertaa kukin maininta esiintyi vastauksissa. Tarkoituksena oli selvittää, vaikuttivatko projektissa käytetyt arviointimenetelmät (esimerkiksi arviointivierailujen järjestäminen) ja kirjallisten arviointipalautteiden antaminen sekä arvioinnin kotimaisuus tai kansainvälisyys koulutusohjelmien tai oppiaineiden näkemyksiin. Mikäli projektien kesken oli merkittäviä näkemyseroja esimerkiksi menetelmän toimivuuden suhteen, erot tuodaan esille tekstissä. Käsittelyn aikana tarkasteltiin myös sitä, oliko näkemyksissä eroja yliopistojen oppiaineiden ja ammattikorkeakoulujen koulutusohjelmien kesken. 17 Lopuksi projektikohtaiset maininnat laskettiin yhteen frekvensseiksi (f) ja yhdistettiin taulukoiksi, joista eivät enää erotu yksittäisten alojen näkemykset, vaan joista ilmenee vastausten kokonaisuus. Taulukkoja tarkasteltaessa on hyvä huomata, että sama vastaaja saattoi esittää useita näkökulmia asiaan. Toisaalta kaikki vastaajat eivät vastanneet jokaiseen kysymykseen. Tämän vuoksi taulukkojen yhteenlasketut frekvenssit vaihtelevat, eikä niitä ole tarkoituksenmukaista laskea yhteen. Koska kyse oli laadullisesta kyselystä, taulukkojen frekvenssejä voidaan tulkita vain siten, montako kertaa kukin näkökulma mainittiin koulutusohjelmien ja oppiaineiden vastauksissa. 18 4 Oppiaineille ja koulutusohjelmille tehdyn kyselyn tulokset Tässä luvussa käsitellään koulutusohjelmille ja oppiaineille osoitetun kyselyn tuloksia kysymyksittäin. Kyselylomake on liitteenä. 4.1 Vastauksen laadintaprosessi korkeakouluissa Kyselylomakkeen aluksi koulutusohjelmilta ja oppiaineilta kysyttiin, miten ne olivat laatineet vastauksen tähän kyselyyn. Suurin osa koulutusohjelmista tai oppiaineista mainitsi, että arvioinnin yhteyshenkilö oli ensin laatinut vastaukset, jonka jälkeen niitä oli käsitelty yhdessä muun henkilöstön kanssa kokouksissa tai sähköpostitse. Joissakin yksiköissä oli perustettu työryhmä vastauksen laatimista varten. Noin viidesosan mukaan oli laatinut yksi henkilö, joka oli tavallisesti arvioinnin yhteyshenkilö. Opiskelijoiden osallistuminen vastausten laadintaan oli hyvin vähäistä. Opiskelijat olivat olleet mukana kahdessa media- ja viestintäalan arviointia koskevan vastauksen laadinnassa sekä yhden liiketalouden alan ja yhden rakennustekniikan alan vastauksen laadinnassa. 4.2 Arviointikokemus ja perehdytys 4.2.1 Aiempi arviointikokemus Selvityksen kysymys: • Millaista arviointikokemusta yksiköllänne oli ennen Korkeakoulujen arviointineuvoston toteuttamaa koulutusala-arviointia? Tällä kysymyksellä haluttiin selvittää, oliko arviointitoiminta koulutusohjelmille ja oppiaineille entuudestaan tuttua vai oliko Korkeakoulujen arviointineuvoston toteuttama arviointi ensimmäinen kerta, jolloin yksiköt tutustuivat arviointiin. Arviointikokemuksellahan on osaltaan vaikutusta siihen, millaista perehdytystä yksiköt KKA:lta tarvitsevat. 19 Taulukko 4. Koulutusohjelmien/oppiaineiden aiempi arviointikokemus. Kysymykseen vastasi 65 koulutusohjelmaa/oppiainetta Vastaajien aiempi arviointikokemus Korkeakoulujen sisäiset arviointi- ja kehittämishankkeet Muiden tahojen suorittamat arvioinnit (esim. EQUIS, OECD, ammattiliittojen selvitykset) Osallistuminen KKA:n järjestämiin kokonaisarviointeihin tai auditointeihin Osallistuminen KKA:n järjestämiin teema-arviointeihin, aluekehitysvaik., tai muihin kuin tässä käsiteltyihin koulutusala-arviointeihin Toimilupa-arvioinnit Suomen Akatemian tutkimuksen arvioinnit Osallistuminen KKA:n järjestämiin laatuyksikkövalintoihin Yksikön henkilökunta toiminut itse arvioitsijana KKA:n arviointihankkeissa Muuta (esim. KKA:n järjestämä arviointikoulutus, Laatukeskuksen EFQM-koulutus) Ei aikaisempaa kokemusta f 26 14 10 9 7 5 4 3 3 11 Suurimmalla osalla koulutusohjelmista ja oppiaineista oli Korkeakoulujen arviointineuvoston koulutusala-arviointia edeltävää arviointikokemusta. Eniten kokemusta oli hankittu korkeakoulujen sisäisistä arviointi- ja kehittämishankkeista. Tällaisia hankkeita oli ollut erityisesti terveysalalla sekä media- ja viestintäalalla. Lähes kaikilla aloilla oli karttunut aiempaa arviointikokemusta kansainvälisistä arvioinneista (esim. ammattikorkeakouluja koskeva OECD:n toteuttama arviointi), koulutusalakohtaisten laadunarviointiorganisaatioiden toteuttamista arvioinneista (esim. kaupan alalla EQUIS-arviointi), ammattiliittojen toteuttamista selvityksistä (esim. Suomen Ekonomiliiton selvitykset) tai muista vastaavista ulkopuolisten toteuttamista arvioinneista. Osa koulutusohjelmista ja oppiaineista oli osallistunut aikaisemmin johonkin Korkeakoulujen arviointineuvoston järjestämään teema-arviointiin, tai korkeakoulussa oli toteutettu kokonaisarviointi, jossa yksikkö oli ollut mukana. Myös laatuyksikkövalintaan osallistuminen oli kartuttanut joidenkin yliopistojen ainelaitosten arviointikokemusta. Yliopistojen laitokset toivat esille myös osallistumisen Suomen Akatemian toteuttamiin tutkimuksen arviointeihin. Ammattikorkeakoulujen koulutusohjelmat puolestaan mainitsivat toimilupa-arviointien tuoman kokemuksen. Muutamia kyselyyn vastanneiden koulutusohjelmien/oppiaineiden edustajia on toiminut KKA:n arvioinneissa myös arviointiryhmän jäseninä, jota pidettiin tärkeänä arviointikokemusta yksikköön välittävänä tekijänä. Yhden korkeakoulun vastauksessa tuotiin esille arviointikoulutuksen kautta saatu osaaminen ja kokemus (mm. osallistuminen Korkeakoulujen arviointineuvoston vuonna 2001 järjestämään 10 opintoviikon koulutukseen ”Arviointi ja laatu korkeakouluissa” sekä osallistuminen Suomen yliopistojen rehtorien neuvoston Laatukeskukselta tilaamaan EFQM-koulutukseen). 20 Yksitoista koulutusohjelmaa ja oppiainetta kertoi, että niillä ei ollut lainkaan arviointikokemusta ennen KKA:n järjestämää koulutusala-arviointia. Suurin osa näistä yksiköistä kuului niihin, joissa arviointi oli toteutettu jo vuosina 1997–1998. Tämän jälkeen arviointitoiminta ja -kokemus ovat lisääntyneet huomattavasti kaikilla aloilla. 4.2.2 Perehdytyksen riittävyys ja sen kehittäminen Selvityksen kysymys: • Oliko KKA:n antama perehdytys ennen arviointia (esim. itsearviointiohjeet ja käynnistysseminaari) riittävää, ja miten sitä tulisi kehittää? Taulukko 5. Perehdytyksen riittävyys. Kysymykseen vastasi 65 koulutusohjelmaa ja oppiainetta Perehdytyksen riittävyys Perehdytystilaisuus oli hyvä ja riittävä Itsearviointiohjeet ja muut kirjalliset ohjeet olivat riittävät Itsearviointi- ja muut ohjeet eivät olleet riittävät tai riittävän selkeät Lisätietoja pyydettiin KKA:n projektisuunnittelijalta Perehdytystilaisuus ei ollut riittävä eikä saavuttanut tavoitettaan f 37 21 10 8 2 Koulutusala-arviointeihin osallistuneet koulutusohjelmat ja oppiaineet olivat enimmäkseen tyytyväisiä KKA:n antamaan perehdytykseen ja ohjeiden riittävyyteen. Noin puolet tähän kysymykseen vastanneista toi esille, että arvioinnin käynnistysseminaari antoi hyvän ja riittävän pohjan arviointiin. Vain kaksi vastaajaa mainitsi, ettei perehdytystilaisuudessa saatu tieto ollut riittävää. ”Korkeakoulujen arviointineuvoston antama perehdytys oli kokonaisuutena riittävää. Käynnistysseminaari antoi hyvän perustan arvioinnille. Arviointilomake herätti keskustelua alkuvaiheessa. Siitä pyydettiin kuitenkin palautetta ja ehdotukset otettiin pitkälti huomioon. Itsearviointiohjeet olivat suurelta osin selkeät ja riittävät, ja tarvittaessa oli mahdollisuus pyytää selvennyksiä.” ”Arviointityön käynnistämisseminaarin anti jäi melko vaatimattomaksi. Katsomme, että pääsääntöisesti pärjäsimme annettujen kirjallisten ohjeiden perusteella arviointityötä tehtäessä. Joitakin ristiriitaisuuksia ohjeisiin sisältyi ja joiltakin osin niiden toteuttaminen oli ongelmallista ja mahdotontakin. Suurin ongelma oli kuitenkin prosessin aikana vastaus- ja käsittelyaikojen riittävyys, kun yhteistyötahoja oli useita.” Kolmasosa vastanneista kertoi olleensa tyytyväisiä itsearviointiohjeisiin ja muihin kirjallisiin ohjeisiin, jotka koskivat arvioinnin toteuttamista. Kuudesosa vastanneista oli mainitsi, että itsearviointiohjeet eivät olleet riittävän selkeät, eivätkä antaneet riittävää tukea itsearvioinnin suorittamiseen korkeakouluissa. Vastaajien kesken oli eroja siinä, kuinka tarkkaa itsearviointirunkoa ja ohjeistusta toivottiin. Toiset olisivat toivoneet hyvin tarkkaa ohjeistusta, kun taas 21 joissakin yksiköissä itsearviointiohjeiden väljyys oli koettu positiivisena asiana. Tällöin positiivisena pidettiin erityisesti sitä, että väljyys mahdollisti yksikön omat painotukset ja valinnat itsearviointiprosessissa. Kaikkien arviointiprojektien yhteydessä oli mainintoja siitä, että perehdytyksen ja lisätietojen saaminen KKA:n projektisuunnittelijalta oli toimivaa. ”Kirjallisia ohjeita oli paikoin hankala tulkita osin väljästi ilmaistun ja paikoin ristiriitaisenkin tekstin vuoksi. Lisäksi osa asioista tuntui olevan päällekkäisiä. Käytetyt käsitteet tulisi ehdottomasti määritellä selkeästi ja yksiselitteisesti.” ”Itsearviointiohjeet koettiin prosessia helpottaviksi, mutta osittain puutteellisiksi ja tulkinnanvaraisiksi. Ohjeita voisi selventää ja yksinkertaistaa. Kysymyksenasettelujen tulisi ehkä paremmin noudattaa korkeakoulun käytössä olevaa nimikkeistöä, organisaatiota, hallintomallia jne. ” Taulukko 6. Perehdytyksen kehittäminen. Kysymykseen vastasi 28 koulutusohjelmaa/oppiainetta Perehdytyksen kehittäminen Aikataulun pitäisi olla väljempi, arvioinnin ajoitus oli huono Itsearvioinnissa ja koko arviointiprosessissa käytetyt käsitteet tulisi määritellä selkeästi (myös ruotsin ja englanninkieliset käänökset tarkemmiksi) Käynnistysseminaarissa pitäisi olla enemmän aikaa keskusteluun ja kysymyksille mm. arvioinnin tavoitteista Arvioinnin kohde ja rajaukset tulisi olla selkeämmät ja perustellut Enemmän perehdytystä ja ohjeita (KKA:n malli poikkeaa mm. EFQM:stä ja muista korkeakoulujen käyttämistä laatujärjestelmistä) Tulisi varata henkilöstöresursseja arviointiprosessin toteuttamiseen Muut (Arvioinnissa tulisi käyttää suomen kieltä englannin sijaan, Itsearviointikysymysten laadinnassa tulisi huomioida myös opiskelijat, Arvioinnin yhteyshenkilöille enemmän tukea ja ohjausta) f 11 9 3 3 2 2 3 Koulutusohjelmien ja oppiaineiden vastauksissa nousi esiin paljon arvokkaita ehdotuksia arviointiprojektien perehdytyksen kehittämiseksi. Eniten kiinnitettiin huomiota arviointiprojektien aikatauluihin, jotka ovat vastanneiden mukaan liian tiukkoja ja vaikeuttivat paikoin perusteellisen itsearviointiprosessin läpiviemistä. Korkeakoulut toivoivat myös oman toimintansa kannalta sopivampaa ajoitusta. Useissa arviointiprojekteissa itsearviointivaihe on toteutettu aikavälillä touko–syyskuu, jolloin on ajateltu kesäajan tarjoavan väljyyttä itsearvioinnin toteuttamiseen. Arviointiprojektin aikataulutukseen vaikuttaa osittain myös KKA:n oman työn organisointi, koska kesäaikaa pitäisi kuitenkin pystyä hyödyntämään. Erityisesti kauppatieteiden ja liiketalouden alan arviointiin sekä tietoteollisuuden alan arviointiin osallistuneista moni oli sitä mieltä, että kesäaika katkaisi itsearviointivaiheen ja hankaloitti korkeakoulun toimijoiden yhteistyötä ja yhteisen itsearviointiprosessin toteuttamista. Aikaresurssien lisäksi muutamassa vastauksessa tuotiin esille arviointihankkeen henkilöresurssoinnin lisätarve. 22 ”Itsearvioinnin ja arviointivierailujen ajankohdan suunnittelussa on hyvä ottaa huomioon ammattikorkeakoulujen ja eri koulutusohjelmien työskentelyaikataulut (esim. tekniikassa kiireisin aika on huhtikuu lukuvuoden päättyessä huhti–toukokuun vaihteessa).” ”Seuraavan arvioinnin aikataulutuksen ja oppilaitosten työskentelyn parempaan koordinointiin tulisi kiinnittää huomiota. Arviointiprosessin käynnistäminen juuri ennen kesää opetustyön loputtua ja opettajien lähtiessä lomille aiheutti lähes kolmen kuukauden seisahduksen. Toisaalta koulutyön käynnistyttyä syyskuussa oli nopeasti järjestettävä itsearviointitilaisuudet, kirjoitettava raportti ja kierrätettävä se lausunnoilla. Väljemmällä aikataululla olisi kenties meidän tapauksessamme jäänyt enemmän aikaa pohdintoihin, olihan meillä alkanut juuri kahden itsenäisen osaston toimintojen ja toimintakulttuurin yhteensovittaminen.” ”Järjestettiin tilaisuus, missä arviointiprosessia käytiin läpi, ohjeistus oli sinänsä riittävää. Vaikeaa: aikataulu saneltiin ylhäältä, joten se kuormitti töiden ohella. Arvioinnin deadline, joka oli syksyn alussa, oli aikataulullisesti tiukka, koska hallintoa ei yleensä hoideta kesällä. Tilastointi oli vaikeaa, sillä eri korkeakouluissa on erilaiset systeemit (=millaisia tilastoja kerätään).” Useat koulutusohjelmat ja oppiaineet pitivät arvioitavien kohteiden ja käsitteiden selkeämpää määrittelyä tärkeänä kehittämiskohteena. Myös arvioinnin rajausten selkeyteen tulisi kiinnittää enemmän huomiota. Palautteen mukaa käsitteiden epätarkkuus on vaikuttanut jossakin määrin myös suomen-, ruotsin- ja englanninkielisten käännösten eroavaisuuksiin. Ehdotuksia käsitteiden, arvioinnin rajausten ja kohteiden selkeyttämiseksi tuli erityisesti kauppatieteiden ja liiketalouden arviointiin sekä media- ja viestintäalan arviointiin osallistuneilta. Kauppatieteiden ja liiketalouden arviointiprojektissa korkeakoulut saivat itse tehdä arviointikohteiden rajaukset. Joissakin korkeakouluissa olisi kuitenkin toivottu, että arvioinnin suunnittelijat olisivat määritelleet arviointikohteet yhtenäisellä tavalla. Media- ja viestintäalalla johtoryhmän tekemää arviointikohteiden valintaa ja rajausten tekemistä vaikeutti vuosikymmenen vaihteessa tapahtunut alan koulutustarjonnan nopea kasvu. ”Arviointiohjeistus oli riittävää ja käynnistysseminaari kattoi arviointiin liittyviä asioita hyvin. Eniten pohdittavaa liittyi arvioinnin kohteen tarkempaan määrittelemiseen ja rajaamiseen, joka ohjeistuksessa jätettiin ammattikorkeakoulun valittavaksi. Harkittavaa saattaisi olla, olisiko arvioinnin kohteen määrittelyn tullut olla yhtenäisempi.” ”Perehdytys oli riittävä. Arvioitavien käsitteiden määrittely mahdollisimman yksiselitteisellä tavalla helpottaisi itsearvioinnin tekemistä.” ”Perehdytyksessä ei käynyt riittävän selväksi se, että kyse oli opetuksen, ei tutkimuksen arvioinnista. Laitoksella heräsi myös jo prosessin alussa kysymys siitä, miten yliopistollisten yksiköiden arviointi ylipäätään on mahdollista erottamalla opetus ja tutkimus toisistaan (koska niiden yhteys on koko yliopisto-opetuksen erityisluonteen perusta). Ohjeita ei muutenkaan pidetty selkeinä.” 23 Joidenkin arvioinnissa käytettävien käsitteiden epätarkkuuden ja yhteisten määritelmien puuttumisen koettiin vaikeuttavan itsearvioinnin tekemistä, korkeakoulujen välistä vertailtavuutta sekä opiskelijoiden osallistumista itsearvioinnin tekemiseen. Itsearviointikysymysten selkeyttämistarvetta korostivat erityisesti rakennustekniikan, konetekniikan ja tietoteollisuuden alan arviointeihin osallistuneet. Vastauksissa kiinnitettiin huomiota itsearvioinnin selkeyteen myös opiskelijoiden kannalta. Itsearviointikysymysten tulisi vastaajien mukaan olla sisällöltään sellaisia, että opiskelijoilla olisi edellytykset vastata niihin. ”Itsearviointikysymyksiä tulisi kehittää. Ainakin rakennustekniikan koulutusohjelmien itsearviointikysymykset olivat vaikeaselkoisia ja vastaajille erittäin paljon selvitystyötä vaativia. Lisäksi melko suuri osa kysymyksistä ei kohdistunut itse toimintaan.” ”Instruktionerna var överlag ok men de svenska instruktionerna kunde gärna ha kommit samtidigt som de finska instruktionerna. De båda språkversionerna borde även ha förmedlar samma budskap; utvärderingsarbetet försvårades i viss mån p.g.a. att vissa frågor inte var klart formulerade på svenska. Det var också lite oklart vad rådet inbegrep i begreppet affärskompetens.” Muutamissa kauppatieteiden ja liiketalouden alan sekä media- ja viestintäalan arviointeihin osallistuneiden vastauksissa toivottiin, että käynnistysseminaarissa varattaisiin enemmän mahdollisuuksia keskusteluun ja erilaisten epäselvien asioiden käsittelyyn. Yksiköt toivoivat tiiviimpää osallistumista, keskustelua ja vaikutusmahdollisuuksia arvioinnin suunnitteluvaiheessa. ”Käynnistysseminaarissa olisi voitu esittää itsearvioinnin kysymykset ja aiheet edes pääpiirtettäin, jolloin osallistujilla olisi ollut mahdollisuus kommentoida niitä ja myös keskustella itsearvioitavien seikkojen painotuksista ja relevanttiudesta.” Arviointiprojektiin osallistuminen vaatii korkeakouluilta paljon työtä ja sitoutumista sekä perehtymistä KKA:n käyttämiin arviointimenetelmiin, jotka poikkeavat esimerkiksi monissa kaupallisissa laadunvarmistusjärjestelemissä käytetyistä menettelytavoista. Arviointiprojektin alkuvaiheessa jokainen arviointiin osallistuva korkeakoulu nimeää yhteyshenkilön, joka toimii tiedonvälittäjänä KKA:n ja korkeakoulun välillä ja jonka toivotaan hoitavan korkeakoulussa arvioinnin organisoimiseen liittyviä asioita. Muutamien palautteiden mukaan yhdyshenkilöiden tulisikin saada enemmän ohjausta, tukea ja tietoa tehtävänsä hoitamiseksi. ”Käynnistysseminaarissa kävi selväksi, mihin arvioinnilla pyritään ja ketkä prosessissa toimivat eri rooleissa. Sen sijaan koulutusohjelman vetäjän tulisi saada enemmän tukea, taitoja ja harjaannusta arviointiprosessin ohjaamisessa omassa yksikössään. Kaikkien saaminen mukaan prosessiin on vaativa johtamistehtävä, eritoten pienessä koulutusohjelmassa, jossa johtamis- ja suunnitteluresurssi on pieni ja henkilöstö toimii monessa koulutusohjelmassa.” 24 4.3 Arvioinnin tulosten hyödyntäminen 4.3.1 Arvioinnin tulosten käsittely Selvityksen kysymys: • Miten yksikössänne käsiteltiin koulutusohjelma- /oppiainekohtaista ja valtakunnallista arviointipalautetta ja suosituksia? Taulukko 7. Arvioinnin tulosten käsittely. Kysymykseen vastasi yhteensä 69 koulutusohjelmaa ja oppiainetta Arvioinnin tulosten käsittely Palautetta käsitelty henkilöstön kanssa (henkilöstökokoukset, osastokokoukset, kehittämispäivät) Korkeakoulun johto käsitellyt palautetta (hallitus, johtoryhmä, rehtori, opetus- ja tutkimusneuvosto tai vastaava) Käytetty tukena yksikön kehittämisessä (esim.strategisessa työssä, toimintasuunnitelmien laadinnassa) Palautetta käsitelty opiskelijoiden kanssa (info- ja keskustelutilaisuudet) Koulutuksen sisältöjä ja tavoitteita kehitetty (ops-uudistus, tutkinnonuudistus) Palautetta käsitelty työelämän edustajien kanssa neuvottelukunnissa, tiedotettu/esitelty työelämälle (alan järjestöille) Ei erillisiä tilaisuuksia, arviointiraporttia jaettu arviointiprosessiin osallistuneille Muut: Tiedotettu tiedotusvälineille, käytetty perusteena talous- ja tulosneuvotteluissa, tuloksista laadittu oma yhteenveto asian käsittelyä varten, oman yksikön tunnuslukuja vertailtu raportissa kuvattuun valtakunnalliseen tasoon, arvioinnissa tuotettua materiaaleja ja julkaisuja on käytetty oppimateriaalina f 54 22 16 13 12 11 4 7 Yleisin tapa käsitellä koulutusohjelma- tai oppiainekohtaista ja valtakunnallista arviointipalautetta ja suosituksia oli ottaa ne esiin henkilöstökokouksissa sekä erilaisilla henkilöstön kehittämispäivillä. Erityisesti ammattikorkeakouluissa tällainen käytänne oli hyvin yleinen. Useissa koulutusohjelmissa ja oppiaineissa oli menetelty niin, että arviointipalautetta oli käsitelty sekä korkeakoulun johdon kokouksissa että henkilöstölle ja opiskelijoille järjestetyissä keskustelutilaisuuksissa. Joissakin ammattikorkeakouluissa keskustelutilaisuuksiin oli osallistunut myös työelämän edustajia. Vastauksissa tuli esille, että tilaisuuksilla oli ollut suuri merkitys kehittämissuunnitelmien ja -toimenpiteiden jatkotyöstämisen kannalta. 25 Noin viideosassa tähän kysymykseen vastanneista ammattikorkeakoulujen koulutusohjelmissa arviointipalautetta oli käsitelty neuvottelukunnissa. Ammattikorkeakoulut olivat kutsuneet myös opiskelijoita käsittelemään arviointipalautteita. Useissa koulutusohjelmissa opiskelijat olivat olleet mukana info- ja keskustelutilaisuuksissa. Muutama koulutusohjelma oli järjestänyt myös erillisen opiskelijoille suunnatun tilaisuuden. Yliopistoissa opiskelijoiden mukaan kutsuminen oli harvinaisempaa – vain kaksi yliopistoyksikköä mainitsi opiskelijoiden osallistuneen arviointipalautteen käsittelyyn. Noin neljäsosa vastaajista mainitsi, että arviointipalautetta oli hyödynnetty yksikön kehittämisessä, strategisessa työssä tai toimintasuunnitelmien laadinnassa. Muutamissa koulutusohjelmissa ja oppiaineissa arviointipalautetta oli hyödynnetty myös perusteina talous- ja tulosneuvotteluissa. Arviointipalautteesta oli ollut hyötyä myös koulutuksen sisältöjen ja tavoitteiden kehittämisessä. Mainintoja arviointipalautteen hyödyntämisestä suoraan opetuksen kehittämisessä oli muun muassa liiketalouden ja kauppatieteiden, media- ja viestintäalan sekä slavistiikan ja baltologian arviointiin osallistuneissa yksiköissä. Kaikissa koulutusohjelmissa ja oppiaineissa ei ollut järjestetty erillisiä tilaisuuksia arviointipalautteen käsittelemiseksi. Näissä yksiköissä tiedottaminen oli usein hoidettu siten, että arviointiraportteja oli jaettu arviointiprosessiin osallistuneille tutustuttavaksi. Muutamissa vastauksissa tuli esille arviointipalautteen käsittelyn ja hyödyntämisen vaikeus, joka johtui siitä, että yksikkö ei ollut saanut omaa kehittämispalautetta, vaan palaute oli ollut valtakunnallista. Yhden vastauksen mukaan raportin suuri sivumäärä ja englanninkielisyys vaikeutti palautteen käsittelyä. Yhtenä hyvänä tiedottamisen käytänteenä tuli esille se, että koulutusohjelma oli laatinut oman koulutusohjelmakohtaisen yhteenvedon arvioinnin tuloksista valtakunnallisen arviointiraportin pohjalta. Tällainen menettely saattaa helpottaa paitsi arvioinnin tuloksista tiedottamista, myös nopeuttaa jatkotoimenpiteiden suunnittelua. 4.3.2 Arviointeja seuranneet konkreettiset kehittämistoimenpiteet Selvityksen kysymys: • Mainitkaa esimerkkejä siitä, mitä konkreettisia toimenpiteitä arvioinnista seurasi yksikkönne koulutuksen kehittämisessä? 26 Taulukko 8. Arvioinnista seuranneet konkreettiset toimenpiteet Arvioinnista seuranneet konkreettiset toimenpiteet Opetussuunnitelmatyö, opetussisältöjen kehittäminen, tutkintorakenteen uudistaminen Opintojen ohjauksen kehittäminen ja HOPS:in käyttöönotto Kansainvälisyyden lisääminen (vieraskielinen opetustarjonta, kv. vaihto) Opetusmenetelmien ja suoritustapojen kehittäminen Arviointi- ja palautejärjestelmien kehittäminen Laatutyö, strategiatyö (pedagoginen ja kv. strategia), johtamisen kehittäminen Tiedottamisen ja henkilöstön ja opiskelijoiden keskustelukulttuurin kehittäminen Työelämäyhteyksien kehittäminen Opettajien täydennyskoulutus (pedagoginen, työelämäyhteydet) Harjoittelun kehittäminen Opetusvälineiden ja -tilojen kehittäminen Verkostoituminen (korkeakoulujen sisällä, välillä ja työelämän kanssa) Opiskelijavalintojen kehittäminen, aloituspaikkojen lisääminen/vähentäminen Koulutuksen tavoitteiden kehittäminen Muut (mm. opiskelijoiden osallistuminen koulutuksen suunnitteluun) f 37 26 17 15 15 12 10 10 9 9 6 6 4 3 16 Useimmat koulutusohjelmat ja oppiaineet toivat esiin useita arvioinneista seuranneita konkreettisia toimenpiteitä. Vastausten perusteella arviointien tuloksia on käytetty eniten opetussuunnitelmatyöhön ja opetussisältöjen kehittämiseen. Melko moni yliopistosektorin oppiaine toi esiin myös tutkintorakenteen uudistuksen, jossa arvioinnin suosituksia on voitu hyödyntää. Tässä työssä yhden vastaajan mukaan opetuksen päällekkäisyyksiä on pyritty vähentämään ja opintojaksojen integrointia on pyritty parantamaan. Muutamat koulutusohjelmat ovat vahvistaneet profiloitumistaan lisäämällä tai kehittämällä opetustarjontaansa vahvuusalueillaan. Toiseksi eniten arviointien tuloksia on käytetty opintojen ohjauksen kehittämiseen. Osa oppiaineista on kehittänyt koko opintojen ohjausjärjestelmää, osa taas on keskittynyt opettaja- ja opiskelijatuutoroinnin tai opinnäytetyön ohjauksen kehittämiseen. Osa vastanneista on tehostanut opintojen etenemisen seurantaa. Melko moni oppiaine on alkanut edellyttää opiskelijoilta henkilökohtaisten opintosuunnitelmien (HOPS) laatimista, johon oppiaine tarjoaa ohjausta ja tukea. Arvioinnin seurauksena myös kansainvälistymiseen on kiinnitetty entistä enemmän huomiota. Tämä on toteutettu useassa koulutusohjelmassa ja oppiaineessa järjestämällä vieraskielistä (tavallisesti englanninkielistä) koulutusta joko yksittäisinä kursseina tai kokonaisina opintokokonaisuuksina. Samoin kansainvälisen vaihdon tehostamiseen, koulutuksesta tiedottamiseen ja kansainvälistymisen strategioihin on kiinnitetty huomiota. Opetusmenetelmiä on kehitetty ja monipuolistettu. Osa oppiaineista on integroinut opiskelijoita tutkimustyöhön entistä aiemmassa opintojen vaiheessa. Useat oppiaineet ovat lisänneet opiskelijoiden mahdollisuuksia suorittaa opin- 27 tojaksoja vaihtoehtoisella tavalla. Muutama oppiaine on kehittänyt erityisesti verkko-opetusta. Arviointi- ja palautejärjestelmiä on kehitetty arvioinnin jälkeen monella eri tavalla. Suuri osa koulutusohjelmista on kehittänyt erityisesti opintojaksojen arviointia ja systematisoinut opiskelijapalautteen keruuta. Myös opiskelijoiden ja opettajien itsearviointia on tehostettu. Muutama koulutusohjelma tai oppiaine on ryhtynyt keräämään palautetta työelämän edustajilta tai koulutuksesta valmistuneilta. Osa oppiaineista ja koulutusohjelmista on laatinut arvioinnin seurauksena pedagogisen strategian tai kansainvälisen toiminnan strategian. Osa koulutusohjelmista on panostanut opetushenkilökunnan pedagogiseen ja muuhun täydennyskoulutukseen. Ammattikorkeakoulut toivat esiin yhtenä täydennyskoulutuksen muotona esiin opettajien työelämäjaksot. Samoin henkilökunnan keskinäiseen työnjakoon on kiinnitetty aiempaa enemmän huomiota. Erityisesti terveysalalla harjoittelua on kehitetty yhdessä työelämän edustajien kanssa. Moni alan koulutusohjelma on arvioinnin jälkeen laatinut harjoittelukäsikirjat, joissa mm. eri harjoittelupaikkojen ohjauskäytänteitä on pyritty yhdenmukaistamaan. Lisäksi koulutusohjelmat ja oppiaineet toivat esiin lukuisia muita konkreettisia kehittämistoimenpiteitä, joita ovat mm. opiskelijoiden osallistuminen koulutuksen suunnitteluun, opettajien työelämäkonsultoinnit jne. 4.3.3 Syitä suositusten toteutumatta jäämiseen Selvityksen kysymys: • Mikäli joitakin suosituksia tai kehittämisehdotuksia ei ole toteutettu, mistä syystä? Taulukko 9. Syitä suositusten toteutumatta jäämiseen Syitä suositusten toteuttamatta jäämiseen Resurssipula Suositukset eivät olleet relevantteja tai selviä Kaikki suositukset on toteutettu tai ovat työn alla Aikaavievä prosessi; työ vielä kesken Organisaatio on muuttunut arvioinnin jälkeen Suositukset koskevat koko alaa ja yhteistyö on vähäistä Arvioinnin seurantajärjestelmä tai vastuuhenkilöt puuttuvat Yksikön oma kehittämistoiminta käynnissä jo ennen arviointia Muut f 13 7 6 6 4 3 2 2 8 Osa koulutusohjelmista ja oppiaineista oli jättänyt tähän kysymykseen vastaamatta. Vastanneista suurin osa piti keskeisimpänä syynä taloudellisten resurssien vähäisyyttä syynä siihen, että suositukset olivat jääneet toteutumatta. 28 ”Resurssien vähäisyyden vuoksi suuri osa henkilöstön työpanoksesta menee varsinaiseen opetustyöhön. Kehittämiseen varatut resurssit ovat rajalliset, ja siksi toimenpiteet ovat joissakin asioissa vasta alussa.” Toinen syy suositusten toteutumatta jäämiseen oli se, että suositukset eivät olleet koulutusohjelman tai oppiaineen mielestä relevantteja tai riittävän konkreettisia. ”Osa suosituksista oli sellaisia, että niiden toteuttaminen ei ole laitosten omassa päätösvallassa tai sellaisia, että niitä pidettiin vähemmän tarkoituksenmukaisina. Yhdessä oppiaineessa katsottiin, että arviointi jätti täysin huomiotta oppiaineen omaan valintaan pohjaavan strategian; silloin myöskään suosituksia ei pidetty mielekkäinä.” Kuusi koulutusohjelmaa tai oppiainetta ilmoitti vastauksenaan, että kaikki suositukset on toteutettu tai niiden toteuttaminen on käynnissä. Yhtä moni ilmoitti, että keskeinen syy suositusten toteutumatta jäämiseen oli ajallisten resurssien vähäisyys. Muita syitä suositusten toteutumatta jäämiseen oli mm. se, että suositukset koskivat koko alaa ja olisivat edellyttäneet parempaa alan sisäistä yhteistyötä; yksiköltä puuttuivat vastuuhenkilöt, jotka olisivat huolehtineet suositusten toimeenpanosta tai arvioinnin ei katsottu tuoneen merkittävää uutta tietoa yksikön kehittämiseen, joka oli käynnistynyt jo ennen arviointia. 4.4 Arvioinnin merkitys ja vaikuttavuus 4.4.1 Arvioinnin merkitys koulutuksen kehittämiselle Selvityksen kysymys: • Millainen merkitys koulutusala-arvioinneilla on ollut koulutuksen kehittämiselle? Taulukko 10. Arvioinnin merkitys koulutuksen kehittämiselle. Kysymykseen vastasi yhteensä 69 koulutusohjelmaa/oppiainetta Arvioinnin merkitys Arviointi antoi uusia ideoita opetuksen kehittämiseen Arviointi vahvisti olemassaolevia käsityksiä ja tuki opetuksen kehittämistä, mutta ei tuonut uutta tietoa Arvioinnin avulla sai kuvan alan koulutuksen nykytilasta ja valtakunnallista vertailutietoa Arviointi tuotti omaa koulutusohjelmaa koskevaa palautetta ulkopuolisesta näkökulmasta Arviointi vaikutti koulutusohjelman strategiatyöhön Itsearvioinnilla suuri merkitys (koulutusohjelman oma prosessi) Arviointi on lisännyt työelämäyhteistyö/yhteistyötä alueen yritysten kanssa. Antoi myönteisen vaikutuksen koulutusohjelman ilmapiiriin, toi kehittämissuuntautuneisuutta Arvioinnilla vähäinen merkitys tai ei ollenkaan merkitystä kehittämiselle Muuta: arviointi tukenut laatukäsikirjan työstämistä, henkilökunta ja opiskelijat saaneet kokemusta arviointiin osallistumisesta, arviointipalautetta hyödynnetty erilaisissa anomuksissa ja lisäresurssien hankinnassa, vaikuttanut opettajien ja johdon kehittämiseen) f 26 16 9 9 8 6 4 3 5 9 29 Selvityksen mukaan koulutusala-arvioinnit olivat vaikuttaneet eniten opetuksen kehittämiseen. Tässä yliopistojen ja ammattikorkeakoulujen yksiköt olivat hyvin yksimielisiä. Noin kolmasosa vastanneista kertoi, että arviointi oli tuottanut uusia näkökulmia opetuksen kehittämistyöhön. Viideosa tähän kysymykseen vastanneista oli sitä mieltä, että arviointi tuki opetuksen kehittämistä vahvistaen ja tehden näkyväksi olemassa olevia käsityksiä, mutta ei kuitenkaan tuonut varsinaisesti uutta tietoa kehittämiseen. ”Arviointi antoi konkreettista palautetta tehdyistä ratkaisuista ja pohtimisen arvoisia kehittämisideoita, joita käsitellään laitoksen johtoryhmän työskentelyssä sekä sen pohjalta tapahtuvassa ‘jalkauttamisprosessissa’.” ”Liiketalouden koulutuksen arviointi vahvisti niitä näkemyksiä, joita yksikölle oli syntynyt koulutusohjelman kehittämistarpeista. Toisaalta näin saatiin myös tukea käsityksillemme onnistuneista ratkaisuista. Mitään varsinaisia yllätyksiä koulutusala-arviointi ei yksikölle tuottanut.” Osa vastanneista koki, että koulutusala-arvioinneissa on tuotettu hyödyllistä omaa alaa koskevaa valtakunnallista vertailutietoa, jota korkeakoulut ovat voineet käyttää koulutuksen kehittämisessä. Arviointiryhmän palautetta arvostettiin erityisesti niissä koulutusohjelmissa ja oppiaineissa, jotka olivat saaneet suoraan omaa toimintaa koskevaa palautetta. ”Koulutusala-arviointi on antanut arvokasta lisätietoa oman alamme koulutuksen nykytilasta, kehittämistarpeista ja esimerkiksi eri yksiköissä käytössä olevista ns. parhaista käytännöistä.” Koulutusala-arvioinnit olivat vaikuttaneet koulutuksen kehittämiseen myös strategiatyön kehittämisen kautta. Vastanneiden mukaan arviointi on vaikuttanut strategioiden kehittämis- ja uudistamisprosesseihin, antanut palautetta valituista strategioista sekä tuonut uusia näkökulmia. Arviointi oli vaikuttanut strategiatyöhön erityisesti ammattikorkeakoulusektorilla. ”Arviointiprosessi on arvokas lähde yliopiston strategiatyöskentelyssä. Lisäksi itse arviointiprosessi on merkityksellinen monitahoisen organisaation toiminnalle ja johtamiselle. Arviointiprosessi antaa analyyttisyyttä suhteessa omaan toimintaan, mutta myös muihin samantyyppisiin koulutusyksiköihin.” Itsearviointi oli koettu monessa koulutusohjelmassa ja oppiaineessa merkittäväksi ja koulutuksen kehittämiseen vaikuttavaksi prosessiksi. Joissakin vastauksissa tuotiin esiin, että itsearviointi oli koko arvioinnin merkittävin vaihe. Myös useat sellaiset koulutusohjelmat, jotka olivat saaneet omaa yksikköä koskevaa palautetta, pitivät itsearviointia merkittävimpänä arvioinnin vaiheena. Itsearviointi oli vastanneiden mukaan tuottanut muun muassa kriittistä pohdintaa laitoksen toiminnasta ja tavoitteista sekä systematisoinut oman toiminnan arviointia ja arviointitiedon hyödyntämistä koulutuksen kehittämisessä. Itsearviointi oli useassa koulutusohjelmassa ja oppiaineessa toiminut myös hyvänä keskustelun herättäjänä. ”Valmistautuminen arviointiin aiheutti tietojen päivityksen ja kirjoitettun muotoon saamisen myös sellaisista asioista, joita pidettiin itsestään selvinä ja yleisenä tietona.” 30 Arvioinnin mainittiin myös tukeneen ja lisänneen yhteistyötä alueen yritysten kanssa. Muutamat ammattikorkeakoulujen edustajat toivat esiin, että työelämän edustajien osallistuminen arviointiprosessiin oli vahvistanut keskinäistä kanssakäymistä ja tiedon kulkua puolin ja toisin. Työelämäyhteistyö oli kohentunut myös saadun arviointipalautteen myötä. Muutamien koulutusohjelmien ja oppiaineiden vastauksissa tuotiin esiin, että arvioinnilla oli ollut myönteinen vaikutus yksikön ilmapiiriin ja se oli lisännyt yleistä kehittämisorientaatiota. ”Koulutuksen laatuun sisältyvät asiat tulee mietityksi laajemmalla porukalla syvällisemmin. Organisaatio on oppinut jotain toiminnan laadun suhteen. Myönteinen vaikutus ilmapiiriin.” Viisi koulutusohjelmaa ja oppiainetta oli sitä mieltä, että arvioinnilla oli ollut vain vähäinen tai olematon merkitys koulutuksen kehittämiselle. Tyytymättömistä neljä oppiainetta edusti yliopistoja. ”Olemme kokeneet, että kerätty tieto ei ollut kaikelta osin relevanttia toiminnan arvioimisen kannalta. Arviointi oli aikaa vievää ja työlästä saatuun hyötyyn nähden.” 4.4.2 Muut koulutuksen kehittämiseen vaikuttaneet tekijät Selvityksen kysymys: • Mitkä muut tekijät ovat vaikuttaneet koulutuksen kehittämiseen? Taulukko 11. Muut koulutuksen kehittämiseen vaikuttaneet tekijät Muut koulutuksen kehittämiseen vaikuttaneet tekijät Työelämän tarpeet ja muutokset Vuorovaikutus kansainvälisten ja kotimaisten toimijoiden kanssa Muutokset koulutuksen aloituspaikoissa ja opiskelijamäärissä Opiskelijoilta kerätty palaute Kaksiportainen tutkintojärjestelmä Korkeakoulun oma strategia ja strategiatyö Korkeakoulupoliittiset linjaukset Yhteiskunnan yleinen kehitys Myönteinen organisaatiokulttuuri, vuorovaikutus opettajien ja opiskelijoiden kesken Uusien virkojen saaminen ja henkilöstön oma motivaatio kehittämiseen Lisäresurssien saaminen (esim. laatuyksiköksi valinta) Alan uusin tutkimustieto ja alan yleinen kehitys Muut (kilpailu, tarve profiloitua, oma tai muun tahon kuin KKA:n ulkoinen arviointi) f 19 12 9 7 6 6 5 5 4 4 4 2 2 Kyselyyn osallistuneet koulutusohjelmat ja oppiaineet toivat esiin lukuisia muita tekijöitä, jotka olivat arvioinnin ohella vaikuttaneet koulutuksen kehittämiseen. Eniten koulutuksen kehittämiseen olivat vaikuttaneet muutokset työelämässä ja työelämän tarpeet. 31 Myös vuorovaikutus kansainvälisten kollegayksiköiden ja korkeakoulujen kanssa oli antanut ideoita ja lisäpontta koulutuksen kehittämiseen. Kotimaisesta yhteistyöstä tuotiin esiin yhteistyö muiden korkeakoulujen ja työelämän kanssa. Muutokset opiskelijoiden sisäänotossa olivat yksi koulutuksen kehittämiseen vaikuttaneista tekijöistä. Osa vastanneista oli joutunut vähentämään aloituspaikkoja, ja osa taas oli lisännyt niitä. Opiskelijoilta kerätty kurssipalaute oli monissa tapauksissa antanut aiheen koulutuksen kehittämiseen. Samoin kaksiportainen tutkintojärjestelmä, korkeakoulun oma strategiatyö ja korkeakoulupoliittiset linjaukset olivat vaikuttaneet koulutuksen kehittämiseen. Tällaisena tekijänä ammattikorkeakoulut toivat esiin uuden ammattikorkeakoululain ja oman ammattikorkeakoulun toiminnan vakiinnuttamisen. Muita koulutuksen kehittämiseen vaikuttaneita tekijöitä olivat uusien virkojen ja lisäresurssien saaminen yksikköön, alan uusimman tutkimustiedon hyödyntäminen sekä sisäisen tai ulkoisen arvioinnin tuottama tiedon hyödyntäminen. Muutamat yksiköt mainitsivat, että oli vaikea erottaa, mikä kehittämistoimenpide oli seurannut suoraan arvioinnista ja miten muut tekijät olivat vaikuttaneet kehittämiseen. Lisäksi mitä enemmän aikaa on arvioinnista, sitä vaikeammaksi käy erottaa arvioinnin vaikuttavuutta, koska arvioinnin rinnalla monien muiden kehitysimpulssien määrä lisääntyy vuosien kuluessa. ”Arviointitulokset ovat olleet koulutuksen kehittämisessä keskeisiä, mutta kehitystoimet perustuvat useisiin tekijöihin. Arvioinnin lisäksi ovat vaikuttaneet esim. työelämän osaamistarpeet, teknologian kansainvälinen ja kansallinen kehitys, koko yliopiston kehittämispäätökset ja aluepolitiikka (yliopiston alueellinen vaikuttavuus). Koulutuksen kehittyminen edellyttää myös onnistunutta opetushenkilöstön eli uusien kehittäjien rekrytointia. Ei ole luotettavasti arvioitavissa, millainen vaikutus koulutusala-arvioinnilla on ollut suhteessa muihin tekijöihin.” 4.5 Arviointimenetelmän arviointi Yksi selvityksen keskeisistä tavoitteista oli saada palautetta Korkeakoulujen arviointineuvoston käyttämästä arviointimenetelmästä. Menetelmää on kuvattu edellä luvussa 3. Saatu palaute on jaettu arviointiprosessin kronologisen etenemisen mukaisiin osiin. Ensin käsitellään arviointimenetelmän yleisiä vahvuuksia ja heikkouksia, sitten itsearviointia, arviointivierailua ja arviointiraporttia sekä seuranta-arviointia. Lisäksi tässä luvussa käsitellään kansainvälisen arvioinnin merkitystä. Lopuksi analysoidaan vastaajien ehdotuksia arviointimenetelmän kehittämiseksi. 32 4.5.1 Arviointimenetelmän yleiset vahvuudet ja heikkoudet Selvityksen kysymys: • Mitkä ovat mielestänne koulutusala-arviointimenetelmän (itsearviointi, arviointivierailut, julkinen arviointiraportti, seuranta-arviointi) vahvuudet ja heikkoudet? Taulukko 12. Koulutusala-arviointimenetelmän yleiset vahvuudet Koulutusala-arviointimenetelmän yleiset vahvuudet f Ulkopuolisen arvioinnin antama impulssi kehittämiselle Koko henkilökunnan osallistuminen arviointiprosessiin Ulkopuolisten arvioitsijoiden asiantuntemus ja objektiivisuus Tilannekuva alan valtakunnallisesta tilanteesta Arvioinnin ja sen teemojen kattavuus Monipuoliset arviointimenetelmät Hyvä tekninen toteutus; ohjeet ja organisointi Muut 5 4 3 3 2 2 2 5 Tähän kysymykseen saatiin hyvin monipuolisesti erilaisia näkökulmia. Keskeisenä koulutusala-arviointimenetelmän vahvuutena koulutusohjelmat ja oppiaineet pitivät sitä, että ulkopuolisen tahon organisoima valtakunnallinen arviointi oli antanut erityisen sysäyksen koulutuksen kehittämiselle, joka ehkä ilman arviointia olisi jäänyt tekemättä. ”Tällaisessa hankkeessa tulee tehdyksi työ, joka muutoin, ainakin ko. laajuudessa saattaisi jäädä tekemättä. Laaja arviointi antaa mahdollisuuden vertailla erilaisia toteutuksia ja auttaa asemoimaan omaa toimintaa oppilaitosten joukossa. Asiantuntijoiden antama rakentava palaute on aina hyödyksi. Myönteisintä ehkä oli kiitos, jonka saimme tekemästämme työstä – se auttaa ponnistelemaan edelleen.” Tärkeänä vahvuutena pidettiin myös sitä, arviointiprosessiin oli osallistunut yksikön koko henkilökunta. Muutamat vastaajat toivat esiin vahvuuksina ulkopuolisten arvioitsijoiden asiantuntemuksen ja objektiivisuuden. Muutama konetekniikan arviointiin osallistunut yksikkö piti tärkeänä sitä, että arvioinnin avulla oli saatu kuva alan valtakunnallisesta tilanteesta ja vertailukelpoista tietoa eri yksiköiden toiminnasta. Muutama slavistiikan ja baltologian koulutuksen ja tutkimuksen arviointiin osallistunut oppiaine taas piti vahvuutena arvioinnin hyvää teknistä toteutusta selkeine ohjeineen. Muita yksittäisiä menetelmän vahvuuksia olivat oppiaineiden ja koulutusohjelmien mukaan tilaisuus saada arviointipalautetta; opiskelijoiden ja työelämän edustajien osallistuminen arviointiin; se, että yksiköitä ei asetettu arvioinnissa paremmuusjärjestykseen ja kokonaisvaltaisen arviointikulttuurin juurruttaminen korkeakouluihin. Slavistiikan ja baltologian arvioinnin osalta tuotiin esiin vahvuutena myös koulutuksen ja tutkimuksen yhtäaikainen arviointi. 33 Taulukko 13. Koulutusala-arviointimenetelmän yleiset heikkoudet Koulutusala-arviointimenetelmän yleiset heikkoudet f Arvioinnin suuritöisyys korkeakoulun kannalta Arviointikriteerien puuttuminen tai epäselvyys; arviointitulosten luotettavuus Arviointi ei huomioi erilaisten yksiköiden erityispiirteitä Riskinä puutteet arviointiryhmän asiantuntemuksessa Arviointiprosessissa yleinen ajan niukkuus Henkilöstön sitoutumattomuus arviointiin ja kehittämiseen Yliopistojen ja ammattikorkeakoulujen yhteismitattomuus Muut 9 6 4 3 3 2 2 6 Yleisimpänä arviointimenetelmän heikkoutena pidettiin arvioinnin korkeakouluille aiheuttamaa suurta työmäärää. Korkeakoulut eivät ole yleensä varanneet erillistä henkilö- tai aikaresurssia arviointeihin, vaan arvioinnit toteutetaan normaalin opetus- ja tutkimustyön rinnalla. Muutamat oppiaineet ja koulutusohjelmat toivat esiin puutteena sen, että arvioinnille ei ollut ennalta määritelty selkeitä kriteerejä tai mittareita. Jotkut vastaajat asettivat kyseenalaiseksi arviointitulosten luotettavuuden, jos se perustuu suurelta osin henkilöstön ja opiskelijoiden haastatteluissa esiintuomiin mielipiteisiin. ”Eräs heikkous on mittarin yleisluontoisuus. Kysymyksissä on aina tulkinnan mahdollisuuksia, eivätkä ne välttämättä palvele yksittäistä koulutusohjelmaa. Määrällisten mittareiden lisäksi tarvitaan myös laadullista toimintaa kuvaavia menetelmiä.” Yhtenä määrämuotoisesti toteutettavan arvioinnin heikkoutena pidettiin sitä, että se ei ota riittävän hyvin huomioon erilaisten yksiköiden erityispiirteitä. Pienet koulutusohjelmat ja oppiaineet katsoivat, että niiden erityispiirteet ja -ongelmat olivat jääneet liian vähälle huomiolle. Yksi suuri oppiaine taas katsoi, että sitä oli arvioitu ylimalkaisemmin ja yleisemmällä tasolla kuin pieniä oppiaineita. Muutama tuotantotalouden arviointiin osallistunut yksikkö katsoi, että yliopistojen ja ammattikorkeakoulujen arviointi samassa projektissa on hankalaa niiden yhteismitattomuuden takia. ”Ammattikorkeakoulujen ja yliopistojen koulutuksen kehittäminen yhdessä ja samalla mittarilla ei toimi kaikin osin. Yliopiston vahvuus, tutkimus, johon opetuskin perustuu, jää tällaisessa yhteismittarissa pois. Yliopistossa tutkijat opettavat ja opettajat tutkivat ja molemmat osallistuvat yksikön opetuksen kehittämiseen. Tämä vaikuttaa osaltaan kehittämistyöhön.” Muina arviointimenetelmän heikkouksina tuotiin esiin arvioinnin historiattomuus, jolla viitattiin siihen, että arviointi on vain yhden ajankohdan poikkileikkaus. Joidenkin vastaajien mukaan itsearvioinnin ja arviointivierailujen sisältöjä tulisi kehittää siten, etteivät ne olisi päällekkäisiä ja samoja teemoja toistavia. Arviointiryhmän keskinäinen koordinaatio oli paikoin koettu puutteelliseksi, kun kukin arvioitsija oli keskittynyt vain omaan asiantuntemusalueeseensa. Yksi 34 vastaaja piti heikkoutena sitä, että arviointi ei ollut tuottanut mitään uutta tietoa koulutuksen laadusta. Korkeakoulun sisäisiin toimintatapoihin liittyvänä ongelmana pidettiin sitä, että arvioinnin tuloksista käyty keskustelu oli ollut vähäistä. Muutamat vastaajat viittasivat arviointiväsymykseen, joka on vaarana silloin kun sama yksikkö joutuu jatkuvasti osallistumaan erilaisiin ja eri tahojen toteuttamiin arviointeihin. ”Arviointien järjestäminen tulisi ajoittaa niin, ettei niitä tule päällekkäin eikä liian lähellä peräkkäin, muuten uhkaa ’arviointiväsymys’ eivätkä kaikki potentiaaliset yksiköt halua osallistua niihin.” 4.5.2 Itsearvioinnin vahvuudet ja heikkoudet Taulukko 14. Itsearviointimenetelmän vahvuudet Itsearviointimenetelmän vahvuudet Tilaisuus oman toiminnan reflektointiin Varmistaa henkilöstön sitoutumisen ja tulosten vaikuttavuuden Paljastaa epäkohdat; auttaa suuntautumaan tulevaisuuteen Muut f 15 6 2 4 Keskeisimpänä itsearvioinnin vahvuutena koulutusohjelmat ja oppiaineet pitivät sen tarjoamaa mahdollisuutta oman toiminnan kriittiseen tarkasteluun. Moni vastaaja piti itsearviointia kehittävänä prosessina, joka selkeyttää toiminnan painopisteitä ja auttaa hahmottamaan vahvuudet ja heikkoudet kokonaisuutena. Itsearvioinnissa yksikkö tulee käsitelleeksi asioita, jotka eivät ehkä muuten tulisi esille. ”Itsearviointi nähdään hyödyllisenä tapana kehittää omaa toimintaa ja tulevaisuuden linjauksia. Arviointi on onnistunut nimenomaan, jos tulokset osataan soveltaa yksikön strategioiden laatimiessa ja niiden käyttöönotossa, eikä lähdetä asettamaan yksittäisten arviointitulosten perusteella arvoituja kohteita julkisuudessa arvojärjestykseen.” ”Itsearvioinnin vahvuutena oli perusteellisuus ja kattavuus, pedagogisen ja sisällöllisen keskustelun aktivoiminen koulutusohjelmassa ja keskustelun levittäminen alalle työnantajien ja alalla toimivien keskuuteen.” ”Itsearviointi oli kehittävä prosessi. Kun tehtäväksianto tuli riittävän arvovaltaiselta taholta, saimme valtuudet sitouttaa henkilökunta ja opiskelijat antamaan palautetta. Vastustus on usein suurempi, jos ammattikorkeakoulu itse käynnistää vastaavan toimenpiteen.” Muutamat yksiköt pitivät itsearviointia tapana lisätä henkilöstön sitoutumista koulutuksen laadun kehittämiseen ja siten varmistaa arvioinnin tulosten vaikuttavuutta. Itsearvioinnin katsottiin myös tuovan esiin epäkohdat ja auttavan suuntautumista tulevaisuuteen. 35 Yhden vastaajan mukaan itsearviointiraportti kokoaa yhteen koulutusohjelman tavoitteet, toimintatavat ja tulokset. Muutama koulutusohjelma totesi, että itsearviointiraporttia voidaan käyttää muuhunkin tarkoitukseen kuin arviointiin. Itsearvioinnilla voi olla myös välillisiä vaikutuksia. Yksi vastaaja toi esiin, että itsearviointiprosessi oli parantanut laitoksen eri yksiköiden yhteishenkeä. Taulukko 15. Itsearviointimenetelmän heikkoudet Itsearviointimenetelmän heikkoudet f Asioiden kaunistelu ja subjektiivisuus Työläs prosessi Henkilöstön osallistuminen ei ole riittävän laajaa Muut 7 4 2 5 Itsearvioinnin yleisimpänä heikkoutena pidettiin sitä, että itsearvioinnissa voidaan harjoittaa valikoivaa arviointia ja asioiden kaunistelua. ”Asioiden kaunistelu ja liian läheltä katsominen voivat vaikuttaa lopputulokseen. Olennaista on se, miksi arviointiin lähdetään mukaan: haetaanko siitä tietoa oman toiminnan kehittämiseen vai osallistutaanko ’ kauneuskilpailuun’ ”. Muutamat koulutusohjelmat ja oppiaineet mainitsivat myös itsearvioinnin työläyden yhdeksi heikkoudeksi. Pari oppiainetta piti erityisesti tilastotietojen keruuta työläänä osana itsearvioinnissa. Kolmas esiintuotu näkökulma liittyi henkilöstön osallistumiseen itsearviointiprosessiin. Näyttää siltä, että joissakin koulutusohjelmissa ja oppiaineissa itsearviointiin on osallistunut vain osa henkilöstöstä. Muutaman vastaajan mielestä kireä aikataulu oli estänyt laajan yksikön sisäisen keskustelun ja raportin tuottamisen kollektiivisesti. ”Itsearvioinnin toteuttaminen oli äärimmäisen työläs ja stressaava, oppimisintensiteetti oli korkea.” Muita vastaajien mainitsemia itsearvioinnin heikkouksia olivat arviointikokemuksen vähäisyys, oman tekemisen yliarviointi ja se, että jotkut henkilöt kokevat arvioinnin kohdistuvan henkilöönsä. Yhdessä tapauksessa kaksi yksikköä oli laatinut yhteisen itsearviointiraportin, jonka ei katsottu kuvaavan riittävästi kumpaakaan yksikköä. 36 4.5.3 Arviointivierailun tai korvaavan menetelmän vahvuudet ja heikkoudet Taulukko 16. Arviointivierailun vahvuudet Arviointivierailun vahvuudet Kiinnostava ja haastava keskustelu asiantuntijoiden kanssa Eri ryhmien haastattelut tuovat arviointivierailuun monipuolisuutta Vierailun ilmapiiri myönteinen: kriittinen mutta kannustava Mahdollisuus saada välitöntä palautetta Täydentää itsearviointiraporttien antamaa kuvaa Lisää arvioinnin luotettavuutta f 11 4 3 3 2 1 Tärkein arviointivierailun vahvuus on vastaajien mukaan se, että vierailun aikana koulutusohjelmilla ja oppiaineilla on mahdollisuus käydä kiinnostavaa keskustelua oman alan ja pedagogisten asiantuntijoiden kanssa. Arviointivierailuilla käydyt haastattelut ja arviointiryhmän tekemät arviointikysymykset koettiin suurelta osin myönteisellä tavalla haastaviksi ja olennaisia näkökohtia esiinnostaviksi. Muutama vastaaja piti tärkeänä sitä, että arviointivierailun yhteydessä koulutusohjelmilla ja oppiaineilla on mahdollisuus saada välitöntä palautetta, jota arviointiryhmä yleensä antaa vierailupäivän päätteeksi suullisena palautteena. Myös arviointivierailujen hyvä ilmapiiri koettiin vahvuudeksi, johon arviointiryhmien kannattaa jatkossakin kiinnittää huomiota. Yksi vastaaja mainitsi arviointivierailun funktiona myös arvioinnin luotettavuuden lisäämisen. ”Kansainvälinen arviointiryhmä oli paneutunut asiaan ja tunsi asian erittäin hyvin, eri näkökulmista (pedagoginen, sisällöllinen, toiminnallinen); vierailun ilmapiiri oli kriittinen ja vaativa mutta samalla rohkaiseva; haastattelut ja kysymykset olivat haastavia ja tartuttiin selkeästi olennaisiin asioihin; tilaisuus tarjosi mahdollisuuden todella oppia. Se oli mieleenjäävä sekä opiskelijoille että henkilöstölle.” Taulukko 17. Arviointivierailun heikkoudet Arviointivierailun heikkoudet Vierailun kesto liian lyhyt Ei oltu vierailun kohteena, joten ei voida arvioida Haastattelut alttiita satunnaisuuksille Muut (epäselvät haastattelukysymykset; vaikea saada työelämän edustajia haastatteluihin; vain osa henkilöstöstä mukana haastatteluissa; arviointiryhmän kokoonpanon vaihtelu vierailusta toiseen; arvioitsijoiden valmistautuminen puutteellista; vierailua edeltävän täydentävän arviointimenetelmän tarkoitus epäselvä) f 11 6 4 7 37 Suurimpana arviointivierailun heikkoutena vastaajat pitivät arviointivierailun lyhyttä kestoa. Kun Korkeakoulujen arviointineuvoston arvioinneissa vierailu kestää yleensä yhden työpäivän, moni vastaaja katsoi, että tämä ei riitä syvälliseen koulutusohjelman ja oppiaineen toimintaan ja sen reunaehtoihin tutustumiseen ja ymmärtämiseen, vaan tähän tarvittaisiin kohteesta riippuen 2–3 päivää. ”Arviointivierailu koettiin aikataulultaan liian tiiviiksi, eikä vuorovaikutuksellisesti ollut mahdollisuutta laajempaan ja syvällisempään reflektointiin.” Korkeakoulujen arviointineuvoston toteuttamista kymmenestä koulutusala-arvioinnista puolet on ollut sellaisia, joissa ei ole voitu koulutusohjelmien ja oppiaineiden suuren määrän ja arviointiprojektin rajallisen budjetin vuoksi vierailla kaikissa yksiköissä, vaan arviointiryhmän on täytynyt määritellä kriteerit, joiden perusteella vierailukohteet on valittu. Melko moni vastaaja osoitti tyytymättömyyttä siihen, ettei kaikissa yksiköissä vierailla. Arviointipalautteen annossakin on ollut arviointikohtaisia eroja. Joissakin projekteissa ei-vieraillut kohteet ovat saaneet arviointiryhmältä suppean palautteen, kun taas joissakin arvioinneissa kohteet, joissa ei vierailtu, eivät ole saaneet mitään palautetta. Luonnollisesti viime mainitussa tapauksessa tyytymättömyys on suurinta. ”Arviointiryhmä vieraili vain noin puolessa arvioinnin kohteina olleista oppilaitoksista. Ne oppilaitokset, joissa ei vierailtu, eivät saaneet minkäänlaista palautetta.” Muutama vastaaja toi esiin, että arviointivierailuilla toteutetut eri ryhmien haastattelut ovat alttiita satunnaisuuksille. Yhden haastateltavan näkökulma voi saada liian suuren painoarvon koko yksikön arvioinnissa erityisesti silloin, jos hän suhtautuu voimakkaan myönteisesti tai kriittisesti yksikön toimintaan. ”Arviointivierailun haastattelut monipuolistavat kuvaa oppiaineesta. Yksittäisten henkilöiden vaikutus voi nousta kuitenkin hyvin suureksi.” Joissakin Korkeakoulujen arviointineuvoston arvioinneissa arviointivierailun rinnalla tai sitä korvaavana elementtinä on käytetty innovatiivisia arviointimenetelmiä silloin, kun niiden on katsottu tuottavan lisäarvoa arviointiteemalle tai koulutusohjelmien yhteistyön käynnistämiselle. Näin meneteltiin media- ja viestintäalan korkeakoulutuksen arvioinnissa, jossa järjestettiin ns. fokusryhmäkeskustelut ennen arviointivierailuja. Muutaman vastaajan mukaan tämän arvioinnin osion toteutusta olisi pitänyt kehittää pitemmälle. Toisaalta yhden vastaajan mukaan fokusryhmäkeskustelut toimivat tehokkaana foorumina ajatusten vaihdolle. 38 4.5.4 Arviointiraportin vahvuudet ja heikkoudet Taulukko 18. Arviointiraportin vahvuudet Arviointiraportin vahvuudet Antaa kokonaiskuvan alasta Asiantunteva, hyvin laadittu Tuo esiin hyviä käytänteitä (best practices) Hyödynnettävissä eri yhteyksissä, mm. koulutuksen markkinointi ja kv. yhteydet Selkeä yksikkökohtainen palaute ja kehittämissuositukset Raportin julkisuus lisää arvioinnin objektiivisuutta Tehostaa toiminnan jatkuvaa kehittämistä Mahdollisuus tarkistaa yksikkökohtainen palaute ennen julkaisemista f 10 6 6 3 3 3 3 1 Vastaajien mukaan arviointiraportin selvin vahvuus oli se, että se antaa kokonaiskuvan arvioitavasta koulutusalasta. Moni koulutusohjelma ja oppiaine mainitsi, että raportti antaa myös hyödyllistä tietoa vastaavista muista yksiköistä ja auttaa yksikköä asemoimaan oman toimintansa valtakunnallisesti. Melko moni vastaaja totesi, että arviointiraportti oli asiantuntevasti ja hyvin laadittu. Kolmas näkökulma, joka selvästi erottui arviointiraportin vahvuutena, oli hyvien käytänteiden kirjaaminen arviointiraporttiin. ”Julkinen arviointiraportti antaa mahdollisuuden peilata omaa toimintaansa muiden vastaavien yksikköjen toimintaan ja yrittää löytää oman yliopiston toimintaan sopivia best practice -ratkaisuja. Jos arvioitavat yksiköt ovat mahdollisimman homogeenisia, niin arvioinnista saatava hyöty on selvästi suurin.” Muita arviointiraportin vahvuuksia olivat vastaajien mukaan mahdollisuus käyttää arviointiraporttia myöhemmin eri yhteyksissä, kuten tiedotettaessa koulutuksesta kotimaassa ja kansainvälisesti. Osa vastaajista piti arvokkaana mahdollisuutta saada selkeä yksikkökohtainen palaute ja suosituksia oman toiminnan kehittämiseksi. Muutama vastaaja toi esiin myös sen, että arviointiraportin julkisuus antaa mahdollisuuden arvioida arvioinnin objektiivisuutta. Muutama vastaaja katsoi arviointiraportin palvelevan erityisesti toiminnan jatkuvaa kehittämistä. Lisäksi yksi vastaaja piti vahvuutena sitä, että koulutusohjelmille ja oppiaineille oli tarjottu arviointiprosessissa mahdollisuus tarkistaa omaa yksikköä koskeva teksti ennen sen julkaisemista arviointiraportissa. 39 Taulukko 19. Arviointiraportin heikkoudet Arviointiraportin heikkoudet f Yksittäisten henkilöiden mielipiteet vaikuttavat liikaa Kritiikin esittäminen ongelmallista; voi heikentää yksikön julkisuuskuvaa Eri yksiköiden välinen vertailu ongelmallista Puutteet itsearvioinnissa johtivat virhetulkintoihin arviointiraportissa Raportin laajuuden vuoksi sen jatkokäyttö työlästä Muut (olisi kaivattu kriittisempää otetta; ei palautetta niille, joissa ei vierailtu; raportin jatkokäyttö korkeakoulun johdossa) 4 4 3 3 2 3 Yhtenä arviointiraportin heikkoutena pidettiin sitä, että yksittäisten henkilöiden mielipiteet voivat saada liian suuren painoarvon arviointitekstissä. Sama ongelma mainittiin edellä myös arviointivierailun yhtenä heikkoutena. Nämä yksittäiset vahvat mielipiteet ovat vastaajien mukaan tavallisesti arvioitavan koulutusohjelman ja oppiaineen edustajien mielipiteitä, mutta joskus myös yksittäisten arvioitsijoiden vahvoja mielipiteitä. Muutamat vastaajat problematisoivat kritiikin esittämistä arviointiraportissa. Muutaman vastaajan mukaan kritiikin esittäminen voi heikentää yksikön julkisuuskuvaa, ja julkisesti esiintuodun kriittisen arvioinnin korjaaminen voi edellyttää vuosien työtä, jopa vielä sen jälkeen kun puute on jo koulutuksessa korjattu. Toisaalta yksi vastaaja olisi toivonut arviointiryhmältä selvästi kriittisempää otetta. Arviointiryhmät ovatkin melkoisten haasteiden edessä, kun ne arviointiraporttia laatiessaan tasapainoilevat näiden kahden vaatimuksen välillä. ”Missä määrin julkistettava kritiikki korjaa asioita? Siitä voi olla myös enemmän haittaa kuin hyötyä.” ”Se, että arvioinnit ovat julkisia asiakirjoja, on itsessään hyvä periaate. On kuitenkin mahdollista, että julkisuuden vuoksi kaikkein kiperin laitoskohtainen kritiikki hukkuu liian ympäripyöreisiin ja yleisiin lausuntoihin. Laitos ehdottaa, että kukin arvioitava yksikkö saisi omaan käyttöönsä myös sellaisen version, jossa yksittäisten arvioitsijoiden keskimääräistä ankarammatkin arviot olisivat esillä.” Muutama vastaaja mainitsi, että eri yksiköiden välinen vertailu arviointiraportin perusteella ei ole aivan ongelmatonta. Samoin joidenkin vastaajien mukaan yksikkökohtaisissa palautteissa esiinnostetut asiat olivat eri yksikköjen kohdalla laajuudeltaan ja luonteeltaan erilaisia. Tämäkin on arviointiryhmälle kohdistuva haaste, koska arviointipalautteissa pyritään yhteisten näkökohtien rinnalla ottamaan huomioon kunkin yksikön erityispiirteet ja erityiset kehittämiskohteet. 40 ”Julkinen arviointiraportti oli erityisesti sen yleiseltä osalta hyvä: arviointiryhmän suositukset antavat pohdittavaa oman yksikön toimintaa kehitettäessä. Korkeakoulukohtaiset selvitykset tuntuvat jossain määrin epätasaisilta: eri yksiköistä esille otetut asiat eivät aina ole yhteismitallisia ja siksi korkeakoulujen keskinäinen vertailu on vaikeaa. Tällainen arviointi muodostuu aina poikkileikkaukseksi sen hetken tilanteesta, eikä välttämättä anna aivan selkeää kuvaa yksikön pidemmän aikavälin kehityssuunnista.” Muutama vastaaja piti arviointiraportin heikkoutena siinä esiintyviä virhetulkintoja. Nämä vastaajat myönsivät, että tämä johtui todennäköisesti itsearviointiraportissa olleista puutteellisista tiedoista. Pari vastaajaa taas piti arviointiraporttia liian laajana, mikä heikentää sen jatkokäyttöä. Yksi koulutusohjelma oli epätietoinen siitä, oliko korkeakoulun rehtori saanut käyttöönsä arviointiraportin ja ryhtynyt toimiin raportin hyödyntämiseksi. Yksi oppiaine taas toi esiin sen, että ”arviointi, arvottaminen ja arvottavan tekstin tuottaminen on vakavaa toimintaa, joka voi kertoa enemmän arvottavasta subjektista ja hänen tavastaan tulkita maailmaa kuin arvioinnin objektista”. 4.5.6 Seuranta-arvioinnin vahvuudet ja heikkoudet Korkeakoulujen arviointineuvoston kymmenestä koulutusala-arvioinnista neljässä on tehty seuranta-arviointi. Kuten edellä luvussa 2.5 todettiin, seurantaarviointi tehdään noin kolmen vuoden kuluttua varsinaisesta arvioinnista. Seuranta-arvioinnin menetelmää on pyritty kehittämään hankkeesta toiseen. Muutamilta seuranta-arviointeihin osallistuneilta saatiin yksittäisiä näkökohtia, jotka voidaan kiteyttää seuraavasti. Seuranta-arvioinnin vahvuutena pidettiin sitä, että se selkiyttää arvioinnin tulokset ja varmistaa niiden toteutumista sekä pakottaa yksiköt oman toimintansa uudelleen arviointiin. ”Plussaa: koulutusohjelmat pakotetaan arviointiin vaikkeivat tahtoisikaan – ehkä hyvä juttu, koska ongelmat tulevat siinä identifioitua.” Seuranta-arvioinnin heikkoutena taas pidettiin sitä, että se suuntaa huomion menneeseen. Yhden tekniikan alan koulutusohjelman mukaan kolme vuotta on liian pitkä jakso seurannan toteuttamiseen, koska arviointi on tässä ajassa ehtinyt jo unohtua. Humanistista koulutusalaa edustavan slavistiikan ja baltologian alan oppiaineen mukaan taas kolme vuotta on liian lyhyt ajanjakso, viisi vuotta olisi ollut vastaajan mukaan parempi aikaväli tulosten seurantaan. Yksi tuotantotalouden seuranta-arviointiin osallistunut piti itsearviointiaikataulua liian kireänä. Yksi vastaaja taas kiinnitti huomiota siihen, että seuranta-arvioinnissa on hankala arvioida varsinaisen arvioinnin vaikuttavuutta, koska moni muukin tekijä vaikuttaa koulutuksen kehittämiseen arvioinnin ohella. ”Seuranta-arvioinnin aikataulu oli järkyttävän tiukka ja sen tavoitteena ollut sisäinen reflektointi jäi hyvin pinnalliseksi juuri ajanpuutteen takia. Mikäli halutaan, että seuranta-arvioinnista on kehittämisvälineenä koulutusohjelmille laajempaa hyötyä, tulee aikataulu suunnitella myöskin sellaiseksi, että joustonvaraa löytyy arvioinnin syvällisempään suorittamiseen osastoilla. Käytännössä tämä tarkoittaa 41 arvioinnista ennakkotiedottamista hyvissä ajoin jo kun sitä suunnitellaan sekä sitten itse arviointiin varattua aikaa noin 4–6 kuukautta. Muussa tapauksessa palaute jää pinnalliseksi ja tulee toteutettua pitkäli virkatyönä eikä koulutusohjelmakohtaisena laajempana itsereflektointina, joka pitkällä tähtäimellä voisi tuoda erinomaisen lisän koulutusohjelman kehittämistoimintaan.” 4.5.7 Kansainvälisen arvioinnin merkitys Selvityksen kysymys: • Mikäli koulutusala-arviointi toteutettiin kansainvälisenä arviointina, arvioikaa kansainvälisen näkökulman merkitystä koulutuksen kehittämiseen. Selvitykseen osallistuneista kymmenestä arviointiprojektista kuusi on toteutettu kansainvälisenä arviointina: kaikki neljä tekniikan alan arviointia, media- ja viestintäalan arviointi sekä slavistiikan ja baltologian koulutuksen ja tutkimuksen arviointia. Näissä projekteissa arvioinnin kielenä on ollut englanti lukuunottamatta slavistiikan ja baltologian arviointia, jossa operoitiin kahdella ja myös arviointiraportti julkaistiin kahdella kielellä: venäjäksi ja englanniksi. Taulukko 20. Kansainvälisen arvioinnin vahvuudet Kansainvälisen arvioinnin vahvuudet f Tuo koulutuksen kehittämiseen vaihtoehtoisia näkökulmia Alan imagon kannalta tärkeä Lisää arvioinnin uskottavuutta ja merkitystä Lisää arvioinnin käytettävyyttä mm. koulutuksesta tiedotettaessa Pakottaa tuottamaan materiaalit englanninkielisinä 9 6 3 1 1 Vastaajien mukaan kansainvälisen arvioinnin merkitys on erityisesti siinä, että se tuottaa koulutuksen kehittämiseen uusia näkökulmia. Kyseiset näkökulmat liittyivät mm. koulutuksen sisältöön, opetusmenetelmiin ja tutkimukseen. Melko moni mainitsi myös, että kansainvälinen arviointi on alan kehittämisen kannalta tärkeä. Korkeakoulujen toiminnan tulee olla kansainvälisesti vertailukelpoisella tasolla, ja tämän todentamiseen tarvitaan kansainvälisiä asiantuntijoita. ”Kansainvälisen näkökulman merkitys keskeinen ja ensiarvoisen tärkeä jo senkin vuoksi, että koulutamme insinöörejä eräälle keskeiselle vientiteollisuutta harjoittavalle toimialalle.” Kansainvälisen näkökulman katsottiin myös parantavan arvioinnin uskottavuutta ja lisäävän arvioinnin käytettävyyttä esimerkiksi tiedotettaessa koulutuksesta potentiaalisille vaihto-opiskelijoille. Yksi vastaaja mainitsi, että kansainvälisen arvioinnin ansiosta materiaalit tulivat käännetyiksi englannin kielelle. ”Arvioinnin yhteydessä syntyi koulutusohjelmaa koskeva englanninkielinen materiaali, mm. opetussuunnitelmat ja opintojaksokuvaukset.” 42 Taulukko 21. Kansainvälisen arvioinnin heikkoudet Kansainvälisen arvioinnin heikkoudet f Kansainvälisillä arvioitsijoilla suomalaisten olojen tuntemus pinnallista Kansainvälisellä arvioinnilla ei merkitystä, koska ongelmat kansallisia Englannin kieli hankaloitti arvioinnin toteutusta ja raportin käyttöä 6 5 3 Kansainvälisen arvioinnin heikkoutena pidettiin yleisesti sitä, että kansainväliset arvioitsijat eivät tunne suomalaista kontekstia. ”Arvioitsijoilla ei ole aina riittäviä taustatietoja siitä ympäristöstä (tiedekunta, yliopisto, Suomen koulutusjärjestelmä, suomalainen yhteiskunta), jossa arvioitava yksikkö toimii. Tästä johtuen suuri osa arviointiin varatusta ajasta kuluu näiden taustatietojen selittämiseen.” Muutama kone- ja rakennustekniikan arviointeihin osallistunut yksikkö totesi myös, että kansainvälinen arviointi sinänsä ei tuonut lisäarvoa, koska ongelmat ovat kansallisia. Tosin yhden vastaajan mukaan kansainvälisestä arvioinnista ei ole haittaakaan. Samoilla aloilla katsottiin, että arviointiprosessin toteuttaminen englannin kielellä teki arvioinnista työlään. Samoin englanninkielisen raportin katsottiin heikentävän sen jatkokäyttöä. 4.5.8 Arviointimenetelmän kehittämisehdotuksia Selvityksen kysymys: • Tarvitaanko koulutusala-arviointeja tulevaisuudessa ja jos tarvitaan, miten menetelmää tulisi kehittää ottamaan huomioon koulutuksen tulevaisuuden haasteet? Taulukko 22. Koulutusala-arviointien tarve jatkossa Tarvitaanko koulutusala-arviointia jatkossa? N Kyllä Ei Ei osaa sanoa / ei kantaa YHTEENSÄ 53 3 6 62 % 85 5 10 100 % % % % Kysymyksen ensimmäiseen osaan saatiin 62 koulutusohjelman ja oppiaineen vastaukset. Vastaajista 85 % oli sitä mieltä, että koulutusala-arviointia tarvitaan jatkossakin, 5 % katsoi ettei koulutusala-arviointeja tarvita, ja 10 % ei osannut sanoa tai ei selkeästi ilmaissut kantaansa. Yliopistojen ja ammattikorkeakoulujen näkemyksissä ei ollut eroja. Ne, jotka olivat sitä mieltä, että koulutusala-arviointeja tarvitaan jatkossakin, käyttivät tähän kahta perustetta. Koulutusala-arviointeja tarvitaan siksi, että voimistuva kansainvälistyminen, joka on alkanut koskea jokaista koulutusohjelmaa ja oppiainetta, lisää kilpailua ja opiskelijoiden liikkuvuutta ja luo tarpeen 43 osoittaa koulutuksen laatu kansainvälisillä koulutusmarkkinoilla. Toinen vastaajien käyttämä peruste koulutusala-arviointien jatkamiseen on se, että arvioinnit tukevat toiminnan analyysia ja kehittämistä. ”Koulutusala-arvioinnit ovat tarpeellisia valtakunnallisen tason tiedostamiseksi. Kansainvälinen arviointitaso on seuraava kehitysaskel erityisesti viestinnän osalta, joka on luonteeltaan ja toimintaympäristöltään globaalia. Suomen ei ole tyytyminen kansalliseen takamaapolitiikkaan, vaan etsittävä uusia innovaatioita kansainvälisille markkinoille. Tämän ehtona on volyymiltään kattava ja laaja alan koulutuspohja. Se on luonnonvara, jota ei ole syytä päästää käsistä, vaikka kilpailu on kova. Olkoon se jatkuva haaste.” Ne taas, joiden mukaan koulutusala-arviointia ei tarvita jatkossa, käyttivät yleensä yhtä perustelua. Arvioinnin katsotaan kuuluvan korkeakoulun normaaliin toimintaan. Nämä vastaajat olivat siis sitä mieltä, että jos sisäinen arviointi on kunnossa, ulkoista ei tarvita. ”Arvioinnista tulisi luoda rutiini, joka toteutuisi itsearviointina osana korkeakoulujen laatujärjestelmää. Järjestelmän objektiivisuuteen tulisi panostaa erityisesti. Jos arviointi toteutuu jonkin vierailevan ryhmän kautta, lyhyt vierailu ei varmastikaan anna arkipäivän käytännöstä luotettavaa kuvaa. Järjestelmä on massiivinen, kallis ja vähemmän objektiivinen. Tulisi luoda mittari, jonka avulla arvioinnin voisi toteuttaa melko mekaanisesti jokaisessa korkeakoulussa osana laatu- ja kehittämistyötä.” Yksi vastaaja korosti lisäksi sitä, että laadullisen arvioinnin sijaan tarvitaan jatkossa määrällistä arviointia. ”Mielestämme tämän tyyppistä arviointia ei lähivuosina tarvita. Arviointien pitäisi perustua faktoihin, kuten esimerkiksi valmistuneiden määrät sisäänottoihin verrattuna, opintojen kestoajat, sijoittuminen työelämään, työelämästä saatu palaute, urakehitys. Yliopistoja arvioitaessa tutkimus ja siihen liittyvät jatko-opinnot olisi otettava keskeisinä tekijöinä huomioon.” ”Koulutusala-arvioinnit ovat tarpeellisia: ne vahvistavat korkeakouluyksiköiden kehittämistä tuomalla esiin ulkopuolisia ja puolueettomia näkemyksiä yksikön sen hetkisestä tilasta ja kehitettävistä seikoista.” Kysymykseen siitä, miten menetelmää tulisi kehittää ottamaan huomioon koulutuksen tulevaisuuden haasteet, saatiin runsaasti rakentavia ehdotuksia. 44 Taulukko 23. Koulutusala-arviointimenetelmän kehittämistarpeet Miten koulutusala-arviointimenetelmää tulisi kehittää? Arviointimenetelmää kevennettävä ja arviointikohteita rajattava Lisättävä arviointien jatkuvuutta toteuttamalla arviointeja määrävälein Arviointivierailuun lisää aikaa ja vierailut kaikkiin yksiköihin Vertailuarviointi eli benchmarking-menetelmä käyttöön Arvioinnin suunnitteluun mukaan muitakin tahoja KKA:n lisäksi Yksikköjä palkittava laadukkaasta itsearvioinnista ja suositusten noudattamisesta Arvioitsijoiden koulutusta tehostettava Arvioinnissa selkiytettävä ammattikorkeakoulujen ja yliopistojen suhde Arvioinnit tulee toteuttaa kansainvälisinä f 14 11 4 3 2 2 2 2 2 Suuri osa arviointimenetelmän kehittämisehdotuksista kohdistui menetelmän keventämiseen. Arviointimenetelmä, jossa kohteena kaikki koulutukseen kuuluva (tavoitteet, sisällöt, menetelmät ja arviointi), koettiin sisällöltään liian laajaksi. Samoin alakohtaisissa arvioinneissa samaan arviointiin on sisällytetty laaja kokonaisuus, joka koostuu monesta alasta. Esimerkiksi media- ja viestintäalan arviointi kattoi muun muassa journalistiikan, audiovisuaalisen viestinnän sekä organisaatio- ja yhteisöviestinnän alat. Slavistiikan ja baltologian arviointiin sisältyi venäjän kielen ja kirjallisuuden, venäjän kääntämisen ja tulkkauksen, slaavilaisten kielten ja kirjallisuuksien sekä balttilaisten kielten ja kirjallisuuksien oppiaineet. Vaihtoehdoksi ehdotettiin arvioinnin keskittymistä johonkin koulutuksen yksittäiseen osa-alueeseen ja kapeammin rajattuun alaan, jotta arvioinnista saatava hyöty olisi mahdollisimman suuri. Tällainen yksittäinen koulutuksen osaalue voisi yhden vastaajan mukaan olla koulutuksen sisällöt suhteessa työelämän tarpeisiin. Yksi vastaaja taas toivoi koulutuksen sisältöjen ja menetelmien arviointia selkeämmin suhteessa koulutuksen tavoitteisiin. Yksi vastaaja toi esiin vaihtoehtona koulutusala-arvioinneille teema-arvioinnit, joissa arvioinnin kohteena olisikin jokin läpäisyteema. Tämäntyyppiset arvioinnit ovat kuuluneetkin Korkeakoulujen arviointineuvoston arviointivalikoimaan. ”Toivoisin, että arviointi olisi jatkuvaa. Suuri käytännön apu voisi olla, jos arviointeja toteutettaisiin keveämmin ja tarkasteltaisiin muutamaa aihealuetta kerrallaan. Nyt tehty arviointi oli laaja ja käsitteli kaikkea mahdollista oppilaitoksessa. Toimenpiteet saattavat unohtua käytännön pyörityksen alle. Jos keskityttäisiin jonain vuonna vain vaikka opetuksen laatuun, voitaisiin saada nopeampia ja konkreettisempia toimenpiteitä aikaan.” ”Arvioinneissa voisi olla tietyn koulutusalan tulevaisuuden ja menestyksen kannalta tärkeitä painopistealueita erikoisesti painotettuna. Jossain määrin arviointien tuloksena saatavat kotimaisten ja myös kansainvälisten oppilaitosten keskinäisten etujen/paremmuuksien sekä painotusten vertailut suhteutettuna meidän resursseihimme ja tasoomme voisivat auttaa suunnittelussa ja voimavarojen kohdentamisessa. Arviointineuvoston mielipide ja painotukset voisivat olla tukemassa koulutusohjelman anomuksia ja hankkeita omiin päätöksentekijöihin päin.” 45 Yksi media- ja viestintäalan arviointiin osallistunut teki konkreettisen ehdotuksen siitä, miten arvioitavaa alaa kannattaisi jatkossa rajata. ”Arviointeja tulisi myös kehittää siten että, ne keskittyisivät kapeammalle alalle, esimerkiksi elokuva- ja televisiokoulut omana ryhmänä.” Moni vastaaja esitti arviointimenetelmän kehittämistä myös siten, että niiden jatkuvuutta parannettaisiin. Koulutusohjelmien ja oppiaineiden mukaan arviointeja ei tule tehdä liian usein, mutta toisaalta niitä on tarpeen tehdä säännöllisesti. Osa vastanneista piti sopivana syklinä viittä vuotta, toiset vastaajat taas katsoivat, että arviointeja tulisi tehdä kymmenen vuoden välein. Muutama vastaaja korosti myös, että jatkuvuuden avulla voitaisiin turvata arviointiosaamista siten, että jokaisessa arvioinnissa ei tarvitse opetella asioita alusta, vaan yksikössä olevaa arviointiosaamista voitaisiin käyttää hyväksi tulevissa arvioinneissa. Muutama vastaaja toivoi arviointivierailujen kehittämistä siten, että niiden kestoa pidennettäisiin nykyisestä yhdestä päivästä 2–3 päivään. Yksi vastaaja toivoi jopa viikon mittaista vierailua yhteen koulutusohjelmaan, jolloin arvioitsijoilla olisi aikaa seurata opetusta ja saada syvällisempi käsitys yksikön toiminnasta. Muutama vastaaja ehdotti, että Korkeakoulujen arviointineuvosto käyttäisi koulutusala-arvioinneissa enemmän benchmarking-menetelmää eli vertailuarviointia, jossa arviointiin osallistuvat yksiköt vertailevat toimintaansa jonkin toisen, toiminnassaan pitkälle päässeen organisaation kanssa. Benchmarkingia voitaisiin vastaajien mukaan tehdä kotimaisena tai kansainvälisenä arviointina. Kaksi tekniikan alan koulutusohjelma toivoi benchmarkingiin liitettäväksi mittareita, joilla omaa toimintaa voitaisiin suhteuttaa muihin vastaaviin yksiköihin. Muutamat koulutusohjelmat ja oppiaineet ehdottivat, että Korkeakoulujen arviointineuvosto voisi arviointeja suunnitellessaan tehdä enemmän yhteistyötä myös muiden tahojen kanssa. Yksi vastaaja teki konkreettisen ehdotuksen näistä tahoista. ”Tulevaisuuden haasteiden huomioon ottamisessa voisi olla antoisaa, jos arviointeihin ja niiden suunnittelemiseen kytkettäisiin myös muita instansseja, jotka toiminnassaan nimenomaan pyrkivät ennakointiin ja em haasteiden selvittämiseen (esim. EVA, Etla, Sitra, Tekes, TT, Tulevaisuuden tutkimuslaitos, Koulutuksen tutkimuslaitos, Työelämän tutkimuslaitos, Koulutussosiologian tutkimuslaitos).” Kaksi vastaajaa totesi, että koulutusohjelmien ja oppiaineiden motivaatiota osallistua arviointeihin parantaisi se, jos niitä palkittaisiin jollain tavalla laadukkaasti tehdystä itsearvioinnista ja arviointiryhmän suositusten noudattamisesta. Kaksi vastaajaa ehdotti, että Korkeakoulujen arviointineuvosto kehittäisi ulkopuolisten arvioitsijoiden koulutusta. Toinen näistä ehdotti, että KKA tekisi arvioitsijoiden kouluttamisessa yhteistyötä kansainvälisten kollegaorganisaatioiden kanssa. Arvioitsijoiden koulutuksen kehittäminen on tärkeä ehdotus, johon KKA on jo kiinnittänyt ja tulee jatkossakin kiinnittämään erityistä huomiota. Vuoden 2003 aikana on laadittu materiaaleja, jotka tukevat arvioitsijoiden työtä. 46 Kaksi vastaajaa kiinnitti huomiota siihen, että KKA:n arvioinneissa arvioidaan samanaikaisesti yliopistoja ja ammattikorkeakouluja. Toinen vastaajista toivoi, että ”arvioinneissa tehtäisiin selkeä ero yliopistojen ja ammattikorkeakoulujen välillä”. Toinen vastaaja taas totesi, että molemmat sektorit kattava arviointi hyödyttää molempia. Kaksi terveysalan koulutusohjelmaa ehdotti, että koulutusala-arvioinnit tehtäisiin jatkossa kansainvälisinä arviointeina. Tämä ehdotus nousee selvästi alan omasta tarpeesta. Muutama tekniikan alan yksikkö taas esitti toiveen työelämän tarpeiden selvittämisestä arviointien yhteydessä. Näistä yksi koulutusohjelma toivoi, että arviointeihin liitettäisiin työelämälle osoitettu asiakastarvetutkimus valmistuvalta opiskelijalta tarvittavista ominaisuuksista. Toinen taas esitti, että vastaava tieto hankittaisiin kutsumalla arviointiryhmän jäseneksi teollisuusliiton koulutustarveasiantuntija. Yksi vastaaja ehdotti lisäksi, että Korkeakoulujen arviointineuvosto ottaisi vahvemman rooli arvioinnin suositusten toteuttamisessa erityisesti silloin, kun ne vaativat vaikuttamista kansalliseen koulutuspolitiikkaan. ”Kun puutteita havaitaan, arviointineuvoston tulisi toimia ponnekkaammin parannusten saamiseksi erityisesti silloin, kun kehittämiseen vaikuttavat yksikön ulkopuoliset tekijät esim. valtakunnallinen koulutuspolitiikka. Suosituksia voisi antaa myös yksikön sisäisen toiminnan edellytysten parantamiseksi.” 47 5 Rehtorikyselyn tulokset 5.1 Rehtorikyselyn toteutus Koulutusohjelmille ja oppiaineille tehdyn kyselyn yhteydessä myös yliopistojen ja ammattikorkeakoulujen rehtoreille lähetettiin kaksi kysymystä koulutusalaarviointien hyödyllisyydestä ja Korkeakoulujen arviointineuvoston tulevasta roolista koulutuksen kehittämisessä. Rehtoreille osoitetut kysymykset olivat seuraavat: 1. Millaista hyötyä näette koulutusala-arvioinneista olleen koulutuksen kehittämiselle? 2. Miten mielestänne Korkeakoulujen arviointineuvoston tulisi tulevaisuudessa tukea korkeakouluja koulutuksen kehittämisessä? Yliopistojen 20 rehtorista vastaukset saatiin kahdeksalta rehtorilta ja vararehtorilta. Ammattikorkeakoulujen 30 rehtorista puolet eli 15 vastasi kyselyyn. Näin ollen rehtorikyselyn yhteenlaskettu vastausprosentti oli 46 %. 5.2 Koulutusala-arviointien hyödyllisyys korkeakouluille Taulukko 24. Koulutusala-arviointien hyödyllisyys korkeakouluille Millaista hyötyä koulutusala-arvioinneista on ollut korkeakouluille? Tukenut oman toiminnan arviointia ja tehnyt näkyväksi kehittämistarpeet Arvioinnista on seurannut konkreettisia kehittämistoimia Auttanut alan kansallisen tilan ja ongelmien tunnistamista ja ratkaisumallien etsimistä Arvioinnin avulla saatu ulkopuolinen näkökulma koulutuksen laatuun Arvioinnin tuloksia on hyödynnetty korkeakoulun keskushallinnossa YO:t AMK:t Yht. 4 4 4 8 8 5 12 12 9 1 3 4 5 3 Rehtorien mukaan koulutusala-arviointien yksi keskeinen merkitys on ollut se, että ne ovat tukeneet ja aktivoineet koulutusohjelmien ja oppiaineiden itsearviointia ja tehneet näkyväksi sen kehittämistarpeita. Yksi rehtori korosti erityisesti arviointien prosessiluonnetta, jonka vaiheet itsearviointi–arviointivierailu– raportti–seuranta tukevat kukin omalla tavallaan korkeakoulun toiminnan pitkäjänteistä kehittämistä. Yksi rehtori listasi koulutusala-arviointien hyödyt seuraavalla tavalla: 48 ”Hyödyt koulutuksen kehittämiselle: • asioiden tuominen keskusteluun koulutusohjelmassa/toimialalla • ongelmien tiedostaminen ja näkyväksi tekeminen • erilaisten kehittämisvaihtoehtojen esittäminen • yhteisen ajattelun kehittyminen koulutusalalla • kehittämisen ilmapiirin muodostuminen.” Yhtä moni rehtori toi esiin, että arvioinneista on seurannut konkreettisia kehittämistoimia. Muutaman rehtorin mukaan arviointi antoi sellaisia virikkeitä kehittämiseen, jotka eivät olisi toteutuneet ilman arviointia. Useat rehtorit mainitsivat, että arvioinnin seurauksena mm. koulutusohjelmarakennetta kehitettiin, koulutukselle luotiin laatujärjestelmä, koulutusta fokusoitiin ja profiloitiin, koulutukselle laadittiin strategia, opintojen ohjausta ja opiskelijavalintoja kehitettiin. Koulutusala-arvioinnit ovat myös tuottaneet tietoa alan kansallisen tilasta, auttaneet tunnistamaan alalle tyypillisiä ongelmia ja etsimään niihin yhteisiä ratkaisumalleja. Muutama rehtori piti arvokkaana sitä, että arviointitieto on koottu yksiin kansiin, mikä helpottaa monin tavoin arviointitiedon jatkokäyttöä. Yksi rehtori totesi, että Korkeakoulujen arviointineuvoston arviointiraportit tukevat korkeakoulujen toiminnan kehittämistä, ei vain kyseisellä alalla vaan yleisemminkin. Viisi rehtoria, joista neljä oli ammattikorkeakouluista, katsoi koulutusalaarviointien olevan hyödyllisiä erityisesti siksi, että niissä koulutuksen laatua tarkastelee korkeakoulujen ulkopuolinen ja niistä riippumaton taho. Kolme yliopistorehtoria mainitsi, että koulutusala-arviointien tuloksia oli käytetty hyväksi keskushallinnossa mm. tuloksellisuuden arvioinnissa ja yliopiston strategian kehittämisessä. 5.3 Korkeakoulujen arviointineuvoston rooli tulevaisuudessa Rehtorien vastaukset koskien Korkeakoulujen arviointineuvostolta toivottua tukea voidaan jakaa kolmeen luokkaan. Näistä ensimmäinen koskee toiveita arviointikohteista, toinen ehdotuksia arviointien menetelmistä ja kolmas ajatuksia KKA:n toimintatapojen konkreettisesta kehittämisestä. Taulukko 25. Rehtorien ehdotukset KKA:n tulevista arviointikohteista Rehtorien ehdotukset KKA:n tulevista arviointikohteista Korkeakoulujen laadunvarmistuksen kehittäminen ja arviointi Valtakunnalliset koulutusalakohtaiset arvioinnit Teema-arvioinnit Korkeakoulujen kokonaisarvioinnit YO:t AMK:t Yht. 4 3 2 4 4 4 4 8 7 6 4 49 Kahdeksan rehtoria totesi, että jatkossa Korkeakoulujen arviointineuvoston tulisi keskittyä toiminnassaan erityisesti korkeakoulujen tukemiseen ja arviointiin niiden laatutyön ja laadunvarmistuksen kehittämisessä. Seitsemän rehtoria piti tärkeänä, että valtakunnallisia koulutusalakohtaisia arviointeja jatketaan. Kuusi rehtoria mainitsi teema-arvioinnit tärkeinä tulevaisuuden arviointikohteina. Arviointiteemoiksi esitettiin mm. opinnäytetöiden arviointia ja sen kehittämistä, opiskelijapalveluita sekä ammattikorkeakoulujen tutkimus- ja kehittämistoimintaa. Myös korkeakoulujen alueellisen roolin arviointia pidettiin edelleen tärkeänä. Samoin ammattikorkeakouluille toivottiin tukea ammattikorkeakoulupedagogiikan luomisessa ja opetussuunnitelmien laatimisessa. Yliopistoille taas toivottiin pikaisesti kansainvälistä ja kotimaista vertailutietoa tutkintorakenteen kehittämisestä. Neljä ammattikorkeakoulujen rehtoria totesi, että KKA:n tulisi arvioida korkeakouluja kokonaisuutena. Yliopistosektorillahan kaikki yliopistot on jo arvioitu, joten on luonnollista, että tätä toivetta ei tullut yliopistojen rehtoreilta. Ammattikorkeakoulusektorilla on toteutettu vasta seitsemän kokonaisarviointia, mutta toisaalta tehty 16 ammattikorkeakoulujen laatutyön auditointia. Kaikissa ammattikorkeakouluissa toteutettiin toimilupa-arvioinnit ammattikorkeakoulujen vakinaistamisvaiheessa. Melko moni rehtori esitti myös näkemyksiä siitä, miten arvioinnit tulisi jatkossa toteuttaa. Taulukko 26. Rehtorien ehdotukset arviointimenetelmistä Rehtorien ehdotukset arviointimenetelmistä Nykyinen kehittävän arvioinnin lähestymistapa on hyvä Arvioinnit tulisi tehdä vertailuarviointeina eli benchmarking-menetelmällä Arvioinnit tulisi tehdä kansainvälisinä Muut (opetuksen ja tutkimuksen arviointi yhdessä; yliopistojen ja ammattikorkeakoulujen arviointi erillään; II asteen ja amk-koulutuksen arviointi yhdessä) YO:t AMK:t Yht. 1 4 5 1 6 5 1 1 3 2 3 Kuusi rehtoria piti hyvänä sitä kehittävän arvioinnin lähestymistapaa, jonka Korkeakoulujen arviointineuvosto on omaksunut kahdella ensimmäisellä toimikaudellaan. Kehittävällä arvioinnilla tarkoitetaan käyttäjälähtöistä prosessia, jossa arvioinnin menetelmä räätälöidään arvioinnin tavoitteiden, arvioitavan teeman ja osallistujien tarpeiden mukaan. Toisenlaista lähestymistapaa edustaa se viiden rehtorin ehdotus, jonka mukaan Korkeakoulujen arviointineuvoston tulisi jatkossa panostaa voimakkaammin vertailu- eli benchmarking-arviointeihin. Useat tätä näkökulmaa kannattavista rehtoreista toivat esiin sen, että benchmarkingin tulisi keskittyä erityisesti kustannusten ja tuloksellisuuden arviointiin, johon KKA:n toivotaan kehittävän selkeitä mittareita. 50 Kolmas näkökulma arviointien toteutukseen oli se kahden rehtorin esittämä toive, jonka mukaan arvioinnit tulisi aina tehdä kansainvälisinä tai niihin tulisi ainakin sisältyä kansainvälinen näkökulma. Neljäs näkökulma liittyy arviointien kattavuuteen. Yksi rehtori piti tärkeänä, että opetusta ja tutkimusta arvioidaan yhtä aikaa. Yksi rehtori oli sitä mieltä, että yliopistojen ja ammattikorkeakoulujen arviointi samassa projektissa on ongelmallista. Yksi rehtori esitti, että joissain tapauksissa voisi olla tarpeen arvioida yhdessä toisen asteen koulutusta ja ammattikorkeakoulutusta. Taulukko 27. Rehtorien toiveet KKA:n tulevista painopisteistä Rehtorien toiveita KKA:n tulevista painopisteistä Arviointikoulutuksen jatkaminen Seuranta-arviointien tehostaminen ja arviointien vaikuttavuuden parantaminen Hyvien käytänteiden levittäminen KKA:n kansallisen arviointipolitiikan ja arviointien aikataulun linjaaminen KKA:n kansainvälisen roolin linjaaminen KKA:n maksupalvelutoiminnan laajentaminen YO:t AMK:t YHT. 3 3 5 6 5 3 2 3 3 2 1 2 1 1 Kuusi rehtoria mainitsi, että Korkeakoulujen arviointineuvoston järjestämä arviointikoulutus korkeakoulujen henkilöstölle on ollut arvokasta, ja sitä toivottiin jatkettavan. Yksi vastaaja kiinnitti huomiota myös arvioitsijoiden koulutuksen tehostamiseen. Yksi rehtori mainitsi, että tässä yhteydessä KKA voisi kehittää arviointiosaamista luomalla teoreettista pohjaa ja kehittämällä työkaluja itse- ja vertaisarviointien toteuttamiseen. Viisi rehtori teki ehdotuksen seuranta-arviointien tehostamisesta ja arviointien vaikuttavuuden parantamisesta. Rehtorien mukaan tätä voitaisiin tehdä mm. tehostamalla arviointia koskevaa tiedottamista sekä kansallisesti että korkeakoulutasolla, vastuuttamalla koulutusohjelmat laatimaan kehittämissuunnitelmat ja tiivistämällä arviointien tuloksia artikkeleiksi. Yhden rehtorin mukaan arviointien vaikuttavuutta voidaan ylipäänsä parantaa sillä, että kytketään toimijat varhaisessa vaiheessa mukaan arvioinnin suunnitteluun. Yksi rehtori taas toivoi arviointikriteerien julkistamista ennen arviointia. Kolmen ammattikorkeakoulun rehtorit toivoivat sitä, että KKA kiinnittäisi entistä enemmän huomiota hyvien käytänteiden levittämiseen. Muutama rehtori piti tärkeänä, että uusi Korkeakoulujen arviointineuvosto linjaa tulevien vuosien kansallisen arviointipolitiikan. Muutama rehtori esitti myös toiveen siitä, että toimintasuunnitelmasta kävisi ilmi, mitkä alat ovat milloinkin arvioinnin kohteena, jotta arviointiin ehdittäisiin varautua hyvissä ajoin. Yksi rehtori esitti, että arviointien toteutukseen korkeakouluissa tarvitaan ulkopuolista rahoitusta. KKA:lta toivottiin myös selkeää kannanottoa siitä, mikä Suomen korkeakouluille sopiva arviointitoiminnan profiili luotaessa Eurooppalaista korkeakoulutusaluetta (EHEA). Yksi rehtori esitti, että KKA alkaisi maksupalvelutoimintana arvioida ja konsultoida ammattikorkeakoulujen koulutusohjelmien kehittämistä. 51 6 Yhteenveto ja pohdintaa Yhtenä tämän selvityksen tarkoituksena oli selvittää, tarvitaanko Korkeakoulujen arviointineuvoston toteuttamia koulutusala-arviointeja jatkossa. Kaikkiaan 85 % kyselyyn vastanneista yliopistojen ja ammattikorkeakoulujen koulutusohjelmista ja oppiaineista oli sitä mieltä, että koulutusala-arviointia tarvitaan jatkossakin. Korkeakoulujen mukaan tähän on kaksi perustetta. Ensinnäkin arviointien avulla voidaan osoittaa koulutuksen laatu kansainvälisillä koulutusmarkkinoilla. Toiseksi arviointien katsotaan tarjoavan merkittävää tukea koulutuksen kehittämiselle. Ne 5 % vastaajista, jotka eivät pitäneet koulutusalaarviointien jatkamista tarpeellisena, perustelivat tätä sillä, että arviointi kuuluu osaksi korkeakoulujen normaalia tehtävää ja on siten niiden sisäinen asia. Loput 10 % eivät ottaneet kantaa puolesta tai vastaan. Toinen selvityksen tavoite liittyi siihen, mitä ehdotuksia korkeakouluilla on arviointimenetelmän kehittämiseksi. Arviointimenetelmällä tarkoitetaan Korkeakoulujen arviointineuvoston käyttämää nelivaiheista mallia 1. arvioinnin suunnittelu ja perehdytys, 2. itsearviointi, 3. arviointivierailu ja 4. arviointiraportti. Seuraavassa tehdään yhteenveto selvityksen tuloksista arviointiprosessin kronologisia vaiheita mukaillen ja peilaten tuloksia arviointineuvoston tulevaan toimintaan. Koulutusala-arviointeihin osallistuneet olivat enimmäkseen tyytyväisiä Korkeakoulujen arviointineuvoston antamaan ennakkoperehdytykseen ja kirjallisiin ohjeisiin. Suurella osalla vastaajista oli jo koulutusala-arviointeihin osallistuessaan aiempaa kokemusta arvioinneista, jota ne voivat hyödyntää arviointineuvostonkin arvioinneissa. Eniten parannettavaa olisi itsearviointiohjeiden ja muiden kirjallisten ohjeiden selkiyttämisessä ja käsitteiden määrittelyssä. Arviointineuvosto on jo toiminut näiden ehdotusten suuntaisesti. Kansallista laadunvarmistusta pohdittaessa on luotu käsitteet2, joita voidaan käyttää soveltaen hyväksi eri arviointiprojekteissa. Samoin arviointiprosessien eri toimijoiden roolit on nyt kirjattu aiempaa selkeämmin.3 Tämä ei luonnollisesti poista tarvetta määritellä erikseen kussakin projektissa käytettävät alakohtaiset käsitteet. Lisäksi Korkeakoulujen arviointineuvoston tulisi luonnollisesti olla itse johdonmukainen käsitteiden käytössä ja testata käsitteitä eri foorumeilla yhteistyössä korkeakoulujen kanssa, jotta niistä voidaan löytää yhteinen ymmärrys. 2 Laadunvarmistustyöryhmän muistio. Opetusministeriön työryhmämuistioita ja selvityksiä 2004:6. Helsinki. 3 Moitus, S. & Mustonen, K. Ohjeita arvioitsijalle. Korkeakoulujen arviointineuvoston arviointiryhmien tukimateriaali. Korkeakoulujen arviointineuvoston verkkojulkaisuja 3:2003. www.kka.fi/julkaisut_etusivu.lasso 52 Itsearviointi on ollut yksi keskeisimpiä kehittävän arvioinnin vaiheita. Itsearvioinnin vahvuutena onkin korkeakoulujen mukaan se, että itsearviointi tarjoaa tilaisuuden oman toiminnan kriittiseen tarkasteluun strukturoidussa kehyksessä. Itsearvioinnin heikkoutena vastaajat pitivät korkeakoulujen itsearviointiraporteissa esiintyvää valikoivaa arviointia ja asioiden kaunistelua. Keskeinen kysymys jatkossa on, miten Korkeakoulujen arviointineuvosto voi omalla toiminnallaan tukea avointa ja rakentavan kriittistä itsearviointia, joka aidosti tukee kehittämistyötä. Näyttää siltä, että mitä enemmän arviointiin liittyy ulkoisia kannusteita, kuten laatuyksikkövalintojen rahanjako tai ammattikorkeakoulujen toimilupa-arvioinnit, sitä enemmän itsearviointi alkaa muistuttaa hakemusta, jonka painopiste on omien vahvuuksien esittelyssä. Tästä näkökulmasta Korkeakoulujen arviointineuvostolle onkin varsin haasteellista kehittää sellainen metodi korkeakoulujen laadunvarmistusjärjestelmien auditoinnille, jossa laatua kehittävä ja varmistava funktio ovat tasapainossa. Arviointivierailun tärkein vahvuus oli korkeakoulujen mukaan mahdollisuus kiinnostavaan keskusteluun oman alan ja pedagogisten asiantuntijoiden kanssa. Yksipäiväisten arviointivierailujen sen sijaan katsottiin olevan liian lyhyitä antamaan kokonaiskuvaa yksikön toiminnasta. Tämä on Korkeakoulujen arviointineuvoston näkökulmasta ensisijaisesti resurssikysymys, jota ei voida ratkaista arviointivierailua pidentämällä. Monissa arvioinneissa arviointivierailujen kokonaiskesto on jo tällä hetkellä 10–15 päivää, mikä merkitsee melkoista työpanosta yhdeltä arvioitsijalta. Sen sijaan arviointivierailun rakennetta on mahdollista varioida entistä enemmän. Yksi ratkaisu on se, että arviointiryhmä jakaantuu vierailupäivän aikana pienempiin ryhmiin, jolloin on mahdollista haastatella syvällisemmin yhä useampaa korkeakoulujen henkilökunnan ja opiskelijoiden edustajaa. Toinen arviointivierailuun liittyvä heikkous on korkeakoulujen mukaan se, että kaikki arviointiin osallistuneet ja itsearviointiraportin laatineet eivät ole kaikissa arvioinneissa saaneet omaa yksikkökohtaista arviointipalautetta. Tämä liittyy edellä mainittuun ongelmaan, että arviointiryhmä ei ole resurssisyistä voinut vierailla kaikissa yksiköissä. Muutamassa arvioinnissa on kokeiltu sitä, että arviointiryhmä on antanut palautteen kirjallisen aineiston pohjalta niillekin yksiköille, joissa ei vierailtu. Tästä on kahdenlaisia kokemuksia. Osa korkeakouluista on todennut, että palaute ilman vierailua ei tuota paljon uusia näkökulmia kehittämisen pohjaksi, kun taas yhdessä arvioinnissa tällainen palaute koettiin hyvin hyödylliseksi. Joka tapauksessa Korkeakoulujen arviointineuvoston tulisi jatkossa suunnitella arvioinnit niin, että kaikilla arviointiin osallistuvilla korkeakouluilla olisi tasavertainen mahdollisuus saada arviointipalautetta. Arviointiraportin selvin vahvuus oli korkeakoulujen mukaan se, että se antaa kokonaiskuvan arvioitavasta koulutusalasta. Heikkoutena pidettiin yksittäisten henkilöiden mielipiteiden liiallista korostumista. Muutamat korkeakoulut pitivät arviointiraportteja myös turhan laajoina, mikä on vaikeuttanut raporttien hyödyntämistä. Tähän asti Korkeakoulujen arviointineuvosto on antanut arviointiryhmille melko vapaat kädet raportin laadintaan, mikä on näkynyt raporttien suurena kirjona ja volyymien eroina. Jatkossa toistuvissa arvioinneissa, 53 kuten korkeakoulujen laadunvarmistusjärjestelmien auditoinnissa, on tarvetta siirtyä aiempaa määrämuotoisempaan raportointiin. Korkeakoulujen arviointineuvoston periaatteisiin on kuulunut, että se toteuttaa seuranta-arviointeja noin kolmen vuoden kuluttua varsinaisesta arvioinnista. Korkeakoulujen koulutusohjelmien ja oppiaineiden mukaan seurantaarvioinnin vahvuutena oli se, että se varmistaa arvioinnin tulosten toteutumista ja pakottaa yksiköt oman toimintansa uudelleen arviointiin. Tässä korkeakoulut ovat hyvin samoilla linjoilla kun arviointineuvostokin, jonka arviointivalikoimassa seurannat on nähty yhtenä keinona edistää arviointien vaikuttavuutta. Jatkossa eri arviointien seurantoja on edessä kymmenkunta vuodessa, joten metodin virtaviivaistamiseen on todellinen tarve. Koulutusohjelmille ja oppiaineille tehdyn kyselyn rinnalla myös korkeakoulujen rehtoreilta kysyttiin näkemyksiä koulutusala-arviointimenetelmän kehittämisestä. Korkeakoulujen rehtorit toivat erityisesti esiin tarpeen tehostaa seuranta-arviointeja ja arviointien vaikuttavuuden muuta seurantaa. Nelivaiheisen arviointimenetelmän yleinen vahvuus oli korkeakoulujen mukaan se, että ulkopuolisen tahon tekemä valtakunnallinen arviointi oli antanut merkittävän sysäyksen koulutuksen kehittämiselle. Arviointimenetelmän heikkoutena oli vastaajien mukaan arvioinnin suuritöisyys korkeakoulun kannalta. Arvioinnin tulosten käsittelyssä ja hyödyntämisessä korkeakouluilla on ollut käytössä paljon erilaisia menettelytapoja. Yleisin tapa käsitellä arviointipalautetta oli sen käsittely henkilöstökokousten sekä suunnittelu- ja kehittä- mispäivien yhteydessä. Useissa koulutusohjelmissa ja oppiaineissa oli järjestetty henkilöstölle ja opiskelijoille arvioinnin tulosten käsittelyä varten tiedotus- ja keskustelutilaisuuksia. Koska arviointipalautteen käsittely korkeakouluissa on yksi keskeisimmistä tekijöistä, joilla voidaan vaikuttaa arviointien vaikuttavuuteen, Korkeakoulujen arviointineuvosto voisi kiinnittää tämän ohjeistukseen jatkossa enemmän huomiota. Tärkeä kysymys on luonnollisesti se, mitä hyötyä koulutusala-arvioinneista on ollut korkeakouluille. Selvitys osoitti, että arvioinneista on seurannut runsaasti konkreettisia kehittämistoimenpiteitä. Eniten arvioinnit ovat vaikuttaneet opetussuunnitelmatyön ja opetussisältöjen uudistamiseen sekä opintojen ohjauksen kehittämiseen. Arvioinnin seurauksena myös kansainvälistymiseen on kiinnitetty entistä enemmän huomiota. Koulutusala-arvioinnit ovat myös palvelleet yksiköiden strategiatyötä sekä arviointi- ja palautejärjestelmien kehittämistä. Kaikkia arviointiryhmien antamia kehittämisehdotuksia ei kuitenkaan ole koulutusohjelmissa toteutettu. Pääsyynä tähän on ollut taloudellisten tai ajallisten resurssien puute. Mielenkiintoista oli, että kun sama kysymys arviointien käytöstä kysyttiin korkeakoulujen rehtoreilta, he näkivät arvioinneilla olleen myös strategisia vaikutuksia. Rehtorien mukaan koulutusala-arvioinnit olivat tukeneet korkeakoulujen oman toiminnan arviointia, johtaneet konkreettisiin kehit- 54 tämistoimiin ja luoneet kokonaiskuvan arvioitujen alojen kansallisesta tilasta. Arviointien tuloksia oli myös hyödynnetty korkeakoulujen keskushallinnossa, mikä seikka ei käynyt ilmi koulutusohjelmien ja oppiaineiden vastauksista. Korkeakoulut arvostivat yksikkökohtaisen palautteen lisäksi myös arvioinneista saatua omaa alaa koskevaa valtakunnallista vertailutietoa. Korkeakoulujen arviointineuvoston pohdittavaksi jää, miten koulutusala-arvioinnit parhaiten palvelisivat kumpaakin näkökulmaa – sekä yksikkökohtaista että valtakunnallista kehittämistä. Kansainvälisessä vertailussa Korkeakoulujen arviointineuvoston arvioinneista harvinaisen suuri osa on kansainvälisiä arviointeja. Tähänkin selvitykseen osallistuneista kymmenestä koulutusala-arvioinnista kuusi on toteutettu kansainvälisinä arviointeina. Tärkein kansainvälisen arvioinnin lisäarvo oli vastaajien mukaan se, että se tuottaa vaihtoehtoisia näkökulmia koulutuksen kehittämiseen. Kansainvälisen arviointiryhmän käyttämisen heikkoutena pidettiin sitä, että kansainväliset arvioitsijat tuntevat pinnallisesti suomalaisia korkeakouluja ja niiden toimintaympäristöä. Yksi ratkaisu tähän on se, että kansainvälisissä arviointiryhmissä on aina mukana suomalaisjäsen, joka tuntee suomalaisen kontekstin. Myös arvioitsijoille hiljattain laadittu manuaali auttaa perehtymään arviointitehtävään. Muussa arvioitsijoiden perehdyttämisessä Korkeakoulujen arviointineuvostolla on epäilemättä edelleen parannettavaa. Myös arvioitsijoiden rekrytointia tulisi systematisoida, etenkin kun korkeakoulujen laadunvarmistusjärjestelmien auditoinnissa tarvitaan lähivuosina hyvin paljon kokeneita kansainvälisiä ja kotimaisia arvioitsijoita. Tässä yhteydessä arviointineuvosto on jo tehnyt tasokorotuksen arvioitsijoiden palkkioihin, mutta tämä saattaa joidenkin arvioitsijoiden kohdalla olla kynnyskysymys, jossa arviointineuvosto ei pysty kilpailemaan liike-elämän konsulttipalkkioiden kanssa. Korkeakoulut tekivät runsaasti ehdotuksia arviointimenetelmän kehittämiseksi. Suuri osa näistä kohdistui arviointimenetelmän keventämiseen siten, että arviointi rajattaisiin kapeammin johonkin tiettyyn alaan ja koulutuksen osa-alueeseen. Koulutusala-arviointeihin toivottiin myös lisää jatkuvuutta ja säännöllisyyttä siten, että sama ala olisi viiden–kuuden vuoden välein arvioinnin kohteena. Arviointimenetelmän kehittämisenkin osalta rehtorien näkökulma poikkesi jonkin verran koulutusohjelmien ja oppiaineiden näkemyksestä. Moni rehtori piti selvityksen mukaan arviointineuvoston nykyistä kehittävän arvioinnin lähestymistapaa hyvänä, mutta osa rehtoreista toivoi arviointineuvostolta entistä selkeämpiä kriteereitä ja mittareita korkeakoulujen toiminnan tuloksellisuuden keskinäiseen vertailuun eli benchmarkingiin. Korkeakoulujen arviointineuvoston toimintamuodoista arviointikoulutus oli rehtorien mielestä erittäin tärkeä. Tässä selvityksessä korkeakouluilta kysyttiin näkemystä ainoastaan koulutusala-arviointien jatkamisesta. Sen sijaan ei selvitetty, mitä mieltä korkeakou- 55 lut olisivat teema-arviointien jatkamisesta. Tähän kysymykseen saatiin kuitenkin näkemyksiä yliopistojen ja ammattikorkeakoulujen rehtoreilta. Kun rehtoreilta kysyttiin ehdotuksia Korkeakoulujen arviointineuvoston tulevista arviointikohteista, moni rehtori toivoi arviointineuvostolta tukea erityisesti korkeakoulujen laadunvarmistuksen kehittämiseen ja arviointiin. Myös teema-arvioinneille ja ammattikorkeakoulujen kokonaisarvioinneille toivottiin jatkoa. Yhteenvetona selvityksen tuloksista voidaan todeta, että koulutusala-arvioinnit ovat saavuttaneet hyvin niille asetetut tavoitteet ja että koulutusala-arvioinneilla on paikkansa suomalaisessa korkeakoulutuksen arviointijärjestelmässä. Korkeakouluilta saatua monipuolista palautetta on jo käsitelty Korkeakoulujen arviointineuvoston ja sihteeristön kokouksissa ja se tulee olemaan arviointineuvoston ahkerassa käytössä jatkossakin Korkeakoulujen arviointineuvoston rakentaessa omaa laadunvarmistusjärjestelmäänsä. Tähän liittyy myös se, että arvioitsijoilta ryhdytään keräämään systemaattisesti palautetta menetelmästä. 56 LIITE: Kyselylomake Korkeakoulujen arviointineuvoston koulutusalaarviointien vaikuttavuutta koskeva selvitys VASTAUSOHJEET Selvitys koskee niitä Korkeakoulujen arviointineuvoston vuosina 1996–2003 toteuttamia koulutusala-arviointeja, joihin koulutusohjelma, oppiaine tai vastaava yksikkö (jäljempänä: yksikkö) on osallistunut. Yksikkö voi itse päättää vastauksen laadinnasta. Arviointiprojektin yhteyshenkilö voi laatia vastauksen yksilönä tai hän voi kerätä näkemyksiä koulutusala-arvioinnin vaikuttavuudesta henkilökunnalta ja opiskelijoilta. Vastauksen laadintaprosessi pyydetään kuvaamaan vastaajan taustatiedoissa. Vastauksen enimmäispituus on 5 sivua. Yksikköä pyydetään palauttamaan vastaus perjantaihin 29.8.2003 mennessä sähköpostitse Korkeakoulujen arviointineuvostoon osoitteella hannele.seppala @minedu.fi. VASTAAJAN TAUSTATIEDOT Korkeakoulun nimi Arviointiin osallistuneen yksikön (koulutusohjelman, oppiaineen tai vastaavan) nimi Vastauksen laadintaprosessi (mikäli vastauksen laadintaan osallistui useita henkilöitä, heidän lukumääränsä, asemansa yliopistossa ja vastausten keruumenetelmä) Korkeakoulujen arviointineuvoston koulutusala-arviointi, johon yksikkö on osallistunut Yhteyshenkilö yhteystietoineen ARVIOINTIKOKEMUS JA PEREHDYTYS 1. Millaista arviointikokemusta yksiköllänne oli ennen Korkeakoulujen arviointineuvoston toteuttamaa koulutusala-arviointia? 2. Oliko KKA:n antama perehdytys ennen arviointia (esim. itsearviointiohjeet ja käynnistysseminaari) riittävää ja miten sitä tulisi kehittää? ARVIOINNIN TULOSTEN HYÖDYNTÄMINEN 3. Miten yksikössänne käsiteltiin koulutusohjelma-/oppiainekohtaista ja valtakunnallista arviointipalautetta ja suosituksia? 4. Mainitkaa esimerkkejä siitä, mitä konkreettisia toimenpiteitä arvioinnista seurasi yksikkönne koulutuksen kehittämisessä? 5. Mikäli joitakin suosituksia tai kehittämisehdotuksia ei ole toteutettu, mistä syystä? 57 ARVIOINNIN MERKITYS JA VAIKUTTAVUUS 6. Millainen merkitys koulutusala-arvioinnilla on ollut koulutuksen kehittämiselle? 7. Mitkä muut tekijät ovat vaikuttaneet koulutuksen kehittämiseen? ARVIOINTIMENETELMÄN ARVIOINTI 8. Mitkä ovat mielestänne koulutusala-arviointimenetelmän (itsearviointi, arviointivierailut, julkinen arviointiraportti, seuranta-arviointi) vahvuudet ja heikkoudet? 9. Mikäli koulutusala-arviointi toteutettiin kansainvälisenä arviointina, arvioikaa kansainvälisen näkökulman merkitystä koulutuksen kehittämiseen. 10. Tarvitaanko koulutusala-arviointeja tulevaisuudessa ja jos tarvitaan, miten menetelmää tulisi kehittää ottamaan huomioon koulutuksen tulevaisuuden haasteet? 11. Muita kommentteja. 58 TIIVISTELMÄ Julkaisija Korkeakoulujen arviointineuvosto Julkaisun nimi Mitä hyötyä arvioinneista? Selvitys Korkeakoulujen arviointineuvoston 1997–2003 toteuttamien koulutusala-arviointien käytöstä Tekijät Moitus, Sirpa & Seppälä, Hannele Tiivistelmä Korkeakoulujen arviointineuvoston toisen nelivuotisen toimikauden päättyessä tehdyn selvityksen tarkoituksena oli kerätä korkeakoulujen kokemuksia ja mielipiteitä koulutusala-arviointien vaikuttavuudesta. Korkeakoulujen arviointineuvosto on vuosina 1997–2003 toteuttanut 11 koulutusala-arviointia. Selvityksen tavoitteena oli • kerätä Korkeakoulujen arviointineuvoston arviointeihin osallistuneilta koulutusohjelmilta ja oppiaineilta palautetta koulutusala-arvioinneissa käytetyn arviointimenetelmän vahvuuksista, kriittisistä kohdista ja hyödyllisyydestä koulutuksen kehittämisessä • tuottaa kuvailevaa aineistoa Korkeakoulujen arviointineuvoston omien toimintatapojen dokumentoimiseksi ja kehittämiseksi • tuottaa tietoa Korkeakoulujen arviointineuvostolle arviointimenetelmän käyttökelpoisuudesta ja kehittämissuunnista. Selvitys rajattiin koskemaan kahdeksaa arviointiprojektia: neljää tekniikan alan arviointia, terveysalan, slavistiikan ja baltologian, media- ja viestintäalan sekä kauppatieteiden ja liiketalouden korkeakoulutuksen arviointia, joihin on osallistunut yhteensä 166 koulutusohjelmaa ja oppiainetta. Selvitys toteutettiin sähköpostitse lähetettynä kyselynä, jossa oli 11 avointa kysymystä arvioinnin perehdytyksestä, arvioinnin tulosten hyödyntämisestä, arvioinnin merkityksestä ja arviointimenetelmän toimivuudesta. Kyselyyn valittiin 87 koulutusohjelmaa ja oppiainetta siten, että ne edustivat eri koulutusaloja ja käytetyiltä arviointimenetelmiltään erilaisia arviointeja. Kyselyn vastausprosentti oli 80 %. Myös kaikille korkeakoulujen rehtoreille tehtiin lyhyt kysely koulutusalaarviointien vaikuttavuudesta korkeakoulujen johdon näkökulmasta. Rehtorikyselyn vastausprosentti oli 46 %. Selvityksen mukaan Korkeakoulujen arviointineuvoston toteuttamista koulutusala-arvioinneista on ollut hyötyä koulutuksen kehittämisessä. Kaikkiaan 85 % kyselyyn vastanneista koulutusohjelmista ja oppiaineista oli sitä mieltä, että koulutusala-arviointia tarvitaan jatkossakin. Tärkeimmät kaksi perustetta tälle olivat tarve osoittaa koulutuksen laatu kansainvälisillä koulutusmarkkinoilla ja arviointien tarjoama tuki koulutuksen kehittämiselle. Voimistuva kansainvälistyminen lisää kilpailua ja opiskelijoiden liikkuvuutta ja luo tarpeen osoittaa koulutuksen laatu kansainvälisillä koulutusmarkkinoilla. Ne vastaajat, jotka eivät pitäneet koulutusala-arviointia tarpeellisena jatkossa, perustelivat tätä sillä, että arviointi kuuluu osaksi korkeakoulujen normaalia tehtävää ja on siten niiden sisäinen asia. Yliopistojen ja ammattikorkeakoulujen näkemykset koulutusalaarviointien tarpeellisuudesta olivat yhdenmukaiset. Selvityksen avulla saatiin myös paljon ehdotuksia koulutusala-arvioinneissa käytetyn arviointimenetelmän kehittämiseksi. Korkeakouluilta saadun palautteen mukaan arviointiprojektien käynnistysvaiheen perehdytystä tulee kehittää, ohjeita tulee selkiyttää sekä käsitteet tulee määritellä tarkemmin. Itsearviointiraporttien avoimuutta ja itsekriittistä luonnetta tulee perehdytyksen yhteydessä korostaa. Arviointiraporttien osalta tulee kiinnittää entistä enemmän huomiota raportin rakenteeseen ja suositusten selkeyteen. Koulutusohjelma- ja oppiainekohtaiset palautteet tulisi voida antaa kaikille arviointiin osallistuneille yksiköille. Lisäksi tulee harkita arviointien keventämistä siten, että arviointi rajattaisiin kapeammin johonkin tiettyyn alaan tai koulutuksen osa-alueeseen. Avainsanat Koulutus, arviointi, yliopistot, ammattikorkeakoulut KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA PL 1425, 00101 HELSINKI Puh. 09-1607 6913 Fax 09-1607 6911 • www.kka.fi 1:2000 Lehtinen, E., Kess, P., Ståhle, P. & Urponen, K.: Tampereen yliopiston opetuksen arviointi. Helsinki: Edita. 2:2000 Cohen, B., Jung, K. & Valjakka,T.: From Academy of Fine Arts to University. Same name, wider ambitions. Helsinki: Edita. 3:2000 Goddard, J., Moses, I., Teichler, U.,Virtanen, I. & West, P.: External Engagement and Institutional Adjustment: An Evaluation of the University of Turku. Helsinki: Edita. 4:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Swedish Polytechnic, Finland. Helsinki: Edita. 5:2000 Harlio, R., Harvey, L., Mansikkamäki. J., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Central Ostrobothnia Polytechnic. Helsinki: Edita. 6:2000 Moitus, S. (toim.): Yliopistokoulutuksen laatuyksiköt 2001–2003. Helsinki: Edita. 7:2000 Liuhanen, A.-M. (toim.): Neljä aikuiskoulutuksen laatuyliopistoa 2001–2003. Helsinki: Edita. 8:2000 Hara,V. , Hyvönen, R. , Myers, D. & Kangasniemi, J. (Eds.): Evaluation of Education for the Information Industry. Helsinki: Edita. 9:2000 Jussila, J. & Saari, S. (Eds.): Teacher Education as a Future-moulding Factor. International Evaluation of Teacher Education in Finnish Universities. Helsinki: FINHEEC. 10:2000 Lämsä, A. & Saari, S. (toim.): Portfoliosta koulutuksen kehittämiseen. Ammatillisen opettajankoulutuksen arviointi. Helsinki: Edita. 11:2000 Korkeakoulujen arviointineuvoston toimintasuunnitelma 2000–2003. Helsinki: Edita. 12:2000 Finnish Higher Education Evaluation Council Action Plan for 2000–2003. Helsinki: Edita. 13:2000 Huttula, T. (toim.): Ammattikorkeakoulujen koulutuksen laatuyksiköt 2000. Helsinki: Edita. 14:2000 Gordon, C., Knodt, G., Lundin, R., Oger, O. & Shenton, G.: Hanken in European Comparison. EQUIS Evaluation Report. Helsinki: Edita. 15:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Kangasniemi, J.: Audit of Quality Work. Satakunta Polytechnic. Helsinki: Edita. 16:2000 Kells, H.R., Lindqvist, O.V. & Premfors, R.: Follow-up Evaluation of the University of Vaasa. Challenges of a small regional university. Helsinki: Edita. 17:2000 Mansikkamäki, J., Kekäle, T., Miikkulainen, L. , Stone, J., Tolppi,V.-M. & Kangasniemi, J.: Audit of Quality Work.Tampere Polytechnic. Helsinki: Edita. 18:2000 Baran, H., Gladrow, W. , Klaudy, K. , Locher, J. P. , Toivakka, P. & Moitus, S.: Evaluation of Education and Research in Slavonic and Baltic Studies. Helsinki: Edita. 19:2000 Harlio, R. , Kekäle, T. , Miikkulainen, L. & Kangasniemi, J.: Laatutyön auditointi. Kymenlaakson ammattikorkeakoulu. Helsinki: Edita. 20:2000 Mansikkamäki, J., Kekäle, T., Kähkönen, J., Miikkulainen, L., Mäki, M. & Kangasniemi, J.: Laatutyön auditointi. Pohjois-Savon ammattikorkeakoulu. Helsinki: Edita. 21:2000 Almefelt, P., Kantola, J., Kekäle, T., Papp, I., Manninen, J. & Karppanen, T.: Audit of Quality Work. South Carelia Polytechnic. Helsinki: Edita. 1:2001 Valtonen, H.: Oppimisen arviointi Sibelius-Akatemiassa. Helsinki: Edita. 2:2001 Laine, 1., Kilpinen, A., Lajunen, L., Pennanen, J., Stenius, M., Uronen, P. & Kekäle, T.: Maanpuolustuskorkeakoulun arviointi. Helsinki: Edita. 3:2001 Vähäpassi, A. (toim.): Erikoistumisopintojen akkreditointi. Helsinki: Edita. 4:2001 Baran, H., Gladrow,W. , Klaudy, K. , Locher, J. P. ,Toivakka, P. & Moitus, S.: |kspertiza obrazowaniq i nau^no-issledowatelxskoj raboty w oblasti slawistiki i baltistiki (Ekspertiza obrazovanija i nauc̀´no-issledovatelskoj raboty v oblasti slavistiki i baltistiki). Helsinki: Edita. 5:2001 Kinnunen, J.: Korkeakoulujen alueellisen vaikuttavuuden arviointi. Kriteerejä vuorovaikutteisuuden arvottamiselle. Helsinki: Edita. 6:2001 Löfström, E.: Benchmarking korkeakoulujen kieltenopetuksen kehittämisessä. Helsinki: Edita. 7:2001 Kaartinen-Koutaniemi, M.: Korkeakouluopiskelijoiden harjoittelun kehittäminen. Helsingin yliopiston, Diakonia-ammattikorkeakoulun ja Lahden ammattikorkeakoulun benchmarking-projekti. Helsinki: Edita. 8:2001 Huttula,T. (toim.): Ammattikorkeakoulujen aluekehitysvaikutuksen huippuyksiköt 2001. Helsinki: Edita. 9:2001 Welander, C. (red.): Den synliga yrkeshögskolan. Ålands yrkeshögskola. Helsingfors: Edita. 10:2001 Valtonen, H.: Learning Assessment at the Sibelius Academy. Helsinki: Edita. 11:2001 Ponkala, O. (toim.): Terveysalan korkeakoulutuksen arvioinnin seuranta. Helsinki: Edita. 12:2001 Miettinen, A. & Pajarre, E.: Tuotantotalouden koulutuksen arvioinnin seuranta. Helsinki: Edita. 13:2001 Moitus, S., Huttu, K., Isohanni, I., Lerkkanen, J., Mielityinen, I., Talvi, U., Uusi-Rauva, E. & Vuorinen, R.: Opintojen ohjauksen arviointi korkeakouluissa. Helsinki: Edita. 14:2001 Fonselius, J., Hakala, M.K. & Holm, K. : Evaluation of Mechanical Engineering Education at Universities and Polytechnics. Helsinki: Edita. 15:2001 Kekäle, T. (ed.): A Human Vision with Higher Education Perspective.Institutional Evaluation of the Humanistic Polytechnic. Helsinki: Edita. 1:2002 Kantola, I. (toim.): Ammattikorkeakoulun jatkotutkinnon kokeilulupahakemusten arviointi. Helsinki: Edita. 2:2002 Kallio, E.:Yksilöllisiä heijastuksia. Toimiiko yliopisto-opetuksen paikallinen itsearviointi? Helsinki: Edita. 3:2002 Raivola, R., Himberg, T., Lappalainen, A., Mustonen, K. & Varmola, T.: Monta tietä maisteriksi.Yliopistojen maisteriohjelmien arviointi. Helsinki: Edita. 4:2002 Nurmela-Antikainen, M., Ropo, E., Sava, I. & Skinnari, S.: Kokonaisvaltainen opettajuus. Steinerpedagogisen opettajankoulutuksen arviointi. Helsinki: Edita. 5:2002 Toikka, M. & Hakkarainen, S.: Opintojen ohjauksen benchmarking tekniikan alan koulutusohjelmissa. Kymenlaakson, Mikkelin ja Pohjois-Savon ammattikorkeakoulut. Helsinki: Edita. 59 60 6:2002 7:2002 8:2002 9:2002 10:2002 11:2002 12:2002 13:2002 14:2002 15:2002 16:2002 17:2002 18:2002 1:2003 2:2003 3:2003 4:2003 5:2003 6:2003 7:2003 8:2003 9:2003 10:2003 11:2003 12:2003 13:2003 14:2003 15:2003 16:2003 17:2003 1:2004 2:2004 3:2004 4:2004 5:2004 6:2004 7:2004 8:2004 Kess, P., Hulkko, K., Jussila, M., Kallio, U., Larsen, S. , Pohjolainen,T. & Seppälä, K.: Suomen avoin yliopisto. Avoimen yliopisto-opetuksen arviointiraportti. Helsinki: Edita. Rantanen, T., Ellä, H., Engblom, L.-Å., Heinonen, J., Laaksovirta, T., Pohjanpalo, L., Rajamäki, T. & Woodman, J.: Evaluation of Media and Communication Studies in Higher Education in Finland. Helsinki: Edita. Katajamäki, H., Artima, E., Hannelin, M., Kinnunen, J., Lyytinen, H. K., Oikari, A. & Tenhunen, M.-L.: Mahdollinen korkeakouluyhteisö. Lahden korkeakouluyksiköiden alueellisen vaikuttavuuden arviointi. Helsinki: Edita. Kekäle,T. & Scheele, J.P: With care. Institutional Evaluation of the Diaconia Polytechnic. Helsinki: Edita. Härkönen, A., Juntunen, K. & Pyykkönen, E.-L. : Kajaanin ammattikorkeakoulun yrityspalveluiden benchmarking. Helsinki: Edita. Katajamäki, H. (toim.): Ammattikorkeakoulut alueidensa kehittäjinä.Näkökulmia ammattikorkeakoulujen aluekehitystehtävän toteutukseen. Helsinki: Edita. Huttula, T. (toim.): Ammattikorkeakoulujen koulutuksen laatuyksiköt 2002–2003. Helsinki: Edita. Hämäläinen, K. & Kaartinen-Koutaniemi, M. (toim.): Benchmarking korkeakoulujen kehittämisvälineenä. Helsinki: Edita. Ylipulli-Kairala, K. & Lohiniva,V. (eds.): Development of Supervised Practice in Nurse Education. Oulu and Rovaniemi Polytechnics. Helsinki: Edita. Löfström, E., Kantelinen, R., Johnson, E., Huhta, M., Luoma, M., Nikko, T., Korhonen, A., Penttilä, J., Jakobsson, M. & Miikkulainen, L.: Ammattikorkeakoulun kieltenopetus tienhaarassa. Kieltenopetuksen arviointi Helsingin ja Keski-Pohjanmaan ammattikorkeakouluissa. Helsinki: Edita. Davies, L., Hietala, H., Kolehmainen, S., Parjanen, M. & Welander, C.: Audit of Quality Work.Vaasa Polytechnic. Helsinki: Edita. Sajavaara, K., Hakkarainen, K. , Henttonen, A., Niinistö, K., Pakkanen, T. , Piilonen, A.-R. & Moitus, S.: Yliopistojen opiskelijavalintojen arviointi. Helsinki: Edita. Tuomi, O. & Pakkanen, P.: Towards Excellence in Teaching. Evaluation of the Quality of Education and the Degree Programmes in the University of Helsinki. Helsinki: Edita. Sarja, A., Atkin, B. & Holm, K.: Evaluation of Civil Engineering Education at Universities and Polytechnics. Helsinki: Edita. Ursin, J. (toim.): Viisi aikuiskoulutuksen laatuyliopistoa 2004–2006. Helsinki: Edita. Hietala, H., Hintsanen,V., Kekäle, T., Lehto, E., Manninen, H. & Meklin, P.: Arktiset haasteet ja mahdollisuudet. Rovaniemen ammattikorkeakoulun kokonaisarviointi. Helsinki: Edita. Varis, T. & Saari, S. (Eds.): Knowledge Society in Progress – Evaluation of the Finnish Electronic Library – FinELib. Helsinki: Edita. Parpala, A. & Seppälä, H. (toim.): Yliopistokoulutuksen laatuyksiköt 2004–2006. Helsinki: Edita. Kettunen, P., Carlsson, C., Hukka, M., Hyppänen, T., Lyytinen, K., Mehtälä, M., Rissanen, R., Suviranta, L. & Mustonen, K.: Suomalaista kilpailukykyä liiketoimintaosaamisella. Kauppatieteiden ja liiketalouden korkeakoulutuksen arviointi. Helsinki: Edita. Kauppi, A. & Huttula, T. (toim.): Laatua ammattikorkeakouluihin. Helsinki: Edita. Parjanen, M. : Amerikkalaisen opiskelija-arvioinnin soveltaminen suomalaiseen yliopistoon. Helsinki: Edita. Sarala, U. & Seppälä, H.: (toim.): Hämeen ammattikorkeakoulun kokonaisarviointi. Helsinki: Edita. Kelly‚ J., Bazsa, G. & Kladis, D.: Follow-up review of the Helsinki University of Technology. Helsinki: Edita. Goddard, J., Asheim, B., Cronberg, T. & Virtanen, I.: Learning Regional Engagement. A Re-evaluation of the Third Role of Eastern Finland universities. Impiö, 1., Laiho, U.-M., Mäki, M., Salminen, H., Ruoho, K.,Toikka, M. & Vartiainen, P.: Ammattikorkeakoulut aluekehittäjinä. Ammattikorkeakoulujen aluekehitysvaikutuksen huippuyksiköt 2003–2004. Helsinki: Edita. Cavallé, C., de Leersnyder, J.-M., Verhaegen, P. & Nataf, J.-G. : Follow-up review of the Helsinki School of Economics. An EQUIS re-accreditation. Helsinki: Edita. Kantola, I. (toim.): Harjoittelun ja työelämäprojektien benchmarking. Helsinki: Edita. Ala-Vähälä, T.: Hollannin peili. Ammattikorkeakoulujen master-tutkinnot ja laadunvarmistus. Helsinki: Edita. Goddard, J., Teichler, U.,Virtanen, I., West, P. & Puukka, J.: Progressing external engagement. A re-evaluation of the third role of the University of Turku. Helsinki: Edita. Baran, H., Toivakka, P. & Järvinen, J.: Slavistiikan ja baltologian koulutuksen ja tutkimuksen arvioinnin seuranta. Helsinki: Edita. Kekäle, T., Heikkilä, J., Jaatinen, P., Myllys, H., Piilonen, A.-R., Savola, J., Tynjälä, P. & Holm, K.: Ammattikorkeakoulujen jatkotutkintokokeilu. Käynnistysvaiheen arviointi. Tampere: Tammer-Paino Oy. Ekholm, L., Stenius, M., Huldin, H., Julkunen, I., Parkkonen, J., Löfström, E., Metsä, K.: NOVA ARCADA – Sammanhållning, decentralisering, gränsöverskridande. Helhetsutvärdering av Arcada – Nylands svenska yrkeshögskola 2003. Tammerfors:Tammer-Paino Oy. Hautala, J.: Tietoteollisuusalan koulutuksen arvioinnin seuranta.Tampere: Tammer-Paino Oy. Rauhala, P., Karjalainen, A., Lämsä, A.-M., Valkonen, A., Vänskä, A. & Seppälä, H.: Strategiasta koulutuksen laatuun.Turun ammattikorkeakoulun kokonaisarviointi. Tampere: Tammer-Paino Oy. Murto, L., Rautniemi, L., Fredriksson, K., Ikonen, S., Mäntysaari, M., Niemi, L., Paldanius, K., Parkkinen, T., Tulva, T. , Ylönen, F. & Saari, S.: Eettisyyttä, elastisuutta ja elämää. Yliopistojen sosiaalityön ja ammattikorkeakoulujen sosiaalialan arviointi yhteistyössä työelämän kanssa. Tampere: Tammer-Paino Oy. Ståhle, P., Hämäläinen, K., Laiho, K., Lietoila, A., Roiha, J., Weijo, U. & Seppälä, H.:Tehokas järjestelmä – elävä dialogi. Helian laatutyön auditointi. Tampere: Tammer-Paino Oy. Korkeakoulujen arviointineuvoston toimintakertomus 2000–2003. Tampere: Tammer-Paino Oy. Luopajärvi, T., Hauta-aho, H., Karttunen, P., Markkula, M., Mutka, U. & Seppälä, H.: Perämerenkaaren ammattikorkeakoulu? Kemi-Tornion ammattikorkeakoulun kokonaisarviointi. Tampere: Tammer-Paino Oy.
