KKA_101
Transcription
KKA_101
1 Helena Valtonen Oppimisen arviointi Sibelius-Akatemiassa KORKEAKOULUJEN ARVIONTINEUVOSTON JULKAISUJA 1:2001 2 ISBN 951-37-3397-1 ISSN 1457-3121 Kansi: Edita, Suvi Lepistö Taitto: Pikseri Julkaisupalvelut Oy Edita Ab Helsinki 2001 3 Esipuhe Yksi Korkeakoulujen arviointineuvoston toimintamuodoista on korkeakoulujen omaehtoisen arviointitoiminnan taloudellinen tuki ja mahdollisuuksien mukaan myös asiantuntija-apu. Tämä raportti on esimerkki hankkeesta, jossa yliopisto kehittää opetuksen arviointimenettelyjä. Uskomme, että niistä on hyötyä myös muille taidealan oppilaitoksille. Arvi-hanke on jatkoa 1990-luvun puolivälissä toteutetulle kokonaisarvioinnille. Sen suositusten johdosta Sibelius-Akatemiaan perustettiin vararehtorin johdolla toimiva opetuksen kehittämistoimikunta, joka toimii opetus- ja tutkimusneuvoston apuna. Se on käsitellyt erilaisia opetuksen kehittämiseen liittyviä asioita, muun muassa palautteen antamista, seurantaa ja tutorointia. Arvi-hankkeessa opetuksen kehittämistoimikunta halusi keskittyä opetukseen ja oppimiseen ja siihen, miten arvioinnin avulla voidaan tukea opetuksen kehittämistä. Projektissa on kokeiltu monipuolisesti erilaisia intensiiviseen musiikin opettamiseen ja oppimiseen soveltuvia arviointitapoja. Raportti sisältää sekä menettelyjen kuvaukset että niiden käyttökelpoisuuden arvioinnin. Korkeakoulujen arviointineuvosto on tukenut hanketta taloudellisesti. Sibelius-Akatemia vastaa hankkeen toteutuksesta ja raportin sisällöstä. Helsingissä 20.12.2000 Kauko Hämäläinen Pääsihteeri Anna-Maija Liuhanen Suunnittelija 4 Sisällys 1 1.1 1.2 1.3 Johdanto __________________________________________________ Tutkimusmenetelmät ja projektin tavoitteet _______________________ Keskeiset käsitteet ___________________________________________ Osallistujien odotukset ________________________________________ 5 6 7 8 2 Arviointimenetelmät ______________________________________ 9 2.1 Menetelmien valinta __________________________________________ 9 2.2 Menetelmäerot syys- ja kevätlukukaudella _________________________ 9 2.3 Tuntikohtainen arviointilomake ________________________________ 10 2.4 Päiväkirja __________________________________________________ 11 2.5 Portfolio __________________________________________________ 11 2.6 Videointi __________________________________________________ 12 2.7 Havainnointi _______________________________________________ 13 2.8 Vertaisarviointi _____________________________________________ 13 2.9 Haastattelut _______________________________________________ 14 2.10 Palautekeskustelut __________________________________________ 15 2.11 Essee _____________________________________________________ 15 2.12 Mielikuvaharjoitus ___________________________________________ 16 3 3.1 3.2 3.3 3.4 Arviointimenetelmien soveltuvuus ja vaikutukset ____________ Arviointimenetelmien omaksuminen ____________________________ Kokemuksia arviointimenetelmistä ______________________________ Arvioinnin vaikutus oppimiseen ja opintojen etenemiseen ___________ Arvioinnin vaikutus vuorovaikutukseen __________________________ 17 17 18 25 27 4 Itsearvioinnin kehittäminen ja toteuttaminen tulevaisuudessa ___________________________________________ 28 4.1 Ajoitus ____________________________________________________ 28 4.2 Menetelmien kehittäminen ____________________________________ 29 5 Loppusanat ______________________________________________ 31 Kirjallisuus ___________________________________________________ 32 Liitteet 1 Arvi-projektin aikataulu ______________________________________ 2 Syyslukukaudella käytetty arviointilomake ________________________ 3 Kevätlukukaudella käytetyt arviointilomakkeet (5) _________________ 4 Päiväkirjan ohjeistus syyslukukaudella ___________________________ 5 Päiväkirjan ohjeistus kevätlukukaudella __________________________ 6 Videohavainnoinnin arviointilomakkeet A ja B _____________________ 7 Oppituntien havainnointilomake ________________________________ 8 a Ryhmäopetuksen kyselylomake opettajille ________________________ 8 b Ryhmäopetuksen kysymykset opiskelijoille _______________________ 9 Haastattelujen aihepiirit ______________________________________ 10 Arvi-projektin palautekysely ___________________________________ 34 36 37 42 43 44 46 47 48 49 50 5 1 Johdanto Sibelius-Akatemian solistisella osastolla toteutettiin lukuvuonna 1999–2000 Arvi-projekti, jossa tarkasteltiin eri arviointimenetelmien soveltuvuutta ja vaikutuksia musiikin opiskeluun ja opettamiseen. Projekti liittyy opetuksen ja oppimisen laatua kehittävään toimintaan ja on jatkoa vuonna 1995 valmistuneelle Sibelius-Akatemian kokonaisarvioinnille. Arvi-projektin toteuttaminen ja tavoitteidenasettelu tukee yliopistolain viidettä pykälää, jossa todetaan yliopistojen velvollisuus arvioida koulutustaan, tutkimustaan ja taiteellista toimintaansa sekä niiden vaikuttavuutta. Hanke rahoitettiin korkeakoulujen arviointineuvoston myöntämällä määrärahalla. Arvi-projektin suunnittelu aloitettiin keväällä 1999 ja varsinainen arvioinnin toteutusjakso oli pituudeltaan kuusi kuukautta (liite 1). Projektin suunnittelusta vastasi Sibelius-Akatemian opetus- ja hallintohenkilöistä koostuva ohjausryhmä, jota johti vararehtori Tuula Kotilainen. Muina jäseninä olivat solistisen osaston johtaja Jarmo Eerikäinen, lehtorit Erik T. Tawaststjerna, Mervi Kianto, Mirja Klemi ja Erja Joukamo-Ampuja, suunnittelija Helena Haimi ja projektisuunnittelija Helena Valtonen. Ulkopuolisena asiantuntijana toimi kehittämiskonsultti, psykologi Seppo Heino. Arvioinnin kohteena oli solistisen pääinstrumentin opiskelu ja opetus, erityisesti opetustilanteessa tapahtuva vuorovaikutus. Vuorovaikutuksen painottaminen perustuu siihen, että Sibelius-Akatemian opetuksesta n. 60 % on yksilöopetusta, jossa opettajan ja opiskelijan vuorovaikutus on keskeisessä asemassa. Vuorovaikutuspainotuksesta johtuen projektiin osallistuttiin opettaja–oppilastyöpareina (jäljempänä osallistuja) ja kukin heistä arvioi sekä omaa oppimistaan että opetustilanteessa tapahtuvaa vuorovaikutusta. Kaikki kahdeksan opettajaa olivat solistiselta osastolta, samoin viisi opiskelijaa. Kolme opiskelijaa oli musiikkikasvatuksen osastolta. Suurin osa opiskelijoista tuli projektiin opettajansa innoittamana ja heidän instrumentteinaan olivat viulu, piano, laulu ja käyrätorvi. Kaikki yliopistot ovat suorittaneet toimintansa kokonaisarvioinnin, mutta Arvi-projektissa huomio kohdistui yksilötasolla tapahtuvaan opetuksen ja oppimisen kvalitatiiviseen arviointiin. Projektissa käytetyt arviointimenetelmät esitellään luvussa 2 ja niiden soveltuvuutta musiikinopiskeluun tarkastellaan luvuissa 3 ja 4. 6 1.1 Tutkimusmenetelmät ja projektin tavoitteet Projektin aikana puhuttiin yleisesti itsearvioinnista, mutta lähestymistapojen suhteen kyse on pääosin subjektiivisin menetelmin suoritetusta arvioinnista: osallistujat arvioivat omia kokemuksiaan eri arviointimenetelmien toteutustavoista, vaikutuksista ja soveltuvuudesta. Lähestymistavassa on yhtymäkohtia ns. ”tutkivaan oppimiseen”, jossa yksilö asettaa ongelmia itselleen, rakentaa asioista omia käsityksiään ja etsii uutta syventävää tietoa. Psykologin suorittama oppituntien vuorovaikutuksen havainnointi ja niihin liittyvät asiantuntijalausunnot edustavat projektin objektiivista lähestymistapaa. Arvi-projektin subjektiivisten ja kokeilevien työskentelymenetelmien taustalla vaikuttavat 1990-luvulla yleistyneet käsitykset kognitiivisesta ja konstruktivistisesta oppimisesta. Projektin menetelmällisenä lähtökohtana on kognitiivisen oppimiskäsityksen mukainen ajatus siitä, että ihminen on aktiivinen ja oppimishaluinen; yksilö tulkitsee tietoa aikaisempia kokemuksiaan vasten ja sulauttaa tietoja olemassa oleviin tiedon ja toiminnan rakenteisiin. Lisäksi menetelmissä nojaudutaan konstruktivistiseen käsitykseen siitä, että sekä oppija että ympäristö muokkaavat toisiaan, kun oppija konstruoi oppimaansa tietoa. Arvi-projektin keskeisenä tavoitteena oli tuottaa tietoa Sibelius-Akatemiaan soveltuvan opiskelun ja opetuksen arviointimallin kehittämiseksi. Tarkastelu kohdistui arviointimenetelmien sisältöön ja niiden käyttömahdollisuuksiin, mm. siihen, mitä seikkoja tulisi arvioida ja millä menetelmillä ja mihin opintojen vaiheeseen arviointi tulisi ajoittaa. Lisäksi projektin tavoitteena oli • • • • • • • • kehittää opiskelijoiden ja opettajien vuorovaikutusta lisätä opiskelutehokkuutta ja opinnoissa edistymistä lisätä opiskelu- ja opetustapojen tietoista kehittämistä edistää Sibelius-Akatemian opintojaksojen sisällön ja muodon kehittämistyötä tukea Sibelius-Akatemian pedagogisten opintojen kehittämistyötä tukea Sibelius-Akatemian tutor-koulutuksen kehittämistä lisätä kotimaisten taidekorkeakoulujen välistä arviointiyhteistyötä lisätä kansainvälistä musiikkikorkeakoulujen arviointiyhteistyötä Tavoitteidenasettelu tukee osaltaan Sibelius-Akatemian yleisiä pyrkimyksiä opetuksen ja oppimisen laadun parantamiseksi. Nightingale ja O’Neil kuvaavat laatuoppimisen ominaispiirteitä seuraavasti: “High quality learning is characterized by 1. being able to discover knowledge for oneself 2. long-term retention of the knowledge 3. being able to perceive relations between old knowledge and new 4. being able to create new knowledge 5. being able to apply one´s knowledge to solving problems 6. being able to communicate one’s knowledge to others 7. one´s wanting to know more” 7 Arvi-projektin työparikeskeinen toimintatapa edustaa osaltaan Nightingalen ja O’Neilin käsitystä laatuoppimisesta ja -opettamisesta: ”Quality teaching and learning, then, are not to be pursued through a ´tidying´ imperative, nor through a lecturer-only focus, but rather through constant and collaborative reflection upon the appropriateness of particular teaching and learning practices and the bases for such decisions (emt.).” 1.2 Keskeiset käsitteet Musiikin opiskeluun ja opettamiseen sisältyy aina arviointia, mutta sen määrässä ja tiedostamisen asteessa on suuriakin yksilökohtaisia eroja. Usein arviointi tapahtuu niin huomaamatta ja luontevasti, ettei sitä edes mielletä itsenäiseksi, oppimiseen vaikuttavaksi osa-alueeksi. Toisille arviointi voi olla väline, jonka avulla pyritään systemaattisesti kehittämään opiskelu- ja opetusmenetelmiä. “The vast majority of students choosing to study music at higher education level come to the subject via the route of performance or else by the virtue of a desire to compose. By the time our students reach higher education entry level, they have usually devoted a good number of years to music-making. This type of activity fosters, in theory, a substantial level of self-discipline and concomitant acquisition and development of a range of independent learning skills. Successful performers possess skills of self-awareness, problem identification and solution, self- and peer-initiated experimentation, self-motivation, time management, team-working, to name a few. In practice, however, we know that very few music students are aware of the skills they possess, let alone understand how they might be developed further.” Omaa oppimista koskevan arvioinnin perustavoite on oppimisen ohjaaminen ja tukeminen, johon liittyy yksilön oppimista koskevan palautteen saaminen ja pyrkimys kontrolloida omaa edistymistään vertaamalla eri oppimis- tai opetusmenetelmien vaikutuksia tavoitteiden toteutumisessa. Parhaimmillaan näiden tulosten tarkastelu johtaa oppimis- tai opetusmenetelmien kehittymiseen. (vrt. Hakkarainen–Honka–Lipponen, 1999, s. 186–187) Perustavoitteen saavuttaminen edellyttää tietoista oppimisen ja vuorovaikutuksen analysoimista. Arviprojektissa opiskelijat arvioivat oppimistaan opiskelijan näkökulmasta ja opettajat arvioivat oppimistaan opettajana. Lisäksi osallistujat arvioivat työpareina vuorovaikutustaan opetustilanteessa. Erilaisten arviointimenetelmien avulla osallistujat pyrkivät edistämään oppimista koskevien tavoitteiden toteutumista ja muokkaamaan tietoa näiden tavoitteiden saavuttamiseksi. Oppimisprosessilla tarkoitetaan tässä raportissa niitä tekijöitä ja tapahtumia, joiden osallistuja mieltää vaikuttavan opiskeluun ja opettamiseen liittyvään oppimiseensa. Keskeisiä kysymyksiä ovat: Mitä opin? Miksi opin? Miten opin? Oletuksena on, että oppimisprosessiin vaikuttavat mm. harjoittelumenetelmät, mieliala, opintojen ja opetuksen suunnittelu ja työparin yhteistyö. Opetustapahtumalla tarkoitetaan tässä raportissa oppituntia, jossa huomio kohdistuu erityisesti oppilaan ja opettajan välisen vuorovaikutukseen, sen eri tasoihin ja ilmenemismuotoihin. Oppituntia edeltävä valmistautuminen ja oppituntia seuraava opetustapahtuman analysointi jäävät opetustapahtuma-käsitteen ulkopuolelle. 8 Projektin päätteeksi osallistujat arvioivat arvioinnin merkitystä havaittujen tulosten ilmenemiseen ja eri arviointimenetelmien soveltuvuutta musiikinopiskeluun ja -opettamiseen. 1.3 Osallistujien odotukset Kukin opiskelija laati projektin alussa opintosuunnitelman, jossa he määrittelivät pääinstrumenttiopintojensa tavoitteet ja keskeiset sisällöt lukuvuodeksi 1999–2000. Puolet opiskelijoista pyrki suorittamaan projektin aikana A-, B-, tai C-tutkinnon ja yksi opiskelija valmistautui kilpailusuoritukseen. Lisäksi osallistujat esittivät ennakkoarvionsa säännöllisen ja ohjatun arvioinnin mahdollisista vaikutuksista heidän opiskelu- ja opetusmenetelmiinsä. Arvi-projektin psykologi toteaa, että osallistujat tulivat mukaan hyvin erilaisin odotuksin ja että heidän mielikuvansa Arvi-projektin luonteesta ja mahdollisuuksista opetuksen ja oppimisen tukena poikkesivat toisistaan. Opiskelijat arvelivat projektin alussa, että • • • • opiskeluun saattaa tulla tiedostavampi ote opiskelu saattaa muuttua suunnitelmallisemmaksi opiskelusta voi tulla analyyttisempaa ote omiin työskentelytapoihin saattaa muuttua kurinalaisemmaksi Koko lukuvuotta koskevat opiskelutavoitteet kohdistuivat pääasiassa erilaisiin teknisiin ja tulkinnallisiin seikkoihin, ja lisäksi monet toivoivat esiintymiskokemusten karttuvan ja tuntirakenteen ja harjoittelumetodien selkiytyvän. Opettajat arvelivat projektin alussa, että • • • • • • • • opetustilanteen vuorovaikutus voi kehittyä oppitunneista saattaa tulla päämäärätietoisempia, tiiviimpiä ja tehokkaampia omien opetusmetodien tarkkailu saattaa lisääntyä oppilaan edistymisen seuranta saattaa tehostua opiskelijoiden yksittäiset suoritusongelmat tulee ehkä huomioitua paremmin, jolloin niiden harjoittaminen saattaa tehostua oppilas itse alkaa ehkä tiedostaa ongelmansa aikaisempaa selkeämmin projektiin liittyvä tietoinen miettiminen saattaa vähentää ”arkimärehtimistä” arviointi saattaa pienentää opettajan roolia, edellyttäen että opetustapahtuma nousee opettamista keskeisempään rooliin 9 2 Arviointimenetelmät 2.1 Menetelmien valinta Projektin suunnitteluvaiheessa arviointimenetelmien valinnassa korostui Sibelius-Akatemian luonne taideyliopistona, erityisesti yksilöopetuksen suuri määrä. Ohjausryhmässä keskusteltiin erilaisista arviointitavoista, mm. keskusteluryhmistä ja päiväkirjan käytöstä. Pääasialliseksi arviointimenetelmäksi valittiin lopulta arviointilomake, tiedostaen siihen mahdollisesti kohdistuva kritiikki. Lomakkeen valintaa puolsi se, että sen sisältö kohdistui vuorovaikutukseen, joka oli projektin keskeinen arviointikohde. Lisäksi lomakkeen oletettiin mahdollistavan tulosten vertailun eri työparien kesken. Lomakkeen suunnittelun päävastuu oli projektin psykologilla, joka on käyttänyt vastaavia lomakkeita SibeliusAkatemiassa aiemminkin, henkisen valmennuksen kursseillaan. Eri arviointimenetelmät esiteltiin osallistujille syyslukukauden alussa järjestetyssä perehdytystilaisuudessa. Projektin aikana esiin tulleista arviointia koskevista kysymyksistä oli mahdollisuus keskustella psykologin kanssa oppituntien havainnoinnin ja ryhmäkeskustelujen yhteydessä. Arviointimenetelminä olivat • • • • • • • • • arviointilomakkeet (liitteet 2 ja 3) arviointilomakkeisiin pohjautuvat keskustelut päiväkirjamuistiinpanot videonauhoitukset ja videoiden arviointilomakkeet (liite 6) haastattelut havainnointi koko arvointiprosessia koskeva essee portfolio vertaisarviointi 2.2 Menetelmäerot syys- ja kevätlukukaudella Projekti jakaantui arvioinnin toteutuksen suhteen kahteen jaksoon: syyslukukaudella kaikki osallistujat käyttivät arviointilomaketta verraten säännöllisesti, mutta kevätlukukaudella vapaaehtoisuuden ja valinnaisuuden määrä lisääntyi: lomakkeen käyttö muutettiin vapaaehtoiseksi, sen sisältöä muokattiin musiikinopiskelun eri osa-alueisiin kohdistuvaksi ja päiväkirjan kirjoittamista varten laadittiin uusi ohjeistus. Menetelmien muuttaminen arvioinnin toteutusjakson puolivälissä antoi kokemuksia eri arviointimenetelmistä ja mahdollisti niiden vertailun toisiinsa. Osa luopui lomakkeen käytöstä kokonaan ja osa kokeili uusia lomakkeita, muttei kokenut niitä tarpeisiinsa sopiviksi. 10 Lomakkeiden vapaaehtoisuudesta johtuen päiväkirjan merkitys dokumenttiaineistona korostui kevätlukukaudella. Jotkut kokivat, että päiväkirjan lisäohjeistus auttoi tiivistämään sanottavaa, mutta toiset kokivat tarkat ohjeet kahlitsevina ja suorituspaineita aiheuttavina. Yleisesti ottaen voidaan kuitenkin todeta, että vaikka päiväkirjojen käyttö oli kevätlukukaudella epäsäännöllisempää, niihin sisältyi tällöin huomattavasti enemmän syy–seuraus-suhteiden pohdiskelua. Muiden arviointimenetelmien suhteen syys- ja kevätlukukausi olivat lähes toistensa kaltaiset, sillä erotuksella, että kevätlukukaudella osallistujat kirjoittivat esseen, jossa he tarkastelivat koko projektin aikaista arvioinnin ”kehityskaartaan”. Heino esittää, että erityisesti yhteiset keskustelutilaisuudet, mm. palautekeskustelut ja väliarviointitilaisuus, loivat pohjaa menetelmien muutoksille: ”Koska Arvin konkreettisin elementti oli välineissä eli arviointimenetelmissä, odotusten ja toteutuksen välillä syntyi paljon erilaisia käsityksiä, jotka värittivät yhteisiä keskusteluja. Nämä keskustelut loivat projektin aikana muutospaineita käytössä oleviin menetelmiin” (Heino). 2.3 Tuntikohtainen arviointilomake Syyslukukaudella käytössä olleen tuntikohtaisen arviointilomakkeen (liite 2) avulla tarkasteltiin lähinnä työparin vuorovaikutusta opetustapahtuman aikana. Opettaja ja oppilas täyttivät kumpikin oman lomakkeensa, jossa he pyrkivät muodostamaan arvioitavista asioista kokonaisvaikutelman, johon vaikuttavat sekä oppilas että opettaja. Arviointikohteita oli yhdeksän, mm. tunnin yleistunnelma, keskittyminen, palaute ja vaatimustaso. Arviointi tapahtui numeroasteikolla 1–7 ja lisäksi lomakkeeseen kirjattiin lyhyesti tunnin tavoitteet ja arvio niiden toteutumisesta. Kaavakkeen ensisijainen tarkoitus oli tuoda mielipideerot nopeasti ja selkeästi esiin numeroasteikon avulla. Tarkoitus ei siis ollut antaa arviointikohteista varsinaista numeroarvosanaa, vaan pikemminkin sytyttää keskustelu lomakkeessa esiin tulleiden numeroerojen pohjalta. Projektin alussa lomakkeen täyttämiseen kului usein tarkoitettua enemmän aikaa, mutta rutiini löytyi muutaman viikon kuluessa. Lomakkeen täytettyään opettaja ja oppilas vertailivat arvioitaan ja keskustelivat mielipide-eroistaan sekä niiden mahdollisista syistä ja seurauksista. Tunnin jälkeen osallistujat kirjasivat keskustelun pääkohdat päiväkirjoihinsa, jotka annettiin projektin päätteeksi psykologin ja projektisuunnittelijan analysoitavaksi. Päiväkirjamerkinnät muodostavat osallistujille myös oman, kronologisen arviointidokumentin. Syyslukukauden arviointilomakkeista ilmenee, että asteikolla 1–7 suoritettu arviointi sijoittui useimmiten välille 5–7 ja työparin keskinäiset arviointierot olivat useimmiten yhden numeron luokkaa. Kolmen tai useamman numeron erot koskevat useimmiten small-talkia, etukäteisvalmistautumista, palautetta ja korjaamista sekä keskittymistä. 11 Kevätlukukaudella arviointilomakkeiden käyttö oli vapaaehtoista ja osallistujien käytettävissä oli viisi erilaista lomaketta (liite 3), joissa arvioitiin instrumenttikohtaisia erityis- ja ongelma-alueita. Lomakkeissa oli myös avoimia vaihtoehtoja, joihin osallistujat saivat halutessaan nimetä omalta kannaltaan olennaisimmat arviointikohteet. Lisäksi asteikkoarviointi oli mahdollista tehdä ilman numeroita, viiva-asteikolla, jolloin arviointi sijoittui yleisimmin numeroita 3–5 vastaavalle alueelle. Otoksen pienuudesta johtuen asteikkoarvioinnissa ilmenneistä eroista ei kuitenkaan voida tehdä johtopäätöksiä. 2.4 Päiväkirja Päiväkirjan on todettu auttavan oppimiseen ja opettamiseen liittyvien asioiden hahmottamista, ymmärtämistä ja muistamista, ja sen avulla voidaan seurata oman ajattelun ja oppimisen kehittymistä. Päiväkirjamerkinnät voivat myös helpottaa löytämään yhteyksiä eri asioiden välille ja suhteuttamaan eri tietoja toisiinsa. Projektin alussa osallistujille annettu päiväkirjan ohjeistus oli väljä (liite 4), sillä menetelmien liiallista kaavamaisuutta haluttiin välttää. Osallistujia kehotettiin kirjoittamaan päiväkirjaan tuntikeskustelujen pääkohdat sekä oppimis- ja opetustapahtumaan yleisesti liittyviä ajatuksia, oivalluksia ja havaintoja, jotka koskevat esimerkiksi opiskeluun liittyviä ongelmia, keskusteluja kollegan kanssa tai alaan liittyvää kirjallisuutta. Muistiinpanot suositeltiin tehtäväksi mahdollisimman pian oppitunnin jälkeen, jolloin asiat ovat tuoreimpina muistissa. Lisäksi painotettiin päiväkirjan henkilökohtaisuutta. Osallistujat totesivat, että tietoisuus päiväkirjan luovuttamisesta tutkimuskäyttöön vaikutti kirjoitusten sisältöön, mutta silti useimmat kokivat kirjoittamisen hyödylliseksi. Kevätlukukaudella päiväkirjan ohjeistusta tarkennettiin (liite 5), sillä päiväkirjan merkitys arviointimenetelmänä korostui lomakkeiden muututtua vapaaehtoisiksi. 2.5 Portfolio Portfoliolla tarkoitetaan tässä projektissa opiskelua tai opetusta kommentoivaa koostetta omista suorituksista, jonka avulla seurataan ja arvioidaan oppimis- tai opetustapahtuman etenemistä ja tuloksia. Portfolion koostamisen on todettu aktivoivan oppimisprosessin kehittymisen kannalta keskeisten tekijöiden pohdintaa ja kehittävän siten arvioinnin taitoa. Portfoliosta tulisi näkyä, mitä ja miten on opittu (emt). Portfolion käyttö yleistyy koko ajan. Sitä käytetään arviointimenetelmänä niin päiväkodeissa kuin yliopistoissakin. Tiedeyliopistoissa portfolio koostuu usein oppimisprosessin kuluessa kertyneistä tuotoksista ja palautteista, esim. opintosuunnitelmasta, päiväkirjaotteista, kahdenkeskisten keskustelujen tiivistelmistä ja kuvamateriaalista. Sibelius-Akatemiassa portfolioa on käytetty mm. musiikkikasvatuksen opiskelijoiden opetusharjoittelun yhteydessä ja opettajille on järjestetty portfoliokoulutusta. Suomessa portfolion käyttö musiikkioppilai- 12 toksissa on ollut verraten vähäistä ja musiikin opiskeluun ja opettamiseen liittyvän portfolion rakenne ja sisältö ovat vasta muotoutumassa. Arvi-projekti tarjosi mahdollisuuden kokeilla ja kehittää musiikinopetuksen arviointiin soveltuvan portfolion sisältöä. Yksi opettaja valitsi portfolion arviointimenetelmäkseen ja hänen portfolionsa materiaali koostui lähinnä päiväkirjamerkinnöistä. Voidaan kuitenkin olettaa, että pidemmällä aikavälillä portfolion aineisto saattaisi muodostua monipuolisemmaksi, jolloin mm. opetustyön kehittymisen seuraamisessa voitaisiin tarkastella laajemmin eri tekijöiden vaikutusta toisiinsa. Materiaalina voisivat olla esimerkiksi päiväkirjamerkinnät, äänitteet, videotallenteet ja konserttiarvostelut. Englannissa, mm. Lontoon Royal College of Music -korkeakoulussa ja Leedsin yliopistossa portfolioihin on sisältynyt mm. konserttiarvosteluja, bibliografioita, esseiden ja suullisten esitysten suunnitelmia ja ryhmäkeskustelujen materiaalia. 2.6 Videointi Sibelius-Akatemiassa opetus- ja harjoitustilanteista tehdään usein ääninauhatallenteita ja videonauhoitukset ovat yleisiä ryhmäopetuksessa, mm. orkesterin- ja kuoronjohdon opetuksessa. Solistisen instrumenttiopetuksen yhteydessä videointi on ollut huomattavasti harvinaisempaa. Arvi-projektissa oppitunnin videointi oli tuntikohtaisen arviointilomakkeen ohella toinen menetelmä, jossa huomio kohdistui työparin vuorovaikutukseen. Videointi koettiin erittäin paljastavana, mutta samasta syystä myös tehokkaana arviointivälineenä. ”Oman tunnin katsominen videolta oli muuten aika vaikea juttu. Kyllä sieltä hyvääkin löysi, kuten yhteistyöstä ja tehokkuudesta. Silti oman äänen kuuleminen ja useiden virheiden havaitseminen oli aluksi aika masentavaa. Paljonhan siitä voisi oppia ja täytyisi useammin alkaa sitä tekemään. Kuitenkin ihan mielenkiintoinen ja uusi kokemus.” (Ote opiskelijan päiväkirjasta, syksy 1999) Osallistujat perehdytettiin videokameran käyttöön projektin alkuvaiheessa ja kukin työpari videoi oppituntinsa kerran molempien lukukausien aikana. Kuvausvalmisteluista aiheutui jonkin verran käytännön ongelmia, jotka liittyivät mm. kameran siirtämiseen lukitusta säilytyspaikasta luokkahuoneeseen. Videokamera oli nauhoitustilanteessa jalustan varassa, eikä siten edellyttänyt ulkopuolisen henkilön läsnäoloa oppitunnilla. Työparit totesivat, että videointi aiheutti jonkin verran ylimääräistä jännitystä, mutta tunnin edetessä video vähitellen unohdettiin ja tunnelma rentoutui. Videoinnin jälkeen kukin työpari analysoi nauhoittamansa materiaalin yhdessä, videohavainnoinnin analyysilomaketta (liite 6) käyttäen. Tarkastelukohteena oli työskentely sekä yksilönä että työparina. Arvi-projektin videomateriaalin analysoi Sibelius-Akatemian musiikkikasvatuksen osaston opiskelija Marjukka Kuusela, joka käytti tätä materiaalia gradunsa Opetustilanteessa vaikuttavat ennakkokäsitykset empiirisenä tutkimusaineistona. Analyysin tulokset on esitelty kappaleessa 3.2. 13 2.7 Havainnointi Projektin subjektiivisesta lähestymistavasta johtuen arviointi perustui kunkin osallistujan jatkuvaan itsensä ja ”musiikillisen ympäristönsä” havainnointiin, jossa tarkastelukohteina olivat mm. omat työskentelytavat ja suhde työpariin. Lisäksi psykologi ja projektisuunnittelija havainnoivat kunkin työparin opetustapahtumaa kerran molempina lukukausina. Opetustapahtuman päätteeksi työparit saivat psykologilta henkilökohtaista palautetta. Projektisuunnittelijalle havainnointitilanteella oli tutkimusmateriaalin käsittelyä tukeva merkitys, sillä käytännön kosketus opetustilanteeseen tuki ja auttoi ymmärtämään suullisesta ja kirjallisesta materiaalista esiin tulleita ilmiöitä. Havainnointitilanteessa psykologilla ja projektisuunnittelijalla oli käytössään lomake (liite 7), jonka asiakokonaisuudet olivat pääosin samoja kuin osallistujien käyttämässä oppituntien arviointilomakkeessa: vuorovaikutus, palaute, yleinen tunnelma ja vaatimustaso. 2.8 Vertaisarviointi Arvi-projekti tarjosi mahdollisuuden kokeilla pääinstrumentin yksityisopetuksen yhteydessä vertaisarviointia, jota on perinteisesti on käytetty ryhmäopetustilanteissa. Vertaisarviointia on sovellettu musiikin ryhmäopetuksessa mm. Lontoon Royal College of Musicissa, jossa sitä on toteutettu orkesteri-, orkesterisektio-, kamarimusiikki- ja duo-opetuksen yhteydessä. Vertaisarvioinnissa opiskelija seuraa toisen opiskelijan opetusta tai esiintymistä, jolloin hän voi verrata näkemäänsä ja kuulemaansa aikaisempiin kokemuksiinsa. Menetelmän on todettu kehittävän opiskelijoiden arviointitaitoja, erityisesti asiayhteyksien tiedostamista. ”The peer support element offered by the use of workshop groups – – – helps to foster organizational, time-management, teamworking and leadership skills to name but a few. Skills of diplomacy and negotiation are developed in an environment based upon smallscale teams working towards specific goals negotiated amongst the team members, and this engenders peer support.” Arvi-projektissa yksi opettaja kokeili vertaisarviointia kahden oppilaansa kanssa. Käytännössä tämä tarkoitti sitä, että opiskelijat seurasivat toistensa oppitunteja viikoittain. Opettajan mielenkiinto kohdistui mm. siihen, millaiseksi oppitunnin dynamiikka muodostuu, millainen vaikutus oppilailla on toisiinsa ja miten vertaisarviointi toimii koko vuoden kestävänä ja viikoittain toistuvana systeeminä, vastakohtana luokkatuntien vertaisarvioinnille, joka tapahtuu ryhmässä ja tiheimmillään kahden viikon välein. Arvioinnin suhteen osoittautui, että vertaisarvioinnissa kahden opiskelijan yhteistyö on menetelmällisesti keskeisemmässä asemassa kuin heidän henkilökohtainen arviointinsa. Vertaisarviointiin liittyi kuitenkin myös henkilökohtaisen päiväkirjan pitäminen ja herkimmistä asioista oli mahdollisuus keskustella kahden kesken opettajan kanssa, tuntikeskustelun lisäksi. Vertaisarviointia ko- 14 keilleet osallistujat totesivat, että kevätlukukaudella, kun kaavake ei ollut käytössä, tuntikeskustelu oli samantapaista kuin luokkatuntien1 palautekeskustelu. Arvi-projektiin liittyen projektisuunnittelija havainnoi kolmen opettajan luokkatunteja. Tavoitteena oli selvittää arvioinnin toteutumista ja toteutusmahdollisuuksia luokkatuntien yhteydessä. Havainnoinnin lisäksi tietoa kerättiin kyselylomakkeella (liitteet 8 a ja 8 b), jonka luokkatunnin osallistujat täyttivät tunnin päätteeksi. Havainnoinnin ja kyselyn tuloksena ilmeni, että luokkatuntien pituus vaihteli soittajien lukumäärästä riippuen kahdesta neljään tuntiin ja suorituskohtainen palaute kesti kymmenestä minuutista vajaaseen tuntiin. Koko luokkatuntia tai esimerkiksi koko lukukautta koskevia yhteenvedon omaisia palautekeskusteluja, joissa opiskelijat kertoisivat toisille näkemyksensä omasta ja / tai opiskelijakollegansa kehityksestä, ei ole toistaiseksi järjestetty. Vastauksista ilmeni lisäksi, että luokkatuntien ensisijainen merkitys opiskelijoille on esiintymiskokemuksen saaminen; palaute on toissijaisessa asemassa. Opettajien nimeämiä luokkatunnin tavoitteita olivat • • • • • opiskelijan esiintymiskokemuksen kartuttaminen opiskelijan kouluttaminen palautteen antamiseen ja vastaanottamiseen analyyttisen kuuntelemisen opettaminen ammattimaisen käsitteellisen erittelyn kehittäminen opiskelijoiden kollegiaalisen yhteistyön vahvistaminen Opiskelijoiden näkemykset luokkatuntien annista olivat samansuuntaiset opettajien näkemysten kanssa. 2.9 Haastattelut Projektisuunnittelija ja kehityskonsultti haastattelivat osallistujia kolme kertaa. Syyslukukauden alussa osallistujilta tiedusteltiin heidän opintoja koskevia suunnitelmiaan ja lukuvuoden keskeisimpiä tavoitteitaan. Samassa yhteydessä osallistujat ilmoittivat projektisuunnittelijalle valitsemansa arviointimenetelmät. Kunkin osallistujan opiskelu- ja opetushistoria selvitettiin kyselylomakkeen avulla. Työparihaastattelut ja henkilökohtaiset haastattelut toteutettiin teemahaastatteluina (liite 9), joissa selvitettiin arvioinnin ja arviointimenetelmien toteutumista, vaikutuksia ja soveltuvuutta. Kysymykset kohdistuivat mm. seuraaviin asiakokonaisuuksiin: • • • • • opetustilanne, erityisesti vuorovaikutus arvioinnin vaikutus oppimisprosessiin arvioinnin vaikutus opintojen etenemiseen arviointimenetelmien soveltuvuus musiikinopiskeluun arvioinnin toteutusmahdollisuudet Sibelius-Akatemiassa 1 Sibelius-Akatemian luokkatunneilla solistisen instrumentin opiskelijat esittävät ohjelmistoaan, ja sekä opettaja että toiset opiskelijat antavat suorituksesta palautteen. Luokkatuntien järjestämistiheys vaihtelee opettajittain: toiset opettajat kutsuvat oppilaansa koolle kahden viikon välein, toiset joka toinen kuukausi, jotkut eivät lainkaan. 15 Syyslukukaudella työparien haastatteluissa käsiteltiin lähinnä opettajan ja oppilaan vuorovaikutusta, sillä siihen asti käytössä olleiden tuntikohtaisten arviointilomakkeiden sisältö kohdistui lähinnä vuorovaikutukseen. Lisäksi haastateltavat kertoivat kokemuksiaan eri arviointimenetelmistä. Kevätlukukauden lopulla kaikki osallistujat haastateltiin henkilökohtaisesti, jolloin aiheena olivat heidän kokemuksensa arviointiprosessista ja eri arviointimenetelmistä, niiden mahdollisista vaikutuksista ja toteutusmahdollisuuksista tulevaisuudessa. 2.10 Palautekeskustelut Molempina lukukausina järjestettiin kaksi palautekeskustelua, joihin osallistuivat työparien lisäksi arviointikonsultti, projektisuunnittelija ja ohjausryhmän jäseniä. Syyslukukauden päättäneessä palautekeskustelussa käsiteltiin pääasiassa arviointimenetelmien sisältöä. Osallistujat esittivät runsaasti arvokasta kritiikkiä ja vieraileva luennoitsija, Sibelius-Akatemian musiikkikasvatuksen osaston lehtori Marja Vuori, korosti puheenvuorossaan huippuelämyksen (engl. ‘flow’) merkitystä mm. motivaation lisääjänä. Lisäksi Vuori esitti näkemyksensä siitä, että Arvi-projektin osallistujat voisivat jatkossa pohtia sitä, mitä vuorovaikutuksen pintatason alla tapahtuu. Analyysin apuvälineenä voisi käyttää esimerkiksi videonauhoituksia. Kevätlukukauden ja samalla Arvi-projektin pilottivaiheen lopettaneessa päätöstilaisuudessa koottiin yhteen projektista saadut kokemukset ja tuotiin esiin arvioinnin vaihtoehtoisia toteutustapoja tulevaisuudessa. Arvioinnin toteuttamiseen liittyvinä käytännön ongelmina nähtiin mm. ryhmäopetustilojen puute, videokameroiden vähäinen määrä ja arviointimenetelmistä aiheutuva tuntikiintiöiden ylitys. Projektia koskevaa palautetta kerättiin myös syyslukukauden päätteeksi toteutetulla lomakekyselyllä (liite 10). 2.11 Essee Oman oppimisen arvioinnissa on keskeisestä se, että henkilö itse arvioi kuinka hän on saavuttanut ja voi saavuttaa itselleen asettamansa tavoitteet. Arvi-projektin päätteeksi osallistujia pyydettiin kirjoittamaan lyhyt yhteenveto siitä, miten he kokivat omalla kohdallaan arvioinnin toteutuneen ja vaikuttaneen. Kirjoitelman pohjana olivat päiväkirjamuistiinpanot ja kunkin osallistujan henkilökohtainen kokonaiskäsitys projektin aikana toteutuneesta arvioinnista ja sen vaikutuksista oppimisprosessiin. 16 2.12 Mielikuvaharjoitus Projektin psykologi esitteli syyslukukaudella mielikuvaharjoituksen käyttömahdollisuuksia musiikin esitys-, harjoitus- ja opetustilanteissa. Tässä itsesuggestioon perustuvassa harjoituksessa ajatukset, tunteet ja energia fokusoidaan suoritukseen eli musiikkiesitykseen. Demonstraatiotilanteessa menetelmän esittelyssä avusti kolme osallistujaa. Kunkin demonstraation aluksi yksi opiskelija esitti harjoitteluvaiheessa olevan kappaleen, jonka jälkeen hän keskusteli psykologin kanssa suoritukseen liittyvistä tuntemuksista ja ajatuksista. Tätä seurasi muutaman minuutin mittainen ohjattu rentoutus, jonka lopuksi opiskelija sai suunnata positiivisia, onnistumista edesauttavia ajatuksia suoritukseensa. Näiden ajatusten saattelemana opiskelija esitti saman kappaleen toistamiseen, jolloin ero ensimmäiseen esityskertaan oli kuulijoiden mielestä selvästi havaittava. Heinon mukaan vastaavaa, tarkasti kohdistetun palautteen aikaansaamaa suorituksen muuttumista on havaittu myös opetustilanteessa: oppilas tuntee soittavansa selvästi paremmin opettajan antaman palautteen jälkeen. Mielikuvaharjoituksen yhteydessä nousikin esiin kysymys siitä, minkä verran suoritukseen vaikuttaa itsesuggestio, ja minkä verran tilanteen yleinen kehittyminen, mukaan lukien toisen soittokerran erilainen, usein rentoutuneempi tilanne suhteessa ensimmäiseen soittokertaan. Systemaattisesti toteutettuna mielikuvaharjoituksesta saattaa olla apua musiikin esitys-, harjoitus- ja opetustilanteissa ja menetelmällisesti mielikuvaharjoitus liittyy läheisesti arviointiin. Muutamat opiskelijat toteavat päiväkirjoissaan käyttäneensä tai aikovansa käyttää mielikuvaharjoitusta yhtenä harjoitusmetodina. 17 3 Arviointimenetelmien soveltuvuus ja vaikutukset Yleisesti ottaen arviointi todettiin hyödylliseksi, oppimis- ja opetustapahtuvaa tukevaksi toiminnaksi. Toisaalta havaittiin, että säännöllisesti ja verraten lyhyellä aikavälillä toteutettuna arviointi vie huomattavasti aikaa. Arvi-projektin keskeisinä tuloksina voidaan todeta seuraavaa: 1. Säännöllinen arviointi edistää oppimiseen liittyvien ongelmien syiden ja seurausten oivaltamista. Arviointi auttaa pääsemään käsiksi ongelmien ytimeen, millä saattaa olla merkitystä mm. opintojen etenemiseen. 2. Oppitunnilla tapahtuvan vuorovaikutuksen aktivoitumisen seurauksena syntynyt työparin luottamuksen lisääntyminen ja erilaisten ilmiöiden syy– seuraus-suhteiden tiedostaminen helpotti palautteen antamista. 3. Tuntikeskustelun lisääntyminen, erityisesti yhdessä suoritettu yksityiskohtien analysointi, edisti ja nopeutti asioiden oppimista. 4. Arviointimenetelmät voivat toimia opiskelu- ja opetusmenetelmien herättäjinä, varsinkin jos arviointi toteutetaan lyhyissä jaksoissa. 5. Pitkällä aikavälillä toteutettu arviointi mahdollistaa oppimisen ja vuorovaikutuksen kehityskaaren tarkastelun; oppimisen taustalla vaikuttavien tekijöiden ja niiden seurausten arvioimisen. 3.1 Arviointimenetelmien omaksuminen Osallistujat totesivat, että aktiivinen arviointi edellyttää tavoitteisiin sitoutumista ja motivoitumista oman työskentelyn analysointiin. Eduksi ovat avoin asenne, tietynlainen valveutuneisuus, ”psykologinen silmä” sekä etenkin opettajan luovuus ja kyky tilanteen taustalla vaikuttavien tekijöiden havainnoimiseen. Menetelmien omaksumisessa oli yksilökohtaisia eroja. Useimmat osallistujat löysivät verraten nopeasti tasapainon arviointiin käytettävän ajan ja ajatusmäärän välillä. Jotkut havaitsivat, että kestää aikansa, ennen kuin arviointi lähtee käyntiin ja huomaa mistä on itselle eniten hyötyä. Tuntikohtaisen arviointilomakkeen omaksuminen vaihteli parista viikosta useisiin kuukausiin ja lomakkeiden käyttötiheys vaihteli osallistujien kesken. Suurin osa työpareista käytti sitä viikoittain, osa harvemmin ja epäsäännöllisemmin. Samantapaisia eroja voidaan havaita päiväkirjan käyttämisessä. Haastatteluissa ja ryhmäkeskusteluissa esiin tulleet osallistujien motivaatioerot ilmenivät mm. arvioinnin määrässä: mitä motivoituneempi yksilö oli, sitä aktiivisemmin hän arvioi omaa oppimistaan. Motivaatioerot osoittavat, että tiiviiseen vuorovaikutukseen kytkeytyvä arviointi on mahdollista, vaikka osapuolten motivaatiossa olisi suuriakin eroja. Tämä havainto on tärkeä, sillä Arvi-pro- 18 jektin nosti esiin ajatuksen yksin tehtävästä arvioinnista, joka ei edellyttäisi opettajan ja oppilaan yhteistä sitoutumista arviointiin. Heino esittää, että osallistujien pettymykset ja sitoutumisongelmat johtuivat myös siitä, että projekti lähti liikkeelle vauhdilla ja väljällä toimintamallilla, mikä on tyypillistä monille kehitysprojekteille. Tämän seurauksena osallistujilla oli monenlaisia odotuksia, eivätkä kaikki odotukset toteutuneet. Monet osallistujat tunsivat, että lyhyellä aikavälillä piti yrittää omaksua liian monia uusia asioita, lähinnä eri arviointimenetelmiä. ”Oletettavasti Arvin alkuvaiheessa olisi tarvittu vielä enemmän keskustelua arvioinnista ja sen toteutuksesta, jolloin keskusteluissa ja opetuksessa olisi päästy käsittelemään menetelmien sijasta itse oppimistapahtumaa (Heino).” Oman toiminnan analysointi tuotti ongelmia joillekin osallistujille, sillä valmiudet tai halu ilmiöiden taustalla vaikuttaviin tekijöiden tarkasteluun eivät olleet riittävät. Päiväkirjojen perusteella voidaan todeta, että haluttomuuden taustalla vaikutti useita eri tekijöitä, mm. työ- ja esiintymiskiireet, uuteen kaupunkiin sopeutuminen, uuteen opettajan totuttautuminen tai soittamisessa yleisesti vallinnut ”negatiivinen ajanjakso”. Tällaisissa tilanteissa olleet opiskelijat totesivat kuitenkin, että Arvi-projekti saattoi edesauttaa näiden ongelmien selviämistä. Tätä taustaa vasten voidaan todeta, että säännöllisen ja ohjatun arvioinnin tarve ja mahdollisuudet tulee arvioida paitsi kunkin henkilön taustaa, myös senhetkistä tilannetta vasten. Projektin päättyessä useimmat osallistujat totesivat, että oppimisen arviointi ei saisi olla menetelmiltään tai toteutukseltaan liian kaavamaista tai systemaattista, sillä tällöin on vaarana luovan työskentelyn vaikeutuminen. Tämän käsityksen taustalla on kokemus siitä, että varsinkin kevätlukukaudella käytössä olleiden, instrumenttikohtaisesti laadittujen arviointilomakkeiden kysymykset kohdistivat osallistujien huomion liiaksi itse suoritukseen, jolloin elävä opetustilanne, hetken impulsseihin tarttuminen vaikeutui. 3.2 Kokemuksia arviointimenetelmistä Projektin psykologi toteaa, että arviointimenetelmien kirjo oli monipuolinen ja yksilöllisyyttä tukeva, ja että kaikki menetelmät mahdollistivat arvioinnin ja siihen liittyvän vuorovaikutteisen keskustelun. Useimpien osallistujien työskentelytavoissa ja -tuloksissa sekä työparien vuorovaikutuksessa tapahtui huomattavaa kehittymistä projektin aikana. Seuraavassa on koottu yhteen osallistujien kokemuksia eri arviointimenetelmien hyvistä ja huonoista puolista, mikä kuvastaa eri menetelmien soveltuvuutta musiikin opetuksen ja opiskelun arviointiin. Arviointilomakkeiden hyvinä puolina todettiin, että • ne käynnistivät vuoropuhelun ja niiden avulla syntyi keskustelua asioista, joita ei todennäköisesti olisi käsitelty ilman lomaketta. Useimmissa tapauksissa keskustelut kohdistuivat kuitenkin vain ilmiöiden pintatasoon; mielipiteenvaihtoa tai analysointia ilmiöiden syistä ja seurauksista ei liioin syntynyt. 19 • • • • • • • lyhyellä ajanjaksolla käytettynä lomakkeet toimivat arvioinnin ja vuorovaikutuksen ”herättäjänä”; ne ”tuulettivat” opettajan ja oppilaan työtapoja lomakkeet toivat tuntikeskusteluun asioita, joista ei ehkä muuten olisi tullut puhuttua keskustelun koettiin kokoavan tunnin kokemukset keskustelu avasi uusia ideoita ja opetti kuulemaan toista osapuolta. mielipide-erot panivat miettimään, miltä oppilaan palaute tuntuu. Tämä saattaa parhaimmillaan auttaa ymmärtämään sitä, mikä vaikuttaa luovuuden syttymiseen ja sammumiseen opetustilanteessa tavalliset opetustilanteeseen liittyvät epäkohdat (esim. harjoittelun puute) ja etenkin niiden seuraukset tulivat selkeämmin ja yksilöidymmin esiin lomakkeen avulla jotkut aiemmin itsestäänselvinä pidetyt asiat saivat lisäarvoa analysoinnin kautta; ne tulivat ikään kuin ”virallisesti hyväksytyiksi” analysoinnin kohteiksi Arviointilomakkeita koskeva kritiikki kohdistui sekä lomakkeiden sisältöön, rakenteeseen että terminologiaan. Osallistujat kokivat, että • • • • • • • • lomakkeen sisältö oli liian yleinen; sillä ei tavoitettu osallistujien tarpeita vastaavia musiikinopiskelun erityisalueita. Osallistujat esittivät, että lomakkeen tulisi olla joustava, kulloisiinkin tarpeisiin ja opintojen eri vaiheisiin soveltuva. Toisaalta todettiin, että, instrumenttikohtainen, tarkasti spesifioitu lomake suuntasi työparin huomion liiaksi teknisiin asioihin. otsikot olivat moniselitteisiä ja osin vaikeasti ymmärrettäviä, päällekkäisiä ja epäolennaisia. Esimerkiksi tavoitesuuntautuneisuutta arvioitaessa opiskelijan ja opettajan oli vaikea arvioida toistensa tavoitteita ja niiden merkitystä oppitunnille. Arvioitavat seikat saattoivat myös tuntua täysin erilaisilta tunnin eri vaiheissa. Osallistujat esittivät, että lomakkeen tulisi olla mahdollisimman selkeä, josta kaikki ylimääräinen olisi riisuttu pois. lomake kohdistui liikaa yksittäiseen oppituntiin, eikä siten soveltunut pitkän aikavälin kehityksen tarkasteluun. lomakkeen sisällön kohdistuminen vuorovaikutukseen koettiin tarpeettomaksi ja vieraaksi varsinkin tutkintoon tai kilpailuun valmistauduttaessa, jolloin yksilön huomio kohdistuu vahvasti itse suoritukseen. numeroarviointi ei sovellu vuorovaikutusta ja oppimista koskevien ilmiöiden tarkasteluun. ilman numeroarvioita (”vapaamuotoinen arviointilomake”) keskustelusta muodostui hyvin yleisluontoinen: opettajan ja oppilaan kommentit olivat pääosin toteavia, niissä ei pohdittu ilmiöiden syy–seuraus-suhteita. pitkään käytettynä lomakkeet eivät tuoneet esiin uusia asioita, vaan keskustelu ikään kuin urautui. tulehtuneessa opettaja–oppilas-suhteessa lomaketta on mahdollista käyttää tarkoitustaan vastaan, esimerkiksi henkilökohtaisiin ammatillisiin tarkoituksiin. 20 Päiväkirjamuistiinpanojen avulla voitiin tarkastella sekä vuorovaikutusta että kirjoittajan omaa, yksilöllistä oppimisprosessia. ”Arvi-projektin menetelmäpainotteisuudesta johtuen pääosaan nousivat oppitunnit. Osallistujien kirjoittamat esseet ja päiväkirjat korostavat kuitenkin erinomaisesti oppimiskaaren monimutkaista ja yksilöllistä luonnetta. Materiaalissa tulevat selkeästi esiin ´oppimiskolikon´ molemmat puolet: opettaja ja oppilas. (Heino)” Päiväkirjan kirjoittamisella oli monille opiskelijoille välitön vaikutus: • • • • • • kirjoittaminen puhdisti ja selkiytti heidän ajatuksiaan, oli kanava oppimisja opetustapahtumaan liittyvien tunteiden purkamiselle. päiväkirjan kirjoittaminen – ja Arvi-projektiin osallistuminen yleensäkin – auttoi muokkaamaan omia ajatuksia ymmärrettävään muotoon. Toisaalta ajatusten verbalisointi, muuttaminen kirjoitettuun tai puhuttuun muotoon, vaatii toisilta ylimääräisiä ponnistuksia. jotkut opiskelijat tunsivat, että he joutuvat kirjoittamaan itsestäänselvyyksiä; asioita jotka pysyvät muistissa vaikkei niistä tekisi muistiinpanoja. päiväkirja synnytti oppimista koskevia kysymyksiä: miksi teen ja miten teen? päiväkirjan säännöllisyys saattaa aiheuttaa ahdistusta, sillä se paljastaa selvästi mm. harjoittelun puutteen. opettajat esittivät, että itsensä analysoimisen sivutuotteena verbaalinen ilmaisukyky saattaa kehittyä, millä saattaa olla myönteinen vaikutus pedagogisiin taitoihin. Jotkut opettajat totesivat, että päiväkirjan kirjoittaminen jokaisesta oppilaasta erikseen ei ole ajallisesti mahdollista. Oman opetustyön tarkasteluun päiväkirja sen sijaan soveltuu. Vuorovaikutteisena – oppilaan päiväkirja työparin yhteisen keskustelun perustana – päiväkirjamuistiinpanot voisivat toimia myös tuntikeskustelun herättäjänä sekä oppimisen ja vuorovaikutuksen kehittymisen seurantavälineenä. Heino toteaa, että päiväkirjoissa aukesivat projektin aikaiset tapahtumat, mm. tuntitilanteisiin liittyvät kysymykset. Kirjoituksista kävi ilmi mm. se, että opettaja ja oppilas saattoivat pohtia pitkään samaa ongelmaa, kumpikin omalla tahollaan. Heino esittääkin, että päiväkirjojen sisältämä ”sisäinen keskustelu” tulisi siirtää opetustilanteeseen, opettajan ja oppilaan vuoropuheluksi. Tällöin säästyisi pohdintaan kuluvaa aikaa ja oppimiseen ja opettamiseen liittyvät vaikeudet todennäköisesti vähenisivät. Tämä edellyttää kuitenkin, että opettajilla olisi työnsä puitteissa aikaa kyseisille keskusteluille. Päiväkirjoista ilmeni myös, että osa kirjoitetuista ilmiöistä ”aukeaa” kirjoittajallekin vasta viiveellä. Kirjoitusten tarkasteleminen jälkeenpäin mahdollistaa asian tarkastelun eri näkökulmasta tai muistiinpanoista saattaa löytyä ratkaisu ongelmaan, joka tuntui mahdottomalta vielä kirjoitusvaiheessa. ”Itselleni jotkut toteamukset Arvi-päiväkirjassani ovat vasta myöhemmin heränneet eloon ja saaneet lähinnä mielessä ns. lisäselitystä. Kevään muistiinpanot ovat selvästi positiivisempia kuin syksyn.” (Ote opiskelijan esseestä, kevät 2000) 21 Joidenkin osallistujien kohdalla ilmeni myös, että jälkeenpäin tarkasteltuna päiväkirjan tai arviointilomakkeiden muistiinpanot eivät olleetkaan niin negatiivisia kuin he olivat muistaneet. ”Katselin niitä täyttämiäni tuntikaavakkeita ja oikeastaan yllätyin siitä, että ne eivät olleetkaan niin ailahtelevia ja negatiivisia, palautteen suhteen, kuin olin kuvitellut tai muistanut.” (Ote opiskelijan esseestä, kevät 2000) Monet osallistujat totesivatkin, että olisi tärkeää kirjoittaa myös positiivisista kokemuksista, sillä päiväkirja painottuu helposti negatiivisin asioihin. Videoinnin todettiin tukevan opetusta merkittävästi. Sen avulla opiskelija ja opettaja pystyivät havainnoimaan omaa opetustilannettaan ulkopuolisen silmin ja asioita voi tarkastella tarvittaessa kerta toisensa jälkeen. Lisäksi työparit totesivat, että syksyn ja kevään videonauhoitusten vertailu auttoi näkemään ja kuulemaan konkreettisesti, minkälaisia tuloksia lukuvuoden aikana syntyi. Videonauhoituksia analysoitaessa työparit huomioivat erityisesti seuraavia asioita: • • • • erilaiset soitto- ja laulutekniikkaan liittyvät asiat (mm. asentovirheet) tulivat selkeästi esiin monet omaa käyttäytymistä koskevat mielikuvat (mm. ilmeiden ja eleiden ilmaiseminen) osoittautuivat todellisuudessa usein toisenlaisiksi kuin oli kuviteltu. Videoinnin koettiinkin soveltuvan erinomaisesti esiintymistaidon opiskeluun. tuli esiin erilaisia kommunikaatioon liittyviä puutteita, joita ei normaalissa opetustilanteessa huomaa, esimerkiksi kielellisen ilmaisun artikulaatioon tai sisältöön liittyviä epäselvyyksiä tunnille valmistautumisen merkitys oppitunnin onnistumiseen korostui Videoinnista saatujen myönteisten kokemusten myötä useimmat osallistujat aikovat lisätä videoinnin käyttöä opetustilanteessa, mutta videon laajempi käyttö Sibelius-Akatemiassa edellyttää videokameroiden määrän lisäämistä. Väärien tulkintojen, epätietoisuuden ja turhautumisen välttämiseksi olisi kuitenkin ensisijaisen tärkeää, että osallistujat voisivat tarvittaessa turvautua arvioinnin asiantuntijan apuun, tapahtuipa analysointi yksin tai ryhmässä. Työparin yhdessä suorittama videonauhoituksen analysointi rohkaisi monia esittämään kommenttejaan enemmän kuin tavallinen opetustilanne. Kuusela toteaa analyysissaan, että opettajien ja oppilaiden huomiot olivat usein samansuuntaisia. Erityisesti keskustelu ja omista tuntemuksista puhuminen koettiin tärkeäksi oppimisen ja yhteistyön edistymisen kannalta. Yhteisen analyysiajan löytäminen oli kuitenkin usein vaikeaa ja itse analyysi vei paljon aikaa. Jotkut kokivatkin, että 1,5 tunnin yhteisanalyysi saattaa kääntyä tarkoitustaan vastaan. Ajallisesti keveimmin videoinnin ja sen analysoinnin voisi toteuttaa esimerkiksi luokkatunnin yhteydessä, ryhmissä tapahtuvana vertaisarviointina, jolloin työparit havainnoisivat videolta toistensa suorituksia. Toinen vähemmän aikaa vaativa mahdollisuus olisi videoinnin toteuttaminen ”teemaspotteina”, jolloin työpari nauhoittaisi esim. viiden minuutin otoksia, joista 22 he seuraisivat tietyn asian kehittymistä pitkällä aikavälillä. Vaihtoehtoisesti nauhoitusaika voisi olla pitempikin, mutta nauhaa analysoitaessa keskityttäisiin vain kyseisiin ”spotteihin”. Kevät- ja syyslukukauden videoanalyysilomakkeita verratessaan Kuusela toteaa, että keväällä tehdyt analyysit ovat paljon kuvailevampia ja niissä tarkastellaan asioita monipuolisemmin kuin syksyllä tehdyissä analyyseissa. Seuraavassa (sisennettynä) Kuuselan laatima analyysi, joka perustuu kolmeen videonauhaan, joista kahteen liittyi analyysilomakkeet. Lisäksi materiaaliin sisältyi kaksi erillistä analyysilomaketta ilman videoita. Analyysi etenee videohavainnoinnin analyysilomakkeen kysymysten mukaisessa järjestyksessä. ”Yhteistyö ja tunnelma Osallistujat totesivat kokeneensa videoidun oppitunnin tunnelman ja yhteistyön poikkeuksetta hyväksi ja tämän voi havaita myös videonauhoituksista. Kullakin työparilla näytti olevan hyvä ja mutkaton opettaja–oppilassuhde ja yhteinen päämäärä, jonka saavuttamiseksi tehtiin yhdessä töitä. Videointi toi oman jännityksensä opetustilanteeseen, joka näkyi mm. siten, että tunnin alussa työparit ikään kuin hakivat ”normaalia opetustunnelmaa”. Opettajat eivät kertoneet jännittäneensä videointia mutta huomasivat – joskus yllätyksekseen – että oppilas jännitti videointia varsinkin tunnin alussa. Syksyn ja kevään videonauhoituksia verrattaessa voidaan huomata, että tunnelma ja yhteistyö ovat kehittyneet ja suhtautuminen videointiin on muuttunut: syksyllä videointi koettiin jännitystä lisäävänä tekijänä, mutta keväällä video toimi enemmän työvälineenä kuin tarkkailijana. Oman osuuden arvioiminen Opiskelijat kokivat onnistuneensa tunneilla suhteellisen hyvin, vaikka videointi hieman häiritsikin keskittymistä. Opiskelijoiden mielestä tunnit etenivät pääosin opettajajohtoisesti ja liiallinen oma myötäilevyys tunnilla hieman ärsyttikin opiskelijoita. He olisivat halunneet osallistua enemmän tunnin eteenpäin viemiseen. Intohimoista innostumista soittamisesta tai laulamisesta tai aktiivista mielipiteiden vaihtoa on videoilla niukasti. Syynä voi olla videoinnista aiheutuva jännitys tai sellainen opintojen vaihe, jossa opettajajohtoisuus on parempi vaihtoehto. Myös kiire saattoi rajoittaa innostumista ja heittäytymistä. Jos tunnilla on tarkoitus käydä läpi tietty määrä ohjelmistoa, voi opiskelijasta tuntua, ettei ole aikaa jäädä pohtimaan yhtä teosta, vaikka sanottavaa ja mielipiteitä olisikin. Videoiden katselu tuo kuitenkin mahdollisuuden keskustella tulkinnoista jälkeenpäin ja siksi videointi koettiin tässä mielessä hyvänä oppimisvälineenä. Opiskelijat yllättyivät videota katsoessaan siitä, että oma ilmaisu näytti ja kuulosti erilaiselta kuin se oli tuntunut tunnilla. Useimmiten tämä oli positiivinen yllätys: se mikä oli tuntunut omasta mielestä epäonnistuneelta, ei videolta katsottuna näyttänytkään siltä. Toisaalta he yllättyivät myös esimerkiksi asentovirheistä, joista opettaja oli maininnut usein. Oman soittoasennon näkeminen videolta herätti näin motivaation asennon korjaamiseen. 23 Opettajat kiinnittivät huomiota asioiden ilmaisutapaan ja siihen, miten tuntityöskentely eteni. Heidän mielestä asiat pitäisi pystyä sanomaan yksinkertaisemmin ja selkeämmin. Opettajat yllättyivät korkeasta vaatimustasostaan, joka vaikutti myös siihen, ettei tunnilla juurikaan ollut rentouttavia hengähdystaukoja. Myöskään keskustelulle, jota myös opiskelijat toivoivat, ei jäänyt aikaa. Palautteeseen liittyvänä havaintona yksi opettaja totesi, että positiivisten tunteiden ilmaisu näytti videolla vaisummalta kuin hän oli kuvitellut. Myös katsekontaktin puuttuminen varsinkin positiivisen palautteen aikana yllätti. Positiiviset palautteet jäivät melko vähäisiksi ja ne lausuttiin yleensä vähäeleisesti. Lisäksi positiivista palautetta seurasi aina kriittinen palaute, jolloin positiivinen palaute helposti unohtuu. Positiivisen palautteen ja rentouttavien keskustelujen vähyyteen saattoi vaikuttaa myös se, että videolle yritettiin ehkä saada mahdollisimman paljon asioita, joista olisi hyötyä oppilaan harjoittelulle. Syksyn ja kevään nauhoituksia verrattaessa voidaan havaita, että positiivinen palaute lisääntyi, mikä rentoutti oppitunnin tunnelmasta ja vapautti kommunikointia. Oppilaat eivät kommentoineet positiivisen palautteen vähäisyyttä, mistä voidaan päätellä, että he ovat mahdollisesti tottuneet vähäiseen positiiviseen palautteeseen tai eivät edes odottaneet saavansa sitä videoinnin yhteydessä. Videon pohjalta nousseet kehitystarpeet ja jatkotoimet Opiskelijat kokivat, että kehittymisen kannalta olisi tärkeää kuunnella enemmän ja tarkemmin opettajan ohjeita sekä osallistua itse aktiivisemmin ja rohkeammin tunnin kulkuun. Tärkeää olisi myös laulaa tai soittaa tunnilla yhtä innokkaasti ja heittäytyen kuin konsertissa. Lisäksi nauhoitusten analysointi sai opiskelijat huomaamaan entistä selkeämmin sen, että saadakseen tunneista enemmän irti heidän tulisi lisätä harjoitteluaan. Omia tuntemuksia tulisi myös kertoa opettajalle rohkeammin, jolloin ongelmiin olisi helpompi löytää ratkaisu yhdessä. Opettajilta opiskelijat toivoivat oppilaan tuntemusten parempaa kuuntelua ja monipuolisempaa suhtautumista opettamiseen. Lisäksi opettajien toivottiin olevan nykyistä tarkempia, jopa ankarampiakin, sillä temperamenttisempi suhtautuminen opettamiseen voisi saada jotkut oppilaat ”syttymään” paremmin. Toisaalta saattoi olla, että opettajat halusivat pitää tunnin asiallisena videoinnin takia. Asiallisuus saattoi vaikuttaa siihen, että opiskelijat näkivät itsensä videolla passiivisina. Opettajat pitivät tulevaisuutta ajatellen tärkeänä ilmaisun selkiyttämistä. He toivoivat löytävänsä tapoja selkeämpien ohjeiden antamiseen, jolloin puheen osuus tunnilla voisi jäädä vähemmälle. Myös jatkuva into ongelmien ratkaisuun tulisi säilyttää ja analyyttista ja tunnelmaa rentouttavaa keskustelua voisi lisätä. Malliksi näyttäminen huomattiin havainnolliseksi ja siksi sitä tulisi suosia myös tulevaisuudessa. 24 Opiskelijoilta opettajat toivoivat entistä parempaa valmistautumista tunneille, jolloin tunneilla päästäisiin oppimisessa syvemmälle. Rohkeampaa heittäytymistä ja oman persoonallisen tulkinnan etsimistä pidettiin myös tervetulleena. (Kuusela)” Kuuselan yhteenvedon pohjalta voidaan todeta, että suuri osa opettajien ja opiskelijoiden havainnoista oli samansuuntaisia. Molemmat totesivat, että opetustilanteessa vallitseva kiire on usein esteenä mm. oppimiseen liittyvien asioiden syvälliselle pohdiskelulle. Niin ikään molemmat totesivat, että monet asiat näyttivät tai kuulostivat videolla erilaiselta kuin mitä he olivat luulleet. Toive harjoittelun lisäämisestä tuli esiin sekä opiskelijoiden että opiskelijoiden kommenteissa. Palautetta koskevat havainnot olivat sen sijaan erilaisia: opettajat olivat yllättyneitä antamansa positiivisen palautteen vähyydestä, kun taas opiskelijat toivoivat opettajiltaan entistä vaativampaa ja ankarampaa otetta opetukseen. Englantilaisessa Leedsin yliopistossa videonauhoituksiin liittyvä aikapula on ratkaistu siten, että videoista on otettu kopioita, joita opiskelijat ovat katsoneet ja kommentoineet ryhmissä, omalla ajallaan. Tätä menetelmää käyttäen ryhmän palaute ja kunkin opiskelijan itseensä kohdistuva arviointi on tehty epämuodollisesti, usein jopa huomiota herättävän yksityiskohtaisesti ja hilpeyttä aiheuttaen.2 Videonauhoitusten ohella myös oppituntien havainnointi paljasti sen, että työparien kommunikointi oli yleisesti ottaen sujuvaa ja molemminpuolista. Opetustapahtumissa vallitsi keskittynyt ja intensiivinen ilmapiiri, jota hienovireinen huumori sopivasti kevensi. Luokkahuoneiden pienestä koosta johtuen havainnointia ei voitu toteuttaa fyysisesti huomaamatta. Ulkopuolisten havainnoitsijoiden läsnäoloon suhtauduttiin eri tavoin: toisille tilanne aiheutti jonkin verran jännitystä, mutta toisille ulkopuolisten kuuntelijoiden läsnäolo tunnilla lisäsi valppautta sekä soittamisen että sanallisen ilmaisun suhteen. Vertaisarvioinnissa toisen opiskelijan läsnäololla oli samantapainen vaikutus kuin ulkopuolisella havainnoijalla: toisen läsnäolo sai toisen terästäytymään, antamaan parastaan tuntitilanteessa. Opettaja toteaakin, että tietyissä asioissa toinen oppilas on suurempi auktoriteetti kuin oma opettaja. Tämä toteamus tukee ulkomaisissa musiikkikorkeakouluissa tehtyjä havaintoja siitä, että huolimatta siitä, kuinka kokenut opettaja on, oppilaat oppivat tietyt asiat paremmin toisiltaan.3 Samoin on todettu, että opiskelijat oppivat enemmän toisten opiskelijoiden kuin valmiiden ammattilaisten esityksistä. Kuunteleva osapuoli havaitsee asioita, joita ei suorittajan roolissa pysty rekisteröimään ja lisäksi hän saa oppia opetustilanteesta. 2 Rachel Segal: ”Toward practical solutions: design and implementation of study skills delivery in higher education music” The article in the report Making music Work. Professional integration project. Royal College of Music, London 1999. 3 Ritterman Janet, Learning what is to perform: a key to peer learning for musicians. Painamaton seminaariesitelmä, University of Ulster 1998. 25 Arvi-projektissa vertaisarviointi koettiin aikaa vieväksi, mutta palkitsevaksi oppimismenetelmäksi. Opiskelijat oivalsivat mm., että soittaminen ei ole salatiedettä, vaan että jokainen tekee virheitä, joista toinen voi hyötyä. Opiskelijat kokivat saaneensa oppia myös opetustilanteesta, mikä osoittaa sitä, että menetelmällisesti vertaisarviointi sivuaa läheisesti pedagogisia opintoja. Lisäksi opettaja totesi, että vertaisarvioinnin avulla voidaan säästää aikaa: kun oppilaat valmistavat samaa teosta, opettaja voi opettaa tietyt asiat molemmille oppilaille samanaikaisesti. Palautekeskustelut osoittautuivat tarpeellisiksi mielipiteenvaihtofoorumeiksi osallistujille ja arvokkaiksi palautetilaisuuksiksi projektin suunnittelusta vastaavalle ohjausryhmälle. Monet kokivat, että toisten mielipiteiden ja kokemusten kuuleminen jäsensi omia ajatuksia. Toiset osallistujat taas jäivät kaipaamaan arvioinnin syvempää yhteistä pohdintaa, luovien kokemusten etsimistä ja niiden jakamista. Useimmat osallistujat kokivat koko lukuvuoden kokemukset kokoavan esseen kirjoittamisen hyödyllisenä ja verraten vaivattomana menetelmänä. Essee oli ainut arviointimenetelmä jossa osallistujat analysoivat pidemmällä aikavälillä tapahtunutta kehitystään. Tulevaisuudessa esseen kirjoittamista voisikin laajentaa siten, että siihen sisältyisi vertailevaa pohdintaa siitä, miltä prosessin eri vaiheessa kirjatut ongelmat ja ilmiöt tuntuvat jälkeenpäin, kirjoitusvaiheessa. Omien kokemusten tarkasteleminen eri ajankohtina ja siten eri taustoja vasten voi parhaimmillaan synnyttää ratkaisun tarkasteltavaan asiaan. Yksilötasolla vertaisarvioinnin todettiin olevan palkitseva, mutta aikaa vievä arviointimenetelmä. 3.3 Arvioinnin vaikutus oppimiseen ja opintojen etenemiseen Arvi-projekti osoitti, että arviointi oli helpointa niille, joiden opiskeluun arviointi ja selkeä tavoitteidenasettelu olivat kuuluneet aikaisemminkin. Arvioinnin vaikutus opintojen etenemiseen ja oppimismenetelmiin oli sitä vähäisempi, mitä selkeämpiä ja tavoitteellisempia aikaisemmat suunnitelmat ovat olleet. Projektin kokemusten perusteella voidaan olettaa myös, että arvioinnilla on suurin merkitys opintojen suunnitteluun ja opintojen etenemiseen opintojensa alussa oleville opiskelijoille. Systemaattisen arvioinnin vaikutuksina oppimisprosessiin todettiin seuraavaa: 1. vuorovaikutus opetustilanteessa lisääntyi ja aktivoitui – ks. kpl 3.4. 2. palautteen antaminen ja vastaanottaminen lisääntyi ja helpottui 3. oppimisen arviointitekniikat (esim. päiväkirjan kirjoittaminen) kehittyivät 26 4. opiskelu- ja opetusmenetelmien tavoitteellisuus ja suunnitelmallisuus lisääntyi – opiskelijoiden harjoitusmetodit jäsentyivät – oppituntien rakenne jäsentyi – keskittyminen lisääntyi – tunneille valmistautuminen tuli huolellisemmaksi 5. oman toiminnan tietoinen analysointi lisääntyi – syy- ja seuraussuhteiden tiedostaminen lisääntyi, mikä antoi lisävalmiuksia ja rohkeutta henkilökohtaisten, oppimiseen liittyvien rajojen ylittämiseen – keskeisten ongelmakohtien analyyttinen tarkastelu konkretisoitui, jolloin ne tiedostettiin paremmin harjoitustilanteessa – opetustilanteesta, erityisesti siinä käytetyistä opetusmenetelmistä tuli tietoisempia – opettajien pohdinta eri opetusmenetelmien vaikutuksista oppilaan oppimiseen lisääntyi Lisäksi jotkut opettajat kokivat, että oppilas otti aikaisempaa enemmän vastuuta omasta edistymisestään, jolloin riippuvaisuus opettajan neuvoista väheni. Projektin aikana tuli esiin tilanteita, joissa tuli esiin se oppimisprosessille tyypillinen ilmiö, että kaikkiin kysymyksiin ei löytynyt valmiita vastauksia. ”Oppimisessa keskeistä on kyky sietää asioiden monimutkaisuutta, moniselitteisyyttä ja elämän yleistä ennakoimattomuutta. Oppiminen onkin tietyssä mielessä sopeutumis- ja uudistumiskykyä. Aikuisenkin on joskus vaikea kestää sitä, ettei useimpiin asioihin ole tarjolla yhtä ja ainoaa oikeaa vastausta.”4 Jotkut osallistujat tunsivat, että arviointi teki toiminnasta liian tulostavoitteellista, mistä aiheutui suorituspaineita. Toisten kohdalla arviointi johti liialliseen itsekriittisyyteen ja asioiden analysoimiseen, mikä alkoi häiritä varsinaista oppimis- ja opetustapahtumaa. Tällaisessa tilanteessa on se vaara, että yksilö ajautuu itsesyytöksiin sen sijaan, että pyrkisi etsimään omi vahvuuksiaan ja kehitysmahdollisuuksiaan. Oman toiminnan arviointia on usein myös vaikea erottaa omasta persoonasta, mistä seuraa, että yksilö kokee palautteen kohdistuvan persoonaansa sen sijaan, että se kohdistuisi hänen tekoihinsa. Erityisesti tällaisissa tapauksissa opettajan tai arvioinnin asiantuntijan antaman tuen tarve korostuu. Arvi-projektista saatujen kokemusten perusteella voidaankin olettaa, että arvioinnin aktiivinen ja systemaattinen toteuttaminen vaatii tuekseen säännöllistä ohjausta. Jotkut opiskelijat kokivat oman toiminnan yksityiskohtaisen analysoinnin harjoitusprosessin (esim. tietyn teoksen valmistamisen) aikana tarpeettomaksi ja prosessia häiritseväksi. Sen sijaan arviointi voisi tapahtua esimerkiksi havaintopäiväkirjan avulla, jolloin ilmiöitä voisi analysoida syvemmin vasta myöhemmin. Havaintopäiväkirjojen muistiinpanot voisivat olla myös ryhmäkeskustelujen pohjana. 4 Kai Honka – Kirsti Lonka – Lasse Lipponen: Tutkiva oppiminen – älykkään toiminnan rajat ja niiden ylittäminen. WSOY, Porvoo 1999. 27 3.4 Arvioinnin vaikutus vuorovaikutukseen Arviointiprosessin vuorovaikutusta aktivoiva vaikutus, mm. oppitunnilla tapahtuvan keskustelun lisääntyminen, havaittiin jo projektin alkuvaiheessa. Ilmiön selkeään ja nopeaan esiintuloon vaikutti oletettavasti se, että arviointilomakkeiden täyttäminen ja sitä seuraavat keskustelut edellyttivät työparilta heidän keskinäisen vuorovaikutuksensa arviointia. Eräs opiskelija pohti arvioinnin suhdetta vuorovaikutukseen ja henkilökohtaiseen oppimisprosessiin seuraavasti: ”Arvi-projektin [menetelmien] nivoutuminen vuorovaikutukseen tuo tuntiin tehokkuutta, kun taas yhden ihmisen [itseensä kohdistuva] arviointi tuo tehokkuutta lähinnä harjoitteluun.” Osallistujat totesivat, että oppitunnilla vallinnut aktiivinen vuorovaikutus • • • • • innosti opettajaa ja oppilasta, jolloin työskentelymotivaatio lisääntyi sai opettajat pohtimaan, miten he käyttäytyvät opetustilanteessa; miten he voisivat välittää omaa aktiivisuutta ja kehittää oppilaan aktiivisuutta lisäsi ja helpotti palautteen antamista ja vastaanottamista nopeutti uuden opiskelijan ja opettajan keskinäistä tutustumista lähensi opettajaa ja oppilasta ja lujitti heidän sitoutumistaan asettamiinsa tavoitteisiin Jotkut oppilaat kokivat henkilökohtaisten ajatustensa jakaminen opettajan kanssa aluksi hieman kiusalliseksi, mutta tunne poistui suhteellisen pian ja keskustelu alkoi sujua luontevasti. Luottamuksen lisääntyminen ja ilmiöiden syy–seuraus-suhteiden tiedostaminen helpotti palautteen antamista, minkä opiskelijat kokivat vapauttavan heidän olemustaan ja helpottavan siten musiikillista suoritustaan. Mikäli tämä kokemus osoittautuu yleiseksi aktiivisen arvioinnin vaikutukseksi, on tieto sikäli merkittävä, että Sibelius-Akatemiassa on jo aiemmin tiedostettu opiskelijoiden tarve palautteen lisäämisestä. Kiinteän vuorovaikutuksen varjopuolena nähtiin se, että opettajan ja oppilaan samanaikainen ja samoihin seikkoihin kohdistuva, arviointiprosessi saattaa johtaa roolien heikkenemiseen, mikä voi tuntua häiritsevältä. Toisaalta roolit koettiin selkeiksi: mm. videonauhojen analysointi paljasti, että opetustapahtuma on usein varsin opettajajohtoinen. Tämän seikan tiedostaminen sinällään auttaa osallistujia arvioimaan opetustapahtumaa. ”What they [the key factors in student learning] have in common is the assumption that learners bring a great deal of experience to any new situation and teaching must start with what learner already knows. – – – What is significant is not that this knowledge may be false or misleading from the point of view of the teacher, but that the teacher must start by assuming that such prior knowledge exists and that it will influence what students regard as important and where they will focus their energies.”5 5 David Boud: Enhancing Learning Through Self Assessment. Kogan Page, London 1997, s. 25. 28 4 Itsearvioinnin kehittäminen ja toteuttaminen tulevaisuudessa Yhden lukuvuoden aikana toteutettu Arvi-projekti antoi siihen osallistuneille opettajille, opiskelijoille ja ohjausryhmälle runsaasti kokemuksia erilaisista oppimisen arviointimenetelmistä; niiden sisällön ja toteutustapojen mahdollisuuksista ja soveltuvuudesta korkeakoulutasoiseen musiikinopiskeluun. Eräs opettaja esitti, että ”mitä paremmin ja nopeammin opiskelijat oivaltavat avaintekijät oman oppimisensa parantamiseksi, sitä helpompaa heidän opiskelunsa on.” Tämän toteamuksen taustalla on näkemys siitä, että oppimisen avaintekijöiden tiedostaminen edistää opiskelijoiden minäkuvan kehittymistä, nopeuttaa valmistumista ja mahdollistaa samalla monipuolisemman opettamisen. 4.1 Ajoitus Puoli vuotta kestänyt arvioinnin toteutusjakso osoitti, että arviointimenetelmien oppiminen ja omaksuminen vaativat aikaa ja totuttelua. Lisäksi todettiin, että puolen vuoden ajanjakso ei riitä pitkällä aikavälillä tapahtuvan arvioinnin vaikutusten tarkasteluun. Heino esitti, että myös osallistujaryhmän pieni koko vaikutti siihen, että yksilöt pitäytyivät tietyissä mielipiteissä, minkä seurauksena menetelmien tehosta ei päässyt syntymään kattavaa kuvaa. Arvioinnin ajoituksesta esitettiin useita vaihtoehtoja. Näistä keskeisimmät ovat • • • • • • arvioinnin ajoittaminen opintojen alkuvaiheeseen arvioinnin aloittaminen asteittain, menetelmä kerrallaan, mahdollisesti vasta toisella lukukaudella arvioinnin rajaaminen tiettyyn opintojen aiheeseen arvioinnin toteuttaminen periodimaisesti ja pitkällä ajanjaksolla, jolloin kehitystä voitaisiin tarkastella myös pitkällä aikavälillä arvioinnin ajoittaminen kevätlukukauden alkuun, mikä saattaisi tehostaa opetusta ja oppimista ajankohtana, joka usein tuntuu hiukan ”seisahtuneelta” arvioinnissa tulee olla taukoja, jolloin aktiivisten arviointiperiodien välillä saisi keskittyä ”normaaliin” työskentelyyn 29 4.2 Menetelmien kehittäminen Arvi-projektin monet yksittäiset tulokset ovat perustana jatkettaessa SibeliusAkatemiaan soveltuvien arviointimenetelmien ja niiden toteutustapojen kehittämistä. Erityisesti on pohdittava sitä, mitkä arviointimenetelmät soveltuvat parhaiten ja luonnollisimmin musiikin opiskelun ja opettamisen arviointiin. Boud toteaa, että sen sijaan että olettaisimme arvioinnin lisääntyvän ”omalla painollaan”, sen toteutuminen edellyttää usein olennaisia muutoksia kurssijärjestelyissä.6 Arviointimenetelmien ja toteutuksen tulevaisuudesta esitettiin seuraavaa: • • • • • • • • • arviointimallia kehitettäessä tulee kuulla laajasti sekä opettajia, opiskelijoita että arvioinnin asiantuntijoita tiedotusta arvioinnin vaikutuksista oppimiseen on lisättävä arvioinnin tulee olla vapaaehtoista arviointimenetelmien tulisi olla jokaisen vapaasti käytettävissä arvioinnin tulisi olla jossain määrin ohjattua arvioinnin tueksi tulisi luoda mahdollisuus menetelmäohjaukseen (psykologin ja/tai oppimisen ja arvioinnin asiantuntijan tuki) arviointikokonaisuuteen voisi sisältyä myös tietoainesta, esimerkiksi luentoja tulisi luoda sellaisia arviointimenetelmiä, joita opiskelija voi toteuttaa yksin arvioinnille on luotava tarvittavat tekniset valmiudet, mm. videokameroin varustetut luokat Yksittäisistä arviointimenetelmistä rohkaisevimmat kokemukset saatiin videonauhoituksista, jotka mahdollistavat sekä yksilöön että vuorovaikutukseen kohdistuvan arvioinnin, joka voidaan suorittaa joko yksin, työparina tai ryhmässä. Hyviä kokemuksia saatiin myös työparin keskinäisistä ja ryhmässä käydyistä keskusteluista, joihin liittyen esitettiin seuraavaa: • • • arvioinnin tueksi tulisi muodostaa ryhmiä, jotka kokoontuvat säännöllisesti ulkopuolisen asiantuntijan johdolla keskusteluryhmät voisivat olla myös instrumenttikohtaisia luokkatuntien palautekeskustelua voisi kehittää Työparien keskusteluita ohjasi tuntikohtainen arviointilomake, jonka kehittämistyötä jatketaan erityisesti musiikinopiskelun omat ominaispiirteet huomioon ottaen. Lomake soveltuu parhaiten lyhyelle ajanjaksolle, jolloin se palvelee lähinnä analysointiprosessin käynnistäjänä. Tätä käsitystä tukevat osallistujien kokemukset siitä, että vaikka arviointilomakkeiden ja päiväkirjan täyttäminen oli epäsäännöllistä, niin tietoisuus arvioinnista säilyi koko ajan ja päiväkirjan kirjoittaminen muodostui analyyttisemmaksi. Päiväkirjat ja essee osoittautuivat soveltuvan erityisesti pitkän aikavälin kehityskaaren tarkasteluun. 6 David Boud: Enhancing Learning Through Self Assessment. Kogan Page, London 1997, s. 2. 30 Heino toteaa, että yksi Arvi-projektin keskeisimmistä tuloksista liittyy sekä henkilökohtaiseen oppimisprosessiin että vuorovaikutukseen: ”Oppimisprosessi avautuu pitkässä kaaressa. Päiväkirjoissa ilmeni, että oppilaan ja opettajan yhteiset ongelmat eivät aina kohtaa. Sibelius-Akatemiassa tämä näkyy mm. siten, että oppilas kadottaa otteen opintoihinsa. Jos ongelmat voitaisiin Arvi-projektissa käytettyjen menetelmien avulla havaita aiemmin, ennen otteen kirpoamista, sillä olisi suuri positiivinen merkitys sekä henkilökohtaisella että oppilaitoksen tasolla.(Heino)” Projektin jatkovaiheessa, lukuvuonna 2000–2001, keskitytään • • • • • • Arvi-projektin tuloksista tiedottamiseen arvioinnin menetelmäkoulutuksen toteuttamiseen arvioinnin asiantuntijatuen luomiseen arviointimenetelmien, erityisesti videonauhoitusten, kehittämiseen aktiiviseen arviointiin osallistuvien opettajien tuntihuojennuskäytännön luomiseen selvittämään mahdollisuuksia arvioinnin liittämisestä Sibelius-Akatemian olemassa oleviin toimintamuotoihin, mm. opettajien tutorkoulutukseen ja pedagogisten opintojen kokonaisuuteen Arvi-projektin etenemisestä ja tuloksista tiedotettiin lähinnä Sibelius-Akatemian sisäisissä tiedotusvälineissä ja avoimissa keskustelutilaisuuksissa. Lisäksi projektista tiedotettiin kansainvälisissä musiikkikorkeakoulujen seminaareissa mm. Pariisissa ja Bukarestissa. Jatkovaiheessa tiedotus kohdistetaan erityisesti tutorkoulutukseen osallistuville opettajille ja opiskelijoille, pedagogiikan opettajille, ainekollegioille ja ylioppilaskunnalle. Tavoitteena on, että samat kohderyhmät osallistuisivat arviointimenetelmien kehittämiseen. Opettajien arvioinnin asiantuntijatuki suunnitellaan toteutettavaksi työnohjauksena. Menetelmäkoulutus on avoin kaikille Sibelius-Akatemian opettajille ja opiskelijoille ja opettajien osalta koulutus tapahtuu henkilöstökoulutuksen puitteissa. Osallistujat esittivät yhtenä vaihtoehtona arvioinnin yhdistämistä opettajien tutorkoulutukseen, jolloin nämä opettajat voisivat toimia ohjaajina niille opiskelijoille, joiden omat opettajat eivät ole valmiita aktiiviseen arviointiin. Opiskelijoiden keskusteluryhmät voitaisiin toteuttaa osana opintoneuvontaa, liittyen esim. tutortoimintaan. Arvi-projektin kokemusten perusteella voidaan olettaa, että arviointi voi sisältyä omana opintokokonaisuutena vapaaehtoisiin pedagogisiin opintoihin. Arviointi voisi olla esimerkiksi syventymiskohde, joka kohdistuisi oppimisen tematiikkaan. Projekti synnytti idean myös musiikkikasvatuksen osaston opiskelijoiden ”tutkielmaryhmästä”, jotka avustaisivat mm. aineistonkeruussa ja analysoinnissa. 31 5 Loppusanat Arvi-projektissa saatiin kokemuksia siitä, missä laajuudessa ja millaisilla menetelmillä oppimisen arviointia olisi tarkoituksenmukaista toteuttaa. Arviointimenetelmiä on kuitenkin kehitettävä edelleen, ennen kuin niitä sovelletaan laajempaan käyttöön. Kehityskelpoisimmiksi arviointimenetelmiksi osoittautuivat oppituntien videointi, keskustelut, päiväkirjat ja essee. Arviointilomakkeen suurin merkitys oli työparin keskustelun virittäminen ja tuntitavoitteiden konkretisoituminen. Arviointi koettiin yleisesti ottaen hyödylliseksi opetustapahtumaa ja oppimista tukevaksi toiminnaksi. Aktiivisen oppimisen arvioinnin keskeisinä vaikutuksina havaittiin, että • • • • • • arviointi aktivoi opettajan ja oppilaan vuorovaikutusta arviointi edistää oppimisen avaintekijöiden, erityisesti niihin liittyvien syiden ja seurausten oivaltamista arviointimenetelmät toimivat opiskelu- ja opetusmenetelmien herättäjinä työparin yhdessä suorittama arviointi lisäsi heidän keskinäistä luottamusta, mikä helpotti palautteen antamista arviointi lisäsi opiskelu- ja opetusmenetelmien tavoitteellisuutta ja suunnitelmallisuutta pitkällä aikavälillä arviointi mahdollistaa oppimisen kehityskaaren tarkastelun Nämä tulokset kannustavat kehittämään musiikinopiskelun omista lähtökohdista muodostuvia oppimisen laadun arviointivälineitä. Tavoitteena on kehittää arviointimenetelmiä, joita käyttämällä opiskelijat ja opettajat oppisivat kohdistamaan huomionsa oppimisen taustalla vaikuttaviin tekijöihin, niiden syihin ja seurauksiin. Tätä tietoa hyödyntämällä voitaisiin helpottaa oppimisen avaintekijöiden havaitsemista. 32 Kirjallisuus Boud, D.: Enhancing learning through self-assessment. Kogan Page Ltd, Great Britain, 1995. Grede, K., Cheesmond, K., Lonka K. & Roman G. (toim.): From the Cherry Orchad to the Future. Evaluation of the Theatre Academy of Finland. Korkeakoulujen arviointineuvoston julkaisuja 6:1999. Hakkarainen, Kai, Lipponen, Lasse ja Lonka, Kirsi, Tutkiva oppiminen. Älykkään toiminnan rajat ja niiden ylittäminen. Wsoy, Porvoo 1999. Hämäläinen, Esa, Kirjokannen taonnasta eli kuinka opetusta ja oppimista arvioidaan. Helsingin yliopiston Opintoasiain julkaisuja 8/1994. Helsinki, 1994. Hämäläinen, Kauko, Haimi, Helena ja Bergman, Eija (toim.): Sosiaali- ja terveysalan yliopistollisen täydennyskoulutuksen arviointi. Helsingin yliopiston kasvatustieteen laitoksen tutkimuksia 142. Helsinki,1995. Hämäläinen, Kauko ja Moitus, Sirpa (toim.), Laatua korkeakoulutukseen. Teoriaa ja käytäntöä. korkeakoulujen arviointineuvoston julkaisuja 6:1998. Edita, Helsinki. Hyvärinen, Leena (toim.), Sibelius-Akatemian kokonaisarviointi 1995. Helsinki, 1995. Kauppi, A., Laadun kehittäminen osana oppimisprosessia. Aikuiskasvatus 4, ss. 248– 254, 1993. Kells H., Lindqvist O.V., Premfors R., Follow-up Evaluation of the University of Vaasa. Challenges of a Small Regional University. Publications of the Finnish Higher Education Evaluation Council 16:2000. Edita, Helsinki. Lappalainen, Matti (toim.), Opetus, oppiminen ja arviointi. Turun yliopiston arviointijärjestelmän rakentaminen. Turun yliopisto, hallintoviraston julkaisu 4/1997. Laurila, Erkki, Opetuksen ja oppimisen arviointi. SYL-julkaisu 2/1990, Helsinki. Making Music Work. Professional Integration Project. Fostering professional skills among those studying music in higher educatiom. Royal College of Music, Great Britain, 1999. Nightingale Peggy and O’Neil Mike, Achieving Quality Learning in Higher Education. Kogan Page, London 1994. Nisbit, J., Relating Pupil Assessment and Evaluation to Teaching and Learning. Oced documents. The curriculum redefined, paper 14, 1994. Patton, M.Q., Qualitative evaluation and research methods. Sage Publications, California. 1990. Puukka, Jaana, External Impact of the University of Turku. Self-Evaluation Report. University of Turku. Rector’s office publications 1 / 2000. Turku 2000. Ritterman, Janet, Learning what is to perform: a key to peer learning for musicians. University of Ulster, 1998. Painamaton seminaariesitelmä, University of Ulster 10– 12 September 1998. 33 Silvonen, Jussi (toim.), Oppimistapahtuma, opiskelijoiden kulttuuripääoma ja opintokokemusten muutos. Psykologian tutkimuksia, Joensuun yliopisto, Yhteiskuntatieteiden tiedekunta, Joensuu 1990. Strategies for the Future. Evaluation of University of Art and Design Helsinki UIAH. Korkeakoulujen arviointineuvoston julkaisuja 3:1999, Helsinki. Tikanoja & Voutilainen, Kuopion yliopiston opetuksen arviointi ja kehittäminen. Kuopion yliopiston selvityksiä E. Yhteiskuntatieteet 2. Kuopio 1995. Yliopistolaki N:o 645/1997. Helsinki, 1997. 34 LIITE 1: Arvi-projektin aikataulu 1. SUUNNITTELU, REKRYTOINTI, PEREHDYTYS 1.5.-30.9.1999 2.TOTEUTUS 1.10.1999–31.3.2000 3. RAPORTOINTI 1.4.–30.6.2000 1. SUUNNITTELU Kevät 1999 • arviointikäytäntöjä koskevan materiaalin ja tiedon kerääminen: yhteydenotot ulkomaisiin musiikkikorkeakouluihin – määräaikaisen projektisuunnittelijan valinta – ohjausryhmän kokoukset (2): arviointimetodit, lähestymistavat, osallistujien valinta Elokuu 1999 Ohjausryhmän kokous: projektin sisältö, tavoitteet ja toteutus, arviointiasiantuntijan valinta 2.TOTEUTUS SYYSLUKUKAUSI 1999 Elo- ja syyskuu Osallistujien rekrytointi Osallistujien perehdytystilaisuus Tiedotus: Arvi-projektin osallistumiskutsu Äänenkuljettajassa Lokakuu Osallistujat tapaavat projektisuunnittelijan ja arviointiasiantuntijan – oppimis- ja opetustapahtuman arviointimenetelmien valinta – lukuvuoden opintosuunnitelmat Arviointiin perustuva opiskelu ja opetus käynnistyy Palautekeskustelu Marraskuu Oppituntien havainnointi Oppituntien videointi Ohjausryhmän kokous: väliraportointi Tiedotus: Arvi-projektin esittely AEC:n kokouksessa Bukarestissa Joulukuu Työparien haastattelut Ohjausryhmän kokous: menetelmämuutokset Väliarviointitilaisuus Tiedotus:Väliraportointi korkeakoulujen arviointineuvostolle 35 KEVÄTLUKUKAUSI 1999 Tammikuu Ohjausryhmän kokous: uudet arviointimenetelmät Osallistujien perehdyttäminen uusiin arviointimenetelmiin Tiedotus: Artikkeli Äänenkuljettajassa Arvi-projektin esittely Pariisissa Helmikuu Oppituntien havainnointi Luokkatuntien havainnointi Tiedotus: Arvi-projektin esittely solistisen osaston viikkopalaverissa Maaliskuu Palautekeskustelu Oppituntien videointi Henkilökohtaiset haastattelut Materiaalin palautus projektisuunnittelijalle – päiväkirjat, arviointilomakkeet, esseet ja videot 3. RAPORTOINTI Huhtikuu Videoanalyysi-raportin valmistuminen Arviointiasiantuntijan lausunnon valmistuminen Toukokuu Ohjausryhmän kokous: loppuraportin sisällön alustava esittely Ohjausryhmän kokous: loppuraportista pyydettyjen kommenttien käsittely Arvi-projektin päätöstilaisuus Tiedotus: Artikkeli Äänenkuljettajassa Touko- ja kesäkuu Loppuraportin puhtaaksikirjoittaminen Syyslukukausi 2000 Tiedotteet kotimaisiin ja ulkomaisiin musiikkikorkeakouluihin 36 LIITE 2: Syyslukukaudella käytetty arviointilomake SIBELIUS-AKATEMIA ARVI-PROJEKTI TUNTILOMAKE • • • NIMI ________________________________________ PVM ______________ TUNNIN TAVOITE: _________________________________________________________________ _________________________________________________________________ TUNNIN SISÄLTÖ: _________________________________________________________________ _________________________________________________________________ Kommentoi muutamalla sanalla arvioitasi, niiden mahdollisia syitä ja/ tai seurauksia. Merkitse ”vaatimaton–erinomainen”-linjalle rasti tai viiva, halutessasi voit käyttää numeroa 1–5. SMALL-TALK / ORIENTOITUMINEN vaatimaton ________________ erinomainen ETUKÄTEISVALMISTAUTUMINEN vaatimaton ________________ erinomainen TUNNIN YLEISTUNNELMA vaatimaton ________________ erinomainen TAVOITESUUNTAUTUNEISUUS vaatimaton ________________ erinomainen PALAUTE/ KORJAAMINEN vaatimaton ________________ erinomainen KESKITTYMINEN vaatimaton ________________ erinomainen VAATIMUSTASO vaatimaton ________________ erinomainen TEHTÄVISTÄ SOPIMINEN vaatimaton ________________ erinomainen TUNNIN ONNISTUNEISUUS vaatimaton ________________ erinomainen MUUTA: _________________________________________________________________ _________________________________________________________________ 37 LIITE 3: Kevätlukukaudella käytetty arviointilomake (5) SIBELIUS-AKATEMIA kl / 2000 ARVI-PROJEKTI ARVILOMAKE • • • NIMI ________________________________________ PVM ______________ TUNNIN TAVOITE: _________________________________________________________________ _________________________________________________________________ TUNNIN SISÄLTÖ: _________________________________________________________________ _________________________________________________________________ Kommentoi muutamalla sanalla arvioitasi, niiden mahdollisia syitä ja/ tai seurauksia. Merkitse ”vaatimaton–erinomainen”-linjalle rasti tai viiva, halutessasi voit käyttää numeroa 1–5. ETUKÄTEISVALMISTAUTUMINEN vaatimaton ________________ erinomainen SMALL-TALK/ORIENTOITUMINEN vaatimaton ________________ erinomainen KESKITTYMINEN vaatimaton ________________ erinomainen VAATIMUSTASO vaatimaton ________________ erinomainen PALAUTTEEN ONNISTUMINEN vaatimaton ________________ erinomainen TUNNIN YLEISTUNNELMA vaatimaton ________________ erinomainen TUNNIN ONNISTUNEISUUS vaatimaton ________________ erinomainen MUUTA: _________________________________________________________________ _________________________________________________________________ 38 Liite 3/2 SIBELIUS-AKATEMIA kl / 2000 ARVI-PROJEKTI ARVILOMAKE / INSTRUMENTTIKOHTAISET ERITYISALUEET • • • NIMI ________________________________________ PVM ______________ TUNNIN TAVOITE: _________________________________________________________________ _________________________________________________________________ TUNNIN SISÄLTÖ: _________________________________________________________________ _________________________________________________________________ Kommentoi muutamalla sanalla arvioitasi, niiden mahdollisia syitä ja/ tai seurauksia. Merkitse ”vaatimaton–erinomainen”-linjalle rasti, halutessasi voit käyttää numeroa 1–5. ERITYISALUEET: _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ vaatimaton __________________ erinomainen _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ vaatimaton __________________ erinomainen _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ vaatimaton __________________ erinomainen _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ vaatimaton __________________ erinomainen _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ vaatimaton __________________ erinomainen TUNNIN TAVOITTEIDEN TOTEUTUMINEN / TOTEUTUMATTOMUUS: ________________________________________________________________ ________________________________________________________________ 39 Liite 3/3 SIBELIUS-AKATEMIA kl / 2000 ARVI-PROJEKTI ARVILOMAKE / LAULUN ERITYISALUEET TUNTILOMAKE • • NIMI ________________________________________ PVM ______________ TUNNIN SISÄLTÖ JA TAVOITE: _________________________________________________________________ _________________________________________________________________ Kommentoi muutamalla sanalla arvioitasi, niiden mahdollisia syitä ja/ tai seurauksia. Merkitse ”vaatimaton–erinomainen”-linjalle rasti, halutessasi voit käyttää numeroa 1–5. ÄÄNEN LAATU ÄÄNEN JOUSTAVUUS / NOTKEUS PUHTAUS HENGITYKSEN HALLINTA ARTIKULAATIO RESONANSSIN KÄYTTÖ RYTMIN KÄSITTELY TEMPON KÄSITTELY FRASEERAUS DYNAMIIKKA KEHON OSUUS ÄÄNENMUODOSTUKSESSA ILMAISUHERKKYYS YHTEISTYÖ SÄESTÄJÄN KANSSA vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen ____________________ vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen vaatimaton _______________ erinomainen TUNNIN TAVOITTEIDEN TOTEUTUMINEN / TOTEUTUMATTOMUUS: ________________________________________________________________ ________________________________________________________________ 40 Liite 3/4 SIBELIUS-AKATEMIA kl / 2000 ARVI-PROJEKTI ARVILOMAKE / INSTRUMENTTIKOHTAISET ONGELMA-ALUEET • • • NIMI ________________________________________ PVM ______________ INSTRUMENTTI ________________________________________________ TUNNIN SISÄLTÖ JA TAVOITE: _________________________________________________________________ _________________________________________________________________ Kommentoi muutamalla sanalla arvioitasi, niiden mahdollisia syitä ja/ tai seurauksia. Merkitse ”vaatimaton–erinomainen” -linjalle rasti, halutessasi voit käyttää numeroa 1–5. ONGELMA-ALUEET: ____________________ vaatimaton _______________ erinomainen ____________________ vaatimaton _______________ erinomainen ____________________ vaatimaton _______________ erinomainen ____________________ vaatimaton _______________ erinomainen ____________________ vaatimaton _______________ erinomainen TUNNIN TAVOITTEIDEN TOTEUTUMINEN / TOTEUTUMATTOMUUS: _________________________________________________________________ _________________________________________________________________ 41 Liite 3/5 SIBELIUS-AKATEMIA kl /2000 ARVI-PROJEKTI VAPAAMUOTOINEN ARVIOINTI = KYSYMYKSIÄ, JOISTA VOIT VALITA MIELEISESI OPPITUNNIN LOPPUUN AJOITTUVAN KESKUSTELUN POHJAKSI: • NIMI ________________________________________ PVM ______________ * HUOM! Kirjoita laatikoihin vastaus muutamalla sanalla. Halutessasi voit kuvata asiaa tarkemmin päiväkirjassa. Missä asiassa olit hyvä? Miksi? Missä asiassa et onnistunut? Mistä tämä johtui Mikä oppitunnissa epäonnistui? Miksi? Mikä oli yllättävää? Miksi? Mitä seurauksia sillä oli? Oliko jotakin ennakoitavissa? Mistä se johtui? Miten se ilmeni? Tapahtuiko oppitunnin aikana 'flow'? Millainen tämä tilanne oli? Miten otit vastaan palautteen? Miten aiot käsitellä palautetta? Mistä et saanut palautetta? Mitä muuta jäi puuttumaan? Mikä oli oppitunnin arvokkain anti? 42 LIITE 4: Päiväkirjan ohjeistus syyslukukaudella SIBELIUS-AKATEMIA ARVI-PROJEKTI OPPIMISPÄIVÄKIRJAN OHJEET / SYKSY 1999 Kirjoita oppimispäiväkirjaan pääinstrumenttiopintoja koskevien oppimisprosessin ja opetustilanteen etenemistä koskevia asioita, jotka auttavat sinua seuraamaan oppimisesi edistymistä ja siinä itsellesi tärkeitä asioita. Samalla kirjoittaminen selkiyttää ja jäsentää omia ajatuksiasi. Kuljeta päiväkirjaa aina mukanasi ja tee muistiinpanot mahdollisimman pian esim. oppitunnin tai harjoittelujakson jälkeen tai kun olet pitkään työskennellyt jonkin kokonaisuuden parissa. Myös keskustelujen jälkeen on hyvä kirjoittaa siihen liittyvät ajatukset ja itsellesi tärkeät asiat ja kokemukset ylös. Tärkeintä kirjoittamisessa on säännöllisyys. Voit käyttää päiväkirjaotteita portfolion materiaalina, mikäli valitset portfolion yhdeksi arviointimenetelmäksi. Päiväkirja on luonteeltaan julkinen, eli se on tarkoitettu ARVI-projektiin osallistuvien henkilöiden käyttöön. Esimerkiksi päiväkirjassa olevia kysymyksiä /ajatuksia käytetään opettajien ja ulkopuolisten arvioijien kanssa käytävien keskustelujen materiaalina. Halutessasi voit pitää myös yksityistä päiväkirjaa. KIRJAA MUISTIIN ESIMERKIKSI SEURAAVIA ASIOITA: – millaisia opiskelua koskevia odotuksia sinulla on lukukauden alussa – millä mielin aloitat tämän lukukauden – mitkä ovat oman oppimisesi tavoitteet ja mihin asioihin haluat keskittyä – miten olet suunnitellut opintojesi etenevän ajallisesti: milloin sinulla on paras mahdollisuus opiskeluun – asiat, jotka vaikeuttavat oppimisprosessiasi: miten niitä voisi ehkäistä / parantaa / poistaa? – asiat jotka vaikeuttavat opintojesi etenemistä: miten niitä voisi ehkäistä / parantaa / poistaa? – opiskelu- tai oppimisprosessiin liittyvät kysymykset: kirjaa ylös välittömästi – oman oppimisesi kannalta tärkeiksi kokemasi asiat – tärkeät asiat, jotka olet oppinut – ajatukset / tunnelmat lukuvuoden aikana; niissä mahdollisesti tapahtuvat muutokset 43 LIITE 5: Päiväkirjan ohjeistus kevätlukukaudella SIBELIUS-AKATEMIA ARVI-PROJEKTI OPPIMISPÄIVÄKIRJAN SISÄLTÖÄ KOSKEVIA OHJEITA / KEVÄT 2000 Esimerkkejä pohdittavista asiakokonaisuuksista: Lukukauden alussa: – millaisia opiskelua koskevia odotuksia minulla on lukukauden alussa? – millä mielellä aloitan tämän lukukauden? – mitkä ovat oppimiseni tavoitteet ja mihin asioihin haluan keskittyä? – miten olen suunnitellut opintojeni etenevän ajallisesti? * milloin minulla on paras mahdollisuus pääinstrumenttini harjoitteluun? – millaisen oppimisen laadun haluan saavuttaa? * mitä teen laadun saavuttamiseksi? * miten voin kehittää ja edistää oppimiseni laatua? * millaisen laadun olen jo saavuttanut? Lukukauden aikana: – mitä opiskelutapoja minulla on? – saavutanko tavoitteeni eli opinko tehokkaasti käyttämilläni opiskelutavoilla? – miksi opin? – tulisiko minun muuttaa opiskelutapojani? Miksi ja mihin suuntaan? – mitä uutta opin? – millä (uudella) tavalla opin? – mihin kaipaan lisätietoja tai syventymistä? – löydänkö yhteyksiä aiempiin tietoihini, taitoihini ja kokemuksiini – pyrinkö hahmottamaan suurempia kokemuksia, joihin asia liittyy? – opiskelu- tai oppimisprosessiin liittyvät AHAA-elämykset: – oppimiseni kannalta tärkeiksi kokemani asiat – oppimiseni kannalta hankalaksi tai helpoksi kokemani asiat – kuinka mielekkääksi koen harjoiteltavan asian ja sen opiskelun? – ajatukset / tunnelmat lukuvuoden aikana; niissä mahdollisesti tapahtuvat muutokset – onko suhteeni opettajaan muuttunut lukukauden aikana? jos kyllä, niin miten ja miksi? Lukukauden lopussa: – muutinko opiskelutapojani? Jos kyllä, niin miten? – näkyivätkö opiskelutapojen muutokset oppimisessa? Jos kyllä, niin miten? – miten saavutin lukukauden alussa asettamani tavoitteet? – mikä oli tärkein oppimani asia? – mikä tai mitkä asiat jäivät parhaiten mieleeni? Oppimisen taustatekijät: – käsitykseni oppimisprosessin taustalla vaikuttavista asioista – asiat, jotka vaikeuttavat oppimisprosessiani * miten niitä voisi ehkäistä / parantaa / poistaa? – vaikeuttiko jokin asia / asiat opintojeni etenemistä? * miten niitä voisi ehkäistä / parantaa / poistaa? – milloin harjoittelen? (~ asioiden paneminen tärkeysjärjestykseen) – missä harjoittelen? Onko tila harjoitteluun sopiva? 44 LIITE 6: Videohavainnoinnin arviointilomakkeet A ja B VIDEOHAVAINNOINTI / ANALYYSILOMAKE A TYÖPARI ____________________________________________ PVM __________ MILTÄ YHTEISTYÖ JA TUNNELMA VAIKUTTIVAT? _________________________ _____________________________________________________________________________ _____________________________________________________________________________ _____________________________________________________________________________ MITEN ARVIOIT OMAA OSUUTTASI? ______________________________________________________________________________ ______________________________________________________________________________ ______________________________________________________________________________ OMAA OSUUTTASI KOSKEVAT YLLÄTTÄVÄT HAVAINTOSI: ______________________________________________________________________________ ______________________________________________________________________________ ______________________________________________________________________________ MITEN TOIMITTE TYÖPARINA? _______________________________________________________________________________ _______________________________________________________________________________ _______________________________________________________________________________ VIDEON POHJALTA ESIIN NOUSEVAT JATKOTOIMET JA KEHITYSTARPEET, KOSKIEN A) OMAA ROOLIA _______________________________________________________________________________ _______________________________________________________________________________ _______________________________________________________________________________ B) TYÖPARIA _______________________________________________________________________________ _______________________________________________________________________________ _______________________________________________________________________________ C) YHTEISTYÖTÄ _______________________________________________________________________________ _______________________________________________________________________________ _______________________________________________________________________________ MUUTA: ______________________________________________________________________ _______________________________________________________________________________ _______________________________________________________________________________ 45 ANALYYSILOMAKE B: PARIKESKUSTELUN YHTEENVETO TYÖPARI ____________________________________________ PVM __________ VIDEOANALYYSIN TÄRKEIN ANTI: ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________________________________________________________________________________________ YHTEISTOIMINNAN KESKEISET KEHITTÄMISTARPEET JA TOTEUTUSTAPA: A) OPISKELIJA ________________________________________________________________________________ ________________________________________________________________________________________________________________________________________________________________ ________________________________________________________________________________ B) OPETTAJA ________________________________________________________________________________ ________________________________________________________________________________________________________________________________________________________________ ________________________________________________________________________________ C) YHTEISTYÖ ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________________________________________________________________________________________ MUUTA: ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________________________________________________________________________________________ 46 LIITE 7: Oppituntien havainnointilomake SIBELIUS-AKATEMIA ARVI-PROJEKTI OPPITUNTIEN HAVAINNOINTILOMAKE 1.YLEINEN TUNNELMA Rento, vapautunut Innostava Luova Intensiivinen, keskittynyt 12345 12345 12345 12345 Jännittynyt, teennäinen Tasapaksu Urautunut, vanhaa toistava Hajanainen, sekava 2.VIESTINTÄ Viestit menivät perille 12345 Viestit eivät menneet perille Millaisissa asioissa viestintää ilmeni? _____________________________________________________________________________ _____________________________________________________________________________ 3. PALAUTE Kannustava Molemminpuolinen Paljon Usein Selkeä 12345 12345 12345 12345 12345 Syyttävä, teilaava Yksipuolinen Vähän Harvoin Vaikeasti ymmärrettävä Millaisissa tilanteissa? _____________________________________________________________________________ _____________________________________________________________________________ Miten noteerasi? _____________________________________________________________________________ _____________________________________________________________________________ 4. OPETTAJAN VAATIMUSTASO: Liiallinen Sopiva Alhainen 5. MUITA HUOMIOITA _____________________________________________________________________________ _____________________________________________________________________________ 47 LIITE 8 a: Ryhmäopetuksen kyselylomake opettajille SIBELIUS-AKATEMIA ARVI-PROJEKTI RYHMÄOPETUS: KYSYMYKSET OPETTAJILLE 1. KUINKA USEIN järjestät solistisiin instrumenttiopintoihin liittyviä ryhmätunteja? 2. MIKSI järjestät ao. ryhmätunteja? 3. Millä perusteella kunkin ryhmätunnin soittajat valitaan? --------4. Onko ryhmällä tiettyjä pitkän aikavälin TAVOITTEITA TAI SUUNNITELMIA? KEHITYS- 5. Onko opiskelijoille annettu OHJEITA havainnoimisesta, analysoimisesta ja/ tai palautteen antamisesta? Jos kyllä, niin millaisia? 6. VEDÄTTEKÖ jossain vaiheessa lukukautta YHTEEN KOKEMUKSIANNE, esim. aiheesta ”millainen vaikutus ryhmätunneilla on ollut soittamiseeni ja/ tai opiskelumenetelmiini?” 7. EROAAKO ryhmätunnilla antamasi PALAUTE yksityistunnilla antamasi palautteesta? Jos kyllä, niin miten? 8. Miten ryhmätuntien ”HENKILÖKEMIA” on toiminut? 48 LIITE 8 b: Ryhmäopetuksen kysymykset opiskelijoille SIBELIUS-AKATEMIA ARVI-PROJEKTI RYHMÄOPETUS: KYSYMYKSET OPISKELIJOILLE 1. Mikä on (ollut) ryhmäopetuksen keskeisin anti sinulle a) soittajana? b) analysoivana kuuntelijana? 2. – – Oletko saanut ohjeita havainnoimiseen? (esim. mihin seikkoihin huomio tulisi kohdistaa kunkin suorituksen aikana?) kyllä. Millaisia? ei. Millaisia ohjeita mahdollisesti toivoisit? 3. Pitäisikö analysoinnin kohteena olevaan teokseen tutustua etukäteen (esim. oman soittokokemuksen kautta, äänitteenä tai nuotteina)? Perustele vastauksesi. 4. Onko opettajan ja opiskelijoiden palautteella eroa: kuinka otat palautteet vastaan ja mitä teet palautteelle? 5. Liittyykö ryhmätuntiin jotain sellaista minkä koet vaikeaksi? 6. Kuinka usein toivoisit ryhmätunteja pidettävän? 7. Haluaisitko kehittää ryhmätunteja jollakin tavalla? Jos kyllä, niin miten? 8. Oletko kiinnostunut opiskelutapojesi ohjatusta kehittämisestä? Millaista se voisi olla? 49 LIITE 9: Haastattelujen aihepiirit SIBELIUS-AKATEMIA ARVI-PROJEKTI HAASTATTELUJEN AIHEPIIRIT A) TYÖPARIEN HAASTATTELU Aika 29.11. ja 8.12. 1999 Paikka Sibelius-Akatemia, pieni kokoushuone (T-talo) Haastattelijat Seppo Heino, psykologi Helena Valtonen, projektisuunnittelija, Sibelius-Akatemia Haastateltavat Arvi-projektiin osallistuvat opiskelijat ja opettajat Haastattelun kesto 45 min / työpari TEEMAHAASTATTELUN AIHEPIIRIT: – arvioinnin toteutuminen opiskelun / opettamisen rinnalla: – arvioinnin vaikutus opetustapahtumaan, erityisesti vuorovaikutukseen – eri arviointimenetelmien soveltuvuus musiikinopiskelun arviointiin B) HENKILÖKOHTAISET HAASTATTELUT Aika 21. ja 22.3.2000 Paikka Sibelius-Akatemia, pieni kokoushuone (T-talo) Haastattelijat Seppo Heino, psykologi Helena Valtonen, projektisuunnittelija, Sibelius-Akatemia Haastateltavat Arvi-projektiin osallistuvat opiskelijat ja opettajat Haastattelun kesto 30 min / henkilö TEEMAHAASTATTELUN AIHEPIIRIT: – arvioinnin toteutuminen: hyvät ja huonot puolet – arvioinnin vaikutus: mahdolliset muutokset, niiden syyt ja seuraukset – eri arviointimenetelmien soveltuvuus musiikinopiskelun arviointiin – arvioita arvioinnin toteutusmahdollisuuksista Sibelius-Akatemiassa – henkilökohtaisia erityiskysymyksiä 50 LIITE 10: Arvi-projektin palautekysely SIBELIUS-AKATEMIA ARVI-PROJEKTI PALAUTEKYSELY (syksy 1999) 1. – – – – – Kuinka sain tietää ARVI-projektista ilmoitus Äänenkuljettajassa seinäilmoitus Sibelius-Akatemiassa kuulin opettajaltani kuulin tuttavaltani tai opiskelukaveriltani muu. Mikä? _________________________________________________________________ 2. – – – – Perehdytystilaisuus (1= täysin eri mieltä… 5= täysin samaa mieltä) sain riittävästi tietoa ARVI-projektin taustasta 12345 sain riittävästi tietoa ARVI-projektin tavoitteista 12345 sain riittävästi tietoa ARVI-projektin aikataulusta 12345 sain riittävästi tietoa arviointimenetelmistä 12345 3. – – – Tiedotus (1= täysin eri mieltä… 5= täysin samaa mieltä) ARVI-projektin osallistujia koskeva tiedotus on ollut riittävää ARVI-projektin tiedotus Sibelius-Akatemiassa on ollut riittävää olen tiennyt, mistä kysyä neuvoa erilaisissa ARVI-projektiin liittyvissä kysymyksissä olen saanut vastaukset ARVI-projektia koskeviin kysymyksiini – 4. – – – – – – – – – – – 12345 12345 12345 12345 ARVI-projektin toteutuminen (1= täysin eri mieltä… 5= täysin samaa mieltä) arvioinnin omaksuminen osaksi säännöllistä harjoitustoimintaa oli aluksi vaikeaa 12345 arvioinnin omaksuminen osaksi säännöllistä harjoitustoimintaa on edelleen vaikeaa 12345 arvioinnin omaksuminen oppitunnin osaksi oli aluksi vaikeaa 12345 arvioinnin omaksuminen oppitunnin osaksi on edelleen vaikeaa 12345 tunnen tarvitsevani lisää ohjausta arviointimenetelmien käytössä 12345 tunnen tarvitsevani lisää psykologin palautetta 12345 olen onnistunut toteuttamaan arvioinnin siten, ettei se vie liikaa aikaa muilta musiikkiopinnoilta / muulta musiikin opetustyöltä 12345 olen onnistunut toteuttamaan arvioinnin siten, ettei se vie liikaa aikaa muulta toiminnaltani 12345 olen onnistunut toteuttamaan arvioinnin siten, ettei se häiritse keskittymistäni oppitunnin aikana 12345 olen onnistunut toteuttamaan arvioinnin siten, ettei se häiritse keskittymistäni harjoittelun aikana 12345 arviointiin käyttämäni työmäärä on tuntunut liian suurelta 12345 51 – arviointi on vaikuttanut oppitunnin aikana tapahtuvaan opiskelijan ja opettajan vuorovaikutukseen. 12345 Jos kyllä, niin miten? _____________________________________________________________________________ _____________________________________________________________________________ – uskon, että ARVI-projektissa toteuttamani arviointi vaikuttaa musiikinopiskelumenetelmiin tulevaisuudessa. 12345 Jos kyllä, niin miten? _____________________________________________________________________________ _____________________________________________________________________________ – uskon, että ARVI-projektissa toteuttamani arviointi vaikuttaa musiikinopetustyöhöni tulevaisuudessa 12345 Jos kyllä, niin miten? _____________________________________________________________________________ _____________________________________________________________________________ 5. Muuta Toivon, että kevätlukukauden alussa järjestetään ”lähtölaukaus”-tilaisuus – kyllä – ei Haluan siellä käsiteltävän seuraavia aiheita: _____________________________________________________________________________ _____________________________________________________________________________ Mitä projektia koskevia muutoksia toivot kevätlukukaudeksi? _____________________________________________________________________________ _____________________________________________________________________________ Muuta palautetta: _____________________________________________________________________________ _____________________________________________________________________________ _____________________________________________________________________________ _____________________________________________________________________________ 52 KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA PL 20, 00501 HELSINKI Puh. 09-7748 8410 Fax 09-7748 8414 http://www.minedu.fi/kka/kka.html 1:1997 2:1997 3:1997 4:1997 5:1997 1:1998 2:1998 3:1998 4:1998 5:1998 6:1998 7:1998 8:1998 9:1998 10:1998 11:1998 1:1999 2:1999 3:1999 4:1999 5:1999 6:1999 7:1999 8:1999 9:1999 10:1999 11:1999 Virtanen, A. (toim.): Armottomat ammattikorkeakoulut – matkalla kehittyneisiin arviointijärjestelmiin. Helsinki: Edita. Liuhanen, A.-M. (toim.): Yliopistot arvioivat toimintaansa – mitä opitaan? Helsinki: Edita. Korkeakoulujen arviointineuvoston toimintasuunnitelma vuosille 1998–1999. Helsinki: Edita. Finska rådet för utvärdering av högskolorna:Verksamhetsplan 1998–1999. Helsingfors: Edita. Action Plan of the Finnish Higher Education Evaluation Council for 1998–1999. Helsinki: Edita. Virtanen, A. (toim.): Korkeakoulutettu poliisi. Poliisiammattikorkeakoulun ulkoinen arviointi. Helsinki: Edita. Kantola, I. & Panhelainen, M. (toim.): Kansainvälistyvät ammattikorkeakoulut. Jyväskylän,Tampereen ja Turun ammattikorkeakoulujen kansainvälistymisen asiantuntija-arviointi. Helsinki: Edita. Junge-Jensen, F., Lundin, R., Nyman, G. & Wahlroos, B.: Vart är Hanken på väg? Rapport av en extern utvärderingsgrupp. Helsingfors: Edita. 167 syytä korkeakouluksi. Ammattikorkeakouluhakemusten arviointi 1998. Helsinki: Edita. Yliopistokoulutuksen laatuyksiköt. Arviointineuvoston esitys korkealaatuisen koulutuksen yksiköiksi vuosille 1999–2000. Helsinki: Edita. Hämäläinen, K. & Moitus, S. (toim.): Laatua korkeakoulutukseen – teoriaa ja käytäntöä. Helsinki: Edita. Pilot Audit of Quality Work in Kajaani, Turku, Lahti and Häme Polytechnics. Helsinki: Edita. Dahllöf, U., Goddard, J., Huttunen, J., O’Brien, C., Román, O. & Virtanen, I.: Towards the Responsive University:The Regional Role of Eastern Finland Universities. Helsinki: Edita. Programme Evaluation of Industrial Management and Engineering in Finnish Higher Education Institutions. Helsinki: Edita. Quality Label? EQUIS Evaluation Report. Helsinki School of Economics and Business Administration. Helsinki: Edita. Three Finnish Universities in the International Perspective. CRE Institutional Review of Helsinki University ofTechnology,Tampere University of Technology, and Åbo Akademi University. CRE Reviewers’ Reports. Helsinki: Edita. Virtanen,A. (toim.): Viittä vaille valmis? Ammattikorkeakouluhakemusten arviointi 1999. Helsinki: Edita. Vähäpassi, A. & Moitus, S. (toim.): Korkeakoulut alueidensa vetureina.Viisi näkökulmaa vaikuttavuuteen. Helsinki: Edita. Booth, J., Erlhoff, M., Jones, A. & Paasikivi, P.: Strategies for the Future. Evaluation of University of Art and Design Helsinki UIAH. Helsinki: Edita. Kähkönen, J. & Lipponen, M. (toim.): Laadun lähteillä. Itä-Suomen ammattikorkeakoulujen itsearvioinnin kehittäminen. Helsinki: Edita. Tella, S., Räsänen, A. & Vähäpassi, A. (Eds.): Teaching Through a Foreign Language. From Tool to Empowering Mediator. Helsinki: Edita. Cheesmond, R., Grede, K., Lonka, K. & Román, G.: From the Cherry Orchard to the Future.The Report of the Peer Review Team of the Theatre Academy of Finland. Helsinki: Edita. Davies, J., Lindström, C.-G. & Schutte, F.: Five Years of Development. Follow-Up Evaluation of the University of Oulu. Helsinki: Edita. Perälä, M.-L. & Ponkala, O.: Tietoa ja taitoa terveysalalle.Terveydenhuoltoalan korkeakoulutuksen arviointi. Helsinki: Edita. Audit of Quality Work. North Karelia and Mikkeli Polytechnics. Helsinki: Edita. Audit of Quality Work. Seinäjoki Polytechnic. Helsinki: Edita. Jussila, J. & Saari, S. (toim.): Opettajankoulutus tulevaisuuden tekijänä. Yliopistoissa annettavan opettajankoulutuksen arviointi. Helsinki: Edita. 53 12:1999 Virtanen,A. & Mertano, S. (Eds.): Learning by Comparing.The Benchmarking of Administration at the University of Helsinki. Helsinki: Edita. 13:1999 Kuusinen, I. & Nurminen, M.: Korkeakoulukirjaston asiakaspalvelun arviointi. Kymenlaakson ammattikorkeakoulun, Helsingin kauppakorkeakoulun ja Leeds Metropolitan Universityn kirjastot. Helsinki: Edita. 14:1999 Kuusinen, I. & Nurminen, M.: Evaluation of Customer Service in the Academic Library. Libraries of Kymenlaakso Polytechnic, Helsinki School of Economics and Business Administration, and Leeds Metropolitan University. Helsinki: Edita. 15:1999 Kristensen, B., Lindfors,T., Otley, D. & Stenius, M.: TSEBA as a Learning Organisation. Evaluation of Turku School of Economics and Business Administration. Helsinki: Edita. 16:1999 Lyytinen, Heikki K.: Työelämäyhteistyön arviointi. Jyväskylän,Tampereen jaTurun ammattikorkeakoulujen työelämäyhteistyön ulkoinen arviointi. Helsinki: Edita. 17:1999 Pehu-Voima, S. & Hämäläinen, K. (toim.): Opetusta kehittävää arviointia. Helsinki: Edita. 1:2000 Lehtinen, E., Kess, P., Ståhle, P. & Urponen, K.: Tampereen yliopiston opetuksen arviointi. Helsinki: Edita. 2:2000 Cohen, B., Jung, K. & Valjakka, T.: From Academy of Fine Arts to University. Same name, wider ambitions. Helsinki: Edita. 3:2000 Goddard, J., Moses, I.,Teichler, U.,Virtanen, I. & West, P.: External Engagement and Institutional Adjustment: An Evaluation of the University of Turku. Helsinki: Edita. 4:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Swedish Polytechnic, Finland. Helsinki: Edita. 5:2000 Harlio, R., Harvey, L., Mansikkamäki. J., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Central Ostrobothnia Polytechnic. Helsinki: Edita. 6:2000 Moitus, S. (toim.): Yliopistokoulutuksen laatuyksiköt 2001–2003. Helsinki: Edita. 7:2000 Liuhanen, A.-M. (toim.): Neljä aikuiskoulutuksen laatuyliopistoa 2001–2003. Helsinki: Edita. 8:2000 Hara,V., Hyvönen, R., Myers, D. & Kangasniemi, J. (Eds.): Evaluation of Education for the Information Industry. Helsinki: Edita. 9:2000 Jussila, J. & Saari, S. (Eds.): Teacher Education as a Future-moulding Factor. International Evaluation of Teacher Education in Finnish Universities. Helsinki: FINHEEC. http://www.minedu.fi/minedu/ education/finheec/finheec.html 10:2000 Lämsä, A. & Saari, S. (toim.): Portfoliosta koulutuksen kehittämiseen. Ammatillisen opettajankoulutuksen arviointi. Helsinki: Edita. 11:2000 Korkeakoulujen arviointineuvoston toimintasuunnitelma 2000–2003. Helsinki: Edita. 12:2000 Finnish Higher Education Evaluation Council Action Plan for 2000–2003. Helsinki:Edita. 13:2000 Huttula, T. (toim.): Ammattikorkeakoulujen koulutuksen laatuyksiköt 2000. Helsinki: Edita. 14:2000 Gordon, C., Knodt, G., Lundin, R., Oger, O. & Shenton, G.: Hanken in European Comparison. EQUIS Evaluation Report. Helsinki: Edita. 15:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Kangasniemi, J.: Audit of Quality Work. Satakunta Polytechnic. Helsinki: Edita. 16:2000 Kells, H.R., Lindqvist, O.V. & Premfors, R.: Follow-up Evaluation of the University of Vaasa. Challenges of a small regional university. Helsinki: Edita. 17:2000 Mansikkamäki, J., Kekäle, T., Miikkulainen, L., Stone, J., Tolppi, V.-M. & Kangasniemi, J.: Audit of Quality Work.Tampere Polytechnic. Helsinki: Edita. 18:2000 Baran, H., Gladrow, W., Klaudy, K., Locher, J. P., Toivakka, P. & Moitus, S.: Evaluation of Education and Research in Slavonic and Baltic Studies. Helsinki: Edita. 19:2000 Harlio, R., Kekäle, T., Miikkulainen, L. & Kangasniemi, J.: Laatutyön auditointi. Kymenlaakson ammattikorkeakoulu. Helsinki: Edita. 20:2000 Mansikkamäki, J., Kekäle, T., Kähkönen, J., Miikkulainen, L., Mäki, M. & Kangasniemi, J.: Laatutyön auditointi. Pohjois-Savon ammattikorkeakoulu. Helsinki: Edita. 21:2000 Almefelt, P., Kantola, J., Kekäle, T., Papp, I., Manninen, J. & Karppanen, T.: Audit of Quality Work. South Carelia Polytechnic. Helsinki: Edita. 1:2001 Valtonen, H.: Oppimisen arviointi Sibelius-Akatemiassa. Helsinki: Edita.