Suunnittelumalli oppimisanalytiikan visualisointiin
Sanna Kukkasniemi & Seppo Nevalainen
Karelia-ammattikorkeakoulussa on osana eAMK– ja APOA-hanketyötä suunniteltu ja toteutettu erilaisia oppimisanalytiikan ratkaisuja arjen opetustyön tueksi. Näitä ratkaisuja varten Karelian tietojenkäsittelyn koulutuksessa on toteutettu arkkitehtuuri, jonka puitteissa opettaja voi mahdollisimman pienellä vaivalla ottaa oppimisanalytiikan tarjoamat visualisoinnit osaksi opetustyötään. Teknisistä apukeinoista huolimatta opettajan itse tulee kuitenkin tunnistaa ne keskeiset teemat, joissa oppimisanalytiikan tarjoamat visualisoinnit voivat olla hyödyksi.
Kun mietimme oppimisanalytiikkaa kurssien suunnittelun avuksi, saimme käyttöömme kollegamme Anssi Gröhnin APOA-hankkeessa toteuttaman suunnittelumallin. Sen käyttöä kuvaamme tässä artikkelissa. Varsinaisena esimerkkinä on viiden opintopisteen Web- ja mobiilikäyttöliittymät -opintojakso, joka on tarjolla ICT-koulutuspolun opinnoissa Itä-Suomen yliopiston, Savonian ja Karelian opiskelijoille.
Suunnittelumalli ja sen hyödyntämisen vaiheet
Suunnittelumallin hyödyntäminen voidaan jakaa kolmeen vaiheeseen: tavoitteiden muodostaminen, mallin kysymyksiin vastaaminen tavoitteittain ja tavoitekohtaisten visualisoinnin toteuttaminen. Havainnollistamme suunnittelumallin hyödyntämisen eri vaiheita yhden Web- ja mobiilikäyttöliittymät -opintojaksolle asettamamme tavoitteen kautta. Samat kolme vaihetta tulee käydä läpi kaikille niille tavoitteille, joiden saavuttamiseen oppimisanalytiikkaa halutaan hyödyntää.
Tavoitteiden muodostaminen. Oppimisanalytiikka ja sen käytännön toteuttamisen avuksi laadittu suunnittelumalli ovat teknisiä apukeinoja, joiden menestyksekäs hyödyntäminen edellyttää opettajalta selkeää käsitystä siitä, mitä hän haluaa oppimisanalytiikan kautta saavuttaa. Onko tarkoitus löytää kehityskohteita seuraavan kurssitoteutuksen suunnitteluun? Vai onko kenties tarkoitus tunnistaa käynnissä olevalta toteutukselta tilanteet, joissa on tarvetta opiskelijoiden lisäohjaukseen? Vai jokin muu? Kun opettaja tunnistaa ja määrittelee selkeän päämäärän, jonka puitteissa hän haluaa oppimisanalytiikkaa hyödyntää, voi hän johtaa yksittäiset tarkemmat tavoitteet tästä päämäärästä.
Mallin kysymyksiin vastaaminen tavoitteittain. Suunnittelumalli ohjaa ja jäsentää keskustelua ja ideointia kuudella selkeällä kysymyksellä, jotka auttavat jäsentämään päämäärän pohjalta muodostettuja tavoitteita ja niihin liittyvää dataa. Jokainen tavoite käsitellään erikseen kuuden kysymyksen kautta. Kysymykset auttavat siis tarkentamaan, mihin tarkalleen ottaen halutaan vastata. Toisaalta kysymysten avulla voidaan pohtia, onko tavoitetta valottavaa tietoa saatavissa ja jos on, miten Moodlen aktiviteetteja täytyy mahdollisesti muokata tiedon tuomiseksi osaksi analytiikkaa ja siitä tehtäviä visualisointeja. Tiedon muodon ja sen muokkaustarpeiden huomiointi ovat olennaisia etenkin analytiikan teknistä toteutusta suunnittelevalle. Taulukossa 1 on esitetty mallin mukaiset kysymykset ja haettu niihin vastaukset esimerkkitavoitteemme osalta.
Taulukko 1. Esimerkkitavoite: saada selville, mitkä tehtävät pudottavat opiskelijan?
Kysymys |
Vastaukset |
1. Kenen esittämä kysymys ts. Onko analytiikka kiinnostava opettajan, opiskelijan vai hallinnon mielestä? |
– Opettajan esittämä kysymys. |
2. Mitä haluat tietää ja miksi?
|
– Mitkä tehtävät pudottavat opiskelijan? Meitä kiinnostaa tietää, onko joku tietty tehtävä sellainen, jonka jälkeen opiskelijat keskeyttävät kurssin. Tuloksen avulla voimme tarkastella tehtävää tai siihen liittyvää. opetusmenetelmää sekä materiaaleja ja kehittää niitä. |
3. Mikä data kertoo sen, mitä haluat tietää? |
– Tehtäväarviot, joista tulee hylätty (huono arvio).– Data, joka kertoo Moodlessa haluamamme tiedon, on ensimmäinen tehtävä, jonka opiskelija jättää palauttamatta. |
4. Mistä tekemisestä data kertyy? Miten tekeminen on valmisteltava, että data kertyy? |
– Data kertyy toisaalta siitä, minkä tehtävän opiskelija on palauttanut ja minkä jälkeen jättänyt palautukset tekemättä.– Data kertyy palautetuista tehtävistä, joiden arvio on hylätty (huono). |
5. Onko dataa muokattava, että se kertoo sen, mitä haluat tietä? |
– Emme tiedä. |
6. Miten data on esitettävä, että se kertoo, mitä haluat tietää? (Vapaamuotoiset ajatukset, kuvaukset ja hahmotelmat visualisoinnista) |
– Arvosanakäyrät.– Ensimmäisestä viimeiseen tehtävään ajallisesti järjestetty pinottu pylväsdiagrammi.– Vertikaalisesti opiskelijat: alimpana, jotka eivät avanneet, seuraavaksi hylätyt, sitten ykköset jne.– Värikoodaus. |
Tavoitekohtaisten visualisoinnin toteuttaminen. Kun suunnittelumallin kuuden kysymyksen avulla on saatu muodostettua riittävä käsitys siitä, millaista oppimisdataa asetettujen tavoitteiden tarkastelua varten laadittavat visualisoinnit edellyttävät, voidaan toteuttaa varsinaiset visualisoinnit. Kaaviossa 1 esittelemme tavoitteen “Mitkä tehtävät pudottava opiskelijan?” pohjalta laaditun visualisoinnin, jossa näkyy opintojakson tehtävien arvosanajakauma (sekä tehtävien palautusmäärä).
Kuva 1. Mitkä tehtävät pudottava opiskelijan?
Kun tarkastelemme kaaviota 1, saamme visualisoinnista helposti nähtäville muutakin tietoa: esimerkiksi jos tehtävän arviot jakautuvat lähinnä arvosanojen 4 ja 5 kesken arviointiasteikolla 0-5, voidaan pohtia, tuleeko tehtävän vaativuutta nostaa. Tässä tapauksessa ensimmäiset tehtävät ovat testejä kurssin ennakkotietovaatimusten osaamiseen, joten hyvien arvosanojen pylväät ennakoivat opintojaksolla pärjäämistä, kun ennakkotiedot ovat hallussa. Opintojakson kaikki tehtävät ovat pakollisia ja ne on palautettava kurssin päättymiseen mennessä. Kaaviosta nähdään, että palauttamattomien tehtävien määrä kasvaa suureksi kurssin päättymistä kohti; opintojakson uusintaan on tarvetta.
Visualisoinnin ensimmäisen version jälkeen mietimme arvosanojen värikoodausta ja järjestystä. Värit helpottavat selkeästi arvosanojen vaihtelun tarkastelua niin yksittäisessä tehtävässä kuin tehtävien välillä. Mietimme myös arvosanojen järjestystä: yleensä lienee loogisinta esittää asioita lähtökohdasta (0) ja kivuta ylöspäin (5). Totesimme kuitenkin tässä tapauksessa visualisoinnin ensimmäistä versiota tarkastellessamme, että kun alimpana on paras arvio ja ylimpänä tehtävän palauttamatta jättäneet, näemme pylvään korkeudesta suoraan, mihin tehtäviin palautuksia puuttuu tai palautusten määrään tulee mahdollisesti “romahdus”. Näin näemme selkeämmin vastauksen varsinaiseen kysymykseemme “Mitkä tehtävät pudottavat opiskelijan?”
Havaintoja suunnittelumallin käytöstä
Analytiikan hyödyntämiseen liittyvien tavoitteiden muotoileminen selkeäksi kysymykseksi tulosten visualisointia varten on hankalaa. Tavoite on helppo miettiä, kysymys jo monitahoisempi. Suunnittelumallin kysymykset pakottavat jäsentämään tavoitteita. Esimerkissä tarkentaviksi kysymyksiksi nousivat mm. onko merkittävää saada tulokset yleisesti kurssin osallistujista vai osallistujittain tai onko olennaista saada tuloksia opintojakson osioittain vai tarvitaanko tarkkuus yksittäisen tehtävän tasolla.
Usean tavoitteen kohdalla meillä ei ollut myöskään ajatusta, millainen kuvaaja esittäisi vastauksen haluamaamme kysymykseen nopeasti ja tehokkaasti. Tähän saimme ideoita suunnittelumallin kehittäjältä lehtori Anssi Gröhniltä. Oletettavasti opettajille yleisimmät tilastolliset kaaviot pylväistä piirakoihin ja jopa korrelaatioihin ovat tuttuja, mutta syvällisemmällä tilastollisella osaamisella tai tietämyksellä saa enemmän irti analytiikan visualisaalisista esityksistä.
Web- ja mobiilikäyttöliittymät -opintojakso oli ensimmäinen, johon analytiikkaa ja sen visualisointia mietitiin suunnittelumallin avulla. Sen pohjalta oli helpompi lähteä hyödyntämään mallia tietojenkäsittelyn valintakoekurssiin. Toisella mallin soveltamiskerralla tavoitteiden muodostaminen oli selkeämpää ja niiden tarkempi käsittely kysymysten avulla suoraviivaisempaa. Huomasimme myös, että usein samoilla visualisoinneilla voidaan vastata useampiin esittämiimme kysymyksiin.
Teksti:
Sanna Kukkasniemi, lehtori & Seppo Nevalainen, lehtori, Karelia-ammattikorkeakoulu