perjantaina 14. joulukuuta 2018

Tekoäly ja uudet aineistolähteet avuksi muutoksen hallintaan

Millaista on tekoälyn hyödyntäminen työelämätutkimuksessa? Tässä TYHIS-blogisarjan osassa kuvataan konkreettisesti, kuinka tutkijat louhivat opettajien digitaalisista jalanjäljistä tietoa viikkokäytännöistä. Ja ne voivat kertoa työhyvinvoinnin kannalta tärkeää sanomaa.

Mitä enemmän työtä tehdään digitaalisesti – järjestelmien ja alustojen avulla – sitä enemmän työstä saadaan tietoa järjestelmiin jäävän digitaalisen jalanjäljen avulla. Digitaalisesta jalanjäljestä saadaan massadataa, josta voidaan louhia työhyvinvointia tukevaa tietoa tekoälyn avulla.

Tässä Tyhis-blogisarjan osassa kerron tarkemmin käytännön tutkimustyöstä tekoälyä hyödyntäen. Aineistona on erään AMK:n opettajien Moodleen kertynyt data. Aineistosta ja massadatasta kerroin edellisessä blogissa.

Eli viikosta toiseen vaihtuvista tilanteista saadaan käytäntötietoa, joka on peräisin työpaikan olemassa olevasta työn suunnittelusta ja toteutuksesta ja joka on heti sovellettavaa ja hyödynnettävä tietoa. Jos jotkin viikkokäytännöt, peräkkäiset viikot tai ajankohdat nousevat merkityksellisiksi suhteessa esim. poissaoloihin, on henkilöstön ja johdon mahdollisuus suunnitella ja toteuttaa työtä paremmin.

On mielenkiintoista, miten muutosta voidaan tutkia nyt aivan uudella tavalla, kuten viikkotason tapahtumina, eikä esimerkiksi kerran vuodessa yleisenä kysymyksenä muutoksesta osana kyselytutkimusta.

Katsotaanpa siis, miten louhimme data-tieteilijä Jussi Korpelan kanssa 12 viikkokäytäntöä Moodle-datasta hyödyntämällä tekoälyä:

1. Tunnistetaan Moodlen kohdetoimintoparit

Yksittäistä Moodle-järjestelmässä tehtyä tekoa kuvataan kohdetoiminto-parina, kuten yhteydenpitoon viittaavat kohdetoiminnot message_viewed ja message_sent, joilla on aikaleima. TYHIS-hankkeen aineistossa Moodlen avulla tehtiin 185 erilaista opetustyöhön liittyvää tekoa eli kohdetoimintoa.

Moodlen eniten käytetyt (30 000 – 190 000 kertaa) kohdetoimintoparit liittyivät mm. arviointiin, tehtävästatuksen seurantaan ja yhteydenpitoon.

grading_table_viewed
grading_form_viewed
submission_status_viewed
message_viewed
message_sent
discussion_viewed
course_module_updated
user_graded

TYHIS-hankkeessa 400 opettajaa (vakituisia, määräaikaisia, tuntiopettajaa) käytti Moodlen kohdetoimintopareja 63 viikon aikana yhteensä 2,8 miljoonaa kertaa, mikä muodosti yhteisen digitaalisen jalanjäljen.

Kuva: Moodlen käyttöaktiivisuus viikonpäivien ja kellon ajan mukaan

Moodlen käyttöaktiivisuuden perusteella opetustyö sijoittuu arkipäivinä pääasiassa klo 07:00-17:00 väliselle ajalle. Myös lauantaina ja sunnuntaina työskennellään. Iltatyötä tehdään maanataista-torstaihin yhtä paljon, perjantaina tätä vähemmän ja lauantaina vähiten. Sunnuntai-iltana työskennellään jotakuinkin alkuviikon tasolla.

2. Analysoidaan Moodlen jalanjälkitietoa

Moodlen jalanjälkitietoa analysoitiin kahdessa vaiheessa tavoitteena tunnistaa yleisiä yhteisiä viikkotason käytäntöjä.

Ensin aihemallinnuksen (topic modelling) avulla määriteltiin 25 Moodlen käytön yleistä piirrettä 185 kohdetoimintoparin joukosta. Yksittäinen piirre voi koostua yhdestä, kahdesta tai kolmesta kohdetoimintoparista, kuten submission_status_viewed & grading_table_viewed, joka viittaa tehtävästatuksen ja arviointitaulukon tarkasteluun.

Piirteiden viikoittaista ”yhdessä kulkemista” analysoitiin ohjaamattoman koneoppimisen (unsupervised machine learning) avulla, jossa algoritmi vertailee jokaisen open jokaisen viikon piirreyhdistelmää keskenään. Näin tunnistettiin 12 erilaista viikkokäytäntöä.

Ohjaamaton koneoppiminen tapahtui usean vaiheen kautta. Datan järjestämiseen, rajaamiseen, aihemallinnukseen sekä ohjaamattoman koneoppimisen tekemiseen tarvittiin paljon data-tieteilijän osaamista.

Algoritmi vertailee opettajien uniikkeja viikoittaisia piirreyhdistelmiä toisiinsa.

Algoritmi jaksaa:

  • käydä jokaisella viikolla (63)
  • jokaisen open luona (400)
  • katsomassa hänen piirreyhdistelmiä väsymättä uudestaan ja uudestaan
  • tehdä piirreyhdistelmistä vertailua
  • yhdistää samanlaiset piirreyhdistelmät omiin ryhmiinsä niin, että ryhmät eroavat toisistaan mahdollisimman paljon.

Näin tunnistettiin alustavasti 12 ryhmää, jotka ovat yleisiä yhteisiä viikkokäytäntöjä. Tutkija ei kykenisi tekemään vastaava vertailua.

3. Nimetään viikkokäytännöt

Nimesin viikkokäytännöt useimmin käytettyjen piirteiden mukaan. Viikkokäytännöissä nimittäin jotkin piirteet esiintyvät useammin kuin toiset ja osa piirteistä toteutuu pienellä osuudella tai ei ollenkaan. Sellaiset viikkokäytännöt, joita toteutetaan harvoin tai jotka ovat hyvin opettaja- ja viikkokohtaisia, ja joilla ei ole yhteistä muiden viikkokäytäntöjen kanssa, jäävät tässä analyysitavassa ”pimentoon”.

Moodle-aineiston avulla tutkitaan varsinaisen opettamisen, kuten luennon, ulkopuolelle jäävää opetustyön osuutta.

Ryhmittelin viikkokäytännöt viiteen kokonaisuuteen. Opetustyön Moodlen viikkokäytännöt voivat kohdistua 1) kursseihin, 2) arviontiin, 3) osallistumiseen, 4) aikatauluihin ja 5) seurantaan.

  • KURSSIT: Kursseihin kohdistuvassa toiminnassa tunnistettiin kaksi selkeää käytäntöä ja yksi selvittelyä ja järjestelyä sisältävä käytäntö. Kurssimoduulin päivittäminen ja poistaminen olivat selvärajaisia käytäntöjä. Kurssin muuttaminen -käytännössä oli monenlaista Moodle-tekemistä mukana. Kursseja päivitettiin ja luotiin, arviointia ja tehtävästatusta seurattiin, viestejä tarkasteltiin ja lähetettiin sekä tehtiin arviointeja.
  • ARVIOINTI: Arviointiin kohdistuvassa toiminnassa tunnistettiin yksi selkeä käytäntö ja kaksi selvittelyä ja järjestelyä sisältävää käytäntöä. Tehtävän ja opiskelijan arviointi oli selvärajainen käytäntö. Arvioitavuuden päivittämiseen liittyi lisäksi yhteydenpitoa ja keskustelua. Tentin arviointi -käytäntöön liittyi lisäksi kurssimuutosta ja tietolähteiden tarkastelua ja yhteydenpitoa.
  • OSALLISTUMINEN: Osallistumiseen kohdistuvassa toiminnassa tunnistettiin kaksi selkeää käytäntöä: läsnä olevaksi hyväksyminen ja listojen seuranta.
  • AIKATAULU: Aikatauluun kohdistuvassa toiminnassa tunnistettiin aikataulumuutos -käytäntö. Muutokseen liittyi myös kurssimoduulin päivitystä ja viestittelyä.
  • SEURANTA: Seurantaa tehtiin kolmella käytännöllä. Tehtiin viesti-, ja keskusteluseurantaa sekä oppimisesta kertovien tietolähteiden seurantaa.

Miten tätä tulkitaan?

Viikkokäytäntöjä voisi tällä hetkellä tulkita niin, että yhteydenpito, viesti- ja keskusteluseuranta sekä oppimisesta kertovien tietolähteiden seuranta ovat käytäntöjä, joita voisi nimetä ”status”-seurannaksi. ”Status”-seurannan avulla ollaan jatkuvasti tietoisia erilaisista tilanteista ja oppimisesta tavoitteena optimaalisesti suunnitella ja toteuttaa kursseja ja arviointia.

”Status” -seuranta-käytäntö voisi olla myös keino ennakoida yllättäviä tilanteita ja valmistautua muuttamaan toimintaa. Ennakointi puolestaan edustaa työhyvinvointia tukevaa käytäntöä ja voi olla yhteydessä vähäisen poissaolon ajanjaksoihin.

TYHIS-hankkeessa tarkastelemme seuraavaksi, miten viikkokäytännöt ja käytäntöketjut sijoittuvat vuoden ajanjaksolle sekä tutkimme viikkokäytäntöjen yhteyttä erilaisiin poissaoloihin, joista kerromme kevään blogeissa.

Haluan kuvata prosessia tarkasti, sillä tämä käytäntöjen tutkimus digitaalista jalanjälkeä ja tekoälyä hyödyntäen on uusi ja haastava näkökulma työelämätutkimukseen.

Kirjoitus on osa työdata-aiheista blogisarjaa. Aiemmin ilmestyneet:

Työdatan hiljaiset signaalit: mahdollisuuksien meri

Mitä on datalähtöinen työn ja käytäntöjen tutkimus?

14.12.2018