Yksi aineisto, monta näkökulmaa: Kuinka tekoäly ja ihminen luovat yhdessä hybridiälyn tulkitakseen tunteita oppimistilanteessa
Oulun yliopiston LeaF-tutkimusinfrastruktuurin tiloissa odotus on käsin kosketeltavissa. Tutkijatohtori Tiina Törmänen asettelee kamerakulmia samalla kun apulaisprofessori Haoyu Chen hienosäätää videoanalyysijärjestelmää, joka yhdistää tekoälyn suuretkielimallit ja niiden tekemät tulkinnat oppimistilanteesta oppijoiden itsearviointeihin. Tänään alkaa heidän tutkimuksensa multimodaalinen aineistonkeruu. Tässä yhteydessä multimodaalisuus tarkoittaa monimuotoista aineistoa, jota kerätään oppijoiden tilannekohtaisilla itsearvioinneilla sekä tarkastelemalla oppijoiden käytöstä ja hienovaraisia reaktioita, kuten mikroilmeitä ja äänenkäyttöä.
Törmäsen tutkimus tarkastelee, miten tunteet vaikuttavat yhteistyöhön ja kehittyvät oppimisprosessin aikana. Hänen tavoitteenaan on tunnistaa tunneilmaisun ja tunteiden säätelyn merkkejä, jotka voivat auttaa ihmistä luomaan tekoälyn avulla oppimista tukevan ilmapiirin reaaliajassa. Chen hyödyntää samaa dataa kehittääkseen tutkimustaan tekoälyn kyvystä tulkita mikroeleitä ja kehollisia toimintoja. Nämä hienovaraiset liikkeet voivat esimerkiksi paljastaa, mitä oppijat tuntevat ja miten he säätelevät tunteitaan osallistuessaan ryhmätyöhön.
LeaF-tila on järjestetty yhteistoiminnallista oppimistilannetta varten: 20 oppimistieteiden opiskelijaa, jaettuna kuuteen pienryhmään, tulevat työskentelemään projektitehtävien parissa seitsemän oppitunnin ajan. Jokainen 1,5 tunnin työskentelykerta tallennetaan usealla eri tavalla: tilanteesta tallennetaan korkearesoluutioinen video, ääni, oppijoiden digitaalinen toimintajälki oppimisympäristössä sekä oppijoiden omat tilannekohtaiset itsearviot omista tunteistaan sekä ryhmätyöskentelyn etenemisestä. Tutkimuksessa opiskelijat pääsevät myös arvioimaan itse, miten hyvin tekoäly on analysoinut heidän tunteitaan ja käytöstään oppimistehtävän aikana. Yhteensä tutkimus tuottaa noin 63 tuntia yksityiskohtaista, multimodaalista dataa.
Tutkimuksen kehittäneet tutkijat työskentelevät molemmat Oulun yliopiston Hybrid Intelligence -tutkimusohjelmassa. Törmänen, sosiaalisesti jaetun oppimisen säätelyn ja tunteiden vuorovaikutuksen asiantuntija, on suunnitellut tutkimuksen tavoitteenaan analysoida tunteita ja niiden säätelyä oppijoiden välisestä vuorovaikutuksesta. Chen on puolestaan kehittänyt algoritmeja, jotka pystyvät tunnistamaan käyttäytymistä ja hienovaraisia reaktioita, kuten mikroilmeitä ja kehonliikkeitä ryhmän jäsenten välillä, jotka voivat viestiä sekä sitoutumisesta että taustalla olevista tunnetiloista.
Seuraavassa vaiheessa tavoitteena on kehittää analyysimenetelmiä, jotka yhdistävät tekoälypohjaisia multimodaalisia suuria kielimalleja ja ihmisen tulkintaa. Tämän hybridilähestymistavan tavoitteena on tehdä tunteiden ja niiden säätelyprosessien tunnistamisesta yhteistoiminnallisessa oppimisessa tarkempaa, läpinäkyvämpää ja kontekstisidonnaisempaa.
”Tämä on hybridiälyä käytännössä”, Törmänen toteaa seuraten livekuvaa.
Hän korostaa, että multimodaalisten aineistokanavien yhdistäminen parantaa monimutkaisista oppimistilanteista saatavien tulosten luotettavuutta ja syvyyttä.
Chen lisää: ”Jonain päivänä tämä tutkimus voi auttaa oppijoita, opettajia sekä älykkäitä teknologioita vastaamaan oppimisen haasteisiin reaaliajassa. Hybridiäly voi tukea yhdessä oppimista kognitiivisesti, mutta myös emotionaalisesti. Tällaiset työkalut vaativat kuitenkin tarkkaa eettisten periaatteiden ja säännösten huomioimista, jotta esimerkiksi arkaluontoista aineistoa käytetään vastuullisesti.”
Hybrid Intelligence -tutkimusohjelmassa tekoälyn käyttöä lähestytäänkin aidosti ihmiskeskeisesti ja vastuullisesti. Siksi tutkimuksen ytimessä ovat paitsi data-asiantuntijat ja ihmistieteilijät, myös etiikan tutkimus, joka osaltaan ohjaa tutkimuksen tavoitteita ja päätöksentekoa.
LeaF-tutkimusinfrastruktuuri
LeaF on Oulun yliopiston tutkimusinfrastruktuuri, joka tukee multimodaalista eli monimuotoista datankeruuta. Se tarjoaa akustisesti optimoidut ja joustavat tilat monenlaiseen datankeruuseen, mukaan lukien laajennetun todellisuuden sekä katseenseurannan datan. LeaF on erikoistunut video-, ääni- ja biosensorimittauksiin niin ihmistenvälisessä kuin ihmisen ja teknologian vuorovaikutuksessa sekä oppimistutkimuksessa. LeaFin tilat ovat avoinna kaikille Oulun yliopiston tutkijoille.