Oppimiseen perustuva ihmisen toimintojen ja affektiivinen eleiden analyysi
Väitöstilaisuuden tiedot
Väitöstilaisuuden päivämäärä ja aika
Väitöstilaisuuden paikka
Etäyhteys (linkki alempana)
Väitöksen aihe
Oppimiseen perustuva ihmisen toimintojen ja affektiivinen eleiden analyysi
Väittelijä
Filosofian maisteri Henglin Shi
Tiedekunta ja yksikkö
Oulun yliopiston tutkijakoulu, Tieto- ja sähkötekniikan tiedekunta, Konenäön ja signaalianalyysin tutkimuskeskus
Oppiaine
Tietotekniikka
Vastaväittäjä
Apulaisprofessori Giovanna Varni, Trenton yliopisto
Kustos
Akatemiaprofessori Guoying Zhao, Oulun yliopisto
Toiminnan ja tunteiden ymmärtäminen ihmiskehon eleistä tietokonenäön ja koneoppimistekniikoiden avulla
Ihmisen käyttäytymisen ymmärtäminen on olennainen kyky sovellusten ja teknologioiden kehitykseen, jotka auttavat päivittäisessä elämässä ja töissä. Koneiden oletetaan ymmärtävän kattavasti sekä ihmisen toimintoja että tunteita. Tässä väitöskirjassa tutkitaan konenäön ja -oppimisen tekniikoita ihmisen käyttäytymisen analysointiin. Tutkimus tehtiin kolmessa peräkkäisessä vaiheessa: (1) ihmisen toimintojen tunnistus eleiden avulla; (2) ihmisen affektiivinen eleiden tunnistaminen; ja (3) ihmisen eleiden ajallinen tunnistaminen.
Ensimmäiseksi väitöskirjassa tutkittiin robustia ihmisen toimintojen tunnistusta käyttäen luurankodataa. Laajamittainen luurankodatan talteenotto pienillä kustannuksilla on tehnyt siitä suositun viime aikoina. Automaattisesti kerätyn luurankodatan luotettavuus on kuitenkin huolenaihe mahdollisten epätarkkuuksien vuoksi kuten vaihteleva valaistus, näköesteet ja niin edelleen. Ongelman korjaamiseksi kehitettiin kaksi kohinan kestävää luurankodataan perustuvaa toiminnontunnistusmenetelmää.
Toiseksi väitöskirjassa tutkittiin ihmisen tunteiden ymmärtämistä kehon eleistä. Tunteiden tunnistamiseen kehon eleistä kehitettiin graafikonvoluutiomalli, joka pystyy tehokkaasti mallintamaan ajallista vaihtelua. Sen lisäksi tutkittiin mikroeleiden tunnistamista tukahdettujen tunteiden tunnistamiseen. Näiden seurauksena kerättiin multimodaalinen mikroeleiden tietokanta ja kehitettiin ohjaamattoman oppimisen mikroeleidentunnistusmenetelmä.
Lopuksi väitöskirjassa tutkittiin ihmisen eleiden ajallista tunnistamista. Käytännön tilanteissa videoissa voi olla mielivaltainen määrä eleitä ja niiden aloitus- ja lopetusajankohdat ovat tietämättömiä. Tämän seurauksena pelkkä eleiden tunnistustekniikka ei riitä. Tähän kehitetetty eleidentunnistin pystyy samanaikaisesti tunnistamaan sekä eleiden ajanhetket että tyypit.
Väitöskirjan viimeisessä kappaleessa keskustellaan työn vaikutuksista ja rajoitteista. Lisäksi keskustellaan tulevaisuuden tutkimussuunnista eleiden analyysiin ja niiden sovelluksista ihmisen toiminnon analyysiin ja tunteiden ymmärtämiseen.
Ensimmäiseksi väitöskirjassa tutkittiin robustia ihmisen toimintojen tunnistusta käyttäen luurankodataa. Laajamittainen luurankodatan talteenotto pienillä kustannuksilla on tehnyt siitä suositun viime aikoina. Automaattisesti kerätyn luurankodatan luotettavuus on kuitenkin huolenaihe mahdollisten epätarkkuuksien vuoksi kuten vaihteleva valaistus, näköesteet ja niin edelleen. Ongelman korjaamiseksi kehitettiin kaksi kohinan kestävää luurankodataan perustuvaa toiminnontunnistusmenetelmää.
Toiseksi väitöskirjassa tutkittiin ihmisen tunteiden ymmärtämistä kehon eleistä. Tunteiden tunnistamiseen kehon eleistä kehitettiin graafikonvoluutiomalli, joka pystyy tehokkaasti mallintamaan ajallista vaihtelua. Sen lisäksi tutkittiin mikroeleiden tunnistamista tukahdettujen tunteiden tunnistamiseen. Näiden seurauksena kerättiin multimodaalinen mikroeleiden tietokanta ja kehitettiin ohjaamattoman oppimisen mikroeleidentunnistusmenetelmä.
Lopuksi väitöskirjassa tutkittiin ihmisen eleiden ajallista tunnistamista. Käytännön tilanteissa videoissa voi olla mielivaltainen määrä eleitä ja niiden aloitus- ja lopetusajankohdat ovat tietämättömiä. Tämän seurauksena pelkkä eleiden tunnistustekniikka ei riitä. Tähän kehitetetty eleidentunnistin pystyy samanaikaisesti tunnistamaan sekä eleiden ajanhetket että tyypit.
Väitöskirjan viimeisessä kappaleessa keskustellaan työn vaikutuksista ja rajoitteista. Lisäksi keskustellaan tulevaisuuden tutkimussuunnista eleiden analyysiin ja niiden sovelluksista ihmisen toiminnon analyysiin ja tunteiden ymmärtämiseen.
Viimeksi päivitetty: 1.3.2023