Oppimiseen perustuva ihmisen toimintojen ja affektiivinen eleiden analyysi

Väitöstilaisuuden tiedot

Väitöstilaisuuden päivämäärä ja aika

Väitöstilaisuuden paikka

Etäyhteys (linkki alempana)

Väitöksen aihe

Oppimiseen perustuva ihmisen toimintojen ja affektiivinen eleiden analyysi

Väittelijä

Filosofian maisteri Henglin Shi

Tiedekunta ja yksikkö

Oulun yliopiston tutkijakoulu, Tieto- ja sähkötekniikan tiedekunta, Konenäön ja signaalianalyysin tutkimuskeskus

Oppiaine

Tietotekniikka

Vastaväittäjä

Apulaisprofessori Giovanna Varni, Trenton yliopisto

Kustos

Akatemiaprofessori Guoying Zhao, Oulun yliopisto

Vieraile väitöstilaisuudessa

Lisää tapahtuma kalenteriin

Toiminnan ja tunteiden ymmärtäminen ihmiskehon eleistä tietokonenäön ja koneoppimistekniikoiden avulla

Ihmisen käyttäytymisen ymmärtäminen on olennainen kyky sovellusten ja teknologioiden kehitykseen, jotka auttavat päivittäisessä elämässä ja töissä. Koneiden oletetaan ymmärtävän kattavasti sekä ihmisen toimintoja että tunteita. Tässä väitöskirjassa tutkitaan konenäön ja -oppimisen tekniikoita ihmisen käyttäytymisen analysointiin. Tutkimus tehtiin kolmessa peräkkäisessä vaiheessa: (1) ihmisen toimintojen tunnistus eleiden avulla; (2) ihmisen affektiivinen eleiden tunnistaminen; ja (3) ihmisen eleiden ajallinen tunnistaminen.

Ensimmäiseksi väitöskirjassa tutkittiin robustia ihmisen toimintojen tunnistusta käyttäen luurankodataa. Laajamittainen luurankodatan talteenotto pienillä kustannuksilla on tehnyt siitä suositun viime aikoina. Automaattisesti kerätyn luurankodatan luotettavuus on kuitenkin huolenaihe mahdollisten epätarkkuuksien vuoksi kuten vaihteleva valaistus, näköesteet ja niin edelleen. Ongelman korjaamiseksi kehitettiin kaksi kohinan kestävää luurankodataan perustuvaa toiminnontunnistusmenetelmää.

Toiseksi väitöskirjassa tutkittiin ihmisen tunteiden ymmärtämistä kehon eleistä. Tunteiden tunnistamiseen kehon eleistä kehitettiin graafikonvoluutiomalli, joka pystyy tehokkaasti mallintamaan ajallista vaihtelua. Sen lisäksi tutkittiin mikroeleiden tunnistamista tukahdettujen tunteiden tunnistamiseen. Näiden seurauksena kerättiin multimodaalinen mikroeleiden tietokanta ja kehitettiin ohjaamattoman oppimisen mikroeleidentunnistusmenetelmä.

Lopuksi väitöskirjassa tutkittiin ihmisen eleiden ajallista tunnistamista. Käytännön tilanteissa videoissa voi olla mielivaltainen määrä eleitä ja niiden aloitus- ja lopetusajankohdat ovat tietämättömiä. Tämän seurauksena pelkkä eleiden tunnistustekniikka ei riitä. Tähän kehitetetty eleidentunnistin pystyy samanaikaisesti tunnistamaan sekä eleiden ajanhetket että tyypit.

Väitöskirjan viimeisessä kappaleessa keskustellaan työn vaikutuksista ja rajoitteista. Lisäksi keskustellaan tulevaisuuden tutkimussuunnista eleiden analyysiin ja niiden sovelluksista ihmisen toiminnon analyysiin ja tunteiden ymmärtämiseen.
Viimeksi päivitetty: 12.1.2023