Kasvojen hienovaraisten yksityiskohtien havainnointi

Ihmiskasvot paljastavat runsaasti tietoa, kuten henkilöllisyyden, aikomukset ja emotionaaliset tilat. Ihminen on poikkeuksellisen taitava kasvojen tulkitsija: pystymme erottamaan ilmeet hienovaraisista kasvojen liikkeistä ja tunnistamaan yksilöitä kasvonpiirteiden pienistäkin eroista. Pienimmilläkin eroavaisuuksilla kasvoissa voi olla hyvin suuret vaikutukset sekä henkilön identiteettiin että ilmeiden merkitykseen. Tässä väitöskirjassa tutkitaan kasvojen hienovaraisia yksityiskohtia sekä luokittelevien että generatiivisten koneoppimismenetelmien avulla.

Luokittelevat menetelmät pyrkivät ryhmittelemään syötteen ennalta määriteltyihin luokkiin. Tässä väitöskirjassa luokittelun kohteena ovat videoista tunnistettavat mikroilmeet. Mikroilmeet ovat nopeita, tahattomia ja hienovaraisia kasvojen lihasliikkeitä. Näiden piirteiden vuoksi niiden havaitseminen on haastavaa myös ihmisille, mikä on motivoinut automaattisten tunnistusmenetelmien kehittämistä. Väitöskirjassa analysoidaan mikroilmeiden kompleksisuutta perusteellisesti, keskittyen kahteen keskeiseen haasteeseen: (1) Mikroilmeiden tunnistusmenetelmien evaluoinnissa esiintyvä datan vuoto sekä käytettyjen metriikoiden vaihtelu, jotka voivat johtaa harhaanjohtaviin tulkintoihin menetelmien suorituskyvystä. (2) Video- ja kuvainformaation merkitys mikroilmeiden analyysissä.

Generatiiviset menetelmät vastaavasti tuottavat uutta dataa – tässä väitöskirjassa erityisesti keskittyen kasvokuviin. Väitöskirjassa keskitytään erityisesti kahteen sovellukseen: kasvojen restaurointiin ja animaatioon. (1) Ihmiset ovat äärimmäisen herkkiä kasvojen pienille muutoksille, jotka voivat vaikuttaa havaittuun identiteettiin. Personoimalla kasvojen restaurointimalli yksilökohtaisesti on mahdollista säilyttää identiteetti luotettavasti, jopa erittäin heikkolaatuisissa olosuhteissa. (2) Kasvojen animaatiota varten kehitetään malli, joka mahdollistaa yksityiskohtaisen kasvojen lihasliikkeiden kontrollin generoinnissa.