Koneoppiminen audiovisuaalisen sukulaisuuden todentamiseen

Väitöstilaisuuden tiedot

Väitöstilaisuuden päivämäärä ja aika

Väitöstilaisuuden paikka

IT116, Linnanmaa

Väitöksen aihe

Koneoppiminen audiovisuaalisen sukulaisuuden todentamiseen

Väittelijä

Master of Science Xiaoting Wu

Tiedekunta ja yksikkö

Oulun yliopiston tutkijakoulu, Tieto- ja sähkötekniikan tiedekunta, Konenäön ja signaalianalyysin tutkimuskeskus (CMVS)

Oppiaine

Tietojenkäsittelytiede

Vastaväittäjä

Professori Karen Eguiazarian, Tampereen yliopisto

Kustos

Apulaisprofessori Miguel Bordallo López, Oulun yliopisto

Lisää tapahtuma kalenteriin

Koneoppiminen audiovisuaalisen sukulaisuuden todentamiseen

Ihmiskasvot näyttävät implisiittisesti perhesidonnaisuuden, mikä osoittaa biologisesti sukua olevien ihmisten koettua kasvojen samankaltaisuutta. Psykologiset tutkimukset havaitsivat, että ihmisillä on kyky erottaa vanhempi-lapsi-parit toisistaan riippumattomista pareista pelkästään kasvojen kuvien avulla. Tämän löydön innoittamana automaattinen kasvojen sukulaisuuden todentaminen on syntynyt tietokonenäön ja hahmontunnistuksen alalla, ja monia kehittyneitä laskennallisia malleja on kehitetty arvioimaan kasvojen samankaltaisuutta sukulaisparien välillä. Verrattuna ihmisen havainnointikykyyn automaattiset sukulaisuuden todentamismenetelmät voivat tehokkaasti ja objektiivisesti havaita hienovaraisia sukulaisyhteyksiä, kuten kasvojen muotoa ja ihonväriä. Vaikka monia ponnisteluja on tehty pyrkimyksenä parantaa ihmiskasvojen todentamista, sukulaisuuden todentamisen multimodaalista tutkimista ei ole käsitelty kunnolla.

Tässä väitöstutkimuksessa ehdotetaan ensimmäistä kertaa ihmiskasvojen ja äänen yhdistämistä sukulaisuuden todentamiseksi tavalla, jota kutsutaan audiovisuaaliseksi sukulaisuustodentamiseksi. Näin luodaan ensimmäiset kattavat audiovisuaaliset sukulaisuustietojoukot, jotka koostuvat useista videoista, joissa esiintyy kameralle puhuvia sukulaisia. Näillä äskettäin kerätyillä tietojoukoilla tehdään laajoja kokeita, joissa kuvataan yksityiskohtaisesti sekä äänten että visuaalisten modaliteettien vertailevaa suorituskykyä ja niiden yhdistelmää käyttämällä uusia syvän oppimisen fuusiomenetelmiä. Kokeelliset tulokset osoittavat ehdotettujen menetelmien tehokkuuden ja sen, että ääni ja ääni-informaatio on täydentävää ja hyödyllistä sukulaisuuden todentamisongelmassa.
Viimeksi päivitetty: 11.10.2022