Fysiologisten signaalien mittaus ja huijauksen tunnistus kasvovideosta

Ihmiskasvot sisältävät runsaasti biometrisiä ja fysiologisia vihjeitä, mikä mahdollistaa identiteetin tunnistamisen ja fysiologisen tilan seurannan kasvovideosta. Toisaalta kasvojen ihon hienovaraiset värimuutokset voivat paljastaa tärkeää tietoa yksilöiden sydämen sykkeestä, jonka perusteella voidaan mitata signaaleja etäfotopletysmografian (rPPG) keinoin. Tietokonenäön avulla fysiologiset signaalit voidaan rekonstruoida kasvovideoista laboratorio-olosuhteissa. Toisaalta kasvojen väärentämisen torjunta (face anti-spoofing, FAS) on oleellista biometrisen-turvallisuuden kannalta, koska kasvojentunnistusjärjestelmät ovat alttiita väärien kasvokuvien käytölle.

Opinnäytetyön ensimmäisessä osassa esitellään kolme päästä päähän ajallis-paikallista mallia rPPG-signaalien luotettavaa palautumista varten. Sekä paikan että ajan pohjalta saatavien tehokkaiden kontekstuaalisten vihjeiden hyödyntämiseksi ehdotetaan useita käsin laadittuja ja automaattisesti haettuja ajallis-paikallisia verkkoja. Lisäksi rPPG-signaalien tarkkaa palautumista varten ehdotetaan Pearsonin korrelaatiokertoimeen perustuvia negatiivisen ajallisen häviön ja ristientropiaan perustuvia taajuuden rajoitteita sekä rPPG-lukemiin perustuvaa lisävalvontaa (esim. ihon segmentointi).

Väitöstyön toisessa osassa esitellään seitsemän syväoppimiseen perustuvaa FAS-menetelmää, joilla ratkaistaan sisäisten väärennöksen piirteiden ongelma, mikä on ratkaisevan tärkeää todellisessa käyttöönotossa ennennäkemättömissä tilanteissa ja hyökkäystyypeissä. Toisaalta uudet konvolutionaaliset operaattorit ja verkot on suunniteltu yleistetyille, kevyille ja multimodaalisille FAS-järjestelmille. Toisaalta ehdotetaan useiden materiaalipohjaisten, pikselikohtaisten valvontasignaalien (esim. syvyys ja heijastuminen) käyttöä kehittyneellä pyramidivalvontastrategialla.

Lopuksi, koska on näyttöä siitä, että kasvomaskin kaltaiset väärennökset eivät voi heijastaa sydämen sykettä, ehdotetaan uudenlaista kasvojen rPPG-pohjaista menetelmää, jossa käytetään vision transformer -tietokonenäköteknologiaa, jotta voidaan irrottaa erottelevia, jaksoittaisia elävyysvihjeitä haastavien 3D-maskien avulla tehtyjen huijausyritysten havaitsemiseksi.