2D-kuvasegmentoinnista 3D-pistepilvisegmentointiin laaja-alaisten ulkomaisemien ymmärtämiseksi

Semanttinen kuvan segmentointi (SiS) ja pistepilven segmentointi (PCS) pyrkivät erottamaan kuvan ja pistepilven johdonmukaisiin ja merkityksellisiin osiin. Molemmilla tehtävillä on tärkeä rooli robotiikassa ja autonomisissa ajoneuvoissa.

Olemassa olevilla SiS-malleilla ei pystytä parantamaan segmentoinnin suoritusky- kyä, eikä niillä täten kyetä tuottamaan tarkoituksellisia epävarmuutta kuvaavia arvoja ilman raskasta laskennallista taakkaa. Väitöskirjassa suunnittelemme uuden edistyksellisen häviöfunktion, hyperbolisen epävarmuushäviön (HyperUL), segmentoinnin suorituskyvyn parantamiseksi hyödyntäen hyperbolisen avaruuden ominaisuutta. Lisäksi kehitämme hyperbolisen epävarmuuden arviointimenetelmän, joka tuottaa merkityksellisiä epävarmuusarvoja mitättömillä laskentakustannuksilla. Laajat kokeelliset tulokset Cityscapes-, UAVid- ja ACDC-aineistoilla osoittavat esitellyn HyperUL- ja epävarmuuden arviointimenetelmän tehokkuuden.

PCS:ssä keskitymme etäisyyskuviin perustuviin malleihin laaja-alaisille ulkotilojen pistepilville. Olemassa olevat mallit eivät pysty tarkoituksen mukaisesti ja tehokkaasti käsittelemään laaja-alaisia ulkotilan pistepilviä. Tässä opinnäytetyössä ehdotamme uutta projektiomenetelmää nimeltään scan unfolding++ (SU++), jolla muunnetaan laaja-alainen ulkotilan pistepilvi etäisyyskuvaksi ja vältetään suuri määrä puuttuvia arvoja. Lisäksi esittelemme interpolointimenetelmän, etäisyysriippuvaisen K-lähimmän naapurin interpoloinnin (KNNI), jolla voidaan täydentää luodun etäisyyskuvan puuttuvia arvoja. Suunnittelemme myös uudet etäisyyskuviin perustuvat neuroverkot, jotka ovat filling missing values network (FMVNet) ja Fast FMVNet, huippuluokan suorituskyvyn saavuttamiseksi. Kehitämme myös uuden jälkikäsittelykomponentin nimeltään trainable pointwise decoder module (PDM) lopullisten pistekohtaisten ennusteiden tarkentamiseksi ja suorituskyvyn parantamiseksi entisestään. Esittelemme myös virtuaalisen etäisyyskuvaohjatun kopioi-kierrä-liitä (VRCrop) -strategian, joka korvaa yleisesti käytetyn kopioi-liitä- ja kopioi-kierrä-liitä-operaation instanssien lisäyksessä opetuksen aikana. Lisäksi esittelemme parannetun VRCrop (VRCrop++) -strategian ja globaalin kopioi-kierrä-liitä (GCrop) -tekniikan segmentointimallien suorituskyvyn parantamiseksi entisestään.