Alueiden välinen harvojen otteiden oppiminen: teoriat, menetelmät ja lähdevapaa paradigma

Perinteiset koneoppimismenetelmät heikkenevät, kun tietojakaumat muuttuvat, erityisesti harvojen näytteiden tilanteissa. Harvojen näytteiden oppiminen yli verkkotunnusten rajojen (cross-domain few-shot learning, CDFSL) pyrkii ratkaisemaan tämän mahdollistamalla mallien yleistymisen uusille luokille ennen näkemättömissä verkkotunnuksissa. Tässä väitöskirjassa tutkitaan CDFSL:ää esittämällä yhtenäinen teoreettinen viitekehys ja kehittämällä uusia menetelmiä tunnistustehtäviin.

Aluksi laajennetaan empiirisen riskin minimointi (Empirical Risk Minimization, ERM) kaksivaiheiseksi optimointikehykseksi, joka huomioi sekä verkkotunnusten sisäiset että väliset haasteet. Tämän mallin perusteella nykyiset CDFSL-menetelmät luokitellaan neljään päätyyppiin: D-laajennus (näytetason augmentointi), ∆-sopeutus (jakaumien yhteensovittaminen), H-rajoite (hypoteesitilan rajoittaminen) ja hybridimenetelmät. Luokittelu luo perustan menetelmien systemaattiselle analyysille ja jatkokehitykselle.

D-laajennuksen osalta esitetään Inter-Source Stylization Network (ISSNet), joka parantaa kohdeverkkotunnuksen yleistymistä rikastamalla sen näytteitä eri tyylien avulla. ISSNet hyödyntää useita merkitsemättömiä apuverkkotunnuksia ja osoittaa, että tyylipohjainen augmentointi lieventää tehokkaasti verkkotunnusten eroja.

∆-sopeutuksessa määritellään uusi ongelmanasettelu: lähdedomainista riippumaton harvojen näytteiden oppiminen (source-free CDFSL, SF-CDFSL), jossa lähdedata ei ole saatavilla. Tätä varten kehitetään Information-Maximized Distance-aware Contrastive Learning (IM-DCL), joka yhdistää etäisyysherkän kontrastisen oppimisen informaation maksimointiin ja mahdollistaa tehokkaan verkkotunnusten sovituksen ilman lähdedataa. Lisäksi H-rajoitteeseen perustuva Step-wise Style Prompt Tuning (StepSPT) rajoittaa hypoteesitilaa ja parantaa oppimisen vakautta. Menetelmä säätää syöttödatan tyylejä oppivien prompttien avulla ja hienosäätää mallia vaiheittain, mikä vähentää ylioppimisen riskiä ja mahdollistaa laajojen esikoulutettujen mallien hyödyntämisen harvoissa ja lähdedatasta riippumattomissa tilanteissa.

Väitöskirja edistää merkittävästi CDFSL-tutkimusta tarjoamalla yhtenäisen teoreettisen kehyksen ja uusia menetelmiä, jotka parantavat mallien robustiutta ja yleistämiskykyä datarajoitteisissa olosuhteissa sekä tukevat sovelluksia lääketieteessä, autonomiassa ja kaukokartoituksessa.