Konenäkö korvaa asiantuntijan läsnäolon - Oulun yliopiston kehittämä lisätyn todellisuuden teknologia voi opastaa kohta kohdalta vaikka korjaamaan tietokoneen
Oulun yliopistolla on kehitetty AR-avusteiseen työtehtävien opastukseen keskittyvä sovellus, joka mahdollistaa erityisosaamista vaativien tehtävien suorittamisen itsenäisesti ilman asiantuntijan läsnäoloa. Sovellus toimii siten, että asiantuntija laatii aluksi ohjeet työtehtävän suorittamiseen hyödyntämällä kohteena olevasta laitteistosta 3D-skannaustekniikalla tuotettua digitaalista kaksosta ja siihen lisättäviä graafisia opasteita kuten nuolia ja tekstilaatikoita. Ohjeita voi olla useita eri tehtävien suorittamiseen, ja laitevalmistaja voi laatia ne etukäteen. Varsinainen mobiilisovellus toimii siten, että käyttäjä lataa ohjekirjastosta kyseiseen tehtävään tarvittavat ohjeet eli eräänlaisen manuaalin, jonka hän voi sitten toistaa mobiililaitteen näytöllä askel kerrallaan. Ohjeet piirtyvät laitteen päälle AR-teknologian avulla.
“AR-avusteista opastusta on kyllä tutkittu maailmalla ja kaupallisia sovelluksiakin on olemassa, mutta ne tyypillisesti edellyttävät asiantuntijan läsnäoloa ja vuorovaikutusta käyttäjän kanssa, kun taas meidän esittämä ratkaisu mahdollistaa työtehtävän suorittamisen itsenäisesti ilman henkilökohtaista ohjausta. Sovellusta voisi verrata lisätyn todellisuuden monin verroin tarkemmaksi versioksi suosituista tutorial-videoista, joita moni käyttää, kun pitää tehdä jotain, mihin oma asiantuntemus ei riitä”, kertoo konenäön ja signaalianalyysin professori Janne Heikkilä Oulun yliopistolta.
Kehitystyö on Heikkilän mukaan vielä kesken ja tällä hetkellä sovellusta voidaan käyttää lähinnä teknologian demonstroimiseen yksinkertaisilla tehtävillä. Jatkossa on kuitenkin tarkoitus julkaista avoimen lähdekoodin toteutus, joka pitää sisällään kaikki olennaiset työkalut.
Tällöin periaatteessa kuka tahansa voi muodostaa digitaalisen kaksosen käyttökohteesta, laatia ohjeet esimerkiksi tarvittavien huolto- tai korjaustoimenpiteiden tekemiseen, ja hyödyntää mobiilisovellusta niiden toistamiseen todellisessa käyttöympäristössä. Tällöin vaikka pyörän laakereiden vaihto voisi onnistua sovelluksen avulla helposti, kun ohje olisi pyörävalmistajan laatima juuri kyseiselle pyörämallille.
“Jatkossa keskitymme etenkin tekoälyn hyödyntämiseen ohjeiden laatimisessa, mikä tekee siitä vaivattomampaa ja vähentää asiantuntijatyön määrää. Myös mobiilisovellus edellyttää vielä paljon kehitystyötä, jotta siitä saadaan käyttäjäystävällinen. Lisäksi on tarkoitus mahdollistaa AR- tai XR-lasien käyttö, jolloin päästään eroon siitä, että mobiililaitetta on pidettävä kädessä”, kertoo Heikkilä.
Ensimmäinen demoversio on rakentunut nopeasti, sillä projekti pohjaa jo olemassa oleville vahvuuksille niin Oulun yliopiston kuin Keski-Ruotsin yliopiston tutkimuksessa.
"Projektissa yhdistyy yliopistomme vuosien kokemus kuvapohjaisesta 3D-rekonstruktiosta ja alan viimeaikainen kehitys, jonka ansiosta digitaaliset kaksoset ovat entistä tarkempia, kertoo IMMERSEn Oulun projektipäällikkö tutkija Janne Mustaniemi.
IMMERSE-projektin tarkoitus on edistää etätyöskentelyä ja -operointia käyttämällä immersiivisiä laajennetun todellisuuden teknologioita vastaamaan pohjoisten alueiden ainutlaatuisiin haasteisiin ja osaamispulaan. Hankkeen hyödyntäjiä ovat ensi sijassa kaivos-, metsä- ja valmistusteollisuuden organisaatiot, joiden liiketoiminnan tehokkuutta ja työturvallisuutta uusi teknologia parantaa. IMMERSE on suomalaisen ja ruotsalaisen osaamisen yhteisponnistus, Interreg Aurora -rahoitteinen yhteishanke Keski-Ruotsin yliopiston kanssa (Mid Sweden University), joka alkoi elokuussa 2024.
Kuvassa IMMERSE-työryhmää sovelluksen demonäkymän läpi kuvattuna vasemmalta oikealle: liiketoiminnan kehittämispäällikkö Janne Haverinen Oulun yliopistolta, tutkija Mohammadreza Shamshirgarha Keski-Ruotsin yliopistolta, apulaisprofessori Emin Zerman Keski-Ruotsin yliopistolta, professori Mårten Sjöström, Keski-Ruotsin yliopistolta(keskellä), tutkija Janne Mustaniemi, Oulun yliopistolta, professori Janne Heikkilä Oulun yliopistolta ja tutkija Ahmed Alhawwary Oulun yliopistolta.