– Bilder är effektiva för kommunikation, de metoder vi använder efterliknar hur vi människor uppfattar omgivningen och känner igen var vi är, säger Bertil Grelsson, nybliven doktor vid avdelningen för Datorseende där han verkat som industridoktorand de senaste åren.
Hans avhandling handlar om hur farkoster, flygande och flytande, kan navigera och veta var de är i såväl öppna landskap som i skärgården - utanför städernas välordnade och väl dokumenterade gatusystem. Forskningen är såväl en pusselbit inom det stora WASP-programmet kring autonoma system som en del av teknikutvecklingen för Saabs produkter.
Bertil Grelsson ser ett stort värde i att testa sitt system under verkliga förhållanden– Syftet med hela doktorandarbetet var dels att bidra med ett av flera hjälpmedel som gör navigation till sjöss och i luften allt säkrare och dels att lyfta kompetensen inom neurala nätverk vid Saab, säger han.
Säker navigering är också det han ska fortsätta att arbeta med när han inom kort är tillbaka på Saab på heltid.
– Två av de tekniker jag har studerat är tillräckligt robusta och exakta för att användas för navigering ombord på exempelvis ett flygplan. Med forskningskoden är vi nu bara en faktor två till tre ifrån att kunna avgöra positionen i realtid, vilket är en stor förbättring jämfört med tekniker vi tidigare tittat på. Nu återstår att arbeta vidare med koden så att vi kan ange positionen i realtid.
Noggrannhet i meter
Det betyder att båten eller flygplanet kan räkna ut på vilka koordinater det befinner sig i detta nu, med en noggrannhet på några meter.
För en av artiklarna i avhandlingen samlade han in material i samband med den stora uppvisningen WASP-programmets arena (Wallenberg AI Autonomous Systems and Software Program) WARA höll i Västervik i september 2018.
En Piraya-båt körde runt med en 360-graders kamera och tog bilder av horisonten. Båten kränger vilket ger en vågig bild, en bild som dock är möjlig att räta ut med hjälp av matematiska algoritmer. 36 000 bilder i timmen samlade Bertil Grelsson in, bilder som sedan har fungerat som träningsdata för att det neurala nätverket i datorn ska lära sig känna igen omgivningarna. Informationen i bilderna matchas också mot kända geografiska data, som höjdkurvor.
– Det vi gjorde i Västervik var nog det viktigaste vetenskapliga bidraget i avhandlingen. Vi kombinerade ett faltningsnätverk, en typ av neuralt nätverk där vi snabbt kunde segmentera fram horisonten, med en matchning mot tillgängliga geografiska data, höjdkurvor med mera. Vi kunde snabbt räkna fram hur horisonten borde se ut om jag befann mig i en viss position, säger han.
Även en fish-eye kamera fungerar
I en annan artikel i avhandlingen har han studerat hur bilder från en fisheye-kamera monterad på ett flygplan kan användas på liknande sätt.
Här jämförs bildens koordinater med världskoordinaterna sedan man först kalibrerat kameran med hjälp av schackrutor med exakta mått för att kunna kompensera för brytningen i objektivet.
– Även här kan vi matcha horisonten med kända höjdkurvor. Där horisonten ligger långt bort kan höjdvariationerna i terrängen vara mindre än en enda pixel, men det räcker eftersom man ser en stor del av horisonten i en fisheye-kamera. Här måste vi också i beräkningarna ta hänsyn till att strålbanan kröks på långa avstånd. Det ger lite mer intressant matematik men även den här metoden fungerar rent praktiskt som en av många hjälpmedel för navigering ombord, säger han.
För flera olika metoder behövs, kameror gör inte så stor nytta i dis, dimma och tjocka. Här behövs radar. Även GPS kan användas, men i ett krisläge är det inte alls otroligt att de signalerna slås ut eller manipuleras och då kan bilder vara räddningen.
Vision-based Localization and Attitude Estimation Methods in Natural Environments, Bertil Grelsson, Institutionen för systemteknik, Datorseende, Linköpings universitet 2019.
Handledare professor Michael Felsberg.
