LiU-forskning i datorseende ger tusentals citeringar

Datorseende är ett forskningsområde som är hetare än någonsin, det beror såväl på ett ökat fokus på självkörande bilar som på ett nyvaknat intresse för artificiell intelligens och maskininlärning. Datorseende som teknik har sedan några år också flyttat ut från forskningslabben till praktisk användning: I bilar för att upptäcka uppdykande fotgängare eller vägskyltar, i flygande farkoster som söker nödställda människor i katastrofområden och i mobiltelefonens kamera som automatiskt fokuserar på ett ansikte om ett sådant finns i bilden, för att bara ta några exempel.

Teoretiskt men användbart

Martin Danelljan hamnade inom området nästan av en slump, han ville ha ett examensarbete som var matematiskt och teoretiskt, men ändå inom ett område där arbetet skulle komma till nytta. Michael Felsberg, professor i datorseende, erbjöd ett examensarbete inom objektföljning - hur datorn kan följa ett objekt som rör sig och som ökar och minskar i storlek beroende på avståndet från kameran.

Examensarbetet, som handlade om olika metoder för objektföljning, blev så bra att han fick pris för det - och en doktorandtjänst. Tillsammans med Michael Felsberg, bihandledaren Fahad Khan och dåvarande examensjobbaren Gustav Häger vann han också en prestigefylld tävling 2014, Visual Object Tracking Challenge. Resultaten av Martin Danelljans arbete har sedan presenterats i ett tiotal vetenskapliga artiklar som alla är högt citerade, fler än 2000 gånger totalt, de två mest citerade artiklarna ligger på över 500 citeringar.

– Vi har varit noga med att publicera kod och applikationer så att andra forskare har kunnat bygga vidare på våra resultat. Flera av de forskargrupper som arbetar inom området i dag utgår från kod som vi har gjort publik, säger Martin Danelljan.

Världsledande forskning

Michael Felsberg är nöjd med sin rekrytering:
– Resultaten som Martin har uppnått är världsledande och har väldigt stor betydelse, både för forskningsämnet och för min egen forskargrupp. Som handledare ser jag detta med stor glädje och är stolt över vad min doktorand har åstadkommit, säger han.

Intresset för AI och därmed också för datorseende har exploderat. Antalet vetenskapliga artiklar inom datorseende och objektföljning har ökat kraftigt sedan Martin Danelljan startade sina doktorandstudier. De senaste åren har han förfinat metoderna för objektföljning och gjort dem mer robusta, det är också det arbetet som finns beskrivet i doktorsavhandlingen.
– Vi lär datorn att följa en viss region i bilden, det kan vara alltifrån ett ansikte till en fotboll. Datorn lär sig hur objektet ser ut och bland annat med hjälp av djupinlärning lär den sig mer allt eftersom. Vi kan även använda insamlade dataset för att exempelvis lära datorn detektera en människa och vi kan använda oss av olika särdrag i bilden som gör objektföljningen mer robust, säger Martin Danelljan.

Lär sig mer efter hand

Han visar resultatet genom att hålla upp sin öppna hand och röra den fram och tillbaka framför datorns kamera, datorn hänger snällt med även när handen knyts och snurras runt.
I en inspelad sekvens följer datorn ansiktet på en studsande fotbollsspelare med en gigantisk segerpokal i ett hav av lika studsande och viftande lagkamrater. Pokalen skymmer då och då stora delar av det ansikte datorn har som uppgift att följa, men utan problem följer.

– Det är inte så svårt för oss människor att följa exempelvis en människa i en stor folksamling, men det är desto svårare att automatisera. Det finns också många intressanta applikationer för tekniken med objektföljning, inom robotik, självkörande bilar, spelutveckling och många fler, säger han.

Delar av doktorandarbetet har Martin Danelljan utfört i samarbete med Fahad Kahn och AI-professor Patrick Doherty, det har i första hand handlat om flygande drönare som ska kunna detektera och följa nödställda människor på stora avstånd. Projekten har finansierats av Stiftelsen strategisk forskning (CUAS). Andra delar av doktorandarbetet har finansierats via Vetenskapsrådet (EMC2) och han har även deltagit i det stora WASP-programmets forskarskola.

Martin Danelljan disputerar 11 juni 2018. Därefter ska han tillsammans med doktorandkollegan Mikael Persson pröva de egna vingarna i nystartade företaget Singulareye, där de exempelvis samarbetar med svenska apptillverkaren Just Fotball.

 

WASP

WASP står för Wallenberg AI, Autonomous Systems and Software Program, ett program som pågår under tio år med finansiering från Knut och Alice Wallenbergs stiftelse. Linköpings universitet koordinerar programmet.


Avhandlingen:
Learning Convolution Operators for Visual Tracking, Martin Danelljan, Computer Vision Laboratory, Institutionen för Systemteknik, Linköpings universitet 2018.