WASP vid Institutionen för systemteknik (ISY)

Om WASP vid ISY

Några av forskningsmiljöerna kopplade till WASP - Wallenberg AI, Autonomous Systems and Software Program vid Linköpings universitet (LiU), finns vid Institutionen för systemteknik (ISY) på Campus Valla i Linköping.

På den här sidan kan du läsa om:

  • WASP Datorseende
  • WASP Sensorfusion
  • WASP Fordonssystem
  • WASP Optimering för inlärning och autonomi

För mer information om hela WASP på LiU, gå upp en nivå i menyn till WASP - Wallenberg AI, Autonomous Systems and Software Program. Där finns också en kontaktlista på alla WASP-forskare vid LiU uppdelade per institution.

WASP Datorseende

Forskningen täcker ett brett spektrum av ämnen inom artificiella seende system med särskilt fokus på maskininlärning för robotseende. Gruppen har funnits sedan 1970-talet och har i hög grad bidragit till att etablera begreppet datorseende i Sverige.

Utvecklingen av metoderna för det artificiella seende har sin utgångspunkt i modeller av människans synsinne. Detta eftersom det artificiella seendet ska samexistera med människor och även förutse människans reaktioner på synintryck. Forskningsresultaten lägger därmed grunden för självkörande bilar eller robotsystem som interagerar med människor.

Forskargruppen inom datorseende, Computer Vision Laboratory, grundades av professor Gösta Granlund under 1970-talet och var tidigt ute med att använda maskininlärning inom datorseende. 2008 tog professor Michael Felsberg över ledningen för gruppen.
I Vinnovas rapport "Artificiell intelligens i svenskt näringsliv och samhälle, analys av utveckling och potential" framhålls gruppen som en av de större och mest framgångsrika forskningsmiljöerna inom AI i Sverige.

DatorseendeDatorseende Foto Göran Billeson

Forskning

Visuell objektföljning

Visuell objektföljning är en av de grundläggande utmaningarna inom området datorseende, där uppgiften är att följa ett visst objekt i en video där positionen enbart är given på den första bilden.

DatorseendeNågra exempel på hur vår metod klarar skalning av objektet.Beroende på förändringar i formen och på åt vilket håll objektet rör sig, behöver modellen från den första bilden uppdateras kontinuerligt. Vi hanterar problemet genom maskininlärning, mer precist genom så kallade diskriminativa korrelationsfilter.

Video som visar följning av ett särdrag i objektet, i detta fall en färg.

samt en applikation inom WASP där utvecklad kod använts för att följa människor:

Video

Extern partner

Internationella VOT kommittén

Publikationer

Behandling av punktmoln

Tack vare den allt större tillgängligheten till djupkameror och lidar har behandling av punktmoln blivit ett underområde till datorseende.

DatorseendeIllustration av probabilistisk modellering av punktmoln.

Data från dessa sensorer är ofta glesa och kräver förtätning. Positionen och orienteringen är dessutom oftast bara delvis kända vilket betyder att ett gemensamt referenssystem krävs för registrering av mätningarna.

Slutligen måste punktmolnen delas upp per objekt, vilket kräver 3D-segmentering. Vi närmar oss problemet genom att använda en ny djupinlärningsmetod baserad på normaliserade neurala faltningsnätverk och fusion i 3D av 2D-segmenteringar, såväl som probabilistisk modellering - modelleringsmetoder som tar hänsyn till osäkerhet.

Ett urval av tre publikationer

Video
Externa partners

Centauro och Cykla-projektet (Veoneer)

Maskininlärning för visuell navigering och lokalisering

Navigering och lokalisering är grundläggande utmaningar inom robotseende, där uppgiften är att estimera den geometriska relationen mellan fordonet och omgivningen.
DatorseendeLokalisering till havs med 360 graders kamera och djupinlärning för matchning med horisonten.Detta kan göras antingen passivt i en virtuell modell eller aktivt genom att kontrollera roboten. I det senare fallet behöver fordonets position estimeras i realtid, vilket sker med hjälp av maskininlärning,

Lokalisering till havs med hjälp av 360-graders kamera och djupinlärning och matchning med horisonten:
Video

Ett urval av tre publikationer

Extern partner

Saab Group

Förfinat ramverk för beskrivning och tolkning av människor

En semantisk beskrivning av människan i bild och video är ett av de fundamentala problemen inom datorseende med en lång rad applikationer.
Datorseende

Datorseende

Exempel på applikationer finns inom visuell övervakning, ansiktsigenkänning, hälsovård, sökmotorer för bild och video, taggning och inte minst för interaktionen mellan människa och maskin.

Människor har en enastående förmåga när det kommer till att upptäcka olika särdrag på en människa, som (1) ålder, kön, frisyr, klädstil (2) aktiviteter som ridning, klättring, löpning eller promenad liksom (3) ansiktsuttryck som ilska, skratt eller leende.

Vi utvecklar en helt ny lösning för djupinlärning för det utmanande problemet att semantiskt tolka en människa på bilder och videor.
Tonvikten läggs på att undersöka ett antal delproblem som exempelvis effektiv bild- och videobeskrivning, automatiskt inlärning från visuella modeller, lärande från text och visuella data liksom att få fram robusta metoder som fungerar med minimal övervakning.

Externa partner

Rao Muhammad Anwer

Ett urval av tre publikationer

WASP Datorseende på X

WASP Sensorfusion

Målet för forskning inom sensorfusion är att kombinera data från många olika sensorer till information av bättre kvalitet än vad som kan uppnås med en sensor eller som annars kräver andra kostsamma lösningar.

Forskningen har stor industriell relevans inom områden som autonoma fordon på marken och i luften, för samverkan mellan människa och robot och för positionering med hjälp av mobiltelefoner, för att bara ta några exempel.

Forskargruppen inom sensorfusion är en del av avdelningen för Reglerteknik vid Linköpings universitet. Sensorfusion som forskningsområde har funnits sedan 1995 och har sedan dess blivit en allt viktigare del i många olika forskningssammanhang. Gruppen har producerat fler än 25 tekniska doktorer och 40 licentiater. Forskningen spänner över såväl grundforskning som mer tillämpade projekt.

Gruppen har fått fram fundamentala och väl citerade bidrag inom områden som olinjär filtrering och teorin kring positionering. Den tillämpade forskningen utförs ofta i samarbete med svensk systembyggande industri. Forskningen har även resulterat i avknoppningsföretag som NIRA Dynamics, Softube och Senion.


Sensorfusion
Sensorfusion David Brohede

Forskare

Forskningsprojekt inom WASP sensorfusion

Lokalisering och övervakning av fordon med tröghetssensorer

Industrin söker ständigt efter möjligheter att byta ut dyra och ömtåliga sensorer mot billigare och mer robusta. De sensorer som håller reda på hjulens hastighet sitter i en hårt utsatt miljö och är dessutom en relativt dyr komponent.

SensorfusionSpektrogram av hur hjulvibrationsfrekvensen varierar beräknat från signaler från en accelerometer monterad i ett fordon, jämfört med den verkliga vinkelhastigheten.I vissa applikationer kan en kontaktlös accelerometer, tröghetssensor, användas istället. Genom att analysera spektrumet av vibrationer som orsakas av hjulet över tid kan hjulets hastighet beräknas. En annan potentiell applikation finns inom IoT i fordon i de fall hastighetsinformation är användbar. Här kan kabeldragningar undvikas. Hastighetsinformation i mobiltelefoner är ännu en applikation.

Projektet har utvecklat skräddarsydda algoritmer för den här typen av problem som komplement till olinjär filtrering.

Ett urval av fyra publikationer

Människa-robot samverkan

Projektet har som mål att ta fram tekniker som möjliggör ett nära samarbete mellan människor och robotar i gruvor. Arbetsplatsen ska vara trygg och säker och människor ska kunna interagera med autonoma system likaväl som med manuellt styrda maskiner.

Robust och tillförlitlig positionering av varje enskilt objekt är en viktig del i att uppfylla målet och första fasen i projektet handlar om att ta fram algoritmer som gör det möjligt för de autonoma fordonen att både lokalisera sig själva och såväl fasta som rörliga objekt i omgivningen.

För att autonoma system ska kunna användas idag krävs att inget manuellt arbete utförs i närheten. Säkerhetsgrindar inhägnar produktionsområdet och hindrar mänsklig inblandning. Det innebär att systemet är känsligt för störningar. En person som går igenom en säkerhetsgrind kan tvinga hela systemet att stänga ner. I ett första skede ska data från en laserskanner göra systemet medvetet om var på området människan befinner sig.

Sensorfusion

Bilden illustrerar hur två laserskannrar monterade på en lastare kan ange positioner på objekt i gruvan. (Illustration Epiroc)

Extern partner

Epiroc

Distribuerade autonoma system för positionering och kartering

Målet för projektet är att skapa en karta över radiotäckningen för distribuerade radiosystem inom ett område och sedan använda kartan för positionering. Idag har vi distribuerade radiosystem överallt, från globala navigationssystem, GNSS, till mobila radiosystem och lokala nät. Många positioneringssystem är baserade på ett eller en kombination av flera av systemen, där de mottagna radiosignalerna analyseras hos mobilanvändaren för att avgöra positionen.

SensorfusionIllustration till hur radiosignaler når mottagaren på olika vis beroende på de olika effekter som orsakas av reflektioner från väggarna. 

De grundläggande måtten är uppdelade på mätning av tid och signalstyrka. I detta projekt vill vi utöka mätningarna med att också ta in tidsberoendet i signalstyrkan, PDP (power delay profile), för att få en djupare förståelse för de underliggande fenomen som är svåra att uppskatta med nuvarande metoder.

Både mätningarna av tid och signalstyrka påverkas av PDP och här undersöker vi möjligheterna att beräkna positionen med hänsyn tagen även till tidsfördröjningen i systemet och relatera den till hur omgivningen ser ut. På så vis får vi en ökad förståelse för vilka effekter detta ger och fenomenet utnyttjas som en extra informationskälla istället för att vara en störning.

Publikationer

Extern partner

Ericsson

Hantering av distribuerade autonoma system

Målet för det här projektet är att utveckla autonoma funktioner för att underlätta för en systemoperatör att styra både flygplanet och dess sensorer. Detta uppnås genom att undersöka olika metoder för styrning av sensorplattformar med hjälp av instruktioner på hög nivå.

Över tid har fokus för en pilots uppmärksamhet skiftat från att styra sitt flygplan till att hantera dess sensorsystem. Man kan jämföra med moderna drönare, som är enkla att styra, medan styrningen av kamerans rörelser fortfarande är en utmaning. Utmaningen som studeras här är att automatiskt flyga och styra de tillgängliga sensorerna på ett sådant sätt att den användbara informationen maximeras, och på så sätt ge piloten möjlighet att spendera sin tid med att förstå vad informationen betyder.

Det kräver en förståelse för hur tillgängliga sensorer kan hanteras; att proaktivt ta hänsyn till olika begränsningar i omgivningen, att reagera på förändringar och lära av erfarenhet samt att samarbeta där det är nödvändigt.
Sensorfusion Fyra doktorander inom WASP demonstrerar en autonom flygning i testarenan Visionen som en del av en av WASP:S projektkurser. Foto David Brohede

Ett urval av fyra publikationer

Extern partner

Saab AB/Aeronautics

Lärande av tidsuppdatering

Tidsuppdateringen är en kritisk komponent i filter för navigering och målföljning. Vanligtvis används fysiska dynamiska modeller baserade på Newtons lagar för att förutsäga fordonets rörelser. I detta projekt strävar vi efter att använda datadrivna metoder och maskininlärning för att förstå fordonets dynamik bättre.

I många fall är rörelsemönstren för objekt helt repeterbara, men på förhand okända. Det kan vara båtar som driver med strömmen eller bilar som följer trafikreglerna. Idag inkluderar standardmetoder inte mer kunskap om rörelsen än att de fysiska begränsningarna kring accelerationer med mera är uppfyllda.

Lärande tidsuppdateringNaturligtvis vore bättre kunskap om de underliggande rörelsemönstren en stor fördel. Att lära sig dessa rörelsemönster är ett problem som kombinerar teori från klassisk skattningsteori med moderna datadrivna maskininlärningsmetoder.

Den stora utmaningen ligger i att utnyttja möjliga synergier genom att kombinera de två metoderna i ett gemensamt ramverk.

En illustration som visar hur bilar kör i en trevägskorsningMetoden lär sig automatiskt hur bilar kör i en trevägskorsning med hjälp av positionsmätningar och en konstant hastighetsmodell som kombineras med en Gaussisk process-modell för manövrar. Detta ger förbättrad lokalisering och snabb manöverklassificering.

Ett urval av fyra publikationer

WASP Fordonssystem

Forskningen inom fordonssystem har fokus på styrning, diagnos och autonomi, särskilt på de systemvetenskapliga aspekterna och ofta i samarbete med industrin. Fyra välutrustade fordonslaboratorier stärker den internationellt väl kända forskningen.

Avdelningen Fordonssystem ser i huvudsak till de övergripande och systemvetenskapliga aspekterna och samarbetar gärna med andra när det kommer till exempelvis mekanisk konstruktion eller utvärdering/test ute i industrin. Funktioner vi arbetar med är avancerad motorstyrning, koordinerad styrning av fordons- och drivlinesystemen samt autonoma funktioner för intelligenta fordon och vägar.

Autonomi kräver även automatiserad tillsyn, samt ett prognossystem för tillförlitlig drift. Vi söker lösningar såväl för rent teoretiska problem som på mer applikations-orienterade, som exempelvis inom autonom gruvdrift.

Fordonslaboratorierna

De tre fordonslaboratorierna finns i en egen byggnad, i L-huset, Campus Valla:
Laboratoriet för framdrivning av fordon, laboratoriet för fordonsdynamik och autonomi samt laboratoriet för energikonvertering och energilagring.

Motorlaboratoriet

I motorlaboratoriet finns två testriggar för test av motorer i personbilar. Båda är utrustade med moderna asynkrona maskiner som kan fungera både för drift och som last för motorerna. Dessa testriggar gör det möjligt för oss att köra såväl stillastående prov som mer dynamiska prov med en snabb ökning av momentet - på 10 ms eller mindre. Vi kan även simulera belastningen från vägen.

Forskningsprojekt inom WASP fordonssystem

Förebyggande underhåll för autonom gruvdrift

Forskningen fokuserar i huvudsak på hur teorier, metoder och tillgängliga data kan användas för att prognosticera underhåll i varje enskild maskin - i synnerhet för maskiner i gruvdrift.
FordonssystemDriften ska fungera även i utmanande miljöer. Foto EpirocFörebyggande underhåll är nödvändigt för en pålitlig, autonom gruvdrift där oplanerade stopp undviks. Det gäller såväl lastare och borrar som övriga maskiner. Gruvor är samtidigt utmanande miljöer där maskinens användning påverkar hållbarheten på enskilda komponenter. När människan plockas bort ut systemet försvinner också en viktig källa till information. Såväl i konventionella som i autonoma gruvor är system där maskinerna själva autonomt kontrollerar och anger när underhåll bör ske ett angeläget område för forskning och utveckling.

Den tuffa omgivningen för exempelvis borrutrustningen gör inte bara livslängden för enskilda komponenter betydligt kortare än när de används i exempelvis en personbil, det är också svårt att hitta tillräckligt robusta och tillförlitliga sensorer som klarar den utmanande miljön. Det innebär att även metoderna måste vara robusta och inte bara lita till information från sensorer som sitter nära intill den kritiska komponenten.

Tillgång till data är därför av stor vikt för att nå forskningsmålen och en ambitiös insamling av data från gruvor i många länder har påbörjats. Detta kommer också att kompletteras med experiment på en forskningsborrigg för tester av ny sensorteknik.

Detaljerade fysiska modeller av maskinerna kommer inte att vara tillgängliga, i första hand beroende på de svåra driftsförhållandena och det låga antalet maskiner. En viktig forskningsfråga kommer därför att vara att utveckla metoder för att sammanlänka underhållsinformation och data från driften samt högupplösta och högfrekventa mätningar från maskinen med basala fysiska modeller.

Det är en process som kräver utveckling av tekniker inom områden som signalbehandling, maskininlärning, statistiska modeller samt tekniker för livslängds- och tillförlitlighetanalys.

Ett urval publikationer

Extern partner

Epiroc Drills AB (http://www.epiroc.com), Robert Pettersson

Optimering och styrning av autonoma markgående fordon i säkerhetskritiska situationer

Projektet handlar om att ta fram optimala manövrar i tids- och säkerhetskritiska situationer för autonoma fordon. Exempel är för hög hastighet i en kurva eller snabba undanmanövrar när hinder plötsligt dyker upp på vägen.

FordonssystemDäckens friktion utnyttjas maximalt. Foto iStock/LeMannaDet här är manövrar som kräver att däckens friktion mot marken utnyttjas maximalt. De viktiga forskningsfrågorna här är hur de olika friktionskrafterna mellan däcken och vägen kan användas på bästa tänkbara sätt, liksom hur fordonens egen dynamik kan regleras och utnyttjas för att få bästa tänkbara beteende. Manöverproblemet kännetecknas av en olinjär dynamik och osäkerhet i modellparametrar för den specifika situationen.

I projektet utnyttjas optimering som ett verktyg för att beräkna fordonsmanövrar i ett antal olika scenarier och under olika dynamiska förhållanden, som ytan på vägen och hur vägen kröker sig. De broms- och styrningsmönster som observeras i de optimala lösningarna i de olika fallen används sedan som grund vid utformningen av styrsystemen för autonoma fordon.

Den här typen av styrsystem måste även kunna hantera den inneboende osäkerheten för att uppnå robusthet vid olika situationer, vilket betyder att vi även inom forskningsprojektet utvecklar metoder för sensorbaserad återkoppling i realtid. Styrsystemen utvärderas också genom att de jämförs med resultat från datorsimuleringar av en i förväg beräknad optimal styrning för samma problem.

En utvärdering av metoderna i en experimentbil planeras inom ramen för WASP:s forskningsarena WARA för automatiserade transportsystem.

Ett urval publikationer

 

Extern partner

University of Lincoln, Storbritannien

Intelligenta undanmanövrar för autonoma markbundna fordon

Projektet innefattar planering av tidskritiska undanmanövrar. Vi fokuserar på att utveckla nya formuleringar av målfunktioner och krav för rörelseplaneringsproblem som löses
FordonssystemKritisk undanmanöver Foto iStock/Toa55Det övergripande målet är att öka säkerheten för fordonet genom att utnyttja nya sensorer för att bedöma situationen samt ökade möjligheter till individuell bromsning och vinkelstyrning av enskilda hjul. En av de största utmaningarna för att använda optimering för autonomi i fordon är att utnyttja datorkraften för att skapa beräkningar som är så snabba som en kritisk undanmanöver kräver.

Projektet drivs utmed två kompletterande spår. Det första spåret handlar om att formulera nya optimeringsproblem för planeringen av en säker rörelse när fordonet exempelvis ska göra ett hastigt filbyte på en väg för att undvika ett hinder.

Det andra spåret undersöker hur beräkningskomplexiteten i optimeringsproblemet för att bestämma den optimala banan och rörelsen i en given situation kan minskas. Mer specifikt har metoder utvecklats för uppdelning av manövern och för parallelldatorberäkningar av de olika resulterande segmenten. Sådana metoder minskar beräkningstiden och är därför av stor betydelse för att fordonet i realtid ska kunna bestämma en optimal manöver.

En utvärdering av metoderna i en experimentbil planeras inom ramen för WASP:s forskningsarena WARA för automatiserade transportsystem.

Ett urval publikationer

Alla forskare inom WASP fordonssystem

WASP Optimering för inlärning och autonomi

Inom området optimering för inlärning och autonomi inom avdelningen Reglerteknik arbetar vi både med utveckling och tillämpningar av optimering.

Utvecklingen av optimeringsmetoder är inriktade på strukturutnyttjande för olika klasser av optimeringsproblem för att öka effektiviteten i optimeringslösarna, exempelvis för inlärning och styrning. Utvecklingen innefattar också användningen av moderna parallelldatorer. Vidare bedrivs forskning för att kombinera planeringsmetoder från forskningen inom artificiell intelligens med metoder inom optimering och reglering. Pågående utveckling av teorier och algoritmer innefattar även realtidscertifiering av optimeringsmetoderna.

Tillämpningar finns inom områden som rörelsereglering, styrning av autonoma fordon likaväl som inom implementering av optimeringsmetoder.

Arbetet bedrivs inom WASP:s område Storskalig optimering och styrning. Vi samarbetar här såväl med svenska som med utländska universitet, bland dem UCLA, ETH, TUDelft, DTU, University of Siena, KTH, och Lunds universitet. Industriella partner är exempelvis Scania och Saab.


Shervin Parvini och Anders Hansson
Shervin Parvini och Anders Hansson

Kontakter WASP Optimering för inlärning och autonomi

Forskningsprojekt inom WASP Optimering för inlärning och autonomi

Autonom optimering

Här undersöker vi om det är möjligt att använda algoritmer inom maskininlärning för att hitta och härleda nya optimerings-algoritmer som fungerar bättre än de som idag är designade manuellt.

Planering, beslutsfattande och prediktiv reglering av autonoma system, som också innefattar maskininlärning, är alla baserade på avancerade optimeringsmetoder. Valet av algoritm för optimeringen och de parametrar man väljer görs fortfarande manuellt, även om ramverk som disciplinerad konvex optimering, som cvx och YALMIP, har inneburit framsteg inom automatisering av konvex optimering.

Disciplinerad konvex optimering är ett bekvämt sätt att använda generella algoritmer för konvex optimering. Valet av algoritm och inställningen av parametrar är dock fortfarande en komplicerad process för såväl stor-skalig konvex optimering, distribuerad eller ej, som för icke konvex optimering. Det finns även ett antal ekvivalenta formuleringar av optimeringsproblemet som påverkar effektiviteten i beräkningarna.

För att komma förbi dessa svårigheter undersöker vi om det är möjligt att direkt lära sig dessa optimeringsalgoritmer och vilken som är den bästa formuleringen via experiment och simuleringar. Det vill säga att vi använder maskininlärningsalgoritmer för att hitta och härleda nya optimeringsalgoritmer som fungerar bättre än de som är designade manuellt.

Extern partner

Professor Bo Wahlberg, KTH

Storskalig optimering för distribuerad styrning

Det här doktorandprojektet undersöker topologin i nätverk, som exempelvis strukturen i ett hierarkiskt nätverk som används för skalbara beräkningar med tillämpningar inom reglerteknik i vid mening.

Optimering Kordal graf med motsvarande klickträd för distribuerade beräkningar.

Exempel på användningsområden är systemidentifiering, maskininlärning och design av styrsystem.

Vi studerar även hur integritet påverkar möjliga prestandan och vilket mått av kommunikation som krävs mellan olika beräkningsagenter för att skapa de mest effektiva beräkningarna. Olika typer at datorplattformar kommer att undersökas.

Vi utvecklar även effektiv optimeringskod för generiska problemformuleringar. Relevanta tillämpningar finns inom olika typer av infrastruktur som trafik, vatten, gas, elektricitet och styrning i byggnader.