Forskningen täcker ett brett spektrum av ämnen inom artificiella seende system med särskilt fokus på maskininlärning för robotseende. Gruppen har funnits sedan 1970-talet och har i hög grad bidragit till att etablera begreppet datorseende i Sverige.
Utvecklingen av metoderna för det artificiella seende har sin utgångspunkt i modeller av människans synsinne. Detta eftersom det artificiella seendet ska samexistera med människor och även förutse människans reaktioner på synintryck. Forskningsresultaten lägger därmed grunden för självkörande bilar eller robotsystem som interagerar med människor.
Forskargruppen inom datorseende, Computer Vision Laboratory, grundades av professor Gösta Granlund under 1970-talet och var tidigt ute med att använda maskininlärning inom datorseende. 2008 tog professor Michael Felsberg över ledningen för gruppen.
I Vinnovas rapport "Artificiell intelligens i svenskt näringsliv och samhälle, analys av utveckling och potential" framhålls gruppen som en av de större och mest framgångsrika forskningsmiljöerna inom AI i Sverige.
Datorseende Foto Göran Billeson
Målet för forskning inom sensorfusion är att kombinera data från många olika sensorer till information av bättre kvalitet än vad som kan uppnås med en sensor eller som annars kräver andra kostsamma lösningar.
Forskningen har stor industriell relevans inom områden som autonoma fordon på marken och i luften, för samverkan mellan människa och robot och för positionering med hjälp av mobiltelefoner, för att bara ta några exempel.
Forskargruppen inom sensorfusion är en del av avdelningen för Reglerteknik vid Linköpings universitet. Sensorfusion som forskningsområde har funnits sedan 1995 och har sedan dess blivit en allt viktigare del i många olika forskningssammanhang. Gruppen har producerat fler än 25 tekniska doktorer och 40 licentiater. Forskningen spänner över såväl grundforskning som mer tillämpade projekt.
Gruppen har fått fram fundamentala och väl citerade bidrag inom områden som olinjär filtrering och teorin kring positionering. Den tillämpade forskningen utförs ofta i samarbete med svensk systembyggande industri. Forskningen har även resulterat i avknoppningsföretag som NIRA Dynamics, Softube och Senion.
Industrin söker ständigt efter möjligheter att byta ut dyra och ömtåliga sensorer mot billigare och mer robusta. De sensorer som håller reda på hjulens hastighet sitter i en hårt utsatt miljö och är dessutom en relativt dyr komponent.
Spektrogram av hur hjulvibrationsfrekvensen varierar beräknat från signaler från en accelerometer monterad i ett fordon, jämfört med den verkliga vinkelhastigheten.I vissa applikationer kan en kontaktlös accelerometer, tröghetssensor, användas istället. Genom att analysera spektrumet av vibrationer som orsakas av hjulet över tid kan hjulets hastighet beräknas. En annan potentiell applikation finns inom IoT i fordon i de fall hastighetsinformation är användbar. Här kan kabeldragningar undvikas. Hastighetsinformation i mobiltelefoner är ännu en applikation.
Projektet har utvecklat skräddarsydda algoritmer för den här typen av problem som komplement till olinjär filtrering.
Projektet har som mål att ta fram tekniker som möjliggör ett nära samarbete mellan människor och robotar i gruvor. Arbetsplatsen ska vara trygg och säker och människor ska kunna interagera med autonoma system likaväl som med manuellt styrda maskiner.
Robust och tillförlitlig positionering av varje enskilt objekt är en viktig del i att uppfylla målet och första fasen i projektet handlar om att ta fram algoritmer som gör det möjligt för de autonoma fordonen att både lokalisera sig själva och såväl fasta som rörliga objekt i omgivningen.
För att autonoma system ska kunna användas idag krävs att inget manuellt arbete utförs i närheten. Säkerhetsgrindar inhägnar produktionsområdet och hindrar mänsklig inblandning. Det innebär att systemet är känsligt för störningar. En person som går igenom en säkerhetsgrind kan tvinga hela systemet att stänga ner. I ett första skede ska data från en laserskanner göra systemet medvetet om var på området människan befinner sig.
Bilden illustrerar hur två laserskannrar monterade på en lastare kan ange positioner på objekt i gruvan. (Illustration Epiroc)
Epiroc
Målet för projektet är att skapa en karta över radiotäckningen för distribuerade radiosystem inom ett område och sedan använda kartan för positionering. Idag har vi distribuerade radiosystem överallt, från globala navigationssystem, GNSS, till mobila radiosystem och lokala nät. Många positioneringssystem är baserade på ett eller en kombination av flera av systemen, där de mottagna radiosignalerna analyseras hos mobilanvändaren för att avgöra positionen.
Illustration till hur radiosignaler når mottagaren på olika vis beroende på de olika effekter som orsakas av reflektioner från väggarna.
De grundläggande måtten är uppdelade på mätning av tid och signalstyrka. I detta projekt vill vi utöka mätningarna med att också ta in tidsberoendet i signalstyrkan, PDP (power delay profile), för att få en djupare förståelse för de underliggande fenomen som är svåra att uppskatta med nuvarande metoder.
Både mätningarna av tid och signalstyrka påverkas av PDP och här undersöker vi möjligheterna att beräkna positionen med hänsyn tagen även till tidsfördröjningen i systemet och relatera den till hur omgivningen ser ut. På så vis får vi en ökad förståelse för vilka effekter detta ger och fenomenet utnyttjas som en extra informationskälla istället för att vara en störning.
Ericsson
Målet för det här projektet är att utveckla autonoma funktioner för att underlätta för en systemoperatör att styra både flygplanet och dess sensorer. Detta uppnås genom att undersöka olika metoder för styrning av sensorplattformar med hjälp av instruktioner på hög nivå.
Över tid har fokus för en pilots uppmärksamhet skiftat från att styra sitt flygplan till att hantera dess sensorsystem. Man kan jämföra med moderna drönare, som är enkla att styra, medan styrningen av kamerans rörelser fortfarande är en utmaning. Utmaningen som studeras här är att automatiskt flyga och styra de tillgängliga sensorerna på ett sådant sätt att den användbara informationen maximeras, och på så sätt ge piloten möjlighet att spendera sin tid med att förstå vad informationen betyder.
Det kräver en förståelse för hur tillgängliga sensorer kan hanteras; att proaktivt ta hänsyn till olika begränsningar i omgivningen, att reagera på förändringar och lära av erfarenhet samt att samarbeta där det är nödvändigt.
Fyra doktorander inom WASP demonstrerar en autonom flygning i testarenan Visionen som en del av en av WASP:S projektkurser. Foto David Brohede
Saab AB/Aeronautics
I många fall är rörelsemönstren för objekt helt repeterbara, men på förhand okända. Det kan vara båtar som driver med strömmen eller bilar som följer trafikreglerna. Idag inkluderar standardmetoder inte mer kunskap om rörelsen än att de fysiska begränsningarna kring accelerationer med mera är uppfyllda.
Lärande tidsuppdateringNaturligtvis vore bättre kunskap om de underliggande rörelsemönstren en stor fördel. Att lära sig dessa rörelsemönster är ett problem som kombinerar teori från klassisk skattningsteori med moderna datadrivna maskininlärningsmetoder.
Den stora utmaningen ligger i att utnyttja möjliga synergier genom att kombinera de två metoderna i ett gemensamt ramverk.
Metoden lär sig automatiskt hur bilar kör i en trevägskorsning med hjälp av positionsmätningar och en konstant hastighetsmodell som kombineras med en Gaussisk process-modell för manövrar. Detta ger förbättrad lokalisering och snabb manöverklassificering.
Forskningen inom fordonssystem har fokus på styrning, diagnos och autonomi, särskilt på de systemvetenskapliga aspekterna och ofta i samarbete med industrin. Fyra välutrustade fordonslaboratorier stärker den internationellt väl kända forskningen.
Avdelningen Fordonssystem ser i huvudsak till de övergripande och systemvetenskapliga aspekterna och samarbetar gärna med andra när det kommer till exempelvis mekanisk konstruktion eller utvärdering/test ute i industrin. Funktioner vi arbetar med är avancerad motorstyrning, koordinerad styrning av fordons- och drivlinesystemen samt autonoma funktioner för intelligenta fordon och vägar.
Autonomi kräver även automatiserad tillsyn, samt ett prognossystem för tillförlitlig drift. Vi söker lösningar såväl för rent teoretiska problem som på mer applikations-orienterade, som exempelvis inom autonom gruvdrift.
De tre fordonslaboratorierna finns i en egen byggnad, i L-huset, Campus Valla:
Laboratoriet för framdrivning av fordon, laboratoriet för fordonsdynamik och autonomi samt laboratoriet för energikonvertering och energilagring.
I motorlaboratoriet finns två testriggar för test av motorer i personbilar. Båda är utrustade med moderna asynkrona maskiner som kan fungera både för drift och som last för motorerna. Dessa testriggar gör det möjligt för oss att köra såväl stillastående prov som mer dynamiska prov med en snabb ökning av momentet - på 10 ms eller mindre. Vi kan även simulera belastningen från vägen.
Forskningen fokuserar i huvudsak på hur teorier, metoder och tillgängliga data kan användas för att prognosticera underhåll i varje enskild maskin - i synnerhet för maskiner i gruvdrift.
Driften ska fungera även i utmanande miljöer. Foto EpirocFörebyggande underhåll är nödvändigt för en pålitlig, autonom gruvdrift där oplanerade stopp undviks. Det gäller såväl lastare och borrar som övriga maskiner. Gruvor är samtidigt utmanande miljöer där maskinens användning påverkar hållbarheten på enskilda komponenter. När människan plockas bort ut systemet försvinner också en viktig källa till information. Såväl i konventionella som i autonoma gruvor är system där maskinerna själva autonomt kontrollerar och anger när underhåll bör ske ett angeläget område för forskning och utveckling.
Den tuffa omgivningen för exempelvis borrutrustningen gör inte bara livslängden för enskilda komponenter betydligt kortare än när de används i exempelvis en personbil, det är också svårt att hitta tillräckligt robusta och tillförlitliga sensorer som klarar den utmanande miljön. Det innebär att även metoderna måste vara robusta och inte bara lita till information från sensorer som sitter nära intill den kritiska komponenten.
Tillgång till data är därför av stor vikt för att nå forskningsmålen och en ambitiös insamling av data från gruvor i många länder har påbörjats. Detta kommer också att kompletteras med experiment på en forskningsborrigg för tester av ny sensorteknik.
Detaljerade fysiska modeller av maskinerna kommer inte att vara tillgängliga, i första hand beroende på de svåra driftsförhållandena och det låga antalet maskiner. En viktig forskningsfråga kommer därför att vara att utveckla metoder för att sammanlänka underhållsinformation och data från driften samt högupplösta och högfrekventa mätningar från maskinen med basala fysiska modeller.
Det är en process som kräver utveckling av tekniker inom områden som signalbehandling, maskininlärning, statistiska modeller samt tekniker för livslängds- och tillförlitlighetanalys.
Epiroc Drills AB (http://www.epiroc.com), Robert Pettersson
Projektet handlar om att ta fram optimala manövrar i tids- och säkerhetskritiska situationer för autonoma fordon. Exempel är för hög hastighet i en kurva eller snabba undanmanövrar när hinder plötsligt dyker upp på vägen.
Däckens friktion utnyttjas maximalt. Foto iStock/LeMannaDet här är manövrar som kräver att däckens friktion mot marken utnyttjas maximalt. De viktiga forskningsfrågorna här är hur de olika friktionskrafterna mellan däcken och vägen kan användas på bästa tänkbara sätt, liksom hur fordonens egen dynamik kan regleras och utnyttjas för att få bästa tänkbara beteende. Manöverproblemet kännetecknas av en olinjär dynamik och osäkerhet i modellparametrar för den specifika situationen.
I projektet utnyttjas optimering som ett verktyg för att beräkna fordonsmanövrar i ett antal olika scenarier och under olika dynamiska förhållanden, som ytan på vägen och hur vägen kröker sig. De broms- och styrningsmönster som observeras i de optimala lösningarna i de olika fallen används sedan som grund vid utformningen av styrsystemen för autonoma fordon.
Den här typen av styrsystem måste även kunna hantera den inneboende osäkerheten för att uppnå robusthet vid olika situationer, vilket betyder att vi även inom forskningsprojektet utvecklar metoder för sensorbaserad återkoppling i realtid. Styrsystemen utvärderas också genom att de jämförs med resultat från datorsimuleringar av en i förväg beräknad optimal styrning för samma problem.
En utvärdering av metoderna i en experimentbil planeras inom ramen för WASP:s forskningsarena WARA för automatiserade transportsystem.
University of Lincoln, Storbritannien
Projektet innefattar planering av tidskritiska undanmanövrar. Vi fokuserar på att utveckla nya formuleringar av målfunktioner och krav för rörelseplaneringsproblem som löses
Kritisk undanmanöver Foto iStock/Toa55Det övergripande målet är att öka säkerheten för fordonet genom att utnyttja nya sensorer för att bedöma situationen samt ökade möjligheter till individuell bromsning och vinkelstyrning av enskilda hjul. En av de största utmaningarna för att använda optimering för autonomi i fordon är att utnyttja datorkraften för att skapa beräkningar som är så snabba som en kritisk undanmanöver kräver.
Projektet drivs utmed två kompletterande spår. Det första spåret handlar om att formulera nya optimeringsproblem för planeringen av en säker rörelse när fordonet exempelvis ska göra ett hastigt filbyte på en väg för att undvika ett hinder.
Det andra spåret undersöker hur beräkningskomplexiteten i optimeringsproblemet för att bestämma den optimala banan och rörelsen i en given situation kan minskas. Mer specifikt har metoder utvecklats för uppdelning av manövern och för parallelldatorberäkningar av de olika resulterande segmenten. Sådana metoder minskar beräkningstiden och är därför av stor betydelse för att fordonet i realtid ska kunna bestämma en optimal manöver.
En utvärdering av metoderna i en experimentbil planeras inom ramen för WASP:s forskningsarena WARA för automatiserade transportsystem.
Inom området optimering för inlärning och autonomi inom avdelningen Reglerteknik arbetar vi både med utveckling och tillämpningar av optimering.
Utvecklingen av optimeringsmetoder är inriktade på strukturutnyttjande för olika klasser av optimeringsproblem för att öka effektiviteten i optimeringslösarna, exempelvis för inlärning och styrning. Utvecklingen innefattar också användningen av moderna parallelldatorer. Vidare bedrivs forskning för att kombinera planeringsmetoder från forskningen inom artificiell intelligens med metoder inom optimering och reglering. Pågående utveckling av teorier och algoritmer innefattar även realtidscertifiering av optimeringsmetoderna.
Tillämpningar finns inom områden som rörelsereglering, styrning av autonoma fordon likaväl som inom implementering av optimeringsmetoder.
Arbetet bedrivs inom WASP:s område Storskalig optimering och styrning. Vi samarbetar här såväl med svenska som med utländska universitet, bland dem UCLA, ETH, TUDelft, DTU, University of Siena, KTH, och Lunds universitet. Industriella partner är exempelvis Scania och Saab.
Här undersöker vi om det är möjligt att använda algoritmer inom maskininlärning för att hitta och härleda nya optimerings-algoritmer som fungerar bättre än de som idag är designade manuellt.
Planering, beslutsfattande och prediktiv reglering av autonoma system, som också innefattar maskininlärning, är alla baserade på avancerade optimeringsmetoder. Valet av algoritm för optimeringen och de parametrar man väljer görs fortfarande manuellt, även om ramverk som disciplinerad konvex optimering, som cvx och YALMIP, har inneburit framsteg inom automatisering av konvex optimering.
Disciplinerad konvex optimering är ett bekvämt sätt att använda generella algoritmer för konvex optimering. Valet av algoritm och inställningen av parametrar är dock fortfarande en komplicerad process för såväl stor-skalig konvex optimering, distribuerad eller ej, som för icke konvex optimering. Det finns även ett antal ekvivalenta formuleringar av optimeringsproblemet som påverkar effektiviteten i beräkningarna.
För att komma förbi dessa svårigheter undersöker vi om det är möjligt att direkt lära sig dessa optimeringsalgoritmer och vilken som är den bästa formuleringen via experiment och simuleringar. Det vill säga att vi använder maskininlärningsalgoritmer för att hitta och härleda nya optimeringsalgoritmer som fungerar bättre än de som är designade manuellt.
Professor Bo Wahlberg, KTH
Det här doktorandprojektet undersöker topologin i nätverk, som exempelvis strukturen i ett hierarkiskt nätverk som används för skalbara beräkningar med tillämpningar inom reglerteknik i vid mening.
Kordal graf med motsvarande klickträd för distribuerade beräkningar.
Exempel på användningsområden är systemidentifiering, maskininlärning och design av styrsystem.
Vi studerar även hur integritet påverkar möjliga prestandan och vilket mått av kommunikation som krävs mellan olika beräkningsagenter för att skapa de mest effektiva beräkningarna. Olika typer at datorplattformar kommer att undersökas.
Vi utvecklar även effektiv optimeringskod för generiska problemformuleringar. Relevanta tillämpningar finns inom olika typer av infrastruktur som trafik, vatten, gas, elektricitet och styrning i byggnader.
