WASP vid Institutionen för teknik och naturvetenskap (ITN)

Om

En av forskningsmiljöerna kopplade till WASP - Wallenberg AI, Autonomous Systems and Software Program vid Linköpings universitet (LiU), finns vid Institutionen för teknik och naturvetenskap (ITN) vid Campus Norrköping. 

WASP:s forskningsmiljö vid ITN finns på avdelningen Medie- och informationsteknik, MIT på campus Norrköping. Forskningen grundar sig på mer än tjugo års forskning inom visualisering och interaktion med anknytning till artificiell intelligens, autonoma system och programvarukonstruktion.

Vi utforskar områden som maskininlärning och samarbete mellan människa och autonoma system genom experimentell och designorienterad forskning. Målet för vårt arbete är att belysa hur människor och autonoma system kan samarbeta och samexistera på ett produktivt och passande sätt.

För mer information om hela WASP på LiU, gå upp en nivå i menyn till WASP - Wallenberg AI, Autonomous Systems and Software Program. Där finns också en kontaktlista på alla WASP-forskare vid LiU uppdelade per institution.

Utrustning och lokaler

Vid avdelningen bedrivs forskning knuten till Visualiseringscenter C. Vid centrumet finns även ett publikt digitalt science center som fokuserar på visualiseringar av vetenskapliga framsteg. Här finns en domteater för immersiva, omslutande, upplevelser i 4D med 100 sittplatser. Det mesta i den publika utställningen har sin grund i forskning vid MIT, främst från de grupper som forskar kring vetenskaplig visualisering, immersiv visualisering, informationsvisualisering och visuellt lärande och kommunikation.

Vi har även utvecklat en beslutsarena i form av ett konferensrum där deltagarna kan interagera med skärmar runt hela rummet, i 360 grader. Här finns även Norrköping Design Arena med laboratorium för datorgrafik, en storformats 3D-skanner och möjligheter att ta fram prototyper i samskapande designprocesser för interaktion och visualisering.

Video

Bildbehandling och effektiv representation av data för visuell maskininlärning

Inom området datorseende finns i dag inlärningsalgoritmer för maskininlärning med hög noggrannhet och prestanda. Det behövs dock stora mängder data för en effektiv inlärning. Vi undersöker nu möjligheten att använda och skapa realistiska syntetiska set av träningsdata.

Dessutom undersöker vi variationer av abstrakta representationer av data för att ytterligare förstå hur data på olika abstraktionsnivåer påverkar inlärningen i djupa neurala nätverk. Vi tittar också på hur detta kan användas både för att optimera genereringen av data och hur data används.

Publikation

Procedural Modeling and Physically Based Rendering for Synthetic Data Generation in Automotive Applications, Apostolia Tsirikoglou, Joel Kronander, Magnus Wrenninge, Jonas Unger

Extern samarbetspartner

Publikation är framtagen i ett samarbete med Magnus Wrenninge, 7D Labs.

Exempel

Forskare

Visualisering för förståelse och utveckling av maskininlärning

Olika typer av maskininlärning används för en lång rad av tillämpningar inom naturvetenskap och teknik, några exempel är självkörande fordon, robotnavigering, interaktiva system och även inom medicin. Som i de flesta stora datadrivna system är det svårt att se och förstå hur de underliggande modellerna fungerar, hur bra de är och hur exakt de löser problemen.

Läs mer om projektet

Nya verktyg för design och analys av arkitektur på hög nivå är därför en av de större utmaningarna vid utvecklingen av nästa generations algoritmer för maskininlärning.

I detta projekt utvecklar vi interaktiva visualiseringsmetoder som gör både inlärningsprocessen och lösningen effektivare för både utvecklare och användare. Genom att använda djupinlärning inom datorseende som ett första exempel, tar vi ett helhetsgrepp med syfte att undersöka olika metoder att på samma gång visualisera data som ska läras in, nätverksstrukturer och uppnådda resultat.
Systemet kombinerar både nya och traditionella metoder för visualisering med de senaste metoderna som tagits fram specifikt för maskininlärning, vilket innebär att vi anpassar systemet för behoven hos både utvecklare och systemarkitekter.

Informerade val för utvecklare

För utvecklare är visualiseringarna integrerade i en miljö där verktyg finns för att analysera såväl funktionen som kvaliteten på den data som används för inlärning, liksom även för analys av systemets prestanda. Intuitiva visuella modeller ger utvecklaren möjlighet till informerade val av såväl hur data ska samlas in som hur arkitekturen ska skapas. En annan utmaning är att analysera och kvantifiera skillnader mellan olika domäner, framför allt när inlärningsdata och valideringsdata kommer från olika håll.

För systemarkitekter fungerar verktyget som ett visuellt analys- och felsökningsverktyg för design av arkitektur och system. I vårt system integrerar vi också en utvecklingsmiljö med gränssnitt mot visuella felsökningsverktyg för maskininlärningsbibliotek som TensorFlow.

Publikation

Gabriel Eilertsen, Joel Kronander, Gyorgy Denes, Rafal K. Mantiuk, Jonas Unger (2017), HDR image reconstruction from a single exposure using deep CNNs, ACM Transactions on Graphics

Extern samarbetspartner

School of Computer Science and Engineering, NTU, Singapore.

Kontakt: Jianmin Zheng asjmzheng@ntu.edu.sg

Visualisering för förståelse och utveckling av maskininlärning - deep learning.

Forskare

Utveckling av maskininlärning för komplex medicinsk bildanalys

Trots att maskininlärningsalgoritmer, särskilt de som nyttjar neurala nätverk, har visat på lovande resultat inom många medicinska bildanalysuppgifter (som segmentering, detektering och lokalisering) finns det ett antal utmaningar som måste lösas innan tekniken kan användas kliniskt.

Läs mer om projektet

Ett problem är robusthet i noggrannheten. En algoritm som tränats på sjukhus A kommer med största sannolikhet inte att fungera på data från sjukhus B. I många fall är bristen på exakthet så stor att algoritmen är obrukbar. För att uppnå resultat som kan generaliseras krävs mycket data från flera olika håll för inlärningen. Att få tillgång till tillförlitliga data av god kvalitet är här en utmaning.

Forskningens mål är att skapa större förståelse för de krav som behöver ställas på data för inlärning. Detta för att kunna styra inlärningen bättre, men också för att förbättra generaliserbarheten även utifrån en liten mängd data. Vi kommer att undersöka detta med hjälp av förstärkta data, simuleringar och generering av data med hjälp av nätverksbaserade system för inlärning - generative adversarial network, GAN - med mera.

En annan utmaning är att överbrygga klyftan från att utveckla algoritmer för en specifik miljö till att skapa och underhålla ett brett utbud av maskininlärningsalgoritmer. Det kommer att bli nödvändigt att återanvända delar av de algoritmer som utvecklas och används. Modularisering och standardisering av komponenter kommer också att undersökas, särskilt med inriktning på data för inlärning och från utbildade modeller. Metoder som utvecklats i samband med forskningen kring generaliserbarhet kommer även att kunna användas för detta.

En annan utmaning är att överbrygga klyftan från att utveckla algoritmer för en specifik miljö till att skapa och underhålla ett brett utbud av maskininlärningsalgoritmer. Det kommer att bli nödvändigt att återanvända delar av de algoritmer som utvecklas och används. Modularisering och standardisering av komponenter kommer också att undersökas, särskilt med inriktning på data för inlärning och från utbildade modeller. Metoder som utvecklats i samband med forskningen kring generaliserbarhet kommer även att kunna användas för detta.

Extern samarbetspartner

Sectra AB, arbetsgivare för industridoktorand.

Visualisering av hur HE-färgade vävnadsbilder skiljer sig när de härstammar från olika medicinska center. Bilden visar bilder från fem olika center, som idealt bör vara lika, men där de tydligt skiljer sig åt.

Forskare

Interaktion med autonoma agenter för medicinskt beslutsstöd

Målet för forskningen är att studera interaktionen mellan människor och datorer genom att utveckla en miljö som bidrar till ett effektivt samarbete mellan klinikern, människan, och den lärande maskinen.

Målet för forskningen är att studera interaktionen mellan människor och datorer genom att utveckla en miljö som bidrar till ett effektivt samarbete mellan klinikern, människan, och den lärande maskinen.

De senaste årens framsteg inom maskininlärning har inneburit en dramatisk ökning av möjligheten att använda artificiell intelligens för inlärning med hjälp av exempel. Trots de stora framgångarna och många lyckade forskningsprojekt används de algoritmer som finns för maskininlärning av medicinska diagnoser i mycket liten utsträckning inom dagens hälso- och sjukvård.

En utmaning här är att algoritmer för maskininlärning med mindre än 100 procents noggrannhet kräver att den kliniskt ansvarige har möjlighet och kunskap att bedöma värdet av resultatet. Och även kunna väga in kunskapen i den process som leder fram till en diagnos.

Interaktionen kan ses som en process som utvecklas över tid, något som möjliggör ett ömsesidigt och kontinuerligt lärande. Det ger också möjlighet att studera maskininlärning som en del i en designprocess, det ger en möjlighet att utforskar gränserna, omfattningen och karaktären på det konstruktionsutrymme som står till buds.

Externa samarbetspartners

  • Sectra AB
  • Region Östergötland
  • Region Gävleborg
  • University of Leeds

Exempel

Visualisering av data i fokus och periferi i industriella kontrollrum

Vi är nu inne i en era av Industri 4.0 med en ökande digitalisering inom industrin. Mängden data från drift och underhåll som flödar in till kontrollrummen ökar kraftigt. Inom ett doktorandprojekt studeras utmaningar kring informationsöverflöd och arbetet bedrivs i två riktningar.

Visuella metoder styr betraktaren Foto Veronika DomovaDen första går mot att skapa visualiseringar av stora mängder data inom en viss domän. Grundläggande i den här studien är hur man kan använda visuella metoder för att styra betraktaren att fokusera på den viktigaste informationen.

Den andra delen i forskningen handlar om att hitta alternativa visualiseringsmetoder, som exempelvis förstärkt verklighet, för att minska mängden visuella och kognitiva intryck.
Visuella metoder styr betraktaren Foto Veronika Domova

Publikationer

Extern samarbetspartner

ABB Corporate Research, arbetsgivare för industridoktorand.

Automatisk mönsterigenkänning och visualisering för beslutsstöd

Att samla in data från autonoma system spelar en nyckelroll för att förstå hur systemet fungerar och för att kunna säkerställa att det fungerar. Fundamentala utmaningar är här storleken, komplexiteten och den stora mängden data från olika håll som oavbrutet genereras in i systemet.

Att samla in data från autonoma system spelar en nyckelroll för att förstå hur systemet fungerar och för att kunna säkerställa att det fungerar. Fundamentala utmaningar är här storleken, komplexiteten och den stora mängden data från olika håll som oavbrutet genereras in i systemet.

Detta är faktorer som måste tas hänsyn vid en snabb utvärdering eller för att kunna fatta ett informerat beslut. Utan att på något vis kunna reducera mängden data och få ett visuellt stöd blir detta i praktiken omöjligt.

Projektet ska ta fram metoder för att spåra, välja ut och visualisera mönster i data insamlad från autonoma system och som möjliggör informerade beslut. Projektet består av två delar, den första lägger den teoretiska grunden för att hitta och spåra mönster från olika datakällor, den andra delen fokuserar på att välja ut, visualisera och interagera med de resultat som kommer fram.

Mönsterigenkänning och spårning

Intressanta mönster kan ha olika former och strukturer och kan baseras på olika datakällor. Olika sätt att beskriva urvalet och spårningen av en stor variation av mönster kommer att undersökas. Det kan handla om variationer i geometrier, rotationer, översättningar, olika skalor eller variationer som beror på bakgrundsbrus eller brist på data.

Visualisering för analys och val av mönster

Olika typer av visualiseringar kan användas beroende på vilket område det handlar om. Visualiseringarna länkas sedan samman vilket möjliggör urval och analys av de olika intressanta mönster som framträder. När det är lämpligt kommer vi också att ta fram ett verktyg för skissning av mönster, ett verktyg som gör det möjligt att ändra och förfina definitionen av mönstren on-line.

Målet är att visualiseringen ska vara ett stöd vid analys av de utvalda mönstren, att utvecklingen ska kunna följas över tid och även visa förändringar i storlek och uttryck, samtidigt som kontexten behålls.