Tekniken som förstärker vår intelligens

På skärmen bultar ett litet hjärta i ett fem-månaders barn vars hjärtfel just ska opereras. Kirurgernas arbete spelas in med så kallad ljusfältsteknik och en fullständig virtuell modell håller på att tas fram. Modellen ger sedan kirurger möjlighet att träna på att utföra komplicerade ingrepp och ska i förlängningen också utvecklas till ett system som kan assistera och ge råd vid komplicerade fall.

Blottlägger färglager

I AR-glasögonen kan vi se en fotorealistisk bild av målningen av årstidernas gud Vertumnus - målad i början av 1590-talet av Giuseppe Arcimboldo. Tavlan står i tryggt förvar i en perfekt anpassad miljö på Skokloster, medan vi kan titta på den in i minsta detalj i labbet. Med hjälp av en virtuell ficklampa syns varje fiber som rest sig i den bakomliggande Vertumnus, årstidernas Gud, målad i början av 1590-talet av Giuseppe Arcimboldo/ Skoklosterpannån. Och med infrarött ljus kan forskarna få den underliggande kolteckningen att träda fram. Varje färgnyans har sin egen karakteristik och kan separeras virtuellt.

– Det här är ett projekt vi driver tillsammans med Statens Historiska museer, berätta Jonas Unger, forskningsledare för området datorgrafik och bildbehandling och projektledare för Centrum för förstärkt intelligens, Center for Augmented Intelligence.

Forskare knutna till Center for Augmented Intelligence är förutom Jonas Unger även Jonas Löwgren, professor i interaktions- och informationsdesign, Patric Ljung, forskningsledare för området immersiv visualisering samt Anders Ynnerman, professor i vetenskaplig visualisering, alla vid avdelningen Medie- och informationsteknik.

Plattform inom Visual Sweden

Centrumet är en plattform inom Visual Sweden, en Vinnova-finansierad satsning på forskning och utveckling inom visualisering. Förutom Linköpings universitet ingår även Linköpings- och Norrköpings kommuner liksom Region Östergötland. Även 63 företag, stora och små, deltar i Visual Sweden.

Jonas Unger visar tillsammans med kolleger runt i de nyinredda lokalerna vid Campus Norrköping, här finns såväl ett laboratorium för interaktionsdesign som ett för mångdimensionell datorgrafik, det är i det senare vi ser det tredimensionella bultande hjärtat, Arcimboldos mästerverk och där vi även kan strosa runt och titta på utsikten från balkongen i ett ännu inte byggt hus i Norrköping.

Inte bara kirurgen behöver massor av data att träna på, det behöver även de självkörande bilarna. Apostolia Tsirikoglou, doktorand på avdelningen Medie- och informationsteknik berättar om metoder att skapa realistiska syntetiska data som kan ersätta den tidsödande datainsamlingen. Det är också ett sätt att säkerställa att styrsystemen i de självkörande bilarna har lärt sig allt de behöver för att fordonet ska kunna framföras säkert.
– Vi vill bygga unika virtuella världar där vi kontrollerat kan förändra olika parametrar. Här krävs massor av syntetiska data och vi har hittat en bra metod för det. Vår teknik fungerar bättre än tidigare använda metoder, försäkrar Apostolia Tsirikoglou.

Fyra pågående projekt

Boris Ahnberg, produktägare för framtida produkter på Toyota Material Handling, ser många fördelar med samarbetet inom Visual Sweden.
Ahmet Börütecene, postdoktor vid MIT, visar laboratoriet för interaktionsdesign
– Marknaden för uppkopplade truckar ökar när automationsgraden ökar. I framtiden ser vi truckar av olika storlekar som samarbetar och fördelar arbetsuppgifterna sinsemellan helt autonomt. Den datorkraft som vann över Kasparov i schack har vi i dag i våra telefoner, det som verkar vara fantastiskt idag blir vardag i morgon, konstaterar han.

I laboratoriet för interaktionsdesign har han och kollegorna tillsammans med forskarna kunnat utforska hur sådana system skulle kunna se ut och fungera.

Fyra konkreta projekt pågår för närvarande vid centrum för förstärkt intelligens:
• Hur vi kan använda stora mängder bilder för maskinlärning, som i exemplen med bevarande av kulturskatter och hjärtkirurgi ovan. Här samarbetar forskarna såväl med ett antal företag som med Skånes universitetssjukhus.
• Hur det är möjligt att sortera och prioritera i en gigantisk mängd information som typiskt visas på olika skärmar i ett av industrins många kontrollrum. Projektet drivs i samarbete med Toyota Material Handling.
• Hur en expert och en servicetekniker kan dela samma virtuella värld så att experten kan bistå teknikern på plats när hen står inför ett konkret och svårlöst problem. Bilder och rörliga beskrivningar behöver kunna kommuniceras åt båda håll. Utvecklas tillsammans med Siemens Turbomachinery.
• Hur data kan visas upp på många olika ställen och vara spårbar - hur visualiseras den semantiska webben. Det behöver vara både synligt och begripligt var data kommer ifrån och hur den sammanställts.

CAI

Center for Augmented Intelligence, CAI, är den första plattformen, finansierad av Visual Sweden med två miljoner kronor i tre år samt ytterligare sex miljoner från LiU och projektpartners. Fler plattformar följer, som exempelvis en plattform för n-dimensionell modellering och en plattform med syfte att bygga upp en fullständig digital kopia av människan för medicinskt bruk.