Bakgrund
Maskininlärning (ML), särskilt med hjälp av djupinlärning, har gjort betydande framsteg under det senaste decenniet, t.ex. för att lösa komplexa problem som bildklassificering, objektdetektion och språkförståelse. De datakrävande algoritmerna gör dock att en modells fulla potential ofta hämmas av brist på träningsdata. Detta problem är särskilt uttalat inom medicinsk bildbehandling, där data är dyrt att samla in, förlitar sig på medicinsk expertis för annotering och är av känslig och skyddad karaktär. Samtidigt kräver medicinsk ML stora mängder träningsdata för att möjliggöra robusta modeller som kan hantera osedda miljöer, där dataegenskaper skiljer sig från träning.Syntetiskt genererade bilder kan användas för att förbättra bildbaserade djupinlärningsapplikationer, både genom att öka mängden träningsdata och genom att se till att olika typer av bildinnehåll ingår. Traditionellt har datorgrafik använts för detta ändamål, men kräver modellering av bildinnehållet. Även om detta i många fall kan åstadkommas för naturliga bilder, är det svårt att modellera det komplexa biologiska innehåll som avbildas i medicinska bilder. En alternativ lösning är att använda djupinlärning för automatisk generering av nytt bildinnehåll, med hjälp av generative adversarial networks (GAN). Under de senaste åren har forskningen inom GANs möjliggjort att fotorealistiska bilder kan genereras i scenarier med snäva datafördelningar (bilar, ansikten, etc.). För medicinsk bildbehandling är detta lovande eftersom datadomänerna i allmänhet är snäva. Samtidigt har GANs mestadels använts för att generera 2D-bilder med begränsad upplösning. Inom medicinsk bildbehandling kan datamodaliteter vara mer utmanande, såsom 3D-volymer inom radiologi eller gigapixel whole slide images (WSI) i digital patologi. Dessutom är det problematiskt att kontrollera innehållet som genereras av ett GAN.
Projektbeskrivning
Projektet syftar till att kombinera datorgrafik och generativ djupinlärning, för att producera syntetiska bilduppsättningar av hög kvalitet med detaljerad kontroll över bildinnehållet. Det övergripande målet är ett datacentrerat perspektiv på medicinsk djupinlärning, där genererat innehåll kan förbättra prestanda och robusthet i scenarion med begränsad mängd tillgänglig data och hjälpa till att analysera modellprestanda under olika typer av variationer. Projektet kan sammanfattas i följande två delprojekt:
- Delprojekt 1 – datasyntes: För radiologi är syntesen fokuserad på att förbättra GANs för 3D-data, där befintliga metoder är begränsade i upplösning. För digital patologi är syntesen fokuserad på att utöka GANs slides med extremt hög upplösning. Ett centralt fokus kommer också att vara att öka kontrollen över de genererade bilderna, så att fördelningen av bildegenskaper kan styras explicit.
- Delprojekt 2 – datacentrerad maskininlärning: Med datasyntesen på plats finns direkta fördelar i form av ökad prestanda för ML-assisterad diagnos. Men det finns också mer grundläggande frågor som kommer att fokuseras på. Genom att ha möjlighet att explicit kontrollera egenskaper i genererad data kommer en systematisk analys att genomföras för att analysera vilka funktioner som bidrar till prestanda och robusthet, och hur träningsdata kan förbättras genom att bättre reflektera sådana egenskaper.
Om projektet
- Projektet startade 2022 och förväntas pågå till 2027.
- Projektet stöds av Centrum för Industriell Informationsteknologi (CENIIT)
- Industripartners inkluderar Sectra och ContextVision.