– Det är ett för stort avstånd mellan anpassningen till verkligheten i modellen och de bestämda rekommendationer som gavs. Vi som planerar vårdresurser har ingen nytta av tvärsäkra rekommendationer som bygger på så här skakiga underlag, det skulle drabba hela vården i ett redan tufft läge, säger Toomas Timpka, professor i socialmedicin vid Linköpings universitet, LiU, och överläkare vid Region Östergötland, med ansvar att planera vårdresurser.
Toomas Timpka och Fredrik Gustafsson, professor i sensorinformatik vid LiU, har, tillsammans med forskare vid Lunds universitet, Kungliga tekniska högskolan och Uppsala universitet, granskat modeller från Imperial College som uppskattar hur effektiva olika samhällsåtgärder är för minska smittspridningen av covid-19. Modellerna har påverkat strategier i många länder – inte minst Storbritannien som valde att tvärt byta strategi och stänga ner samhället den 24 mars baserat på den första rapporten från Imperial College. Granskningen som leddes av Lunds universitet publiceras nu i Nature.
– I och med att modellerna har otroligt stort inflytande så förtjänar de en närmare analys av vilka förutsättningar, antagande och data som de vilar på, säger Fredrik Gustafsson.
Känsliga modeller
Den svenska forskargruppen har använt Imperial College originalkod för att göra en känslighetsanalys av modellerna. Känslighetsanalysen visar att mycket små förändringar i indata starkt påverkar resultatet – och därmed även slutsatser och rekommendationer. Fredrik Gustafsson menar att det finns för många parametrar och frihetsgrader i modellerna än vad tillgängliga data kan förklara.
Enligt den svenska forskargruppens granskning har modellerna från Imperial College inte validerats ordentligt. Eftersom samhällsåtgärderna infördes ungefär samtidigt är det också svårt att avgöra vilken åtgärd som gav mest effekt för att bromsa smittspridningen.
– Politiker och beslutsfattare bör se upp med att använda icke-validerade och känsliga modeller som beslutsunderlag, det gäller även när stängda länder ska öppnas upp. Alla modeller måste granskas noga och det behövs bred tvärvetenskap för att ta fram och validera den här typen av modeller, säger Fredrik Gustafsson.
Resultaten från Imperial College visade att totala samhällsnedstängningar var den åtgärd som gjorde att smittspridningen sjönk i Europa under våren i alla modellerade länder – utom ett. I Sverige var en annan åtgärd förklaringen, en åtgärd som framstod närmast verkningslös i de övriga länderna.
– Det är osannolikt att alla länder utom ett inför en verkningsam nedstängning, men att en annan åtgärd skulle visa sig ovanligt effektiv i just det landet, säger Fredrik Gustafsson.
Viktigt med validering
I granskningen finns det fler exempel på inkonsekvenser i modellerna som nu dokumenterats av den tvärvetenskapliga forskargruppen, med bred kompetens inom reglerteknik, medicin, informationsteknik och beteendevetenskap.
– När man bygger komplexa modeller som ska ligga som underlag för prognoser validerar man dem normalt genom att gå tillbaka och testa dem på historiska data för att så långt det går garantera att modellen stämmer. Väderprognoserna har exempelvis blivit allt bättre de senaste åren, meteorologerna har lagt in nya parametrar allt eftersom och sedan validerat resultatet mot historiska data. Men epidemiologi är annorlunda, både vad gäller tillgängliga historiska data och modelleringstradition, säger Fredrik Gustafsson.
Fredrik Gustafsson och Toomas Timpka har nu slagit sig samman i ett tvärvetenskapligt forskningsprojekt, RIDES, för att ytterligare förfina de modeller som Toomas Timpka, Armin Spreco och deras kollegor arbetat med i många år. Modeller som bygger på verkliga data och som valideras utförligt.
###
Imperial College publicerade sina modeller och slutsatser i rapporter släppta 16 respektive 30 mars 2020. Den 8 juni samma år publicerades modellerna även i en artikel i Nature. Granskningen från den svenska forskargruppen, ledda av forskare vid Lunds universitet, publiceras nu i Nature som ett svar på Imperial College publicering.
Forskningen har finansierats via medel från samarbeten inom den strategiska forskningssatsningen ELLIIT, Wallenberg AI, Autonomous Systems and Software Program och Stiftelsen för strategisk forskning, SSF.
The effect of interventions on COVID-19 Kristian Soltesz, Fredrik Gustafsson, Toomas Timpka, Joakim Jaldén, Carl Jidling, Albin Heimerson, Thomas B. Schön, Armin Spreco, Joakim Ekberg, Örjan Dahlström, Fredrik Bagge Carlson, Anna Jöud, Bo Bernhardsson. Nature 2020, DOI 10.1038/s41586-020-3025-y
