LiU-docenten Anders Eklund, verksam vid institutionerna för datavetenskap respektive medicinsk teknik, testade analysmetoderna genom att använda dem på kända och tillförlitliga data. Metoderna visade falsk aktivitet i hjärnan i 60 procent av fallen. En rimlig siffra är fem procent.
Analysmetoderna har tidigare bara validerats mot simulerade data, men Anders Eklund påpekade redan i sin doktorsavhandling 2012 att resultaten inte alltid är tillförlitliga. De statistiska metoder som används bygger på en mängd antaganden och är ett eller flera antaganden fel blir resultatet fel. Kritikerna inom forskarvärlden hävdade då att det visserligen kan uppstå fel om man analyserar data från en enda person, men att felen jämnar ut sig i gruppanalyser.
Anders Eklund föreslog i sin avhandling en annan metod där man gör få antaganden och istället utför betydligt flera beräkningar - tusen gånger fler - vilket ger ett betydligt säkrare resultat. Med hjälp av moderna grafikkort kan beräkningstiden hållas nere så att metoden blir praktiskt användbar.
Anders Eklund for iväg till en post dok-tjänst vid Virginia Tech. När han kom hem hösten 2014 insåg han att forskningen fortfarande vilade på gamla, otillförlitliga analysmetoder.
– Jag trodde nog att någon skulle ta upp tråden och fortsätta validera metoderna, men det hände inte. När jag kom tillbaka köpte jag därför tre datorer och började testa de statistiska metoderna för gruppanalyser. Vad jag än skulle finna så var det intressant, tänkte jag.
En undersökning i en magnetkamera kan kosta 5000 kr för en timma och att undersöka 500 personer är oftast inte ekonomiskt möjligt. Men de senaste åren har allt fler forskare lagt ut grunddata på nätet så att fler forskare kan ha nytta av dem.
– I dag kan vi ladda ner verkliga mätdata från friska kontrollpersoner, säger han.
När undersökningar görs med fMRI jämförs exempelvis bilder från 20 friska personer med bilder från 20 personer som har en hjärnskada eller någon nedsatt funktion.
Anders Eklund använde nu de gängse analysmetoderna och jämförde 20 friska med 20 andra friska personer. Det borde med andra ord inte ha blivit någon skillnad, eller i alla fall bara de 5 procent som slumpen består oss med. Totalt gjorde han tre miljoner jämförelser av slumpmässigt valda grupper med data från 499 friska personer.
– Skillnaderna var betydligt större än fem procent och hamnade runt 60 procent i det värsta fallet, säger Anders Eklund.
Det betyder att analyserna kan ha visat positiva resultat där det inte skulle ha varit några positiva resultat och därmed indikerat hjärnaktivitet där det inte fanns någon aktivitet.
Han har även analyserat samma dataset med sin mer beräkningstunga metod och fick då en betydligt bättre överensstämmelse, med skillnader i de förväntade fem procenten av fallen.
– Tack vare de moderna grafikkorten kan man utföra stora beräkningar. Det skulle ta 1000 gånger längre tid att göra beräkningarna i en vanlig dator, men tack vare grafikkorten fick jag ner beräkningstiden från 10 år till 20 dagar, berättar Anders Eklund.
– Har man ägnat månader åt att samla in data till stora kostnader borde man vara mer intresserad av att låta analysen ta tid så att den blir korrekt, säger han.
En amerikansk forskargrupp har också upprepat hans beräkningar. Anders Eklund, Hans Knutsson, professor vid Institutionen för medicinsk teknik, och kollegan vid University of Warwick i Storbritannien valde också att lägga ut en så kallad preprint på arXiv för att forskarvärlden skulle få möjlighet att komma med invändningar.
Men inga fel har hittats i Anders Eklunds beräkningar och nu publiceras resultatet av hans enträgna forskarmöda i den ansedda amerikansk vetenskapliga tidskriften Proceedings of the National Academy of Sciences, PNAS.
– Det känns verkligen jättebra, det är ett erkännande och jag hoppas att vi får igång en diskussion i forskarkretsar kring hur vi validerar modeller. Idag finns både tillgänglig data att validera mot och beräkningskraft nog att utföra beräkningarna.
Hur många av alla studier om gjorts med fMRI behöver göras om?
– Det går inte att svara på, en del av dem är gjorda för 10-15 år sedan och det är inte säkert att grunddata finns kvar. Det viktiga är att forskarna tänker sig för vilken metod de använder i fortsättningen, säger Anders Eklund.
I en av de mjukvaror som hittills använts har också funktionerna ändrats så att resultatet blir mer rättvisande.
– Ibland kan förändringar gå snabbt och det visar ju att de accepterat att metoden tidigare kunde visa fel, säger Anders Eklund.
Forskningen har finansierat av LiU-satsningen inom neuroekonomi, av Vetenskapsrådet och genom europeiska ITEA 3.
Artikeln: Cluster failure: why fMRI inferences for spatial extent have inflated false positive rates., Anders Eklund, Thomas Nichols och Hans Knutsson, PNAS 2016, www.pnas.org/cgi/doi/10.1073/pnas.1602413113
Analysmetoderna har tidigare bara validerats mot simulerade data, men Anders Eklund påpekade redan i sin doktorsavhandling 2012 att resultaten inte alltid är tillförlitliga. De statistiska metoder som används bygger på en mängd antaganden och är ett eller flera antaganden fel blir resultatet fel. Kritikerna inom forskarvärlden hävdade då att det visserligen kan uppstå fel om man analyserar data från en enda person, men att felen jämnar ut sig i gruppanalyser.
Bättre metod
Anders Eklund föreslog i sin avhandling en annan metod där man gör få antaganden och istället utför betydligt flera beräkningar - tusen gånger fler - vilket ger ett betydligt säkrare resultat. Med hjälp av moderna grafikkort kan beräkningstiden hållas nere så att metoden blir praktiskt användbar.
Anders Eklund for iväg till en post dok-tjänst vid Virginia Tech. När han kom hem hösten 2014 insåg han att forskningen fortfarande vilade på gamla, otillförlitliga analysmetoder.
– Jag trodde nog att någon skulle ta upp tråden och fortsätta validera metoderna, men det hände inte. När jag kom tillbaka köpte jag därför tre datorer och började testa de statistiska metoderna för gruppanalyser. Vad jag än skulle finna så var det intressant, tänkte jag.
En undersökning i en magnetkamera kan kosta 5000 kr för en timma och att undersöka 500 personer är oftast inte ekonomiskt möjligt. Men de senaste åren har allt fler forskare lagt ut grunddata på nätet så att fler forskare kan ha nytta av dem.
– I dag kan vi ladda ner verkliga mätdata från friska kontrollpersoner, säger han.
När undersökningar görs med fMRI jämförs exempelvis bilder från 20 friska personer med bilder från 20 personer som har en hjärnskada eller någon nedsatt funktion.
Jämförde friska med friska
Anders Eklund använde nu de gängse analysmetoderna och jämförde 20 friska med 20 andra friska personer. Det borde med andra ord inte ha blivit någon skillnad, eller i alla fall bara de 5 procent som slumpen består oss med. Totalt gjorde han tre miljoner jämförelser av slumpmässigt valda grupper med data från 499 friska personer.
– Skillnaderna var betydligt större än fem procent och hamnade runt 60 procent i det värsta fallet, säger Anders Eklund.
Det betyder att analyserna kan ha visat positiva resultat där det inte skulle ha varit några positiva resultat och därmed indikerat hjärnaktivitet där det inte fanns någon aktivitet.
Han har även analyserat samma dataset med sin mer beräkningstunga metod och fick då en betydligt bättre överensstämmelse, med skillnader i de förväntade fem procenten av fallen.
– Tack vare de moderna grafikkorten kan man utföra stora beräkningar. Det skulle ta 1000 gånger längre tid att göra beräkningarna i en vanlig dator, men tack vare grafikkorten fick jag ner beräkningstiden från 10 år till 20 dagar, berättar Anders Eklund.
– Har man ägnat månader åt att samla in data till stora kostnader borde man vara mer intresserad av att låta analysen ta tid så att den blir korrekt, säger han.
Resultaten noga kontrollerade
En amerikansk forskargrupp har också upprepat hans beräkningar. Anders Eklund, Hans Knutsson, professor vid Institutionen för medicinsk teknik, och kollegan vid University of Warwick i Storbritannien valde också att lägga ut en så kallad preprint på arXiv för att forskarvärlden skulle få möjlighet att komma med invändningar.
Men inga fel har hittats i Anders Eklunds beräkningar och nu publiceras resultatet av hans enträgna forskarmöda i den ansedda amerikansk vetenskapliga tidskriften Proceedings of the National Academy of Sciences, PNAS.
– Det känns verkligen jättebra, det är ett erkännande och jag hoppas att vi får igång en diskussion i forskarkretsar kring hur vi validerar modeller. Idag finns både tillgänglig data att validera mot och beräkningskraft nog att utföra beräkningarna.
Hur många av alla studier om gjorts med fMRI behöver göras om?
– Det går inte att svara på, en del av dem är gjorda för 10-15 år sedan och det är inte säkert att grunddata finns kvar. Det viktiga är att forskarna tänker sig för vilken metod de använder i fortsättningen, säger Anders Eklund.
I en av de mjukvaror som hittills använts har också funktionerna ändrats så att resultatet blir mer rättvisande.
– Ibland kan förändringar gå snabbt och det visar ju att de accepterat att metoden tidigare kunde visa fel, säger Anders Eklund.
Forskningen har finansierat av LiU-satsningen inom neuroekonomi, av Vetenskapsrådet och genom europeiska ITEA 3.
Artikeln: Cluster failure: why fMRI inferences for spatial extent have inflated false positive rates., Anders Eklund, Thomas Nichols och Hans Knutsson, PNAS 2016, www.pnas.org/cgi/doi/10.1073/pnas.1602413113
