Samma forskningsdata tolkades helt olika

21 maj 2020

Therese Ekstrand Amaya

Olika forskarlag världen över, varav ett från LiU, har analyserat samma material i syfte att jämföra sina resultat. Jämförelsen visade att de olika forskarlagens resultat märkbart skilde sig åt. Studien har publicerats i den ansedda tidskriften Nature.

Man framför dataskärm — Forskare bör i större utsträckning tillgängliggöra data för andra forskare, förregistrera hypoteser och vara transparenta med vilka analysmetoder som används, menar författarna av en nypublicerad studie i Nature.

Den vetenskapliga processen består av en lång rad svåra steg, som att utveckla en teori, skapa hypoteser, samla in data och att analysera den. Varje sådant litet steg påverkar det slutliga resultatet – men i vilken grad? Det frågade sig de nära 200 forskare inom neuro- och beteendevetenskap som gick samman i projektet NARPS (Neuro imaging Analysis Replication Prediction Study) för att jämföra resultat kring hjärnavbildningar. Foto Thor Balkhed

– Att nästan 200 forskare inom neurovetenskap, ekonomi och psykologi avsätter tio- eller hundratals timmar för att delta i en kritisk självbedömning visar på ett starkt engagemang för att förbättra och kritiskt granska kvaliteten inom sitt eget forskningsfält, säger Gustav Tinghög, biträdande professor som forskar om beteende- och neuroekonomi på JEDI-lab vid institutionen för ekonomisk och industriell utveckling, Linköpings universitet.

Han har tillsammans med LiU-kollegorna Kenny Skagerlund från JEDI-lab och Paul Hamilton från Centrum för social och affektiv neurovetenskap, CSAN, bidragit till studien som nu publiceras i den vetenskapliga tidskriften Nature.

Studien började med att 108 försökspersoner fick ta beslut i olika ekonomiska frågor, på ett laboratorium i Tel Aviv, Israel. Medan de tog beslut om exempelvis hur mycket pengar de kunde vinna eller förlora genom olika val, gjordes en avbildning av deras hjärnor. Dessa hjärnavbildningar skickades sedan till 70 olika forskarlag runt om i världen. Ett av dem var JEDI-lab vid Linköpings universitet,

JEDI-lab och de andra forskarlagen testade sedan de nio på förhand uppsatta hypoteserna genom att använda sina standardmetoder. Hypoteserna handlade bland annat om hur aktiviteten i en viss del av hjärnan förändras i förhållande till de ekonomiska beslut som deltagarna tog.

Att forskare kommer fram till olika resultat är en del av den vetenskapliga processen. Men det är viktigt att förstå varför och vilka metodologiska val som ligger bakom, för att kunna bygga vidare och utveckla ny kunskap.

Efter tre månader rapporterade forskargrupperna sina slutresultat för hypoteserna samt detaljerad information om hur de hade analyserat datan. I fem av hypoteserna var variabiliteten stor vad gällde huruvida de olika forskarlagen styrkte eller avslog hypotesen, mellan 20 och 40 procent.

– När vi börjar närma oss 50 procent innebär det att forskarnas tolkning inte nämnvärt skiljer sig från det man hade fått om man låtit singla slant för att avgöra om hypotesen ska bekräftas eller inte. Detta är såklart inte bra, säger Gustav Tinghög.

Vad gällde de övriga fyra hypoteserna så visade forskarlagen mer samstämmighet. Resultaten från studien visar för första gången den stora variation som uppstår när samma komplexa data från hjärnavbildningar analyseras på olika sätt, i syfte att testa samma hypoteser.

– Det är oerhört komplexa metoder och analyser det handlar om när man ska förstå mänskligt beslutsfattande. Att forskare kommer fram till olika resultat är en del av den vetenskapliga processen. Men det är viktigt att förstå varför och vilka metodologiska val som ligger bakom, för att kunna bygga vidare och utveckla ny kunskap. Vi forskare kan bidra till den processen genom att bli mycket bättre på att tillgängliggöra vår data för andra forskare, förregistrera våra hypoteser och att vara fullständigt transparenta i vilka analysmetoder vi använder för att förstå vår data, säger Gustav Tinghög.

Vetenskaplig artikel:
Variability in the analysis of a single neuroimaging dataset by many teams, Rotem Botvinik-Nezer el al., Nature (2020).

Kontakt

Relaterat innehåll

Avundsjukan påverkar oss vid röstning

Avundsjuka spelar större roll när vi fördelar tillgångar genom majoritetsbeslut än när vi gör individuella val. Det visar ny forskning från Linköpings universitet.

Två kvinnor sitter vid ett bord och pratar med varandra.

Medicinforskare striktast med etiken – åtminstone i teorin

Forskare inom medicin är striktare medan samhällsvetare, naturvetare och humanister är mer tillåtande. Inställningen till etiskt problematiska sätt att bedriva forskning skiljer sig tydligt åt mellan vetenskapsområden visar en studie från LiU.

Gatuskylt som pekar mot sjukhus framför en hög byggnad.

Patientbeslut, hjärnstimulering och mindre antibiotika får stöd

För första gången har Linköpings universitets Jubileumsstiftelse utlyst medel till forskningsprojekt. Temat för utlysningen är ”Framtida kliv för bättre hälsa” och tre forskare får stöd för tvärvetenskapliga projekt inom medicin.

Större risk att politisk höger faller för konspirationsteorier

Personer som lutar politiskt åt höger faller lättare för konspirationsteorier. Men oavsett ideologi tenderar vi att godta påståenden som stryker oss själva medhårs. Det visar en doktorsavhandling från LiU.

AI kan boosta bättre ekonomiska beslut

Har du ingen större finansiell kunskap – eller är ekonomiska frågor något du gärna blundar för? Då finns det stora möjligheter att AI kan vara till hjälp, menar LiU-forskaren Kinga Barrafrem.

Nathalie Hallin och Hajdi Moche i samtal.

Religiösa är inte mer generösa – med ett undantag

Troende är inte mer generösa än ateister – så länge de inte vet vad mottagaren tror på. Då ökar givmildheten påtagligt, men framför allt för att man ger mer till dem med samma religion. Det visar en undersökning från Linköpings universitet.

Relaterat innehåll

JEDI-lab

Målet med vår forskning är att förstå vardagligt beslutsfattande och dess bakomliggande processer, både på individnivå och på samhällsnivå. Vi undersöker samspelet mellan intuition, reflektion och emotion i ekonomiskt beslutsfattande.

Senaste nytt från LiU

En man och en kvinna som sitter bredvid varandra.

Två hedersdoktorer med blicken mot framtiden

Avfall kan avslöja samhällets orättvisor. Utbildning kan förändra ett barns framtid. De nya hedersdoktorerna vid Filosofiska fakulteten verkar inom helt olika områden men förenas av en vilja att omsätta kunskap och engagemang i konkret förändring.

Här går energin åt i datacentret

Serverdrift och kylning står för 95 procent av energianvändningen i ett undersökt datacenterrum. En ny kartläggning visar vart energin tar vägen och kan hjälpa datacenter att hitta åtgärder som ger störst effekt.

Bra riktlinjer räcker inte för att förändra vården

Bra riktlinjer räcker inte för att förändra vården. En ny studie visar hur organisation, lokala förutsättningar och kontinuerligt lärande påverkar om nya arbetssätt får genomslag – och om de bidrar till en mer jämlik vård för alla.