Vetenskapen har idag en otroligt stark ställning. Dawkins förklarar varför:

En världsomspännande demonstration för vetenskap hölls i lördags. Trumps inställning till klimathotet mm tycks ha mobiliserat väldigt många att delta, men här i Sverige har det rests legitima invändningar mot att de svenska demonstrationerna istället är för inställsamma mot svenska makthavare.

Jag är i grunden positivt inställd till demonstrationen, men jag finner det lite lustigt att många som ställt upp har en väldigt flexibel inställning till vetenskap i andra sammanhang. Men sådan är vetenskapens ställning idag – den som önskar någon särskild policy behöver argumentera med vetenskapligt färgade inslag och kanske tillochmed övertyga sig själv om att det man önskar har vetenskapligt stöd. Det gäller alla, från foliehattar till kufiska bloggare som jag själv, kulturskribenter och politiker.

Det är ofta jag i debatter möter personer som hänvisar till någon väldigt märklig peer-reviewad artikel och kräver att man knäböjer inför den som vore den den ultimata sanningen. Det är tyvärr nonsens och jag tänkte ta tillfället i akt att så lite tvivel.

Fejkad eller dålig peer-review

I torsdags annonserades att 107 artiklar i en seriös vetenskaplig journal, Tumor Biology, dras tillbaka pga fejkad peer-review. Bedrägerierna hade ett ganska enkelt upplägg och byggde på att artikelförfattare ombeds ge förslag till reviewers. Orsaken är att de flesta forskningsområden är ganska smala och det är en handfull som kan bedöma vad man sysslar med och det är därför svårt för journalredaktörerna att veta vilka som är lämpliga. Men här lät man artikelförfattarna även uppge kontaktuppgifter till sina reviewförslag. Fejkade mailadresser bifogades, lata redaktörer bad om review via dessa och man fick givetvis en positiv review tillbaka.

Hur upptäcktes bedrägerierna? Jo, man började få upp ögonen för att man fick tillbaka reviewsvar utan att behöva tjata och jaga. Stor röd flagga på det! Forskare är upptagna personer med många järn i elden.

Vad kan man dra för slutsats? Om en artikel är peer-reviewad så är det inte en särskilt pålitlig kvalitetsstämpel. Det kan vara en välgjord review, det kan vara en ren fejk-review, eller det kan vara en kompis/meningsfrände i forskarvärlden som gjort review. Lite pikant är att det nu både finns program som kan automatgenerera forskningsrapporter (med nonsens, förstås), samt program som kan automatgenerera peer-reviews. Finns potential för ett självspelande piano!

Replikationskrisen

En peer review är inte en replikationsstudie. Det betyder att peer review inte kan förväntas upptäcka när data falsifierats/cherrypickats eller när slumpen har medfört att man fått ett falskt positivt resultat. Flera studier tyder dessutom på att data ofta hanteras och refereras felaktigt så att replikationsstudier blir svåra att genomföra, men ändå tar de sig igenom peer review.

Replikationsstudier på senare år har misslyckats med att reproducera att replikera förbluffande många resultat. Den länkade studien i psykologi fann att man bara kunde replikera 36% av resultaten, trots att man tagit ursprungsförfattarna till hjälp för att undvika att falla på oklarheter i test-setup.

Att man har svårt att upprepa kan bero på slump eller på något av många tänkbara felaktiga sätt att hantera data. Om man undersöker många samband så kommer man hitta några som tycks vara signifikanta. För att undvika det måste man i förväg välja den tes som ska undersökas, bestämma hur mycket data man ska samla in, göra det och inte utesluta några resultat. Några fel som kan göras är att:

• avsluta datainsamling när man fått ett signifikant resultat.
• avrunda sk p-värden (signifikansvärden) neråt.
• strunta i att publicera vissa data som inte stämmer med tesen, exempelvis extrema resultat, sk ”uteliggare”. som ändå är rimliga.
• att tvärtom inte utesluta uteliggare när det är påkallat.
• publicera resultatet av en datamining-studie som om det vore resultat av en konfirmationsstudie.
• strunta i att publicera när resultatet inte ger signifikant resultat.

Kostnaden inom det medicinska fältet för forskning som är icke reproducerbar har uppskattats till 28 miljarder dollar årligen. Och det är bara den direkta kostnaden. Att man sätter läkare och andra forskare på fel spår är oräknat.

Sannolika resultat

Man har funnit att följande förhållanden ökar sannolikheten för att ett funnet samband är falskt:

• Mindre undersökningar (färre sampel).
• Mindre funna effekter. (Enkelt att binda rökning till cancer, hopplöst med små doser radioaktivitet.)
• Att välja ut få samband av många möjliga.
• Stor flexibilitet i metodik och definitioner. (ej standardiserat).
• Intressekonflikter, ekonomiska intressen och förutfattade meningar i fältet.
• Att forskningsfältet är ”hett”, så att tajming blir väldigt viktigt.

Mer info här för den intresserade.

Vad kan man lita på?

Så, nu har jag varit lite negativ, trots att jag i grunden tycker att vetenskapen ska inneha en tämligen central roll i samhället på många sätt. Så vad kan man lita på? Egentligen inget, men det är lämpligt att anta att mainstreamforskning är sann, att lita mer på resultat publicerade i prestige-journaler och som citerats mycket, på resultat som stått emot tidens tand, resultat som replikerats eller byggts vidare på på ett sätt som skulle avslöjat fel, resultat vars tendens kan bekräftas på flera sätt etc. Här är ett exempel på skräpforskning av en gök som heter Scherb, där resultaten inte alls stämmer med vad man sett i allmänhet. Får nog tillfälle att återkomma till honom och lägga in honom i skräckgalleriet.

Måste väl också erkänna att många av punkterna ovan talar emot klimatvetenskapen: flexibilitet i metodik, små effekter (åtminstone på kort sikt), intressekonflikter mm samt att forskningsfältet är hett. Men jag står ändå fast vid det jag skrivit tidigare i ämnet, att den bästa gissningen en lekman kan göra är att huvudfåran stämmer.

Men hursomhelst, peer review är verkligen ingen garanti.