Vad ska vi tänka när medicinska bevis inte håller med?

För att förstå om en ny behandling för en sjukdom är riktigt bättre än äldre behandlingar, letar läkare och forskare till de bästa tillgängliga bevisen. Hälso- och sjukvårdspersonal vill ha ett "sista ord" som bevis för att lösa frågor om vad de bästa sätten att behandla är.

Men inte alla medicinska bevis är skapade lika. Och det finns en tydlig hierarki av bevis: expertutlåtande och fallrapporter om enskilda händelser ligger på lägsta nivå, och väl genomförda randomiserade kontrollerade försök ligger nära toppen. Högst upp i denna hierarki är meta-analyser - studier som kombinerar resultaten från flera studier som ställde samma fråga. Och mycket, mycket toppen av denna hierarki är meta-analyser utförda av en grupp som heter Cochrane Collaboration.

För att vara medlem i Cochrane Collaboration krävs individuella forskare eller forskningsgrupper att följa mycket strikta riktlinjer för hur meta-analyser ska rapporteras och genomföras. Därför anses Cochrane-recensioner allmänt vara de bästa metaanalyserna.

Ingen har någonsin frågat om resultaten i meta-analyser som utförs av Cochrane Collaboration skiljer sig från meta-analyser från andra källor. I teorin, om du jämförde en Cochrane- och icke-Cocrane-metaanalys, båda publicerade inom en liknande tidsram, skulle du tendera att förvänta sig att de hade valt samma studier för att analysera, och att deras resultat och tolkning skulle mer eller mindre matcha upp.

Vårt team vid Boston University School of Public Health bestämde sig för att ta reda på. Och överraskande, det är det inte vad vi hittade.


innerself prenumerera grafik


Vad är en meta-analys, hur som helst?

Tänk dig att du har fem små kliniska prövningar som alla funnit en generellt positiv fördel för, låt oss säga att du tar acetylsalicylsyra för att förhindra hjärtattacker. Men eftersom var och en av studierna endast hade ett litet antal studieämnen, kunde ingen med säkerhet säga att de fördelaktiga effekterna inte bara berodde på chanserna. I statistisk tal skulle sådana studier anses vara "underpowered".

Det finns ett bra sätt att öka de statistiska kraven i dessa studier: kombinera de fem mindre studierna till en. Det är vad en meta-anaysis gör. Att kombinera flera mindre studier med en analys och att ta medeltalet av dessa studier kan ibland tippa vågorna och låta medicinska gemenskapen med säkerhet vet om en given intervention fungerar eller inte.

Meta-analyser är effektiva och billiga eftersom de inte kräver nya test. Det är snarare fråga om att hitta alla relevanta studier som redan har publicerats, och detta kan vara överraskande svårt. Forskare måste vara vedhållande och metodiska i sin sökning. Att hitta studier och avgöra om de är tillräckligt bra för att lita på är var konsten - och felet - av denna vetenskap blir en kritisk fråga.

Det är faktiskt en viktig anledning till att Cochrane Collaboration grundades. Archie Cochrane, en sjukvårdsforskare, erkände kraften i meta-analyser, men också den enorma betydelsen av att göra dem rätt. Cochrane Collaboration meta-analyser måste följa mycket höga krav på öppenhet och metodisk rigor och reproducerbarhet.

Tyvärr kan få begå tid och ansträngning för att ansluta sig till Cochrane Collaboration, och det innebär att de flesta metaanalyser inte utförs av Samarbetet och är inte bundna att följa sina standarder. Men betyder det faktiskt detta?

Hur olika kan två meta-analyser vara?

För att ta reda på började vi med att identifiera 40-par meta-analyser, en från Cochrane och en som inte omfattade samma ingrepp (t.ex. aspirin) och resultat (t.ex. hjärtinfarkt) och jämfördes sedan och kontrasterades.

Först fann vi att nästan 40 procent av Cochrane och non-Cochrane meta-analyser var oense i deras statistiska svar på bottenlinjen. Det betyder att typiska läsare, läkare eller hälsopolitiker skulle till exempel komma fram till en fundamentalt annorlunda tolkning av huruvida ingripandet var effektivt eller inte, beroende på vilka meta-anlyser de hände att läsa.

För det andra tycktes dessa skillnader vara systematiska. Icke-Cochrane-recensionerna tenderade i genomsnitt att föreslå att de insatser de testade var mer potent, mer benägna att bota tillståndet eller avvärja medicinsk komplikation än Cochrane-recensionerna föreslog. Samtidigt var de icke-Cochrane-recensionerna mindre exakta i deras noggrannhet, vilket innebar att det fanns en större chans att resultaten endast berodde på chanserna.

En metaanalys är inget annat än bara ett fint vägt medelvärde av dess komponentstudier. Vi blev förvånade över att finna att ungefär 63 procent av de inkluderade studierna var unika för en eller annan uppsättning meta-analyser. Med andra ord, trots att de två uppsättningarna av meta-analyser antagligen skulle leta efter samma papper, med liknande sökkriterier, under en liknande tidsperiod och från liknande databaser, hade endast ungefär en tredjedel av papperna de två uppsättningarna ingår var samma.

Det verkar troligt att de flesta eller alla dessa skillnader kommer ner till det faktum att Cochrane insisterar på hårdare kriterier. En metaanalys är bara lika bra som de studier som ingår, och medeltaken av dålig forskning kan leda till dåligt resultat. Som ordspråket säger, "skräp in, skräp ut".

Intressant var att de analyser som rapporterade mycket högre effektstorlekar tenderade att återföras i andra papper med en mycket högre hastighet än analyserna som rapporterade den lägre effektstorleken. Detta är en statistisk utföringsform av det gamla journalistiska ordspråket "Om det blöder leder det." Stora och djärva effekter får mer uppmärksamhet än resultat som visar marginella eller tvetydiga resultat. Det medicinska samhället är ju bara mänskligt.

Varför denna fråga?

På sin mest grundläggande nivå visar detta att Archie Cochrane var helt korrekt. Metodisk konsistens och rigor och öppenhet är väsentliga. Utan det finns det risk för att slutsatsen är att något fungerar när det inte gör det, eller till och med överhänger förmånerna.

Men på en högre nivå visar det oss ännu en gång hur svårt det är att skapa en enhetlig tolkning av den medicinska litteraturen. Meta-analyser används ofta som sista ordet på ett givet ämne, som tvistlösare.

Det är klart att den rollen utmanas av det faktum att två meta-analyser, uppenbarligen på samma ämne, kan nå olika slutsatser. Om vi ​​ser meta-analysen som "guldstandarden" i vår nuvarande era av "bevisbaserad medicin", hur är den genomsnittliga läkaren eller policymaker eller ens patient att reagera när två guldstandarder motsäger varandra? Caveat emptor.

Om författarenAvlyssningen

Christopher J. Gill, docent, avdelningen för global hälsa; Infectious Diseases Specialist, Boston University.

Den här artikeln publicerades ursprungligen den Avlyssningen. Läs ursprungliga artikeln.


Relaterade Bok:

at InnerSelf Market och Amazon