Towfiqu skamad barbhuiya / Shutterstock

När du besöker din läkare kan du anta att behandlingen de föreskriver har goda bevis för att säkerhetskopiera den. Men du hade fel. Endast en av tio medicinska behandlingar stöds av bevis av hög kvalitet, våra senaste undersökningar visar.

Analysen, som publiceras i Journal of Clinical Epidemiology, omfattade 154 systematiska Cochrane-recensioner som publicerades mellan 2015 och 2019. Endast 15 (9.9%) hade bevis av hög kvalitet enligt guldstandardmetod för att avgöra om de tillhandahåller bevis av hög eller låg kvalitet, kallad GRADE (betygsättning av rekommendationer, bedömning, utveckling och utvärdering). Bland dessa hade endast två statistiskt signifikanta resultat - vilket innebär att resultaten troligen inte har uppstått på grund av slumpmässiga fel - och ansågs av granskningsförfattarna vara användbara i klinisk praxis. Med samma system hade 37% måttlig, 31% hade låg och 22% hade mycket låg kvalitet.

GRADE-systemet tittar på saker som risk för partiskhet. Till exempel, studier som är "blindade" - där patienter inte vet om de får den faktiska behandlingen eller placebo - erbjuder bevis av högre kvalitet än "icke-blindade" studier. Förblindande är viktigt eftersom människor som vet vilken behandling de får kan uppleva större placeboeffekter än de som inte vet vilken behandling de får.

Bland annat överväger GRADE också om studierna var oprecisa på grund av skillnader i hur behandlingen användes. I 2016 års granskning fann forskare att 13.5% - ungefär en av sju - rapporterade att behandlingar stöddes av bevis av hög kvalitet. Brist på bevis av hög kvalitet, enligt GRADE, innebär att framtida studier kan störta resultaten.

De 154 studierna valdes eftersom de var uppdateringar från en tidigare granskning av 608 systematiska granskningar, genomfört 2016. Detta gör det möjligt för oss att kontrollera om recensioner som hade uppdaterats med nya bevis hade bevis av högre kvalitet. Det gjorde de inte. I 2016 års studie rapporterade 13.5% att behandlingar stöddes av bevis av hög kvalitet, så det fanns en trend mot lägre kvalitet när fler bevis samlades in.

Det fanns några begränsningar för studien. För det första kanske provstorleken i studien inte har varit representativ, och andra studier har funnit det över 40% av medicinska behandlingar är sannolikt effektiva. Dessutom var urvalet i studien inte tillräckligt stort för att kontrollera om det fanns vissa typer av medicinska behandlingar (farmakologiska, kirurgiska, psykologiska) som var bättre än andra. Det är också möjligt att "guldstandarden" för rankningsbevis (GRADE) är för strikt.

För många studier av låg kvalitet

Många försök av dålig kvalitet publiceras, och vår studie återspeglade bara detta. På grund av trycket på "Publicera eller förgås" för att överleva i akademin, fler och fler studier görs. Endast i PubMed - en databas med publicerade medicinska artiklar - publiceras mer än 12,000 XNUMX nya kliniska prövningar varje år. Det är 30 försök publiceras varje dag. Systematiska recensioner var utformade för att syntetisera dessa, men nu finns det för många av dem också: över 2,000 per år publicerad i PubMed ensam.

Den evidensbaserade medicinrörelsen har slagit en trumma om behovet av att förbättra kvaliteten på forskningen i mer än 30 år, men paradoxalt nog finns det inga bevis för att saker har förbättrats trots a spridning av riktlinjer och vägledning.

År 1994 vädjade Doug Altman, professor i statistik inom medicin vid Oxford University mindre, men bättre, forskning. Detta skulle ha varit bra, men motsatsen har hänt. Oundvikligen har den tsunami av försök som publiceras varje år, kombinerat med behovet av att publicera för att överleva i akademin, lett till att mycket skräp har publicerats, och detta har inte förändrats över tiden.

Bevis av dålig kvalitet är allvarlig: utan goda bevis kan vi helt enkelt inte vara säkra på att de behandlingar vi använder fungerar.

Det var tänkt att vara ett skämt. Twitter

GRADE-systemet är för hårt

En snickare bör bara skylla på sina verktyg som en sista utväg, så ursäkten att GRADE inte fungerar bör endast användas med försiktighet. Ändå är det förmodligen sant att GRADE-systemet är för hårt för vissa sammanhang. Det är till exempel nästan omöjligt för någon prövning som utvärderar ett visst träningsprogram att vara av hög kvalitet.

En träningsförsök kan inte "blindas": alla som gör träning kommer att veta att de är i träningsgruppen, medan de i kontrollgruppen vet att de inte tränar. Det är också svårt att få stora grupper av människor att göra exakt samma övning, medan det är lättare att få alla att ta samma piller. Dessa inneboende problem fördömer träningsförsök att bedömas vara av lägre kvalitet, oavsett hur användbar säker träning är.

Vår metod var också strikt. Medan de systematiska granskningarna hade många resultat (som var och en kunde vara av hög kvalitet) fokuserade vi på de primära resultaten. Till exempel skulle det primära resultatet i en genomgång av smärtstillande medel vara en minskning av smärtan. Då kan de också mäta en rad sekundära resultat, allt från ångestminskning till patientnöjdhet.

Att fokusera på de primära resultaten förhindrar falska resultat. Om vi ​​tittar på många resultat finns det en risk att en av dem kommer att vara av hög kvalitet bara av en slump. För att mildra detta såg vi om något resultat - även om det inte var det primära resultatet. Vi fann att en av fem behandlingar hade bevis av hög kvalitet för alla resultat.

I genomsnitt stöds de flesta medicinska behandlingar vars effektivitet har testats i systematiska granskningar inte av bevis av hög kvalitet. Vi behöver mindre, men bättre, forskning för att ta itu med osäkerheter så att vi kan bli mer säkra på att de behandlingar vi tar fungerar.

Om författaren

Jeremy Howick, chef för Oxford Empathy Program, University of Oxford

Denna artikel publiceras från Avlyssningen under en Creative Commons licens. Läs ursprungliga artikeln.

books_science