Experter fick det katastrofalt fel, enligt Dominic Cummings, Storbritanniens premiärminister Boris Johnsons tidigare chefsrådgivare. Cummings har argumenterat att den brittiska regeringens officiella vetenskapliga råd i mars 2020 missförstod enormt hur pandemin skulle spela, vilket ledde till en försenad låsning som kostade tusentals liv.

Enligt Cummings var det vissa specialister med mindre kunskap om pandemier eller medicin - som datavetare Ben Warner, artificiell intelligensforskare Demis Hassabis från DeepMind och matematikern Tim Gowers - som gav mer exakta prognoser vid denna tidpunkt.

Cummings är också känt för att vara en fläkt of Superprognoser av Philip Tetlock, en bok om människor som förutsäger framtida händelser mer tillförlitligt än de flesta. Några superforecasters har berömts för deras förutsägelser om pandemin, medan andra också har gjort det kritisk till experternas spela in.

Så borde regeringar i större utsträckning använda superforecasters istället för att förlita sig på vetenskapliga experter? Bevisen är inte helt så tydlig. Men det verkar verkligen finnas saker som regeringar kan lära av superprognoser.

I en berömda amerikanska studien på superforecasters som publicerades 2014 var de ett elitbesättning. Endast de översta 2% av deltagarna presterade tillräckligt bra i en geopolitisk prognostagningsturnering för att vinna titeln. Deras uppgift var att tilldela sannolikheter till möjliga svar på dussintals frågor.

Forskarna ger några illustrativa exempel. Vem skulle vara Rysslands president 2012? Kommer Nordkorea att spränga ett annat kärnvapen de närmaste tre månaderna? Hur många flyktingar kommer att fly från Syrien nästa år?

Naturligtvis, bara för att någon gör det bra ett år, bevisar det inte att de är mer skickliga än någon annan. Kanske hade de bara tur. Vi måste titta på hur bra de gjorde de följande åren för att utvärdera hur “super” de verkligen är.

Imponerande, dessa superforecasters behöll sin kant när turneringen fortsatte i ytterligare tre år. I själva verket, efter att ha kombinerats till "superforecasting-team" som bara innehöll andra toppartister, ökade deras prestationer med en betydande marginal. Forskarna fann också att att arbeta i team och ta relevant utbildning förbättrade prestandan för andra prognosmakare jämfört med prognosmakare i ett kontrollförhållande.

Lag och träning

Oavsett om vi tar Cummings på hans ord att Storbritanniens pandemiplanering led av en ”klassisk grupptänkbubbla”, vet vi att lag inte alltid fattar kloka beslut. Vad var det som gjorde lagen mer framgångsrika i den amerikanska studien?

Det är svårt att säga säkert, men forskarna uppmuntrade specifikt lagen att ställa exakta frågor för att uppmuntra tydligare tänkande om bevis som stöder en viss prognos, att "leta efter bevis som strider mot din nuvarande förutsägelse" och att konstruktivt införa alternativa synpunkter. .

En sådan debatt kan mycket väl förbättra kollektiv bedömning och skydda dig mot grupptänk. Teammedlemmarna var inte heller skyldiga att komma till enighet. Även om de delade information och åsikter gjorde de fortfarande individuella förutsägelser som kombinerades med algoritm. Framför allt superforecaster-team var mycket engagerad, delar ofta information med och ställer frågor till andra teammedlemmar.

En annan studie tittade närmare på vilka specifika träningstekniker som tycktes hjälpa mest. Tre tekniker var särskilt förknippade med högre noggrannhet. Den första var användningen av så kallade jämförelseklasser.

Om jag till exempel försöker förutsäga sannolikheten för att Benedict Cumberbatch och Sophie Hunter fortfarande kommer att vara tillsammans om fem år, kan det vara till hjälp att tänka på andra "klasser" som är relevanta - säg klassen kändisäktenskap eller till och med äktenskap i allmänhet. Detta gör att jag kan titta på historien för att informera mina förutsägelser: Hur stor andel kändisäktenskap avslutas under en viss femårsperiod?

Den andra var att använda matematiska och statistiska modeller, när de var tillgängliga, för att informera sina åsikter. Den tredje var att ”välja rätt frågor” - en rekommendation att spendera mer tid på att förutse svar på frågor där du vet mer än andra om ämnet, eller som ytterligare forskning sannolikt kommer att löna sig. Emellertid betonade forskarna att alla komponenter i träningen kan ha bidragit holistiskt till bättre prestanda.

Forskning har också visat det noggrannhet förbättras när vi håller reda på våra tidigare resultat - men den typ av feedback är viktig. Upplevde resultat som du trodde skulle hända 20% av tiden faktiskt 20% av tiden? Vad sägs om resultat som du trodde skulle hända 90% av tiden? Prestanda förbättras för dem som får den här typen av information.

Kan regeringar göra bättre?

Kunde den brittiska regeringen ha gjort bättre på COVID-19 genom att begära inlägg från team av superforecasters? Det är möjligt. Superforecasters på Bra dom öppet och praktiserade prognosmakare vid Metaculus (som jag har deltagit i) verkar ha klarat sig bra på COVID-19, med Metaculus som påstår sig ha överträffade experter i juni 2020. Som sagt, i en senaste serien av COVID-19-relaterade förutsägelser var utbildade prognosmakare inte alltid mer exakta än experter. Forskarna bakom undersökningen experimenterar med sätt att kombinera förutsägelser från domenexperter och utbildade prognosmakare till en "konsensusprognos".

Det verkar också troligt att även den utbildning som hjälpte icke-supers att göra bättre prognoser skulle ha varit användbar. Till exempel hävdade Cummings att även om det fanns mycket uppmärksamhet vid epidemiologiska modeller ignorerades bevis som motsäger modellernas antaganden - såsom att uppgifter rapporteras av intensivvårdsavdelningar. Det verkar verkligen troligt att någon som tränats för att ”leta efter bevis som strider mot din nuvarande förutsägelse” kanske har upptäckt detta tidigare.

Naturligtvis är inte alla rekommendationer från litteraturen praktiska i statliga miljöer. I teorin kunde regeringarna testa sådana rekommendationer för sig själva och anta alla som verkade fördelaktiga. Tyvärr kan du inte förbättra det du inte mäter.

In Superprognoser, Betonar Tetlock att alla organisationer som menar allvar med att förbättra sina prognoser måste fästa konkreta siffror åt dem, åtminstone internt. En fras som "allvarlig möjlighet" kan betyda en 20% chans för en person och en 80% chans för en annan.

Detta är nästan säkert vad Cummings hänvisade till när han sa: "En kille som heter Phil Tetlock skrev en bok och i den boken sa han att du inte borde använda ord som rimliga och troliga och troliga, för det förvirrar alla." Kanske bör det inte överraska oss om organisationer som inte gör prognoser på ett sätt som de kan utvärderas inte är utrustade för att lära sig att göra dem bättre. För att förbättra måste du först försöka.