Vem är egentligen bättre på att förutspå framtiden – en politisk expert eller en schimpans som kastar pil?
Den tillspetsade frågan har förföljt amerikanske forskaren Philip Tetlock ända sedan han kring 2005 publicerade boken ”Expert Political Judgement” om hur väl experter kan förutspå politik och ekonomi.
När den i dag välkända studien visade att experterna bara var något bättre än slumpen så tog rubriksättare glatt fasta på att apor minsann är lika bra som experter. I dag har Philip Tetlock själv blandade känslor inför liknelsen.
– Den pilkastande schimpansen är bara en färgstark metafor för huruvida man besegrar en ren gissningsstrategi. Hur svårt det är att överträffa apan beror ju förstås på hur svår frågan är, säger han till SVT Nyheter.
Som exempel ger Tetlock frågan: ”Sker en statskupp i Sverige inom sex månader?”. De allra flesta hade svarat nej och med stor säkerhet fått rätt i det, säger han. Apan hade däremot bara haft en 50-50-chans.
Går att lära sig
Att försöka förutspå framtiden är något som alla vi människor gör i vår vardag, på ett eller annat sätt. Men experters prognoser ligger också till grund för många andra människors beslut och för hur regeringar, banker och andra viktiga institutioner agerar.
Särskilt i valtider strösslas det friskt med politiska prognoser och därför kan det vara bra att tänka ett extra varv kring deras pålitlighet – inte minst eftersom experterna i studien själva överskattade sin förmåga.
Att experterna som grupp slog slumpen med en blygsam marginal betyder inte att alla enskilda var lika bra eller dåliga. Vissa egenskaper kännetecknar bättre kontra sämre bedömare av framtiden och lyckligtvis kan man med övning bli bättre.
De som klarar sig bättre kännetecknas av en öppenhet för att ändra åsikt utifrån nya fakta, försiktighet i prognoser och självkritik.
De som klarar sig sämre kännetecknas av benhård övertygelse, förenklade resonemang och drastiska prognoser, enligt Tetlocks studier.
Vem syns i rutan?
Ett återkommande problem är att de egenskaper som kännetecknar pricksäkra prognoser inte alltid överensstämmer med de som gör sig bäst i medier. Där efterfrågas ofta tydliga, enkla och snärtiga analyser som gör sig väl i en rubrik.
När Tetlock själv tittar på TV brukar han fråga sig om kommentatorn i första hand bryr sig om att ha rätt eller om att tilltala de som redan har liknande åsikter. Det andra han tänker på är om någon – inklusive kommentatorn själv – har någon aning om hur ofta den har rätt eller fel, något inte alla verkar bry sig om, säger han.
– Varför brister intresset för något så grundläggande?
Experter ändå viktiga
Men Tetlock påpekar att hans forskning inte visar att experternas kunskaper är värdelösa, och han beklagar att hans forskning ibland utnyttjats för att göda förakt för kunskap eller för ”eliten”.
Tvärtom betonar han i förordet till nyutgåvan av sin bok att experter med sin kunskap spelar livsviktiga roller i samhället, för att lösa svåra problem som kräver stor kunskap och erfarenhet.
– Jag kan ångra att en del tolkar schimpansmetaforen som stöd för en sorts ”ingen vet någonting”-ism, säger Tetlock.
– Schimpansen är en catchig men potentiellt vilseledande metafor, det är en lägsta ribba för kommentatorer att överträffa.
Det är helt enkelt så att den politiska framtiden, till sin natur, ibland är svår att sia om, skriver Tetlock.
Kanske en viss tröst för alla som gör det i sitt yrke.
80 000 spådomar under 20 år – så gick studien till
- Den omfattande studien följde knappt 300 experter som totalt gav cirka 80 000 spådomar under drygt två decenniers tid. Varje svar, som angavs i procentuell sannolikhet att något händer, gav en viss poäng.
- Ju mer säker man varit på sin sak desto högre poäng – om man nu haft rätt. Att med stor säkerhet svara fel straffar sig däremot med en sämre poäng.
- En dagsaktuell fråga skulle exempelvis kunna vara: ”Är Stefan Löfven fortfarande statsminister i Sverige den 31 december 2018?”, där man då får svara med hur sannolikt man tror att det är i procent. Andra frågor kan ha flera olika alternativ.
- Frågorna rörde inrikes- och utrikespolitiska händelser, och handlade om flera dussin olika länder.
- Experterna var på det hela något bättre än slumpen, men inte med stor marginal. De slog däremot inte allmänt belästa icke-experter som hänger med i nyheterna, och inte heller enkla regler som ”förutspå ingen förändring”.
- Gruppen som fick representera allmänheten, i själva verket psykologistudenter på prestigeuniversitetet Berkeley, lyckades däremot med den ”imponerande bedriften” att vara sämre än slumpen.
- En del kritiker har framhållit att jämförelsen med slumpen, eller en apa, är orättvis mot experterna, eftersom valet av frågor spelar stor roll. Lätta frågor är människor mycket bättre på – apan har alltid 50 procent chans att få rätt om det är två alternativ. Ju svårare frågorna är desto bättre relativ chans har apan, och det är forskarna som väljer frågorna.