Statistiker Nate Silver  ble kjent over hele verden etter valgene i 2008 og 2012 da han på FiveThirtyEight-bloggen gjettet riktig på det meste. Foto: Nam Y. Huh / AP / NTB Scanpix
Statistiker Nate Silver  ble kjent over hele verden etter valgene i 2008 og 2012 da han på FiveThirtyEight-bloggen gjettet riktig på det meste. Foto: Nam Y. Huh / AP / NTB ScanpixVis mer

De to siste valgene har statistikerne briljert. Hva gikk galt i år?

Blant annet at dem som har anti establishment-holdninger ikke svarer på meningsmålinger. 

Hei, denne artikkelen er over ett år gammel og kan innholde utdatert informasjon

(Dagbladet): President Trump. Nesten ingen forutså det, men nå er det fasit.

Hva nå, meningsmålere? Hvorfor var det så få som spådde det på forhånd? Betyr dette at «big data» ikke fungerer så godt som man trodde? Hvorfor traff de så godt da Obama ble valgt, men så dårlig denne gangen?

Minerva-kommentator Jan Arild Snoen sa tidligere i dag at det både kan skyldes at de som har svart ikke er representative for befolkningen, at Trump-velgere ikke har svart ærlig eller at noen lokale målinger i avgjørende stater har gitt store utslag.

Vi ringte statistikk-nestor Ottar Hellevik og stipendiat Emil Aas Stoltenberg for å dykke ned i materien.

Og spolier alarm: Stoltenberg mener dette ikke er dødsstøtet for Silvers FiveThirtyEight og liknende nettsteder.

- Ottar Hellevik, forsker og statistiker - hvorfor ble dette så overraskende?

- Det er ikke rart det er overraskende når du har hatt så klare meldinger fra dem som prøver å beregne det sannsynlige valgutfallet. Det er ikke første gang ting har gått galt for meningsmålere, men her vil man få en periode med selvransaking og spørsmål om hvordan man kunne ta feil, sier han til Dagbladet.

- Hva er annerledes med målingene i USA?

Artikkelen fortsetter under annonsen

- Jeg kjenner ikke godt nok til beregningsmodellene, men det er ikke bare å registrere hva folk svarer. De har ganske infløkte beregninger basert på et tilfeldig trukket utvalg, og det er nok i utvalget problemet ligger. Jeg skrev i en artikkel i Tidsskrift for samfunnsforskning i 2015 at norske meningsmålinger systematisk undervurderer Frp's oppslutning ved valg. Det har sannsynligvis noe å gjøre med villigheten til å stille opp og svare på meningsmålinger. Folk med høyere utdanning har større tilbøyelighet til å svare, enn folk med lav. Er man anti establishment kan det påvirke villigheten til å stille opp. De har trolig større skepsis mot meningsmålinger. Anti establishment-holdninger finner man både hos Frp's velgere og hos Trump-velgere, og det rammer meningsmålinger.

Han sier dette er et fenomen verden over, at villigheten til å la seg intervjue faktisk har gått ned de siste årene.

Ottar Hellevik har skrevet hovedverket i statistikk for samfunnsvitere. 
Ottar Hellevik har skrevet hovedverket i statistikk for samfunnsvitere.  Vis mer

- I meningsmålinger er en nå ofte nede i svarprosenter rundt 10. Hva som er grunnen er vanskelig å si, trolig er det etter hvert blitt så mange meningsmålinger som ofte oppleves som lite interessante at mange har gått lei.

- Hvorfor stoler vi vanligvis på meningsmålinger?

- I de fleste tilfeller er ikke dette noe problem. Norsk monitor har veldig lav svarprosent, men det har lite å si for de fleste resultatene, som jeg viser i artikkelen. Problemet oppstår når det blir en sammenheng mellom det du prøver å måle og villigheten til å stille opp. Dette skjer noen ganger i forbindelse med meningsmålinger om partivalg. Med de politiske motsetninger som man har i det amerikanske valget, blir det en systematisk skjevhet som slår kraftig ut i resultatene. Trump-velgere som ikke stoler på eliten ser kanskje med mistro på meningsmålinger også.

- Var det det samme om skjedde under Brexit?

- Ja, det kan du si. Hos noen av dem som stemte for Brexit finner vi en liknende skepsis mot elitene. Tidligere hendte det at meningsmålinger bommet fordi det skjedde endringer helt i siste liten. Men her har man hatt intense målinger hele veien, og korreksjonene i det siste har handlet om å øke sjansene for Clinton-seier ut fra resultatene i datamaterialet. Så det tyder på at det ikke er en «last minute swing», men at det er noe som har ligget der hele tiden, som en utvalgsskjevhet.

- Hva gjør man neste gang hvis man vet dette med anti establishment-holdninger?

- Da må man vurdere om man har noen muligheter for å stimulere denne gruppen til å delta. Og forske mer på det fenomenet.

Tolkningen av vinnersjanser skjer altså på to nivåer - meningsmålingsinstituttene, tilsvarende Ipsos og Gallup i Norge, samler inn dataene. På neste nivå kombineres disse dataene med mer kvalitative og subjektive analyser. Det settes opp et regnestykke, en modell som man så bruker til å forutsi sannsynligheten for et utfall, altså seier til Trump eller Clinton.

Emil Aas Stoltenberg er doktorgradsstipendiat i statistikk ved Universitetet i Oslo, og har fulgt med på debatten som har foregått rundt Nate Silvers genierklærte blogg FiveThirtyEight som bruker grunnlaget fra meningsmålingene til å regne ut sannsynlig resultat. I 2008 forutså Nate Silvers nettsted resultatet i 49 av 50 stater.

Emil Aas Stoltenberg er doktorgradsstipendiat i statistikk ved Universitetet i Oslo. 
Emil Aas Stoltenberg er doktorgradsstipendiat i statistikk ved Universitetet i Oslo.  Vis mer

- Et viktig poeng, er at Silver hadde en tredjedel på at Trump skulle vinne, så han er ikke overrasket. Hvis du sier at noe skjer én av tre ganger, blir du ikke så overrasket når det inntreffer. Når folk sier «jeg er dypt sjokkert», hvis de er det i betydningen «overrasket » betyr det at de har tilskrevet Trump en lavere sannsynlighet for å vinne enn Silver gjorde.

Det gjorde tross alt de fleste. Silvers modell har også blitt kritisert, både under forrige Senat-valg, og i dette valget.

- Nate Silver ble kritisert fordi han hadde for lav sannsynlighet for Clinton, han ga henne rundt 70 prosent sjanse for å vinne, mens de andre hadde 90 prosent sjanse for at hun vant. Så hvis noen er overrasket er det vel dem som kritiserte Silver. Andre steder predikerte Clinton konsekvent høyere, slik som Huffington Post og Princeton Election Consortium, sistnevnte ble genierklærte i Wired i går.

Silver har ikke lagt ut kildekode eller regnestykker andre kan ettergå, men han er åpen om premissene modellene bygger på.

- Det Silver og Co. gjør, er å se hvordan dette har fungert i fortiden. Men så sier mange at dette en annerledes republikansk kandidat og en annerledes valgkamp. Hvor sammenliknbar er modellen Silver har estimert sine tall på med denne valgkampen?

Han mener imidlertid ikke at vi skal slutte å høre på tallknuserne.

- Dette er ikke dødsstøtet for å drive med det Silver driver med. Det er ingen som sier man kan har rett hver gang. Det er derfor man bruker sannsynligheter og usikkerhet. At noe skjer 30 prosent av gangene betyr at det skjer nesten én av tre ganger, ikke at det aldri skjer. Men valget skjer bare en gang, vi kan ikke kjøre Clinton og Trump-eksperimentene mange ganger, og da blir det vanskelig å forstå.

- Så problemet er ikke prediksjonene som er gjort, men folks forståelse for modeller og sannsynlighet?

- Det er stor forskjell på å si man tror Clinton vinner med 70 og 95 prosents sikkerhet. Men det rapporteres som at det predikeres Clinton-seier.

- Så det er medienes skyld?

- Nei, det er ikke medienes skyld, dette er vanskelig. Det er sånn vi er skrudd sammen, at det er vanskelig å forstå forskjellen på en sjanse på 70 prosent og en sjanse på 95 prosent.