Meningsmålinger gir ikke svaret

Forskere kritiske til dekning av USA-valgkamp.

«OBAMA LEDER MED TOSIFRET», «McCain tar innpå Obama», «Obama leder knepent». Dette er noen av sommerens overskrifter som kommenterer utviklingen i meningsmålinger før presidentvalget i USA i november. Slike saker får gjerne store oppslag i mediene, men mangler ofte kommentarer som gir mening til de tallene som presenteres.

I denne kronikken skal vi diskutere hvor pålitelig bilde meningsmålinger gir av opinionsfordelingen, og hvilke spesifikke utfordringer som knytter seg til amerikanske presidentvalg. Vi vil også vurdere hvilke hensyn mediene må ta til de forutsetninger og begrensninger som knytter seg til meningsmålinger, dersom publikum skal kunne danne seg et riktig bilde av styrkeforholdet mellom kandidatene. Et ensidig fokus på styrkeforholdet mellom kandidatene på bekostning av politikkens innhold, der små forskjeller danner grunnlag for store oppslag, gir politikken et veddeløpspreg som kan bidra politisk kynisme og apati blant velgerne.

DET ER TO hovedutfordringer knyttet til formidling av meningsmålinger i den amerikanske valgkampen. Den første har å gjøre med det indirekte amerikanske valgsystemet. Som Al Gore opplevde i 2000, er det sentrale ikke å vinne flertall i folket, men et flertall av valgmenn. Med to ubetydelige unntak (Maine og Nebraska) får den kandidaten som vinner en stat alle dens valgmenn. Dermed har nasjonale meningsmålinger begrenset verdi som indikatorer på valgresultatet.

Det er naturligvis en viss sammenheng mellom den nasjonale utviklingen og utviklingen på delstatsnivå, men målingene har liten direkte overføringsverdi. Dette kan særlig knyttes til ulike delstaters sosiodemografiske sammensetning, og valgdeltakelsen i ulike etniske grupper. Selv om norske medier en sjelden gang refererer meningsmålinger for sentrale vippestater, presenterer de som regel nasjonale tall.

Den andre utfordringen har å gjøre med meningsmålingenes metodikk og hvordan de kan og bør tolkes. Et par korte eksempler illustrerer poenget. På de siste meningsmålingene før det demokratiske primærvalget i New Hampshire hadde Barack Obama en gjennomsnittlig seiersmargin på åtte prosentpoeng, mens Hillary Clinton vant valget med 2,6 prosentpoeng. I California varierte målingene fra de to-tre siste dagene mellom tretten prosentpoengs ledelse for Obama og tolv prosentpoengs ledelse for Clinton. Resultatet her ble nesten ti prosentpoengs margin til fordel for Clinton.

Spørsmålet her er for det første hvordan seriøse meningsmålingsbyråer kan bomme så grovt, for det andre om mediene tar de nødvendige forbehold ved tolkning av resultatene.

FOR Å SVARE på dette må vi kort se på hvordan meningsmålinger gjennomføres. Alle meningsmålinger er utvalgsundersøkelser der svarene fra et lite befolkningsutvalg blir regnet som et gyldig uttrykk for holdningene til hele den relevante befolkningen (populasjonen). Med et representativt utvalg gir om lag 1000 personer fullverdig kunnskap om hele populasjonen uavhengig av dens størrelse.

En korrekt tolkning av en meningsmåling som viser at 45 prosent av velgerne ønsker Obama som president, er ikke at eksakt denne andelen av velgerne gjør det, men at andelen ligger innenfor et gitt intervall rundt 45 prosent. Størrelsen på dette konfidensintervallet avhenger blant annet av utvalgets størrelse. Dersom utvalget er på 1000 personer er feilmarginen tre prosentpoeng i hver retning. En korrekt tolkning er da at det med 95 prosent sikkerhet er mellom 42 og 48 prosent av velgerne som støtter Obama. Med mindre utvalg og større sikkerhetsnivå øker konfidensintervallet.

Foto: Scanpix
Foto: Scanpix Vis mer

En NTB-melding 6. august med tittelen «Obama fortsatt i tet», presenterer en meningsmåling som hadde Obama foran med 47 mot 41 prosent. Ingen feilmargin ble oppgitt, men hvis man søker opp undersøkelsen finner man at feilmarginen er +/- 3,4 prosent. Det er altså tenkelig innenfor rammene av denne undersøkelsen både at McCain var foran, og at Obama bare ledet med 2-3 poeng, slik han ifølge gjennomsnittet av de daglige målingene i sommer har gjort. Meningsmålinger bør altså tolkes med forsiktighet.

I PRIMÆRVALGKAMPANJEN bommet en rekke målinger med langt mer enn det feilmarginene skulle tilsi. Det er rimelig å anta at hovedgrunnen til dette er at utvalgene ikke var representative. Hvis befolkningen er uensartet, hvilket er tilfellet i mange delstater i USA, er det viktig å ha utvalg som gjenspeiler variasjonene. Videre må utvalget gjenspeile velgernes faktiske deltakelse ved valget.

Både velgere som sier at de ikke vil stemme, men som likevel gjør det, og velgere som sier at de vil stemme på en bestemt kandidat, men som ikke stemmer, påvirker fordelingen mellom kandidatene, og utgjør en alvorlig trussel mot meningsmålingenes pålitelighet. For å redusere denne feilkilden blir utvalgenes sammensetning justert ved hjelp av ulike metoder for å forutsi hvem som faktisk kommer til å stemme. Det kan skje ved spørsmål om hvor sikre de spurte er på at de vil stemme, hvor interesserte de er i valget, og hvor mye de bryr seg om hvem som vinner. Det er også vanlig å bygge på tidligere valgdeltakelse.

Et annet problem er at over tretten prosent av den amerikanske velgermassen bare har mobiltelefon, og ikke dekkes av meningsmålingene. Hvis denne gruppen har holdninger som avviker systematisk fra resten av befolkningen, kan det føre til at målingene ikke treffer godt nok. Problemet er at ingen med sikkerhet vet hvor treffsikre forskjellige korreksjonsmetoder er, og at ulike byråer bruker hver sine metoder. Resultatet blir utvalgssammensetninger som varierer med hensyn til viktige kjennetegn ved velgerne. Et eksempel på dette er en overestimering av valgdeltakelsen blant velgere med afrikansk-amerikansk bakgrunn, noe byrået Zogby fikk merke da de bommet grovt i forkant av primærvalget i California.

TREFFSIKKERHETEN er vanligvis bedre for presidentvalg enn for primærvalg, rett og slett fordi det er færre faktorer som kan påvirke resultatene. Et av høstens store spenningsmomenter er likevel om Obama-kampanjens massive velgerregistrering og mobilisering faktisk vil fungere, og om meningsmålingene klarer å fange den opp. Ved valget i 2004 klarte til sammenligning Bush-kampanjen å mobilisere nye velgere slik at seiersmarginen ble større enn meningsmålingene viste like i forkant. Hvis Obama-kampanjen virkelig klarer å drive opp valgdeltagelsen blant unge og velgere med minoritetsbakgrunn slik de forsøker, kan det hende at demokratene har en fordel på et par prosentpoeng som er usynlig i meningsmålingene.

FOR BYRÅENE er utfordringen frem til valget i november å få så representative utvalg som mulig, og særlig å ta hensyn til situasjonen i de delstater der utfallet av valget er mest usikkert. For mediene er utfordringen dels å huske at det er på delstatsnivå dette valget avgjøres, dels å ha fokus på flere målinger og gjennomsnittet av daglige tracking polls, lengre trender og en grundigere politisk fortolkning av resultatene, heller enn å vektlegge stadige endringer og store forskjeller fra én nasjonal måling til den neste.

•Kronikken bygger på en artikkel i nyeste nummer av Internasjonal Politikk.