Meningsmåling: slik leser du tallene og feilmarginen

• Et stort utvalg hjelper, men må også representere velgerne godt.
• Feilmarginen varierer med utvalgsstørrelsen og partiets oppslutning.
• En endring mellom to målinger har usikkerhet fra begge målingene.
• Gjennomsnitt demper tilfeldige utslag, men fjerner ikke systematiske feil.

Hva måler en politisk meningsmåling?

En partimåling undersøker stemmeintensjon: hvilket parti respondentene oppgir at de ville stemt på. Spørsmålet kan gjelde stortingsvalg, kommunevalg eller fylkestingsvalg. Målingene er derfor ikke uten videre sammenlignbare, selv om de viser de samme partiene.

Resultatet gjelder den befolkningen undersøkelsen forsøker å beskrive, og tidspunktet svarene ble samlet inn. En måling publisert etter en politisk hendelse kan være gjennomført før hendelsen. Publiseringsdatoen alene forteller ikke når holdningene ble målt.

En måling er heller ikke en opptelling av stemmer. Velgere kan ombestemme seg, og noen som oppgir et parti, kan ende med å la være å stemme. En valgprognose forsøker derimot å anslå et fremtidig valgresultat og kan bygge på både målinger og andre opplysninger.

Hvordan kan et utvalg representere velgerne?

Målingsbyrået spør ikke alle. Det trekker eller rekrutterer et utvalg og bruker svarene til å anslå oppslutningen i hele målgruppen. Deltakerne kan for eksempel svare på telefon eller i et nettpanel.

Utvalgsstørrelsen forteller hvor mange som har svart, men ikke alene hvor god målingen er. Hvis bestemte velgergrupper sjeldnere deltar, kan resultatet bli skjevt. Flere svar fra de samme overrepresenterte gruppene løser ikke nødvendigvis problemet.

Vekting gjør svarene mer representative

Byråene kan bruke vekting for å justere sammensetningen av utvalget. Da teller noen svar mer enn andre. Formålet er å få utvalget til å ligne bedre på befolkningen, for eksempel når det gjelder alder, kjønn, utdanning eller bosted. Tidligere stemmegivning kan også inngå.

Vekting kan redusere skjevheter, men kan samtidig øke den statistiske usikkerheten. Den kan heller ikke rette opp alle forskjeller mellom dem som svarer, og dem som ikke svarer.

Sjekk også hva antallet spurte omfatter. Dersom 1 000 personer deltar, men en del ikke oppgir parti, kan den publiserte partifordelingen bygge på færre enn 1 000 partisvar. Behandlingen av usikre velgere er derfor en del av metoden, ikke bare en tilleggsopplysning.

Hva betyr feilmarginen?

Feilmargin beskriver den tilfeldige utvalgsusikkerheten: Et annet utvalg kunne ha gitt et annet resultat, selv om velgernes holdninger var uendret. Den oppgis i prosentpoengEnhet for forskjellen mellom to prosentsatser; en økning fra 4,25 til 4,50 prosent er 0,25 prosentpoeng., ikke som prosent av partiets oppslutning.

Regneeksempel: Et parti måles til 10,0 prosent med en feilmargin på ±1,9 prosentpoeng. Det gir et intervall fra 8,1 til 11,9 prosent. Intervallet viser usikkerheten rundt anslaget, ikke hvor mye partiet kan bevege seg frem mot valgdagen.

Feilmargin etter partistørrelse

Tabellen er et regneeksempel for et enkelt tilfeldig utvalg med 1 000 gyldige partisvar. Den bruker et tilnærmet 95 prosent konfidensnivå, uten ekstra usikkerhet fra vekting eller andre deler av utvalgsopplegget. Tallene er ikke feilmarginene til en bestemt publisert måling.

Feilmarginen i prosentpoeng er størst ved 50 prosent oppslutning. Små partier har mindre feilmargin i prosentpoeng, men usikkerheten kan likevel være stor i forhold til partiets størrelse. I dette regneeksemplet må utvalget firedobles for å halvere feilmarginen.

Den vanlige feilmarginen dekker ikke systematisk skjevt frafall, misvisende spørsmål eller feil antakelser om hvem som faktisk vil stemme. For paneler som ikke bygger på sannsynlighetsutvalg, krever et usikkerhetsintervall egne modellforutsetninger. Det kan ikke automatisk tolkes som feilmarginen fra et tilfeldig utvalg.

Når er en endring statistisk sikker?

En oppgang fra én måling til den neste må vurderes med usikkerheten i begge målingene. Det holder ikke å sammenligne endringen med feilmarginen til bare den nyeste målingen.

Regneeksempel: Dersom to uavhengige, sammenlignbare målinger hver har en feilmargin på ±2 prosentpoeng for et parti, blir feilmarginen for forskjellen omtrent ±2,8 prosentpoeng. En målt oppgang på 2 prosentpoeng er da ikke statistisk signifikant på 95 prosent nivå.

Det betyr ikke at oppgangen er innbilt eller at oppslutningen sikkert står stille. Det betyr at disse to målingene alene ikke gir tilstrekkelig grunnlag for å skille endringen fra tilfeldig utvalgsvariasjon.

Forskjellen mellom to partier i samme måling må også beregnes særskilt. Svarene henger sammen: En respondent som velger ett parti, velger ikke samtidig et annet. Overlapp mellom partienes intervaller er derfor ikke en fullgod test av hvem som ligger foran.

Hvorfor spriker meningsmålingene?

To byråer kan publisere forskjellige tall uten at ett av dem nødvendigvis har gjort en dårlig jobb. Spriket kan ha flere årsaker:

• Tilfeldig variasjon: Målingene spør ulike utvalg av velgere.
• Ulike datoer: Holdningene kan ha endret seg mellom innsamlingsperiodene.
• Ulik rekruttering: Telefon og nettpaneler kan nå forskjellige grupper.
• Ulik vekting: Byråene kan bruke forskjellige opplysninger og justeringer.
• Ulik behandling av usikre velgere: Hvem som inngår i partifordelingen, kan variere.
• Ulike spørsmål: Ordlyd og rekkefølge kan påvirke svarene.

Vedvarende forskjeller mellom byråer omtales gjerne som institutteffekter. Når du følger utviklingen, er det nyttig å sammenligne med forrige måling fra samme byrå, samtidig som du undersøker om andre byråer viser en lignende bevegelse. Et metodebytte kan bryte sammenlignbarheten også innenfor samme målingsserie.

Hva forteller et gjennomsnitt av målinger?

Et gjennomsnitt samler flere målinger i ett anslag. Det demper oppmerksomheten rundt enkeltutslag og kan gjøre utviklingen lettere å se. Tilfeldige feil i forskjellige retninger kan delvis jevne hverandre ut.

Men et gjennomsnitt fjerner ikke feil som flere målinger deler. Dersom samme velgergruppe systematisk er underrepresentert, kan også snittet bli skjevt. Et snitt som inkluderer eldre målinger, kan dessuten reagere tregere på en ny endring.

Hvordan leser du Poll of Polls?

Poll of Polls, på pollofpolls.no, samler publiserte målinger og viser blant annet månedlige gjennomsnitt av nasjonale partimålinger. Nettstedets metodebeskrivelse oppgir at snittberegningene bygger på publiseringstidspunktet.

Sjekk derfor perioden, hvilke målinger som inngår, og når intervjuene faktisk ble gjennomført. Et månedssnitt og et glidende snitt er ikke det samme: Et månedssnitt gjelder en avgrenset måned, mens et glidende snitt flytter tidsvinduet fremover. Ikke anta at alle gjennomsnitt bruker samme tidsrom eller vekting.

Summen av antall spurte i flere målinger er heller ikke automatisk ett stort tilfeldig utvalg. Målingene kan ha forskjellige metoder og overlappende deltakere. Usikkerheten i snittet må vurderes ut fra hvordan det er satt sammen.

Hvorfor kan små utslag gi store mandatutslag?

Mandatfordelingen som følger en måling, er en beregning med egne forutsetninger. Den er ikke et direkte svar fra respondentene. Hvordan stemmene fordeler seg geografisk, har betydning for hvordan stemmer blir til mandater.

For partier nær sperregrensen på 4 prosent kan små utslag gi store forskjeller i mandatberegningen. Grensen gjelder retten til å delta i fordelingen av utjevningsmandater, ikke retten til å vinne direktevalgte mandater. Partiet må også være registrert og stille liste i alle valgdistriktene.

En måling på 3,9 prosent beviser derfor ikke at partiet vil havne under grensen. En måling på 4,1 prosent beviser heller ikke at det vil komme over. Les mandatanslaget som et scenario basert på målingen og beregningsmodellen.

Hvordan bør medier presentere målingene?

En etterprøvbar målingssak bør oppgi byrå, oppdragsgiver, innsamlingsdatoer, utvalgsstørrelse, metode og usikkerhet. Det bør også være mulig å finne spørsmålet og sentrale opplysninger om vekting og behandling av usikre velgere.

Ord som «kollaps», «byks» og «rekord» bør vurderes mot sammenligningsgrunnlaget. En rekord gjelder i så fall en bestemt målingsserie eller periode. At et tall er høyere enn forrige måneds tall, dokumenterer ikke alene en sikker oppgang.

Vær Varsom-plakaten krever at titler og ingresser har dekning i stoffet. Usikkerheten bør derfor ikke gjemmes bort dersom overskriften gir et sikkert inntrykk.

1. Finn datoene. Se når svarene ble samlet inn, ikke bare når saken ble publisert.
2. Sjekk grunnlaget. Finn antall svar, metode og feilmargin for partiet du følger.
3. Kontroller sammenligningen. Gjelder endringen forrige måling, forrige valg eller et gjennomsnitt?
4. Se etter støtte. Undersøk om flere sammenlignbare målinger viser samme utvikling.

Dette er også en praktisk del av kildekritikk når du leser politiske nyheter: Skill mellom det målingen viser, og tolkningen som legges oppå den.

Spørsmål og svar

Er en nettavstemning en representativ meningsmåling?

Ikke når hvem som helst selv velger å delta, uten et opplegg som knytter utvalget til befolkningen. Mange stemmer gjør ikke automatisk deltakerne representative. Et metodisk rekruttert nettpanel er noe annet enn en åpen avstemning på en nettside.

Hva er forskjellen på prosent og prosentpoeng?

Regneeksempel: En økning fra 10 til 12 prosent er 2 prosentpoeng. Målt i forhold til den opprinnelige oppslutningen er økningen 20 prosent. Endringer i partienes oppslutning bør derfor oppgis i prosentpoeng.

Kan jeg bruke feilmarginen for hele utvalget på unge velgere?

Nei, ikke uten videre. En undergruppe har færre svar og vanligvis større utvalgsusikkerhet. Se etter antallet respondenter og en egen feilmargin for gruppen.

Er telefonmålinger bedre enn nettpaneler?

Innsamlingsmåten alene avgjør ikke kvaliteten. Rekruttering, frafall, vekting, spørsmålsformulering og åpenhet om metoden må vurderes samlet.

Betyr den nyeste målingen mest?

Den kan gi mer oppdatert informasjon, men er fortsatt bare ett anslag. Se på innsamlingsdatoene og om resultatet støttes av andre målinger. En overraskende enkeltmåling er ikke nødvendigvis feil, men bør ikke alene behandles som en etablert trend.

Kilder

1. SSB: Kommunestyre- og fylkestingsvalget, velgerundersøkelsen – metode og utvalgsusikkerhet
2. Valgdirektoratet: Beregning av utjevningsmandater
3. AAPOR: Best Practices for Survey Research
4. AAPOR: Disclosure Standards
5. AAPOR: Usikkerhetsintervaller og feilmargin i meningsmålinger
6. AAPOR: Polling Accuracy
7. Pew Research Center: Understanding the margin of error in election polls
8. Poll of Polls: Om Poll of polls og pollofpolls.no
9. Norsk Presseforbund: Riktige ingresser kan også bli feil