Frivilliga väljarundersökningar blir allt vanligare i medierna. Men de baseras inte på slumpmässiga urval – och är därför meningslösa rent statistiskt. I Sverige syns det på Sverigedemokraterna, som konsekvent är större i frivilliga mätningar än i de som görs slumpmässigt. Nyhetsredaktionerna måste ta större ansvar för att säkerställa korrekta metoder och resultat, skriver Torbjörn Sjöström, vd för undersökningsföretaget Novus.
Istället sker undersökningarna på en grupp frivilliga som aktivt söker upp undersökningsföretaget för att de vill svara på frågor mot ersättning. Anledningen är enkel – det är mycket billigare. Det finns en stor okunskap bland allmänhet om hur tillförlitliga undersökningar genomförs, och det är lätt att bygga upp den typen av paneler.
Jag läste med stort intresse DN:s ledare med rubriken Svara när instituten ringer (2013-08-11) som var en reaktion på ett inslag i SVT Tvärsnytt – Allt svårare att klara uppdragen för SCB (2013-08-08).
Det är bra att samhällsnyttan med undersökningar lyfts upp och vikten av att delta. Deltagarfrekvensen har gått ned de senaste 10 åren, men jämför vi deltagarfrekvensen på Novus egna mätningar syns ingen nämnvärd nedgång de senaste åren.
En deltagarfrekvens på 50 procent anses ur ett historiskt perspektiv vara katastrofala siffror. Men i ett internationellt perspektiv är Sverige ett otroligt bra undersökningsland. I USA är bortfallet i vissa fall över 90%, med andra ord är det där bara en tiondel som svarar på undersökningarna.
Nu finns det en lång rad anledningar till varför det ser ut som det gör i USA – förutsättningarna är inte jämförbara, och Sverige har på många sätt godare förutsättningar att genomföra tillförlitliga undersökningar än USA. Vad som får mig att skriva detta sammanfattas bra i avslutningen av DN:s ledare: Man bör ta alla åsiktsmätningar med en nypa salt.
Sverige är ett fantastiskt land att genomföra tillförlitliga undersökningar, om undersökningarna genomförs korrekt. De mätningar som bland annat SCB genomför är i högsta grad pålitliga.
Till exempel var noggrannheten i valet 2010 väldigt hög. De fyra opinionsinstitut som regelbundet publicerar väljarbarometrar baserad på telefonintervjuer hade i genomsnitt ett mätfel på 0,7 procent. Jämför vi deltagarfrekvensen inför valet 2010 och idag ser vi inga större förändringar.
Deltagarfrekvensen är ett problem som inte skall underskattas. Men det som nu sker, inte bara på DN:s ledarsida utan även på nyhetsredaktionerna, är att problemet i stället överskattas – och det riskerar leda till en felaktig uppfattning om att tillförlitliga undersökningar inte kan genomföras.
En låg deltagarfrekvens innebär inte automatiskt att en opinionsundersökning inte är tillförlitlig. Grundfrågan är i stället om de som deltar i undersökningen är representativa för gruppen man vill undersöka – är bortfallet slumpmässigt påverkas inte tillförlitligheten i mätningen. Allt tyder på att det bortfall och den sjunkande deltagarfrekvens som rapporteras i ovannämnda SVT-inslag är slumpmässigt.
Det innebär att en låg deltagarfrekvens enbart påverkar tillförlitligheten i mindre grad, om ens något.
Däremot har vi ett mycket större problem, något som nästan helt tagit över den internationella marknaden – och som nu vinner mark även i Sverige. Det är att många undersökningar inte genomförs på slumpmässiga urval.
Istället sker undersökningarna på en grupp frivilliga som aktivt söker upp undersökningsföretaget för att de vill svara på frågor mot ersättning. Anledningen är enkel – det är mycket billigare. Det finns en stor okunskap bland allmänhet om hur tillförlitliga undersökningar genomförs, och det är lätt att bygga upp den typen av paneler.
Men genom att fråga frivilliga som själva kontaktar företaget (självrekrytering) försvinner slumpen. Där har vi det stora problemet. Alla som har läst lite statistik vet att grunden i en undersökning är att man frågar ett slumpmässig urval av dem man vill mäta. Är inte urvalet slumpmässigt är det omöjligt att genomföra tillförlitliga mätningar.
I Sverige genomför bland annat United Minds, Yougov, Sentio och Opinion Stockholm regelbundet undersökningar baserat på självrekryterade paneler. De tre förstnämnda publicerar även regelbundet väljarbarometrar som tydligt visar den skevhet som kan uppstå i en självrekryterad undersökning – nämligen att vissa grupper blir systematiskt överrepresenterade.
I ovanstående väljarbarometrar syns det på Sverigedemokraterna, som nästan alltid är markant större i de här mätningarna än i de som baseras på ett slumpmässigt urval.
När ett företag genomför opinionsmätningar för att mäta stockholmarnas åsikt kring politiska frågor, men då respondenterna samtidigt är självrekryterade, är det inte möjligt att utifrån mätningarna säga någonting alls om stockholmarnas åsikter.
Att generellt säga att det inte går att genomföra tillförlitliga undersökningar i Sverige stämmer inte. Men man skall inte lita blint på opinionsundersökningar. Verkar mätningen orimlig är det troligt att något är fel. Och är undersökningen genomförd på en självrekryterad grupp samtidigt som man hävdar att det är svenska folkets åsikt – ja, då bör undersökningen ignoreras helt.
Det är inte lätt som läsare att kunna avgöra detta. Därför måste nyhetsredaktionerna och opinionsinstituten ta större ansvar för att säkerställa korrektheten i metod och resultat.