Læsestof som baggrund:

  • http://sandsynligvis.dk/2019/05/27/hvem-vinder-valget/
  • https://www.altinget.dk/artikel/nye-partier-paa-stribe-huseffekter-og-ekspertens-raad-det-skal-du-vide-om-valgkampens-mange-meningsmaalinger
  • http://nyheder.tv2.dk/politik/2018-09-27-hav-denne-artikel-ved-haanden-hver-gang-du-ser-en-meningsmaaling-frem-mod-valget

Dette er et temmelig underligt valg i dansk historie. Baggrunden for muligheden for at have valg som dette er, at det lykkedes at overtale de gamle partier, om at ændre vilkårene for at nye partier kan komme på valgsedlen. Før i tiden var det ekstremt svært og dyrt, men efter at det blev muligt at samle stiftere online er det blevet relativt nemt. Ironisk nok viser en måling at… der er flertal som synes det er for nemt!

Samtidig har Danmark et meget lav stemmegrænse ifht. andre lande. Tyskland har 5%, Sverige og Norge har begge 4%. I disse lande mener man åbenbart at personer som ikke udgør 4-5% af befolkningen ikke bør have noget at skulle sige, hvilket jo lyder ret udemokratisk.

I 2019 valget er der 4 partier der forsøger at komme ind — Kristendemokraterne, Nye Borgerlige, Stram Kurs, og Klaus Riskær Partiet —  alle sammen på den borgerlige side. Det er jo noget underligt når nu at de borgerlige står til at tabe valget med enormt nederlag. Spørgsmål her med 1 dage tilbage er jo så: klarer de den? kommer de ind?

Den dårligste metode her er at finde den seneste valgmåling og tage den for gode varer. I nuværende stund lader seneste måling til at være Voxmeter’s fra den 4. juni (dvs. i dag). Den ser således ud:

https://voxmeter.dk/meningsmalinger/ Tallene i parentes er ændring ifht. sidste valg.

I følge den kommer altså ingen af de fire partier ind. Men enhver ved, eller burde vide, at disse tal jo svinger en del fra dag til anden, primært pga. statistisk usikkerhed i samplingen. En bedre og nem ide er derfor bare at tage gennemsnittet af fx de sidste 2 uger. Wikipedia samler alle disse data og udregner et tal for sidste 15 dage, hvilket er godt nok til os. Det ser sådan ud:

Så i følge disse tal, så kommer Nye Borgerlige, og Stram Kurs ind, mens Kristendemokraterne, og Klaus Riskær ikke gør. Men okay, vi ved jo godt at tallene nok ikke har stået helt stille de sidste 15 dage, så man burde lave en slags vægtet gennemsnit for at få en bedre ide. Jeg har downloadet dataene fra Wikipedia, og det ser sådan ud:

Så, det ser ud til her at Stram Kurs ligger lige på grænsen og er i nedadgående retning, mens at Kristendemokraterne er opadgående og måske klarer den hvis de er meget heldige. Omvendt ser det ud til at Nye Borgerlige er ret sikre på at komme ind mens Klaus Riskær på sikker på ikke at komme ind. Men hvis vi kikker på tallene, så ser vi at nogle af disse målinger er større end andre og derfor burde gives mere vægt. Det kan vi gøre ved at vægte dem efter kvadratroden af størrelsen, og det ser sådan ud:

Det er lidt svært at se, men umiddelbart er konklusionen den samme som ovenfor. Men vi ved også at nogle analyseinstitutter er mere nøjagtige end andre, udover antallet af personer de spørger. Det skyldes forskelle i deres metodologi, såsom: telefon med person, telefon med robot, internetquiz, og hvordan de udvælger hvem der bliver inviteret, hvordan de vægterne personerne, osv. Emnet er enormt kompliceret, og man kan finde 100vis af artikler om det siden at både Brexit og Trump vandt selvom det ikke var forventet. I Danmark findes analyser af mulig bias fra meningsmålingerne. En simpel og kort analyse er Gennemsnit af meningsmålinger forudsiger valgresultatet skrevet af Martin Vinæs Larsen. Hans primær figur er:

Venstre side viser hvilke partier der er problemer med at forudsige, og til højre hvilken retning fejlen typisk er i. Ikke overraskende viser det sig at DF har lidt bias imod sig, omtrent 1.25%point, men det har S også med omtrent -1%point. Mit personlige gæt på dette fund er at folk er mindre tilbøjning til at sige, at de stemmer på partier som bliver set ned på i medierne, hvilket primært er DF i de historiske data. Forklaringen for S gætter jeg på skyldes at indvandrer stemmer på S i stor grad, men sjældent spørges effektivt i målingerne.

Men bortset fra biaser mod specifikke partier, hvad med analyseinstitutterne selv? I Claus Thorn Ekstrøm’s skriv ovenfor har han udregnet en kvalitetsfaktor for ‘husene’ (som de kaldes) baseret på tidligere valg. Disse er:

Bureau Vægt
Epinion 0.33
Greens 0.17
Gallup 0.14
YouGov 0.14
Megafon 0.11
Norstat 0.09
Voxmeter 0.05

Det kan godt have en stor effekt for Voxmeter gives den laveste vægt da den typisk rammer mest ved siden af. Samtidig er det den mest populære service. Her ses antallet af målingerne fra forskellige huse i 2019 tallene:

Institutet Antal Procent
Voxmeter 44 45.83
YouGov 19 19.79
Megafon 9 9.38
Epinion 8 8.33
Norstat 7 7.29
Gallup 5 5.21
Greens 4 4.17

Altså 46% af målingerne kommer fra den dårligste kilde, og kun 8.33% fra den bedste (Epinion). Hvordan ser det ud hvis vi vægter tallene efter både sample size og kvalitet?

Nu ser forholdet noget anderedes ud for Stram Kurs. Hvis vi finder tallene og deres konfidensintervaller for valgdagen, så er tallene:

Parti Forudsigelse SE Lower CI Upper CI Sandsynlighed >2%
D 3.43658 0.35049 2.74963 4.12353 99.998%
P 2.42934 0.41761 1.61084 3.24785 84.805%
K 1.79559 0.11607 1.56808 2.02309 3.911%
E 0.19932 0.15361 -0.10175 0.5004 0.000%

Jeg har slutteligt også udregnet chancen for at partiet kommer over de 2% spærregrænsen er på. Umiddelbart lader der til at være ingen chance for a Nye Borgerlige ikke kommer ind, omtrent 85% chance for at Stram Kurs kommer ind, knap 4% for Kristendemokraterne, og cirka ingen chance for Klaus Riskær.

Der er mange usikkerheder til disse tal:

  • Måske analyseinstitutterne har forbedret/forværret sig siden sidste valg og vi derfor bruger dårlige kvalitetsvægte.
  • Det var ikke klart hvilken span værdi der var optimal til at bruge til loess funktionen. Jeg kørte en krydsvalidering (CV), og fandt at det kom an på sikkerheden for partiet. For de 4 partier af mest interesse var de CV-optimale værdier på .40, .70, .70 og .85. Jeg har ovenfor brugt den samme standardværdi for alle funktionerne, som er 0.75.
  • Analysen ovenfor tager ikke højde for retningsbestemt bias fra kilderne, kun om de rammer relativt rigtigt eller forkert. Det er muligt at bruge en fudge factor til at justere for retningsbestemt bias (se nedenfor).
  • Måske der er særlige vilkår i dette valg, som påvirker bias i målingerne. En særlig Paludan effekt?

Man kan finde R koden til denne post her: (Rpubs + Rstudio lader ikke til at virke lige nu?)

Bonus: egen analyse af mulighed bias for institutterne for denne periode

Hvis vi tager Voxmeter som sammenligningsgrundlag:

Vi kan nok godt antage at Voxmeter er noget ved siden af hvis vi ser på gennemsnittet af de andre kilder. I så fald kan vi konkludere at der lader til at være bias mod Nye Borgelige, SF, og Klaus Riskær, mens at ingen partier har konsistent bias for sig.

Update: efter valget

Der var lige nogle sidste øjeblik målinger som ikke kom med ovenfor. Og jeg burde også have udregnet sandsynlighederne for alle partierne. De kommer her.

Parti Forudsagt SE Lower CI Upper CI Prob 2pct Valgresultat Afvigelse t
A 26.64 0.37 25.92 27.37 100.00% 25.90 -0.74 -2.003
O 10.02 0.22 9.58 10.45 100.00% 8.70 -1.32 -5.920
V 20.25 0.30 19.66 20.84 100.00% 23.40 3.15 10.480
Ø 8.47 0.17 8.15 8.80 100.00% 6.90 -1.57 -9.429
I 2.70 0.15 2.42 2.99 100.00% 2.30 -0.40 -2.768
Å 2.93 0.12 2.68 3.17 100.00% 3.00 0.07 0.596
B 8.00 0.20 7.60 8.39 100.00% 8.60 0.60 3.020
F 7.93 0.19 7.55 8.30 100.00% 7.70 -0.23 -1.171
C 5.57 0.19 5.19 5.94 100.00% 6.60 1.03 5.383
K 1.79 0.09 1.63 1.96 0.82% 1.70 -0.09 -1.096
D 3.29 0.27 2.76 3.81 100.00% 2.40 -0.89 -3.330
E 0.35 0.11 0.14 0.56 0.00% 0.80 0.45 4.236
P 1.91 0.25 1.42 2.41 36.19% 1.80 -0.11 -0.439

t værdien er hvor mange standard errors som resultatet var fra det forudsagte. En slags overraskelsesfaktor. Tal mere ekstreme end +/- 2 kan læses som at have mindre end 5% chance hvis modellen var rigtig. Modellen er naturligvis ikke rigtig som sådan, men nogenlunde. Stram Kurs kom altså ikke ind, og modellen med de sidste tal inkluderet gav partiet omtrent 36% chance. Der var ikke generelt nogen stor social desirability bias at se, ifht. partierne som medierne hader mere end normalt (Stram Kurs, Nye Borgelige, DF). Omvendt set klarede Venstre sig enormt godt ifht. målingerne og Enhedslisten ret dårligt. Faktisk klarede blå blok sig som sådan ret okay, hvis man tænker på at rød blok lå med 8-10% føring i flere måneder, men endte med sølle 2.5%.