kosningaspa.is vs metill

Ég hef fengið nokkrar fyrirspurnir um hvernig kosningaspá.is kom út í samanburði við líkanið birt á metill.is. Vissulega er ekki beint hægt að staðhæfa mikið um hversu gott líkan er út frá einum kosningum, en skoðum samt bæði mat á fylgi og mat á óvissu í kosningunum í ár.

Mat á fylgi

Einfaldasta leiðin til leggja mat á hversu gott líkan er að spá fyrir um fylgi flokka, er að skoða meðalfrávik frá úrslitum kosninganna

  • Meðalfrávik
    • kosningaspa.is 1.2%
    • metill.is 1.0%

Lægra meðalfrávik sýnir að spá Metils er nær úrslitum kosninganna en spáin sem birt var á kosningaspá.is. Skoðum þetta aðeins nánar.

Líkanið sem er notað á kosningaspá.is notar eingöngu fylgi flokka í könnunum, spáin er vegið meðaltal fyrirliggjandi kannana, þar sem vægið er ákvaraðað út frá

  • hver framkvæmir könnunina
  • fjölda svarenda
  • aldur könnunar

Líkanið er því mjög einfalt og gagnsætt, hver sá sem kann að margfalda og leggja saman getur reiknað út mat á fylgi með því að vega saman fylgi í fyrirliggjandi könnunum.

Líkan Metils gengur lengra og notar frekari upplýsingar til að eins og segir á síðu Metils, “leiðrétta fyrir þekktum ástæðum munar á fylgiskönnunum og kosningaúrslitum“. Heilt yfir kemur þetta ágætlega út í alþingiskosningunum 2024 eins og sést hér að ofan þegar við skoðum meðalfrávik frá úrslitum kosninganna hér að ofan. Önnur mynd blasir við ef skoðuð er leiðrétting niður á flokka.

Í samantekt á metill.is um hvernig spáin hjá þeim gekk segir:

Við vanmátum fylgi Samfylkingarinnar verulega og ofmátum fylgi Framsóknarflokks, Pírata og Vinstri grænna miðað við kannanafyrirtækin. Á móti kemur að við vorum mun nær fylgi Sjálfstæðisflokksins, Flokks fólksins og Sósíalistaflokksins. Fylgi Viðreisnar var að jafnaði hærra í lokakönnunum en í kosningunum, en við vanmátum fylgi við flokkinn á móti. Niðurstöður fyrir aðra flokka voru sambærilegar.

Þetta þýðir að leiðréttingin er í rétta átt í helmingi tilfella, en í ranga átt í helmingi tilfella, sem getur varla talist góð framistaða.

Þau sem vilja einfalda og gagnsæa leið til að meta fylgi flokka í aðdraganda kosninga ættu því að nota matið á kosningaspá.is. Ef fólk vill flóknara líkan sem gerir tilraun til að leiðrétta fylgið í könnunum er betra að notast við líkanið á metill.is. Hver veit nema ég bæti ég flóknara líkani og birti á þessari síðu fyrir næstu kosningar, það væri þá líkan sem væri samanburðarhæft við líkan Metils.

Mat á væntu fráviki – óvissubil

Þingsæta- og Þingmannaspá sem birt er á kosningaspá.is notar hermanir til að meta hversu líklegt er að flokkar nái ákveðnum fjölda þingsæta og hversu líklegt er að frambjóðendur nái kjöri. Hermanirnar nota fylgi flokka í könnunum og vænt frávik frá raunverulegum úrslitum til að meta þessar líkur. Við þetta líkindamat er sérstaklega mikilvægt að vænt frávik frá raunverulegum úrslitum sé ekki vanmetið (og auðvitað ekki ofmetið heldur)

Mig grunar að líkanið á metill.is vanmeti vænt frávik í sínum útreikningum. Metill birti ekki spá fyrir hvern frambjóðenda fyrir kosningarnar svo ég mun ekki fara yfir hvernig þeir útreikningar gengu, en ef við skoðum 90% óvissubilin sem þeir birtu fyrir flokkana 10 í framboði 2024 sést að raun fylgi fjögurra flokka lendir utan 90% öryggisbils og eins og þeir segja sjálfir á metill.is1:

“samkvæmt skilgreiningu á 90% óvissubilum er viðbúið að einn gagnapunktur lendi fyrir utan bilið.”

FlokkurNeðri mörkMat á fylgiEfri mörkRaun fylgiUtan 90% bils
D17.7%19.3%21.2%19.4%
S16.4%18.4%20.7%20.8%x
C12.7%14.9%17.4%15.8%
F10.8%13.2%16.1%13.8%
M9.1%11.0%13.1%12.1%
B7.9%9.1%10.5%7.8%x
P3.9%4.7%5.6%3.0%x
J3.2%4.2%5.4%4.0%
V3.0%3.6%4.4%2.3%x
L0.7%1.1%1.6%1.0%

Það að fjórir gagnapunktar lendi utan við 90% óvissubil er mjög ólíkleg niðurstaða ef vænt frávik er rétt metið. Þetta á ennfremur við í alþingiskosningum nú þar sem meðalfrávik er lægra en við sáum 2021, 2017 og 2016

  • Meðalfrávik skoðanakannana frá raunverulegum úrslitum
    • Alþingiskosningar 2016: 1.9%
    • Alþingiskosningar 2017: 1.6%
    • Alþingiskosningar 2021: 2.2%
    • Alþingiskosningar 2024: 1.4%

Ekki hefur enn verið gerð grein fyrir þessu misræmi á síðunni metill.is þegar að þetta er skrifað.

  1. er þeir bera saman niðurstöður Prósent könnunar við sína spá