Sondage Crop montre le PLQ en baisse, CAQ à 30%.

- 26 septembre 2014

Un court billet pour parler du dernier sondage Crop qui montre un taux de satisfaction stable à 43%, mais les intentions de votes pour les Libéraux en baisse à 35% (-6 points). La CAQ est deuxième avec 30% et le PQ enrégistre je crois sa première progression après la défaite d’avril dernier en pointant à 21% (3 points de plus, mais toujours inférieur au résultat de la dernière élection). En l’absence d’un chef, le PQ fait relativement bonne figure. J’ai très hâte à la course à la chefferie et les sondages avec les questions hypothétiques (du genre « si PKP était le chef du PQ…. »).

En utilisant ces intentions de votes dans un modèle très simplifié (je n’ai pas encore mis à jour mon modèle traidtionnel), on obtient que le PLQ ne récolterait que 60 sièges. Le PQ tomberait à 20 sièges et la CAQ récolterait 41 députés. QS conserverait ses trois sièges mais gagnerait Hochelaga-Maisonneuse (note: comme d’habitude avec les sondages Crop, l’information vient au compte gouttes et au moment d’écrire ce billet, je n’ai pas les intentions de votes pour QS. J’ai ainsi projeté ce parti au même niveau que l’élection; Cela reste intéressant car cela signifie que ce parti peut remporter ce 4e siège sans progresser, tant que le PQ continue de baisser). Imaginez une Assemblée Nationale aussi divisée… Avec un gouvernement Libéral minoritaire et les 3 autres partis possédant la balance du pouvoir, y compris QS.

Au final, on s’entend, on est bien loin de la prochaine élection. Et le Parti Québécois n’a pas de chef. Mais on s’amuse comme on peut et vu qu’il y avait un sondage, je me suis dis que j’allais faire des projections rapidement.

CRA poll pretty much nailed the results in New Brunswick. But was it just luck?

- 25 septembre 2014

The NB election was 2 days ago, on Monday September 22nd. The results were close most of the night, not in small part due to a glitch in the system that prevented results from being reported for a couple of hours.

At the end, the Liberals regained power by winning a majority of the seats (27 out 49) with 42.7% of the vote. The incumbent Conservatives got only 34.7% and 21 seats. The NDP got no seat with 13% of the vote while the Green Party managed to get one seat with only 6.6% of the vote (if that doesn’t scream the need for electoral reform… but let’s move on).

I didn’t cover this election simply because I did not have time. The lack of polls didn’t help either. Indeed, we were left with pretty much only 2 polls during the last week, one by Forum done the day before the election, one by CRA conducted a little bit earlier. Forum had the main two parties tied at 40% while CRA had the Liberals way ahead with 45% versus 36%. At the end of the day, CRA was of course a lot closer to the actual outcome. Forum actually didn’t have any of the main two parties within the margins of error (although it was very close for the Liberals).

The CRA poll only had an incredibly small number of respondents: 333! It was at least conducted by phone (not IVR, actual phone calls), still, this is a very small sample and you have to wonder if CRA just got lucky to be so close to the actual result.

Now, let me be clear when I say lucky. When you do random sampling, you can be lucky or unlucky in the sense that you can get a good or « bad » sample. When we report the margins of error and we say that it’s plus or minus 3% 19 times out of 20, this is exactly what we mean. It means that if you were to take a 100 samples, the true results (the one in the population) would be within the MoE in 95 of these 100 samples. So you have a 5% chance of having a sample where your results will be a lot further from the true, actual ones.

With only 333, it means the MoE are very large. For the Liberals who were polled at 45%, it means margins of error of plus or minus 5.3%. Not a very precise estimate to say the least.

So, let’s assume that the CRA methodology had no bias and if done enough times, we’d have got the actual true results of the election. The questions: what were the chances that one given poll would be so close to the true outcome? How likely was it that they’d estimate the Liberals only 2.3 points off and the Conservatives only 1.3 off? I ran 5000 simulations which are equivalent to taking 5000 random sample of 333 respondents from a population where the actual proportions were the ones from the election (so 42.7% for the Liberals, 34.7% for the Conservatives). Here are some of the results:

- There were about 35% chances that the poll would estimate the Conservative within 1.3 points of the true result.

- 58% chances of estimating the Liberals’ share of votes within 2.3 points of the true result.

- Together (being off by 2.3 points or less for the Liberals and by 1.3 point or less for the PC): only 25%

The last one is  interesting but too specific. It’s too specific because the CRA poll would have been just as good if they’ve had the PC off by 2 points but the Liberals off by only 1.3 for instance. So let’s look at the odds of getting both parties within 2 points of the actual results. In this case, the chances are around 35%. Within 3 points? 60%.

So here you have it, by having such a small sample, CRA was actually quite lucky to be that close to the actual results. I’m not implying here that the CRA poll and methodology aren’t sound or anything. I’m simply talking about the « risk » you take when you sample so few people. When you do that, you can have a perfect sampling method, you are still vulnerable to the normal statistical variation. Of course, this post is most likely exaggerating the problem because I do not account for the weights. Polling firms take a sample and if this one isn’t perfectly and naturally representative of the population, they can use weights to correct (some) of this issue. Therefore, when I say there was only 35% chances that CRA would get within 2 points of the actual results, this is most likely an underestimation. At the same time, let’s not pretend that weighting can fix everything.

At the end of the day, congratulations to CRA for being by far the most accurate pollster in NB. If you could however increase your sample size, that wouldn’t hurt!

Even though they were quite off, a big thank to Forum as well for actually polling at all! Say what you want about Forum, but this firm polls every single election, and multiple times. It’s easy not to be wrong when you never poll (looking at you Nanos!)

L’Écosse dit non. Ou quand les erreurs des sondages sont prévisibles

- 19 septembre 2014

Le résultat n’est pas complètement officiel au moment où j’écris ce billet, mais l’Écosse a dit non à l’indépendence. La marge de victoire du NON est plus grande que prévue par les sondages. Et dans les faits, les erreurs des sondages étaient prévisibles.

Le NON a donc gagné avec environ 55% des votes, contre 45% au OUI. À titre de comparaison, la moyenne des sondages avaient le NON à 52%. Ma propre moyenne, avec une répartition non-proportielle des indécis (60% accordés au NON) avait essentiellement la même chose, avec le NON entre 52 et 53%. Cette option était donc sous-estimé dans les sondages et ce n’est de loin pas une surprise.

Est-ce que les indécis se sont rangés massivement derrière le NON? Possible. Lors de mon billet d’hier, je disais que ma répartition 60-40 était en fait conservatrice et qu’il était bien possible que le NON recueille en fait bien davantage de ces indécis. Si la sous-estimation vient vraiment des indécis, cela signifierait que près de 90% de ces derniers se seraient finalement rangé derrière le NON.  Il se peut aussi que certains partisans du OUI aient changé d’avis. Ou encore que les sondages sous-estimaient systématiquement le NON. La vérité est que c’est probablement un mélange de toutes ces raisons. Il y a aussi la question de qui a réussi à faire sortir son vote. Les indépendentistes Écossais étaient particulièrement déçus hier de la relative faible participation à Glasgow.

Peu importe la raison, le fait est qu’il n’est pas surprenant que le NON l’ait emporté et l’ait fait avec une marge supérieure aux sondages. Au cours des deux dernières semaines, j’ai  répété que selon moi, si le OUI devait l’emporter, il devrait être largement en tête dans les sondages. Ceci afin de compenser pour une surestimation probable de cette option.

J’avais aussi que le camp du OUI avait un peu moins de 20% de chances de gagner. On ne saura jamais si c’était vraiment le cas ou non. La marge de victoire du NON montre que la situation n’était pas aussi serrée que les sondages ne pouvaient le laisser penser. Le OUI n’avait somme toute que de faibles chances de gagner. Il est raisonnable de penser que le 20% accordé à ce camp était probablement trop élevé. En même temps, les sondages étant ce qu’ils sont, il reste toujours une incertitude importante lors d’un scrutin de cette ampleur. Ajoutez à cela le taux de participation incroyable (plus de 80% des électeurs ont voté, y compris ceux âgés de 16 et 17 ans) et il serait faux de penser que le OUI n’avait absolument aucune chance.

Au final, difficile de vraiment juger les sondages. D’un côté, ils ont clairement sous-estimé le NON (ou surestimé le OUI) par environ 2-3 points (ce qui est hors de la marge d’erreur pour la moyenne des sondages). Mais d’un autre côté, les sondages ont failli dans la direction attendue. C’est vraiment genre une erreur peu surprenante. Il en serait tout autrement si le OUI avait causé la surprise hier soir.

 

Prédiction finale pour le référendum sur l’indépendance de l’Écosse

- 17 septembre 2014

Demain, le 18 septembre, les électeurs Écossais vont voter pour savoir s’ils veulent que l’Écosse devienne un pays indépendant. Alors que le NON était largement en tête dans les sondages au cours des derniers mois, la fin de campagne a montré une remontée marquante du OUI. Cependant, tel que je vais le montrer dans ce billet, les chances sont faibles que l’Écosse se sépare du Royaume-Unis demain. Il y a cependant assez d’incertitude pour rendre ce référendum intéressant.

Regardons en premier l’évolution des sondages. Le graphique ci-dessous vous montre la moyenne des sondages, telle que calculée par le site WhatScotlandThink.org. Un site fort intéressant et objectif.

whatscotlandthink average sept 17

Comme vous pouvez le voir, l’écart n’a cessé de se réduire entre les deux camps. Sauf que vers la toute fin, alors que le OUI semblait être en mesure de prendre le dessus (et nous avons en fait eu deux sondages avec le OUI devant, dont un avec une avance significative), le NON a rebondi. Ainsi, le momemtum de fin de campagne semble être en faveur du NON (tous els sondages publiés durant les 2 derniers jours montrent le NON devant). Ma propre moyenne a des résultats très similaires (et cela ne change pas grand chose si l’on prend les sondages de la dernière semaine seulement ou des deux dernières). En gros, le NON a une avance de 2-3 points sur le OUI.

Ce graphique et cette moyenne ont cependant un gros problème: ils ne tiennent pas comptent des indécis (ou les ne sais pas). Or, les sondages ont ces indécis représentant entre 5% et 14% de l’électorat (dépendemment de la firme, méthodologie, etc). Dans la quasi totalité des sondages des deux dernières semaines, l’avance du NON est de loin inférieure au nombre d’indécis. La question est bien sûr de savoir où iront ces indécis.

Et il y a aussi la possibilité que les sondages aient torts. Sans parler des différences de méthodologies, il reste toujours la variation naturelle qui est due au fait que nous n’avons que des échantillons. En faisant une moyenne de nombreux sondages, cela devrait éliminer une bonne partie de cette variation, du moins en théorie. Sauf que nous savons bien que ce n’est de loin pas toujours le cas. Le PLQ en 2012 était systématiquement sous-estimé par les sondages. Tout comme les Libéraux en CB en 2013.

Il nous faut donc tenir compte de deux sources d’incertitude: les indécis et les sondages eux-mêmes. Voici comment j’ai procédé: je pars du principe que 60% des indécis voteront NON et 40% voteront OUI. Cette hypothèse est basée sur plusieurs facteurs. Tout d’abord, une étude détaillée de la performance des sondages pour les référendums et autres décisions majeures montre que les indécis choississent en général l’option la moins risquée, le statue quo (de manière intéressante cependant, un des rares cas de sous-estimation du OUI provient d’un précédent référendum en Écosse en 1997 portant sur une dévolution des pouvoirs). Il suffit de regarder (ou de se souvenir, dépendemment de votre age) des sondages pour le référendum Québécois de 1995. Ceux-ci avaient le OUI bien en tête durant la dernière semaine, mais nous savons bien ce qui est arrivé. Il se peut que les indécis aient tous choisi le NON, ou que plusieurs partisans du OUI aient changé d’avis au dernier moment. Peu importe la raison, le fait demeure que les sondages sur ce genre de questions ont tendance à surestimer le OUI. Afin de tenir compte de cela, je ne répartis pas les indécis de manière proportielle. Cependant, lors de mes simulations, je ne répartis pas toujours les indécis 60-40, j’introduis de l’incertitude à cette étape là. Ainsi, dans certaines simulations, le OUI reçoit (disons) 55% des indécis, mais dans une autre, seulement 35%. Il y a même des cas où la majorité des indécis opte pour le OUI. En moyenne cependant, le OUI ne reçoit que 40%. Cela peut sembler être un biais contre le OUI, mais il ne s’agît vraiment que d’une hypothèse réaliste en se basant sur les données que nous avons (dans les faits, je suis déjà plutôt conservateur en n’accordant que 60% des indécis au NON). Il faut cependant remarquer que les partisans du OUI semblent plus motivés et sont bien plus présents sur la toile. Ainsi, le modèle se doit de garder la possibilité que le OUI réussisse à mobiliser ses partisans davantage.

Je tiens aussi compte de l’incertitude des sondages d’une manière similaire à ce que je fais avec mes projections électorales. Ainsi, avec le OUI a 44.5% en moyenne au cours de la dernière semaine et le NON à 47% (avec environ 8% d’indécis), il est possible que le OUI soit en fait en tête. Un sondage avec une taille d’échantillon de 1000 répondants a des marges d’erreur de 3.1% environ. Bien sûr, la moyenne des sondages a une marge d’erreur bien inférieure. Mais cela n’est le cas que si vous acceptez l’idée qu’il n’y a pas de source d’incertitude autre que l’échantillonnage. Personnellement, je reconnais que l’incertitude des sondages est bien davantage (différentes méthodologie, pondération, etc). Aussi, mes simulations ont des marges d’erreur de près de 5% (ce qui correspond à peu près à la variation observée entre les différents sondages). Cela veut dire qu’il y a des simulations où le OUI est en tête, même sans recueillir la majorité des indécis.

Au final, j’obtiens que le camp du OUI obtiendra en moyenne 47.8% et le NON 52.2% une fois les indécis répartis, soit une avance d’un peu plus de 4 points (soit un petit peu davantage que les sondages, cela en raison de ma répartition non-proportionnelle des indécis). Aussi, le NON l’emporte un peu plus que 80% des fois. En d’autres termes, le OUI peut gagner mais ce n’est de loin pas le scénario le plus probable.

En conclusion, il est fort vraisemblable que l’Écosse demeure au sein du Royaume-Unis demain. Pour que le OUI l’emporte, il faudrait soit que les sondages aient systématiquement sous-estimé cette option, soit que les indécis se reportent massivement derrière elle, ou les deux. Statistiquement et historiquement, cela est improbable. Mais pas impossible. Nous ne pouvons exclure une surprise demain soir.

[Mise à jour] On m’a fait remarqué sur tiwtter que mes probabilités étaient très proches de celles obtenues en utilisant les sites de paris. Et c’est bel et bien le cas. En regardant oddscheckers, on voit que le NON est donné gagnant environ 80% du temps. Il est assez remarquable de constater une telle similarité. Après tout, les deux méthodes n’ont rien en commun. Par contre, les parieurs Écossais semblent miser largement sur un OUI.

À moins d’une semaine du vote en Écosse

- 14 septembre 2014

Je parlais la semaine passée du référendum sur l’indépendance de l’Écosse. À cette date, le NON restait en tête mais le OUI semblait avoir un léger momemtum.

À 5 jours du vote, est-ce la situation a changé? La réponse est difficile. Premièrement, pour la première fois de la campagne, un sondage a eu le OUI en tête. Et récemment, un 2e sondage avait le OUI même largement en avance. En même temps, la majorité des sondages continuent d’avoir le NON en tête. Et la taille d’échantillon du sondage avec le OUI devant était relativement faible (705 répondants, en ligne). Au final, il semble que la course soit très serrée dans cette dernière ligne droite. Et comme toujours dans ce cas, chaque nouveau sondage avec ses variation de quelques points cause de grands titres et analyses dans les journaux. Un jour le OUI est en progression constante, le lendemain le NON est assuré de gagner. Bien sûr, si l’on regarde tous les sondages, on voit une situation différente.

J’ai pris tous les sondages faits depuis le 2 septembre (j’y ai ajouté le sondage ICM/Telegraph avec le OUI largement devant vu que la page wiki ne l’avait pas) et j’ai fait une moyenne. En procédant ainsi (et en ignorant ainsi les différentes tailles d’échantillons (elles sont toutes entre 700 et 1200) ou les méthodologies), j’obtiens que le OUI est à 44%, le NON à 46.4% et les indécis à 9.4%. En attribuant les indécis proportionellement, le NON l’emporterait 51.3% à 48.7%.

Est-ce que cela est significatif? Vu que la moyenne se base sur 8 sondages totalisant une taille d’échantillon de plus de 8000 observations, la réponse est oui, mais de peu (il faut une avance de 2.2 points pour être significatif à 95%). Et n’oublions pas que cela ne tient compte que de l’incetitude statistique normale. Or, nous le savons bien, les sondages ont bien davantage d’incertitude en raison de la méthodologie, du nombre de personnes qui ne répondent pas ou bien sûr du fait que les électeurs peuvent changer d’avis. Une avance de 2-3 points avec 9% d’indécis n’est de loin pas assurée. Surtout que nous avons maintenant des sondages donnant le OUI en tête (cela reste un fait majeur; En effet, une avance de 3 point est petite, mais si 10 sondages donnent la même avance, il reste bien peu d’incertitude).

La semaine passée, j’expliquais qu’il ne semblait pas y avoir « d’indépendantistes cachés » et que ces indécis devraient se répartir au mieux 50-50 (ou proportionnellement) ou vers le NON (l’option la moins risquée, ce qui est normalement l’option par défaut des indécis). Cependant, la tendance récente montre que le camp du OUI récupère davantage de ces indécis que le camp du NON. Le graphique ci-dessous vous montre l’avance du NON (donc un résultat négatif montre le OUI devant) et le pourcentage d’indécis dans chaque sondage depuis le mois de juin.

Indécis et avance du NON Écosse

Comme vous pouvez le voir, à mesure que le  nombre d’électeurs Écossais indécis diminue, l’avance du NON fond. Cependant, statistiquement parlant, la corrélation n’est pas significative. Cela peut sembler étrange à la vue de ce graphique, mais le test significatif montre une relation loin d’être significative. Il faut dire que le graphique est possiblement trompeur car la tendance élimine toutes les variations. Or, comme vous pouvez le voir, il y a beaucoup de « bruit » (beaucoup de variations si vous voulez). De plus, si l’on ne prend que les sondages récents (de ce mois-ci par exemple), la tendance disparaît.

Étant donné qu’il reste 9% de ces indécis actuellement (en moyenne), le camp du OUI a besoin d’aller chercher 5.5 points de ces 9% (ou, si vous préférez, 60% des indécis). Cela ne semble de loin pas être une tâche impossible pour les indépendantistes Écossais. Si l’on se fie à la tendance, on devrait même conclure que cela est vraisemblabe! En utilisant une régression toute simple, on obtient que l’avance du NON baisse de 0.1 point pour chaque baisse de 1 point de pourcentage du nombre d’indécis.Vu qu’il en reste environ 9-10%, cela veut dire que si la tendance se maintient, à 0% d’indécis, l’avance du NON sera d’environ 1 point de pourcentage de moins que maintenant. Vu que l’avance actuelle est de 2.4 points, cela ferait en sorte que le NON l’emporterait par 1.4 point environ. En d’autres termes, même si la tendance continue (et rappelons que cette tendance n’est pas statistiquement significative), le OUI perdrait quand même.

Pour espérer gagner, le camp du OUI se doit vraiment d’aller chercher encore davantage d’indécis que ce que nous avons observé jusqu’à maintenant. De plus, nous partons ici du principe que ces sondages ne sur ou sous-estiment pas l’une des options. Or, si le référendum du Québec de 95 est d’aucune indication, on peut facilement imaginer que les sondages sous-estiment le nombre d’indécis (ou d’électeurs peu sûrs de leur choix) qui opteront finalement pour le NON. Après tout, en 95, le OUI avait le vent dans les voile selon les sondages de la dernière semaine. Or, les indécis restant (qui représentaient aussi à cette époque là environ 10%) ont finalement choisi le NON (note: je connais bien le cas de 95 et je n’ai pas le temps ni l’envie de recommencer le débat concernant d’éventuelles fraudes). Je l’avais dit la semaine passée et je persiste à penser que pour obtenir une victoire du OUI, il faudrait que cette option soit en tête dans les sondages, et assez largement. La tâche pour les indépendantistes Écossais n’est de loin pas facile. Ils doivent aller chercher une majorité des indécis restants tout en conservant les votes techniquement acquis.

En conclusion, il est vraiment difficile de prévoir ce qui arrivera le 18 septembre. Les sondages actuels montrent que le NON devrait l’emporter. Cependant, la tendance récente et le nombre d’indécis font en sorte que tout peut arriver. L’intuition me fait penser que le NON reste cependant favori. Mais je ferai une dernière mise à jour la veille du référendum.