La performance des différents sondeurs pour l’élection Québécoise de 2014

- 15 avril 2014

Il a déjà été établi que les sondeurs ont, dans l’ensemble, fait une bonne job lors de la dernière campagne Québécoise. La moyenne de ces sondages en particulier a donné des résultats très proches de ceux de l’élection.

Regardons la performance des différents sondeurs afin de voir quelle maison de sondage a été la plus proche. Voici comment cela fonctionne:

- Une méthode traditionnellement utilisée est l’écart absolu moyen. Cette méthode fonctionne ainsi: si le PLQ était sous-estimé de 2 points et le PQ surestimé de 1 points, cela fait un écart total de 3, divisé par 2. La mesure est bonne mais elle ne devrait pas s’appliquer aux petits partis. Selon moi, faire cela fausse la mesure car il est « facile » d’obtenir le Parti Vert à 1% par exemple. Ainsi, en tenant compte de ce parti, un sondeur ajoute une formation facile à mesurer mais cela fait baisser l’erreur moyenne (car on divise par un plus grand nombre). Pour ma part, je calcule l’écart moyen absolu seulement entre les 4 principaux partis. Je ne trouve pas pertinent de savoir si une firme a surestimé ON ou les Verts par 0.5 points (en d’autres mots: il est quasiment impossible de faire de grosses erreurs pour ces partis).

- Un sondeur avec la meilleure méthodologie du monde peut cependant être malchanceux et avoir un échantillon qui donnera des résultats un peu différents. Selon moi, on ne devrait pas forcément s’attendre à ce qu’un sondage ait tous les partis avec les résultats exacts, mais il est important que tous les partis soient dans les intervalles de confiance. Ainsi, je compte le nombre de partis qui sont tombés dans les marges d’erreur de chaque sondage. Et je calcule ces marges d’erreur correctement (ainsi, elles sont bien plus faibles pour QS que le PLQ par exemple). Bien sûr, vous pouvez toujours me rappeler que les sondages internet n’ont pas de marges d’erreur et blablabla. Juste pour être clair, voici comment je détermine cela: prenons le dernier sondage Léger. Le PLQ y était à 38%. Avec la taille d’échantillon (1220) cela veut dire des marges de plus ou moins 2.7 points pour ce parti. Comme le PLQ a finalement obtenu 41.5%, soit 3.5 points de plus, Léger n’avait pas les Libéraux dans la marge d’erreur.

- J’utilise les chiffres non-ajustés tels que fournis et publiés par les différentes maisons de sondage. Claire Durand ou moi-même répartissons les indécis autrement (les sondeurs le font proportionnellement entre tous les partis), mais je mesure ici la performance des sondeurs, je prends donc leurs chiffres. Je compare cependant aussi ma moyenne ajustée.

- Je ne compare que les sondages publiés dans la toute dernière semaine de campagne. Il n’y a ainsi pas de Crop… ce qui reste sidérant pour une élection Québécoise.

Période PLQ PQ CAQ QS Écart moyen 4 principaux partis Nbre de partis dans les marges d’erreur
Ipsos 28 mars- 1 avril 37 28 19 13 4.15 1
Ekos 27 mars – 3 avril 40 26.3 21.1 9.4 1.55 3
Léger 2-3 avril 38 29 23 9 2.15 2
Forum 3 avril 44 24 23 6 1.4 3
Angus-Reid 2-4 avril 39 27 25 7 1.65 3
Moyenne ajustée 40.2 27.4 23.3 7.4 0.92
Élection 41.5 25.4 23.1 7.6

Quelques remarques:

- La meilleure firme a été Forum. L’écart moyen est le plus faible et le dernier sondage de cette firme avait trois des 4 principaux dans les marges d’erreur (seul QS y échappe de peu. À 6%, la marge d’erreur pour ce parti était de 1.3 points selon la taille d’échantillon. Or Forum a manqué QS par 1.6 points, donc hors des marges mais de très peu).

- Aucune firme n’a eu les 4 partis dans les marges d’erreur. Comme je viens de le mentionner, Forum est passé le plus proche. Il reste que même lorsque les sondeurs font une bonne job, il semble difficile de prédire tous les partis correctement.

- Il y a un risque à faire un sondage sur une seule journée comme le fait Forum. Mais d’un autre côté, je me permets de remettre en question la pertinence de faire un sondage sur 8 jours comme l’a fait Ekos. De plus, il est probablement plus judicieux d’attendre le dernier moment pour faire un sondage.

- La pire performance est entre Léger et Ipsos. Léger a certes un meilleur résultat, mais Ipsos a au moins l’excuse d’avoir sondé plus d’une semaine avant le scrutin, donc les tendances de dernières minutes (en particulier pour la CAQ) peuvent excuser en partie la piètre performance. La surestimation de QS chez Ipsos était cependant incroyable, c’est presque le double du résultat de l’élection! Cela arrive (mauvais échantillon) mais quand même. Ces deux firmes sont aussi les seules qui n’avaient pas le PLQ dans les marges d’erreur… Au final, choisir qui d’Ipsos ou de Léger a fait le moins bien est difficile à dire. Ekos a sondé presque au même moment qu’Ipsos et n’a pas été si loin des résultats. Ainsi, disons qu’Ipsos a été la pire firme et Léger la 2e moins bonne.

- Ma moyenne ajustée a fait une bonne job (et battu les sondages individuels, ce qui est normal soit dit en passant). Le PLQ y était certes légèrement sous-estimé alors que le PQ y était surestimé, mais l’erreur moyenne est de loin la plus faible. Pour rappel, mes ajustements sont: ne pas répartir d’indécis aux petits partis et tenir compte du fait que le Parti Vert ne présentait que 44 candidats. Je ne calcule pas les marges d’erreur pour cette moyenne car en théorie, elles seraient très faibles (vu que je fais la moyenne de 5-6 sondages, c’est comme si j’avais un énorme échantillon de genre 5000 observations). Cependant, cela ne serait vrai que dans la mesure où la seule variation entre les sondages serait due à la variation statistique naturelle et pas à des différences méthodologiques par exemple. Or, nous savons que ce n’est pas le cas. À vue d’œil cependant, je dirais que cette moyenne avait 3 des 4 partis dans les marges (tous sauf le PQ).

- Pour Ekos, leur « likely voters model » a encore une fois fait pire que les résultats non ajustés (c’était déjà arrivé en CB). J’encourage toutes les firmes à développer un tel modèle mais force est de constater que celui d’Ekos laisse à désirer. Cependant, cette firme a bien fait de manière générale et mérite probablement la médaille d’argent (surtout que la sous-estimation CAQ par rapport à Angus-Reid peut s’expliquer par la période de collecte des données).

- Je persiste à penser que les sondeurs ne devraient pas répartir les indécis proportionnellement entre tous les partis. La sur-estimation de QS par plusieurs firmes vient probablement de cela.

Post-mortem préliminaire

- 8 avril 2014

Les sondages ont eu raison! C’est peut-être la première chose à tirer de cette élection. Le PQ était certes légèrement sur-estimés (oui sur-estimés, n’en déplaise à tous ceux qui pensaient que ces sondages « faits sur internet et en Ontario » ne valaient rien), mais globalement, ils ont correctement prédis les pourcentages. À ce petit jeu là, le dernier Forum était le meilleur! Comme quoi j’ai eu raison de ne pas exclure ces sondages durant la campagne.

Après, regardons un peu les projections. L’histoire de la soirée est bien sûr la performance incroyable de la CAQ. Et cette performance n’est pas due à une sous-estimation dans les sondages mais bien à un vote devenu bien plus efficace. Il est d’ailleurs assez remarquable d’observer à quel point la CAQ a réussi à concentrer son vote par rapport à la petite déception de 2012. Dans les faits, ce billet va vous montrer qu’il était quasiment impossible de prédire autant de sièges CAQ avec ces pourcentages. Je dirais même que si mon modèle avait prévu 22 CAQ avec seulement 23% des votes, il y aurait eu une erreur.

Commençons par une comparaison des résultats globaux ainsi que du nombre de comtés projetés correctement, selon les sondages et les vrais pourcentages de la soirée:

PLQ PQ CAQ QS Nombre de comtés projetés correctement
Projections d’après sondages 72 40 11 2 106
avec % élection 78 34 11 2 109
Résultats 70 30 22 3

Le premier résultat vraiment surprenant est que le modèle a en fait bien performé au niveau des comtés. Dans les faits, le taux de réussite a été supérieur à celui de 2012 (avec les bons pourcentages, le modèle de l’époque aurait correctement prédit le gagnant dans 105 comtés. Mais cette année-là, les résultats globaux étaient bien plus proches (spécifiquement, j’avais 51 PQ, 48 PLQ, 24 CAQ et 2 QS). Au final cependant, le modèle a correctement prédit le gagnant dans 85% des circonscriptions. Étant donné que le modèle n’utilise que 6 chiffres (les intentions de votes provinciales pour les 6 principaux partis), il reste remarquable de réussir à prédire autant de comtés correctement (bien sûr, il y a un nombre non-négligeable de comtés où vous n’avez besoin d’aucun modèle pour faire le correct « call », genre Westmount). L’objectif pour moi est d’arriver à 90% en utilisant les bons pourcentages. Cette année, je suis juste en-dessous de cet objectif (109 sur 125, soit 87%).

La différence principale entre 2012 et cette année? Les erreurs ne se sont pas annulées hier soir. Je veux dire par là que normalement, il y a un comté que je prédis comme allant disons au PLQ mais qui votera en fait PQ. Mais ensuite, il y aura un comté projeté PQ mais qui tournera finalement PLQ. Cette année, rien de la sorte. Cette fois-ci, la clé a été la CAQ et sa concentration dans le 450. Je n’ai pas encore les pourcentages pour tous les comtés (j’attends les résultats finaux du DGEQ), mais je suis pas mal sûr que le parti de François Legault a baissé de bien plus de 4 points dans le reste du Québec mais a en fait augmenté dans le 450, surtout la Rive-Nord. Ce genre de variations est quasiment impossibles à capturer pour un modèle tel que le miens. En l’occurrence, même un modèle qui utilise les intentions de votes des sondages par région tel que celui de 308 n’avait pas autant de CAQ (il en avait en fait 9, moins que moi!). Cela veut dire que les sondages n’indiquaient pas un tel « shift » de la CAQ. Je comprends que cela peut être décevant, mais il reste qu’en se basant sur toute l’informatio qui était disponible, rien ne laissait présager à une telle performance de la CAQ.

Sur les 19 erreurs contenues dans les projections finales, 14 étaient projetées comme luttes serrées, montrant bien que la confiance en mes projections y étaient plus faible. Bien sûr, certains de ces comtés n’ont en fait pas été serrés hier soir. Par exemple dans Arthabaska, Sylvie Roy a gagné facilement alors que je l’avais perdante de peu.

Parlant de luttes serrées, la CAQ a remporté un nombre incroyable de victoires par une petite marge dans le 450. Dans Borduas, la victoire a été par 99 voix. 408 dans Chambly, 731 dans Deux-Montagnes, 887 dans Iberville ou encore 534 dans Masson. La Coalition a vraiment été efficace/chanceuse dans cette région.

Sur les 19 erreurs, aucune n’est vraiment une énorme surprise dans le sens que les candidats y étaient tous projetés avec des chances de gagner (en se basant sur les sondages). La victoire la plus improbable est venue de Mathieu Lemay dans Masson. Il n’y était projeté qu’avec 5.1% de chances de gagner. En termes de votes, ce comté avait été remporté par le PQ avec 10 points d’avance en 2012 (46 vs 36%). Vous voyez bien qu’il était normal de projeter une victoire PQ malgré la baisse de ce parti provincialement. Deux autres candidats CAQ ont gagné avec moins de 10% de chances, dans Sainte-Hyacinthe et Mirabel.

Les 16 autres candidats et candidates avaient tous au moins 10% de chances de gagner. Cela veut dire que cela fait maintenant 3 élections où le modèle ne fait aucune erreur pour les candidats projetés avec 0% de chances. C’est une bonne nouvelle car ces comtés où quelqu’un est à 0% (ou, alternativement, à 100%) se doivent de ne pas avoir de surprises. Le tableau ci-dessous vous montre la performance générale de ces probabilités pour les 3 principaux partis lors de cette élection.

% victoire
0% 0%
1-30% 8%
30-50% 56%
50-80% 45%
80-99% 95%
100% 100%

Les deux tranches 30-50% et 50-80% ne fonctionnent pas vraiment. Mais rappelons que nous avons très peu d’observations ici. Par exemple, il n’y avait que 16 candidats projetés avec entre 30 et 50% de chances de gagner. Sur ces 16, 9 ont finalement gagné, soit 56%. Mais 16 reste un faible nombre. Si je combine ces données avec celles des élections en CB et au Québec en 2012, voici ce que ça donne:

Probabilités % victoires
0% 0%
1-30% 12%
30-50% 47%
50-80% 54%
80-99% 86%
100% 100%

La relation fonctionne fort bien. Il semblerait que les candidats commencent à avoir de vrais chances dès qu’ils sont projetés avec au moins 30% de chances. Si vous regardez les projections finales de cette année, 30% de chances signifie en général être projeté 2-3 points en arrière. Il reste remarquable que le modèle puisse être si précis (lorsque l’avance est de moins de 5%, on pourrait penser que les chances sont de 50-50, mais ce tableau montre que ce n’est pas vraiment le cas). Au final, les simulations et probabilités font leur job: nous donner une relativement bonne idée de l’incertitude qui existait avant l’élection.

Hier soir, l’une des clés semble être que la CAQ a réussi à prendre un nombre important de votes au PQ, du moins dans le 450. J’avais prévu que ce phénomène pourrait poser problème pour les projections. Spécifiquement, voici ce que j’avais écris dans mon billet sur les projections finales:

Les variations observées dans les sondages (par rapport à 2012) cachent probablement des effets qui s’annulent. À première vue, le PLQ gagne tant au PQ qu’à la CAQ. C’est ce que le modèle va assumer si vous entrez ces pourcentages dans le simulateur. Mais ces variations n’ont pas forcément de sens. Que ce soit chez Ekos, Forum ou encore Angus-Reid, lorsque l’on regarde comment les votes de 2012 se répartissent (par exemple: parmi ceux qui ont voté CAQ en 2012, quel pourcentage voterait Libéral cette fois-ci?), on remarque que le PQ perd au profit de la CAQ et de QS, pas des Libéraux. Chez Ekos par exemple, 7% de ceux qui ont voté PQ la dernière fois voteraient maintenant PLQ. En même temps, 6% des Libéraux seraient maintenant Péquistes. Ces effets s’annulent essentiellement et cela n’est pas très étonnant. Les échanges PLQ-PQ sont rares. À l’inverse, on voit que 27% des CAQuistes de 2012 se déclarent maintenant Libéraux, alors que seulement 7% des Libéraux sont maintenant à la Coalition. Le gain net pour le parti de Philippe Couillard est ainsi de 5 points. La vraie variation intéressante vient entre le PQ et la CAQ. Ces deux partis sont des perdants par rapport à 2012. Mais le Parti Québécois perdrait davantage. Toujours selon Ekos, la Coalition ferait un gain net de 3.6% aux dépends des Libéraux. Nous retrouvons à peu près la même situation si on regarde chez Angus-Reid ou encore Forum.

Pourquoi est-ce cela a son importance? Tout simplement car le modèle n’utilise pas les mêmes coefficients dépendamment d’où vient le vote. Comme je l’avais déjà expliqué, imaginez que le PQ perde au profit de la CAQ. Dans ce cas-là, les régions où il y aura de grandes variations seront la Rive-Nord et Rive-Sud. À l’inverse, si le PQ perd 1 point au profit de QS, la variation se fera surtout dans l’Est de Montréal.

Je pourrais techniquement aller modifier ces variations moi-même, mais cela devient un peu arbitraire. J’ai donc décidé de présenter les projections telles quelles. Si je commence à modifier manuellement, cela devient presque de la triche. Surtout, une fois l’élection passée, je pourrais toujours faire d’autres modifications et prétendre que j’aurais fait moins d’erreurs. Mais souvenez-vous que ces variations « cachées » pourraient créer quelques surprises. Il y a des limites à projeter 125 comtés en n’utilisant que 6 chiffres…

Au moins j’avais la bonne intuition de savoir d’où pourrait provenir les surprises. Après, même en faisant ce genre de modifications après l’élection, je ne pourrais obtenir 22 sièges CAQ. L’effet est trop concentré dans le 450. Encore une fois, ce que cela démontre c’est que ce parti n’aurait pas dû remporter 22 comtés avec seulement 23% des votes. Tout comme en 2012, la CAQ aurait dû gagner plus de 19 sièges avec 27%. Je n’essaie pas de me trouver des excuses ici, simplement d’expliquer qu’objectivement qu’un modèle présentant le scénario le plus probable n’aurait jamais pu/dû projeter autant de victoires pour François Legault. Encore une fois, même en ayant un modèle utilisant les données des sondages par région, un tel modèle n’aurait jamais eu 22 CAQ.

Si vous préférez, prenez cette analogie. Si vous faisiez des prédictions au hockey lors de la saison 2010 de la LNH, le scénario le plus probable n’était de loin pas que le CH batte les Washington Capitals et ensuite les Pingouins de Pittsburgh. Oui le Canadien a gagné ces deux séries extraordinaires, mais je crois sincèrement qu’un modèle n’aurait pas dû donner cela comme scénario le plus probable (un autre exemple de surprise pourrait être la Grèce à l’Euro 2004 de soccer). C’est un peu la même situation ici. La CAQ a obtenu un nombre de sièges bien supérieur à ce que l’on pouvait prévoir. Même en utilisant les % de l’élection, 22 sièges reste bien trop élevé. La performance de la CAQ hier soir représente une grosse surprise et en tant que quel, un modèle ne devrait pas avoir cela comme le scénario le plus probable. Au final, j’avais bien écrit que la CAQ serait le parti le plus difficile à prédire et qu’Il fallait probablement mieux regarder les intervalles. Or, l’intervalle pour ce parti allait de 6 à… 22! Donc ces surprises étaient possibles, juste improbables.

En conclusion, j’espère que vous aurez apprécié mes analyses et projections tout au long de cette campagne. Ce blogue restera actif, mais les billets seront surement plus courts et à une fréquence de 1-2 par semaine (je pense établir un jour de la semaine où je publierai de façon régulière). En attendant bien sûr la prochaine élection (qui sera probablement l’élection fédérale de 2015). Merci de me lire et pour vos commentaires.

Projections finales: Un gouvernement Libéral majoritaire

- 7 avril 2014

Note: ces projections finales diffèrent quelque peu de celles publiées dans le journal. C’est normal, elles ont été faites après et tiennent compte par exemple du dernier sondage Forum. Aussi, lundi soir, suivez-moi sur twitter (@2closetocall) pour avoir des mises à jour rapides et fréquentes. En particulier, vu que les tendances du début de soirée se confirment généralement, je publierai des projections et intervalles en me basant sur les résultats préliminaires.

Si la tendance se maintient, les Québécois éliront aujourd’hui un gouvernement Libéral majoritaire.

Ce billet explique et montre en détails pourquoi tel est le cas. Mais histoire d’aller directement au but, voici les chiffres finaux avec, dans l’ordre, les intentions de votes, les projections de sièges avec intervalles de confiance à 95% et les chances de gagner.

Proj

Si voulez les projections comté par comté, avec probabilités, voici le pdf.

1. Les sondages.

Pour commencer, regardons l’histoire de cette campagne telle que racontée par les sondages. Le graphique ci-dessous montre tous les sondages publiés (la date représente le milieu de la période de collecte des données). Cette campagne a vraiment connu deux tendances différentes. Durant la première partie (allant à peu près jusqu’au 2e débat), le PLQ a rapidement pris la tête et le PQ a commencé sa chute (rappelons que ce parti était sondé vers les 40% dans un sondage Crop de février). À ce moment-là, l’avantage du PQ avec le mode de scrutin faisait en sorte que les deux principaux partis avaient une chance. Durant cette période, François Legault était loin derrière (certains sondages le montrant même en chute libre dans la région de Québec, par exemple le sondage Léger du 12 mars). Mais François Legault remporta le 2e débat et depuis, la tendance est à la forte hausse pour lui et son parti. Le PQ de Pauline Marois n’a jamais arrêté de baisser, sauf peut-être vers la toute fin (ce qui laisse présager que 27-28% est le plancher pour ce parti). Si vous voulez voir la tendance depuis janvier, je vous recommande le blogue de Claire Durand. Si vous voulez un lien pour tous ces sondages, allez sur la page dédiée.

Sondages campagne 2014, 6 avril 2014

Maintenant, la question à un million de dollars: est-ce que l’on peut se fier à ces sondages? Après tout, ces derniers avaient systématiquement sous-estimé le PLQ par environ 3-4 points en 2012. Et n’oublions pas les exemples de l’Alberta ou de la Colombie-Britannique où les sondages n’avaient carrément pas le bon gagnant. La différence principale cependant est que les partis qui avaient été sous-estimés n’avaient pas eu une forte tendance à la baisse durant toute la campagne. Dans le cas de la CB par exemple, l’avance du BC NDP sur le BC Liberals continuait de diminuer d’un sondage à l’autre. Dans les faits, une victoire du PQ demain soir constituerait une plus grande surprise que les deux cas mentionnés. Aussi, les autres chiffres n’indiquent pas qu’une sous-estimation Péquiste est probable. Par exemple, Pauline Marois n’est pas vue comme la meilleure Première Ministre (Couillard et Legault sont en tête à cette question). Et les enjeux importants aux Québécois (dont l’économie) semblent davantage convenir aux Libéraux ou aux Caquistes.

Cela ne signifie pas qu’il n’y aura pas de surprise, il y en a presque toujours. En 2007, l’ADQ était passé bien proche de prendre le pouvoir à la surprise générale. En 2008, le PQ avait obtenu davantage de votes que prévu par les sondages. Et nous avons déjà parlé de 2012. Nous verrons bien, mais je suis de toutes manières moins dépendant des sondages cette année car j’utilise des simulations (voir ci-dessous).

Aussi, il est bon  de remarquer que je n’utilise pas les intentions de votes telles que publiées (du moins la plupart du temps). Les sondeurs répartissent les indécis (y compris les « ne sais pas » ou « ne votera pas ») proportionnellement entre tous les partis.Selon moi, cela a tendance a tendance à surestimer les « petits » partis. Pour ma part, je répartis les indécis seulement entre les 3 principaux partis. Je faisais cela de façon proportionnelle durant toute la campagne, mais j’ai fait une petite modification vers la fin. Pour ces projections finales, je répartis les indécis proportionnellement au PLQ, mais le reste est alloué 50-50 au PQ et à la CAQ. Cela a pour effet d’augmenter légèrement la Coalition. C’est très similaire à la méthode 50-25-25 de Claire Durand. J’ai décidé de procéder ainsi car la remontée de la CAQ fausse la donne. En répartissant proportionnellement, cela voudrait dire que le PQ recevrait davantage d’indécis que la CAQ puisque cette dernière est derrière le Parti Québécois. À observer la tendance, je crois qu’il est préférable de répartir de façon égalitaire entre le PQ et la CAQ. Je ne peux cependant pas faire ces ajustements pour tous les sondages car certaines firmes ne publient leurs résultats qu’après répartition (Ekos et Angus-Reid par exemple). Aussi, je modifie les résultats du Parti Vert car ce dernier ne présente que 44 candidats. Si les sondages le placent à 1% par exemple, je coupe cela de moitié car il y aura un nombre non-négligeable d’électeurs qui peuvent se déclarer Vert mais qui découvriront demain dans l’isoloir qu’il n’y a pas de candidat de ce parti dans leur circonscription. Les autres partis (en particulier le PLQ) se répartissent ce vote.

Au final, si vous ne croyez pas les sondages, vous pouvez toujours utiliser mon simulateur et y entrer vos propres pourcentages.

2. Les projections.

En termes de projections, ces pourcentages donnent un gouvernement Libéral majoritaire. En tenant compte de l’incertitude des sondages ainsi que du mode de scrutin (ou, si vous préférez, de l’efficacité du vote), le PLQ a 99% chances de gagner. Cela signifie qu’en théorie, le Parti Québécois a une très petite chance de conserver le pouvoir. À titre de comparaison, si j’avais utilisé ces probabilités en 2012, le PQ aurait eu (selon les sondages) 88% de chances de gagner. En CB, j’avais que les BC Liberals avaient environ 12-13% de chances et ils ont finalement remporté le scrutin. Ainsi, il reste un petit espoir pour les partisans Péquistes. Mais tel que mentionné ci-dessus, la tendance ne laisse pas présager d’une telle erreur des sondages.

Les variations observées dans les sondages (par rapport à 2012) cachent probablement des effets qui s’annulent. À première vue, le PLQ gagne tant au PQ qu’à la CAQ. C’est ce que le modèle va assumer si vous entrez ces pourcentages dans le simulateur. Mais ces variations n’ont pas forcément de sens. Que ce soit chez Ekos, Forum ou encore Angus-Reid, lorsque l’on regarde comment les votes de 2012 se répartissent (par exemple: parmi ceux qui ont voté CAQ en 2012, quel pourcentage voterait Libéral cette fois-ci?), on remarque que le PQ perd au profit de la CAQ et de QS, pas des Libéraux. Chez Ekos par exemple, 7% de ceux qui ont voté PQ la dernière fois voteraient maintenant PLQ. En même temps, 6% des Libéraux seraient maintenant Péquistes. Ces effets s’annulent essentiellement et cela n’est pas très étonnant. Les échanges PLQ-PQ sont rares. À l’inverse, on voit que 27% des CAQuistes de 2012 se déclarent maintenant Libéraux, alors que seulement 7% des Libéraux sont maintenant à la Coalition. Le gain net pour le parti de Philippe Couillard est ainsi de 5 points. La vraie variation intéressante vient entre le PQ et la CAQ. Ces deux partis sont des perdants par rapport à 2012. Mais le Parti Québécois perdrait davantage. Toujours selon Ekos, la Coalition ferait un gain net de 3.6% aux dépends des Libéraux. Nous retrouvons à peu près la même situation si on regarde chez Angus-Reid ou encore Forum.

Pourquoi est-ce cela a son importance? Tout simplement car le modèle n’utilise pas les mêmes coefficients dépendamment d’où vient le vote. Comme je l’avais déjà expliqué, imaginez que le PQ perde au profit de la CAQ. Dans ce cas-là, les régions où il y aura de grandes variations seront la Rive-Nord et Rive-Sud. À l’inverse, si le PQ perd 1 point au profit de QS, la variation se fera surtout dans l’Est de Montréal.

Je pourrais techniquement aller modifier ces variations moi-même, mais cela devient un peu arbitraire. J’ai donc décidé de présenter les projections telles quelles. Si je commence à modifier manuellement, cela devient presque de la triche. Surtout, une fois l’élection passée, je pourrais toujours faire d’autres modifications et prétendre que j’aurais fait moins d’erreurs. Mais souvenez-vous que ces variations « cachées » pourraient créer quelques surprises. Il y a des limites à projeter 125 comtés en n’utilisant que 6 chiffres…

Le fait que la victoire Libérale soit quasiment assurée veut pas dire qu’il n’y aura pas de surprises ou suspense lundi soir. Tout d’abord, la majorité Libérale n’est elle pas assurée. Mes estimations montrent que ce parti doit remporter au moins 37.5% des votes pour avoir de bonnes chances d’obtenir une majorité. Ainsi, si les électeurs Libéraux restent chez eux (ou changent d’avis), Philippe Couillard pourrait se retrouver à la tête d’un gouvernement minoritaire. En tenant compte encore une fois de l’incertitude des sondages et du mode de scrutin, les chances sont de 88% d’avoir un gouvernement majoritaire.

Il y aussi de faibles chances que la CAQ termine deuxième. Les chances sont minces (1%) et il faudra deux choses pour que cela se produise: que la CAQ continue sa progression durant la fin de semaine et que son vote soit bien plus efficace qu’en 2012. Les derniers sondages Forum et Angus-Reid semblent indiquer que la CAQ pourra compter sur une bonne tendance. Il lui reste à faire sortir son vote là où ça compte.

Les graphiques ci-dessous illustrent cela. Les trois premiers montrent la distribution possible de sièges pour les trois principaux partis si l’on tient compte de la double incertitude. Les trois derniers ne tiennent compte que de l’incertitude du mode de scrutin (i.e: si les sondages ont raisons et ont les partis exactement là où ils se trouveront lundi soir). Naturellement, les distributions des trois derniers graphiques sont moins étendues.

distribution sieges PLQ finale fulldistribution sieges PQ finale fulldistribution sieges CAQ finale full

La distribution de la CAQ est très asymétrique. Cela illustre le mode de scrutin ainsi que la distribution du vote de ce parti. En ne tenant compte que du mode de scrutin:

distribution sieges PLQ 25 mars 2014 limiteddistribution sieges PQ finale limiteddistribution sieges CAQ finale limited

Ce tableau indique les différents scénarios et probabilités.

PLQ majoritaire 88%
PLQ minoritaire 11%
PQ minoritaire 1%
PQ majoritaire 0%
Égalité 0.2%
CAQ 2e (votes) 11%
CAQ 2e (sièges) 1%

Pour QS, il y a près de 15% de chances que ce parti obtienne 3 et sièges plus (le max étant 4).

2.1 Analyse par parti et par région.

Le PLQ est largement en tête et comme mentionné précédemment, à moins d’erreurs énormes de la part des sondeurs, Philippe Couillard devrait se retrouver Premier Ministre le 8 avril. Il remporte une majorité des sièges sur l’île de Montréal (7 sur 14 dans l’Est, 14 sur 14 dans l’Ouest). Il fait également le plein à Laval, en Outaouais, en Estrie ou encore à Québec. Dans les faits, les seules régions où ce parti n’est pas compétitif sont la Rive-Nord et l’Est du Québec (il y remporte cependant des comtés). On parle toujours du fait que les Libéraux ont un vote concentré au sein des non-francophones, mais les sondages montrent que ce parti a progressé de beaucoup chez les francophones (il est bon cependant de remarquer, comme le faisait Claire Durand, que les intentions de votes par langue ont de grandes variations d’un sondeur à l’autre). Ainsi, il serait faux de dire que le PLQ n’est dans la course que dans quelques régions.

Le PQ gagne presque tout dans le 450 (malgré la remontée de la CAQ), dans le Nord et dans l’Est. La Rive-Sud est chaudement disputée avec les Libéraux. À l’inverse de ces derniers, la formation souverainiste est projetée comme ne remportant aucun sièges dans 4 régions: Chaudières-Appalaches, l’Estrie, l’Est de Montréal et l’Outaouais. La seule bonne nouvelle pour ce parti est que 27-28% semble représenter un plancher. Les électeurs PQ sont par exemple les plus sûrs de leur choix. Ainsi, il semble que le PQ ne puisse pas vraiment chuter davantage.

La CAQ va peut-être sauver les meubles grâce à une incroyable remontée durant la dernière semaine. Je ne l’ai jamais eu sous les 4-5 sièges durant la campagne, mais les intervalles de confiances commençaient à se reduire drastiquement. À un moment donné, j’avais que la CAQ ne pouvait espérer qu’entre 3 et 6 sièges… Ce parti est définitivement le plus difficile à projeter cette année. En particulier, selon que la tendance à la hausse  se confirmera (et se poursuivera) ou non, les résultats pourraient être très différents. Comme je montrais ici, la CAQ est en plein dans la zone payante. Pour ce parti en particulier, je crois qu’il vaut mieux être prudent et se concentrer sur l’intervalle de sièges plutôt que le chiffre moyen. La seule chose qui semble assurée est que la CAQ ne connaîtra pas un lundi noir et conservera un nombre non-négligeable de ses députés. J’ai passé un bon moment à décider si je faisais la moyenne de tous les sondages de la dernière semaine ou seulement des plus récents. Cette dernière option aurait la CAQ plutôt vers les 24-25%. Au final, on est en rendu à deviner ici. J’ai décidé de faire un compromis et j’ai ce parti entre 23 et 24%. Mais je ne serais pas surpris si je sous-estimais cette formation. En même temps, le PLQ est tellement élevé que la remontée CAQuiste pourrait ne pas se transformer en beaucoup de sièges.

Quant à Québec Solidaire, la grande question concerne bien sûr un 3e siège. Si Gouin et Mercier sont assurés, ce parti peut faire des gains dans SMSJ, Laurier Dorion ou encore Hochelaga. Les sondages semblent indiquer que la petite formation de gauche est en progression. Mais par combien? Ce parti avait été surestimé tant en 2008 qu’en 2012. Cependant, vu que je ne lui accorde pas d’indécis, cette surestimation devrait être prise en compte. D’autre part, une 3e victoire dépendra davantage d’effets locaux et du travail de terrain que des pourcentages provinciaux. À ce petit jeu, QS a prouvé qu’il était capable de concentrer et faire sortir son vote. Manon Massé dans SMSJ avait bénéficié d’un bonus important en 2012. Cette année, entre la hausse de QS et la chute du PQ, ce comté est définitivement en jeu. Après, est-ce que ce sera suffisant pour gagner? Dur à dire. Mon intuition me dit que oui, mais les chiffres disent que non. Le fait que le PQ soit en chute libre et n’ait quasiment aucune chance de remporter le scrutin aide les chances de QS. Le vote stratégique ne devrait pas faire en sorte que plusieurs électeurs QS vont changer d’avis au dernier moment. À l’inverse, il est facile de concevoir que des électeurs Péquistes vont décider de soutenir QS puisque leur parti ne peut pas gagner de toutes manières. Au final, j’ai décidé de suivre les chiffres ici et pas mon instinct, donc QS reste à 2 sièges. Mais si j’ai tort, cela ne me surprendra pas beaucoup.

QS a également des chances dans Laurier-Dorion et Hochelaga. Le premier comté est le symbole de la division du vote entre partis souverainistes. Le problème pour Françoise David et ses troupes est que l’adversaire principale sont les Libéraux et ces derniers sont en progression générale. Selon mes sources, les Libéraux seraient moins élevés que prévu dans ce comté et QS a une chance. La clé sera cependant de convaincre les électeurs Péquistes de se reporter.

Les autres partis sont pratiquement absents. Le Parti Vert continue son long déclin depuis son 3.5% de 2007. En ne présentant que 44 candidats, il va assurément terminer sous les 1%. Quant à Option Nationale, la perte de Jean-Martin Aussant a bien sûr été un coup dur. Ce parti a été largement absent des médias et il sera déjà bien heureux de rester au-dessus des 1%.

Un mot sur les chefs des partis. Couillard est largement en tête dans Roberval mais le modèle lui accorde un bonus. Il resterait projeté gagnant sans celui-ci, mais son avance serait bien moins confortable. Dans Charlevoix, Pauline Marois se retrouve dans une lutte serrée dont elle est néanmoins donnée favorite. Finalement, François Legault est maintenant projeté gagnant dans l’Assomption. Il y a encore quelques semaines, les simulations lui accordaient moins de 1% de chances. Mais la remontée CAQ, ainsi qu’un petit bonus accordé en raison d’un sondage local le donnant largement gagnant, font en sorte que le chef de la Coalition devrait conserver son siège. Au final, deux des 3 chefs restent en danger, possiblement les 3 si Couillard ne bénéficie pas d’un bonus en tant que chef dans Roberval. Seule Françoise David n’a vraiment aucun soucis à se faire.

Finalement, remarques sur quelques « candidats vedettes ». Le Dr Barrette se présente maintenant pour le PLQ dans La Pinière. Ce comté n’est pas projeté comme une lutte serrée, mais il s’agît définitivement de l’un des comtés à surveiller. La député sortante Fatima Houda-Pépin s’y présente comme indépendante et elle est soutenue par le PQ (qui ne présente pas de candidat afin de l’aider). Moyennant de nombreuses hypothèses, je l’avais ajoutée au modèle. Ses chances restent faibles et reposent essentiellement sur un important report des votes du PQ. Le Dr Barrette n’avait pas bénéficié d’un bonus lorsqu’il se présentait pour la CAQ dans Terrebonne en 2012 et je ne m’attends de loin pas à un bonus cette fois-ci. La Pinière devrait être un comté sûr pour lui, mais sa personnalité ne semble pas plaire à tout le monde. Il reste cependant favori, surtout avec le PLQ en nette progression provincialement.

L’expérience PKP pour le PQ pourrait virer au cauchemar. Non seulement sa candidature n’a de toutes évidences pas aidé le parti dans les intentions de votes générales, il pourrait fort bien mordre la poussière dans Saint-Jérômes. Cela serait tout un symbole s’il n’était pas élu demain. Le modèle ne lui accorde ni bonus, ni malus. Intuitivement, on pourrait penser qu’un tel candidat devrait performé au-dessus des attentes,  mais on pourrait tout aussi bien argumenter maintenant qu’il fait fuir certains électeurs Péquistes. Pour la CAQ, la clé sera de convaincre certains électeurs Libéraux de se rapporter sur leur candidat afin de battre PKP.

 

3. Fiabilité et incertitude.

Est-ce que ces projections sont fiables? Tout d’abord, il faut bien réaliser que malgré mes efforts, elles restent fortement dépendantes des sondages. Si ces derniers sur ou sous-estiment un parti par 4-5 points, il est naturel que mes projections s’avèrent être dans le champ. Cependant, les simulations et probabilités sont là pour tenir compte de cela. Ainsi, il est probablement plus judicieux de regarder les intervalles de confiance plutôt que les chiffres moyens. Cela étant dit, mon modèle (tout comme tous les modèles du genre) fonctionnent dans le sens que si je connais les pourcentages, je peux les transposer en sièges. Au Québec en 2012, avec les pourcentages de l’élection, mon modèle de l’époque aurait prédit 51 PQ, 48 PLQ, 24 CAQ et 2QS (pour rappel, les vrais résultats étaient respectivement 54, 50, 19 et 2). Il y avait certes une surestimation de la CAQ (qui était difficile à prévoir car il s’agissait partiellement d’un nouveau parti), mais dans l’ensemble, le modèle aurait fait une bonne job. En particulier c’est le seul modèle qui aurait prédit une courte victoire du PQ, alors que d’autres modèles (par exemple le modèle de variation uniforme) auraient prédit une victoire bien plus large (encore une fois, en se basant sur les vrais pourcentages de l’élection). Aussi, le modèle avait le bon gagnant dans 105 comtés sur 125, un taux de réussite acceptable mais légèrement en-dessous de mes attentes. Il faut dire que le PQ avait eu 23 comtés dans lesquels il avait en fait augmenté (alors que ce parti baissait provincialement entre 2008 et 2012). Un nombre étonnamment élevé et qui avait causé passablement d’erreurs. En CB l’année passée, avec les pourcentages de l’élection, le modèle avait 50 Lib et 34 NDP, les résultats étant 49, 34 et 1 Vert. Le gagnant aurait été correctement identifié dans 77 comtés sur 85. Tout ça pour dire que si vous connaissez les bons pourcentages et que vous utilisez mon simulateur, vous remporterez fort probablement votre pool électoral.

Afin de tenir compte de l’incertitude inhérente à ce genre de projections, les simulations et probabilités devraient vous donner une bonne idée de ce qui peut arriver. En particulier, si un candidat est projeté avec 0% de chances de gagner, il est quasiment impossible pour lui de gagner. Du moins, cela n’est pas encore arrivé après deux élections. De manière similaire, les candidats projetés à 100% ont tous remporté leur comtés jusqu’à présent (100% et pas 99.9%, le pdf arrondie à zéro décimale mais si plus d’un parti est « colorié », cela veut dire qu’il ne s’agît pas d’un « vrai » 100%). Pour les autres, ceux entre 0 et 100%, les surprises peuvent arriver. Cela peut se produire soit car les sondages ont tort, soit car il y a des effets locaux que le modèle ne peut anticiper. Le tableau ci-dessous vous montre les résultats après deux élections. Comme vous pouvez le voir, les probabilités semblent fonctionner. Si vous êtes projeté avec seulement 15% de chances de gagner, il est improbable que vous soyez élu lundi soir, mais pas impossible.

Probabilités % victoires
0% 0%
1-30% 15%
30-50% 44%
50-80% 58%
80-99% 80%
100% 100%

En 2012, les deux plus grandes surprises avaient été les victoires PLQ dans Beauce-Sud et Huntington. Dans les deux cas, les probabilités d’une victoire Libérale n’étaient que de 3-4%. En termes de votes, ces deux candidats étaient projetés avec environ 11 points de retard (sur les candidats CAQ). Ainsi, un candidat projeté avec une avance supérieure à 12 points devrait avoir la victoire assurée, même en cas d’erreurs des sondages similaires à 2012. Au final, il est absolument certain que le modèle fera des erreurs, même dans le scénario idéal où les sondages auraient les pourcentages parfaitement justes. Je n’espère pas avoir un taux de réussite de 100%. Cela est complètement irréaliste. D’un autre côté, mon modèle a déjà prouvé qu’il fonctionnait.

Une autre façon d’observer l’incertitude qui existe quant aux résultats de lundi est de regarder le nombre de comtés assurés pour chaque parti. Je parle ici des comtés projetés avec 100% de chances. Le tableau ci-dessous montre cela, ainsi que les comtés entre 90 et 100%. Il y a également le nombre minimum de sièges obtenus au cours des 5000 simulations (tel qu’illustré par les graphiques ci-dessus). Ce minimum est supérieur au nombre de comtés à 100% car même en étant malchanceux, un parti ne peux pas perdre tous les comtés dans lesquels il est projeté avec 90% chances de gagner par exemple.

Comtés assurés à
100% >90% minimum
PLQ 25 55 47
PQ 3 24 16
CAQ 1 5 3
QS 1 2 1

Comme vous pouvez le voir, les Libéraux partent avec un avantage certain.

Cela nous amène aux courses serrées, c’est-à-dire les comtés où le gagnant y est projeté avec une avance de moins de 5 points. Il y en actuellement 26 selon ces projections finales. Ce sont les comtés à surveiller demain soir (pas les seuls, mais en partie). Ils sont indiqués en gris dans le fichier pdf. Les projections y font généralement bien plus d’erreurs. Sur ces luttes serrées, 14 opposent le PLQ au PQ et ces deux partis en gagnent 7 chacun, 7 entre PQ et CAQ (4 victoires PQ), 6 PLQ vs CAQ (4 victoires PLQ) et une entre le PQ et QS (SMSJ, victoire PQ, voir ci-dessous).

En conclusion, les sondages et analyses indiquent que le scénario de loin le plus probable est un gouvernement Libéral majoritaire. Il reste naturellement une bonne dose d’incertitude, mais Pauline Marois devrait selon toute vraisemblance perdre son poste de PM demain soir. La question principale est davantage de savoir si le PLQ obtiendra une majorité ou non. Si le PQ et la CAQ réussissent à faire sortir leurs votes, une minorité reste possible.

Pour qui voterez-vous?

- 6 avril 2014

Juste pour le fun. Aucune valeur scientifique.

Majorité PLQ assurée ou non?

- 6 avril 2014

Note: mes projections finales seront publiées plus tard dans la journée.

À regarder les intentions de votes selon les sondages de cette dernière semaine, il semblerait que les Libéraux soient non seulement assurés de remporter le plus de sièges, mais également d’obtenir une majorité. Cependant, la forte tendance à la hausse de la CAQ pourrait compliquer cela.

Le dernier sondage Angus-Reid a le parti de François Legault à 25%, soit encore plus élevé que le dernier Léger. Et comme je le mentionnais dans mon article sur ce dernier, il semble que plus un sondage ait été fait récemment (i.e: quand les données ont été collectées), plus la CAQ y est élevée (on parle vraiment de genre 1 pt par jour!). Et les gains de la Coalition peuvent provenir tant du PQ que du PLQ.

Regardons ainsi les chances d’une majorité Libérale en fonction de plusieurs variables. Comme d’habitude, je fais mes 5000 simulations et je compare. Pour ces simulations, j’utilise les chiffres des deux derniers sondages Angus-Reid et Léger. Le but est de voir l’influence que la CAQ peut avoir si elle continuait de grimper, donc je prends des sondages qui vont centrer les simulations sur une CAQ élevée. Mais souvenez-vous que le parti de Legault n’a pas été sondé à 23-25% de manière constante par les sondages récents. Ce billet se veut ainsi une étude des effets potentiels, pas forcément des effets probables.

Comparons les simulations où le PLQ est majoritaire à celles où il est minoritaire. Pas de régression ou logit ici, de simples moyennes par cas.

PLQ majo ou mino

Comme vous pouvez le voir, le seuil pour une majorité pour le PLQ semble être entre 37-38%. Mes calculs montrent que 37.5% est le seuil en-dessous duquel les Libéraux ont plus de chances d’être minoritaires que majoritaires. Comme les sondages ont eu le PLQ au-dessus des 38% continuellement depuis un bon bout de temps (sans tenir compte d’une possible prime à l’urne), il semblerait que Couillard ne risque pas grand chose. Le graphique ci-dessous illustre ce que je viens de dire:

Probabilité majorité Libérale

Pour le PQ et la CAQ, s’ils veulent empêcher une majorité Libérale (la seule chose vraiment qu’ils peuvent faire actuellement), il leur faudrait tout deux augmenter au-dessus de ce que les sondages indiquent. Ou l’un des deux devrait s’écrouler au profit de l’autre. Est-ce que ces scénarios sont possibles? Oui absolument. Dans les faits, un scénario où le PLQ obtiendrait 37%, le PQ 30% et la CAQ 25% est tout-à-fait dans les marges d’erreurs. En d’autres mots, on ne pourrait dire que les sondages avaient tout faux.

La vraie question cependant est plutôt: est-ce probable? Dans le cas présent, mes simulations mettent les chances d’une minorité Libérale à 25% environ. Ce n’est de loin pas le scénario le plus probable, mais les chances ne sont définitivement pas nulles. Rappelez-vous cependant que je n’utilise que les deux sondages les plus favorables à la CAQ. Au final, je dirais que l’on peut résumer la situation ainsi: le PLQ est le grand favori pour remporter une majorité lundi soir. Cependant, les sondages sont tels qu’une minorité reste possible (les chances que cela arrive sont de loin non-négligeables). Souvenez-vous également de 2008. La plupart des sondages avaient le PLQ en terrain largement majoritaire (dont un Crop qui avait sous-estimé le PQ de manière significative), mais le soir de l’élection, nous avions dû patienter un bon moment avant de pouvoir conclure que Jean Charest avait remporté son pari. C’était arrivé car tant le PQ que l’ADQ avaient obtenu davantage de votes (et sièges) qu’attendu.