L’Écosse dit non. Ou quand les erreurs des sondages sont prévisibles

- 19 septembre 2014

Le résultat n’est pas complètement officiel au moment où j’écris ce billet, mais l’Écosse a dit non à l’indépendence. La marge de victoire du NON est plus grande que prévue par les sondages. Et dans les faits, les erreurs des sondages étaient prévisibles.

Le NON a donc gagné avec environ 55% des votes, contre 45% au OUI. À titre de comparaison, la moyenne des sondages avaient le NON à 52%. Ma propre moyenne, avec une répartition non-proportielle des indécis (60% accordés au NON) avait essentiellement la même chose, avec le NON entre 52 et 53%. Cette option était donc sous-estimé dans les sondages et ce n’est de loin pas une surprise.

Est-ce que les indécis se sont rangés massivement derrière le NON? Possible. Lors de mon billet d’hier, je disais que ma répartition 60-40 était en fait conservatrice et qu’il était bien possible que le NON recueille en fait bien davantage de ces indécis. Si la sous-estimation vient vraiment des indécis, cela signifierait que près de 90% de ces derniers se seraient finalement rangé derrière le NON.  Il se peut aussi que certains partisans du OUI aient changé d’avis. Ou encore que les sondages sous-estimaient systématiquement le NON. La vérité est que c’est probablement un mélange de toutes ces raisons. Il y a aussi la question de qui a réussi à faire sortir son vote. Les indépendentistes Écossais étaient particulièrement déçus hier de la relative faible participation à Glasgow.

Peu importe la raison, le fait est qu’il n’est pas surprenant que le NON l’ait emporté et l’ait fait avec une marge supérieure aux sondages. Au cours des deux dernières semaines, j’ai  répété que selon moi, si le OUI devait l’emporter, il devrait être largement en tête dans les sondages. Ceci afin de compenser pour une surestimation probable de cette option.

J’avais aussi que le camp du OUI avait un peu moins de 20% de chances de gagner. On ne saura jamais si c’était vraiment le cas ou non. La marge de victoire du NON montre que la situation n’était pas aussi serrée que les sondages ne pouvaient le laisser penser. Le OUI n’avait somme toute que de faibles chances de gagner. Il est raisonnable de penser que le 20% accordé à ce camp était probablement trop élevé. En même temps, les sondages étant ce qu’ils sont, il reste toujours une incertitude importante lors d’un scrutin de cette ampleur. Ajoutez à cela le taux de participation incroyable (plus de 80% des électeurs ont voté, y compris ceux âgés de 16 et 17 ans) et il serait faux de penser que le OUI n’avait absolument aucune chance.

Au final, difficile de vraiment juger les sondages. D’un côté, ils ont clairement sous-estimé le NON (ou surestimé le OUI) par environ 2-3 points (ce qui est hors de la marge d’erreur pour la moyenne des sondages). Mais d’un autre côté, les sondages ont failli dans la direction attendue. C’est vraiment genre une erreur peu surprenante. Il en serait tout autrement si le OUI avait causé la surprise hier soir.

 

Prédiction finale pour le référendum sur l’indépendance de l’Écosse

- 17 septembre 2014

Demain, le 18 septembre, les électeurs Écossais vont voter pour savoir s’ils veulent que l’Écosse devienne un pays indépendant. Alors que le NON était largement en tête dans les sondages au cours des derniers mois, la fin de campagne a montré une remontée marquante du OUI. Cependant, tel que je vais le montrer dans ce billet, les chances sont faibles que l’Écosse se sépare du Royaume-Unis demain. Il y a cependant assez d’incertitude pour rendre ce référendum intéressant.

Regardons en premier l’évolution des sondages. Le graphique ci-dessous vous montre la moyenne des sondages, telle que calculée par le site WhatScotlandThink.org. Un site fort intéressant et objectif.

whatscotlandthink average sept 17

Comme vous pouvez le voir, l’écart n’a cessé de se réduire entre les deux camps. Sauf que vers la toute fin, alors que le OUI semblait être en mesure de prendre le dessus (et nous avons en fait eu deux sondages avec le OUI devant, dont un avec une avance significative), le NON a rebondi. Ainsi, le momemtum de fin de campagne semble être en faveur du NON (tous els sondages publiés durant les 2 derniers jours montrent le NON devant). Ma propre moyenne a des résultats très similaires (et cela ne change pas grand chose si l’on prend les sondages de la dernière semaine seulement ou des deux dernières). En gros, le NON a une avance de 2-3 points sur le OUI.

Ce graphique et cette moyenne ont cependant un gros problème: ils ne tiennent pas comptent des indécis (ou les ne sais pas). Or, les sondages ont ces indécis représentant entre 5% et 14% de l’électorat (dépendemment de la firme, méthodologie, etc). Dans la quasi totalité des sondages des deux dernières semaines, l’avance du NON est de loin inférieure au nombre d’indécis. La question est bien sûr de savoir où iront ces indécis.

Et il y a aussi la possibilité que les sondages aient torts. Sans parler des différences de méthodologies, il reste toujours la variation naturelle qui est due au fait que nous n’avons que des échantillons. En faisant une moyenne de nombreux sondages, cela devrait éliminer une bonne partie de cette variation, du moins en théorie. Sauf que nous savons bien que ce n’est de loin pas toujours le cas. Le PLQ en 2012 était systématiquement sous-estimé par les sondages. Tout comme les Libéraux en CB en 2013.

Il nous faut donc tenir compte de deux sources d’incertitude: les indécis et les sondages eux-mêmes. Voici comment j’ai procédé: je pars du principe que 60% des indécis voteront NON et 40% voteront OUI. Cette hypothèse est basée sur plusieurs facteurs. Tout d’abord, une étude détaillée de la performance des sondages pour les référendums et autres décisions majeures montre que les indécis choississent en général l’option la moins risquée, le statue quo (de manière intéressante cependant, un des rares cas de sous-estimation du OUI provient d’un précédent référendum en Écosse en 1997 portant sur une dévolution des pouvoirs). Il suffit de regarder (ou de se souvenir, dépendemment de votre age) des sondages pour le référendum Québécois de 1995. Ceux-ci avaient le OUI bien en tête durant la dernière semaine, mais nous savons bien ce qui est arrivé. Il se peut que les indécis aient tous choisi le NON, ou que plusieurs partisans du OUI aient changé d’avis au dernier moment. Peu importe la raison, le fait demeure que les sondages sur ce genre de questions ont tendance à surestimer le OUI. Afin de tenir compte de cela, je ne répartis pas les indécis de manière proportielle. Cependant, lors de mes simulations, je ne répartis pas toujours les indécis 60-40, j’introduis de l’incertitude à cette étape là. Ainsi, dans certaines simulations, le OUI reçoit (disons) 55% des indécis, mais dans une autre, seulement 35%. Il y a même des cas où la majorité des indécis opte pour le OUI. En moyenne cependant, le OUI ne reçoit que 40%. Cela peut sembler être un biais contre le OUI, mais il ne s’agît vraiment que d’une hypothèse réaliste en se basant sur les données que nous avons (dans les faits, je suis déjà plutôt conservateur en n’accordant que 60% des indécis au NON). Il faut cependant remarquer que les partisans du OUI semblent plus motivés et sont bien plus présents sur la toile. Ainsi, le modèle se doit de garder la possibilité que le OUI réussisse à mobiliser ses partisans davantage.

Je tiens aussi compte de l’incertitude des sondages d’une manière similaire à ce que je fais avec mes projections électorales. Ainsi, avec le OUI a 44.5% en moyenne au cours de la dernière semaine et le NON à 47% (avec environ 8% d’indécis), il est possible que le OUI soit en fait en tête. Un sondage avec une taille d’échantillon de 1000 répondants a des marges d’erreur de 3.1% environ. Bien sûr, la moyenne des sondages a une marge d’erreur bien inférieure. Mais cela n’est le cas que si vous acceptez l’idée qu’il n’y a pas de source d’incertitude autre que l’échantillonnage. Personnellement, je reconnais que l’incertitude des sondages est bien davantage (différentes méthodologie, pondération, etc). Aussi, mes simulations ont des marges d’erreur de près de 5% (ce qui correspond à peu près à la variation observée entre les différents sondages). Cela veut dire qu’il y a des simulations où le OUI est en tête, même sans recueillir la majorité des indécis.

Au final, j’obtiens que le camp du OUI obtiendra en moyenne 47.8% et le NON 52.2% une fois les indécis répartis, soit une avance d’un peu plus de 4 points (soit un petit peu davantage que les sondages, cela en raison de ma répartition non-proportionnelle des indécis). Aussi, le NON l’emporte un peu plus que 80% des fois. En d’autres termes, le OUI peut gagner mais ce n’est de loin pas le scénario le plus probable.

En conclusion, il est fort vraisemblable que l’Écosse demeure au sein du Royaume-Unis demain. Pour que le OUI l’emporte, il faudrait soit que les sondages aient systématiquement sous-estimé cette option, soit que les indécis se reportent massivement derrière elle, ou les deux. Statistiquement et historiquement, cela est improbable. Mais pas impossible. Nous ne pouvons exclure une surprise demain soir.

[Mise à jour] On m’a fait remarqué sur tiwtter que mes probabilités étaient très proches de celles obtenues en utilisant les sites de paris. Et c’est bel et bien le cas. En regardant oddscheckers, on voit que le NON est donné gagnant environ 80% du temps. Il est assez remarquable de constater une telle similarité. Après tout, les deux méthodes n’ont rien en commun. Par contre, les parieurs Écossais semblent miser largement sur un OUI.

À moins d’une semaine du vote en Écosse

- 14 septembre 2014

Je parlais la semaine passée du référendum sur l’indépendance de l’Écosse. À cette date, le NON restait en tête mais le OUI semblait avoir un léger momemtum.

À 5 jours du vote, est-ce la situation a changé? La réponse est difficile. Premièrement, pour la première fois de la campagne, un sondage a eu le OUI en tête. Et récemment, un 2e sondage avait le OUI même largement en avance. En même temps, la majorité des sondages continuent d’avoir le NON en tête. Et la taille d’échantillon du sondage avec le OUI devant était relativement faible (705 répondants, en ligne). Au final, il semble que la course soit très serrée dans cette dernière ligne droite. Et comme toujours dans ce cas, chaque nouveau sondage avec ses variation de quelques points cause de grands titres et analyses dans les journaux. Un jour le OUI est en progression constante, le lendemain le NON est assuré de gagner. Bien sûr, si l’on regarde tous les sondages, on voit une situation différente.

J’ai pris tous les sondages faits depuis le 2 septembre (j’y ai ajouté le sondage ICM/Telegraph avec le OUI largement devant vu que la page wiki ne l’avait pas) et j’ai fait une moyenne. En procédant ainsi (et en ignorant ainsi les différentes tailles d’échantillons (elles sont toutes entre 700 et 1200) ou les méthodologies), j’obtiens que le OUI est à 44%, le NON à 46.4% et les indécis à 9.4%. En attribuant les indécis proportionellement, le NON l’emporterait 51.3% à 48.7%.

Est-ce que cela est significatif? Vu que la moyenne se base sur 8 sondages totalisant une taille d’échantillon de plus de 8000 observations, la réponse est oui, mais de peu (il faut une avance de 2.2 points pour être significatif à 95%). Et n’oublions pas que cela ne tient compte que de l’incetitude statistique normale. Or, nous le savons bien, les sondages ont bien davantage d’incertitude en raison de la méthodologie, du nombre de personnes qui ne répondent pas ou bien sûr du fait que les électeurs peuvent changer d’avis. Une avance de 2-3 points avec 9% d’indécis n’est de loin pas assurée. Surtout que nous avons maintenant des sondages donnant le OUI en tête (cela reste un fait majeur; En effet, une avance de 3 point est petite, mais si 10 sondages donnent la même avance, il reste bien peu d’incertitude).

La semaine passée, j’expliquais qu’il ne semblait pas y avoir « d’indépendantistes cachés » et que ces indécis devraient se répartir au mieux 50-50 (ou proportionnellement) ou vers le NON (l’option la moins risquée, ce qui est normalement l’option par défaut des indécis). Cependant, la tendance récente montre que le camp du OUI récupère davantage de ces indécis que le camp du NON. Le graphique ci-dessous vous montre l’avance du NON (donc un résultat négatif montre le OUI devant) et le pourcentage d’indécis dans chaque sondage depuis le mois de juin.

Indécis et avance du NON Écosse

Comme vous pouvez le voir, à mesure que le  nombre d’électeurs Écossais indécis diminue, l’avance du NON fond. Cependant, statistiquement parlant, la corrélation n’est pas significative. Cela peut sembler étrange à la vue de ce graphique, mais le test significatif montre une relation loin d’être significative. Il faut dire que le graphique est possiblement trompeur car la tendance élimine toutes les variations. Or, comme vous pouvez le voir, il y a beaucoup de « bruit » (beaucoup de variations si vous voulez). De plus, si l’on ne prend que les sondages récents (de ce mois-ci par exemple), la tendance disparaît.

Étant donné qu’il reste 9% de ces indécis actuellement (en moyenne), le camp du OUI a besoin d’aller chercher 5.5 points de ces 9% (ou, si vous préférez, 60% des indécis). Cela ne semble de loin pas être une tâche impossible pour les indépendantistes Écossais. Si l’on se fie à la tendance, on devrait même conclure que cela est vraisemblabe! En utilisant une régression toute simple, on obtient que l’avance du NON baisse de 0.1 point pour chaque baisse de 1 point de pourcentage du nombre d’indécis.Vu qu’il en reste environ 9-10%, cela veut dire que si la tendance se maintient, à 0% d’indécis, l’avance du NON sera d’environ 1 point de pourcentage de moins que maintenant. Vu que l’avance actuelle est de 2.4 points, cela ferait en sorte que le NON l’emporterait par 1.4 point environ. En d’autres termes, même si la tendance continue (et rappelons que cette tendance n’est pas statistiquement significative), le OUI perdrait quand même.

Pour espérer gagner, le camp du OUI se doit vraiment d’aller chercher encore davantage d’indécis que ce que nous avons observé jusqu’à maintenant. De plus, nous partons ici du principe que ces sondages ne sur ou sous-estiment pas l’une des options. Or, si le référendum du Québec de 95 est d’aucune indication, on peut facilement imaginer que les sondages sous-estiment le nombre d’indécis (ou d’électeurs peu sûrs de leur choix) qui opteront finalement pour le NON. Après tout, en 95, le OUI avait le vent dans les voile selon les sondages de la dernière semaine. Or, les indécis restant (qui représentaient aussi à cette époque là environ 10%) ont finalement choisi le NON (note: je connais bien le cas de 95 et je n’ai pas le temps ni l’envie de recommencer le débat concernant d’éventuelles fraudes). Je l’avais dit la semaine passée et je persiste à penser que pour obtenir une victoire du OUI, il faudrait que cette option soit en tête dans les sondages, et assez largement. La tâche pour les indépendantistes Écossais n’est de loin pas facile. Ils doivent aller chercher une majorité des indécis restants tout en conservant les votes techniquement acquis.

En conclusion, il est vraiment difficile de prévoir ce qui arrivera le 18 septembre. Les sondages actuels montrent que le NON devrait l’emporter. Cependant, la tendance récente et le nombre d’indécis font en sorte que tout peut arriver. L’intuition me fait penser que le NON reste cependant favori. Mais je ferai une dernière mise à jour la veille du référendum.

Un regard sur le référendum Écossais

- 3 septembre 2014

Le 18 septembre prochain, l’Écosse tient son premier référendum sur son indépendance. Et alors que la campagne touche à sa fin, le OUI semble en progression, du moins selon plusieurs médias durant les derniers jours.

Avant de regarder les sondages, remarquons que la campagne Écossaise a été bien différente de celles ayant eu lieu au Québec. En particulier, il y a eu une collaboration bien plus importante entre les indépendantistes et le gouvernement Britannique. Et la question posée est des plus claire qu’il soit: « L’Écosse devrait-elle être un pays indépendant? » (ce que Bernard Drainville lui-même a salué il y a quelques semaines, ce qui lui avait valu des salutations de Stéphane Dion).

Alors, est-ce que le OUI peut gagner? La reponse simple est oui mais cela reste improbable. Le graphique ci-dessous montre l’évolution des sondages (source: the Scottish Telegraph) et on voit que le NON reste devant systématiquement. Wikipédia a la même chose.

chart

Et bien que les indépendantistes bénéficient actuellement d’un léger momemtum et qu’il y a assez d’indécis pour remonter la pente, il faut bien se rendre compte que cela reste hautement improbable. En particulier, les indécis devraient finalement opter pour le NON (l’option « sure », la continuation du statu quo). Dans les faits, je dirais que si la situation était inversée (le OUI en avance par 5-7 points et 10-13% d’indécis), je resterais sceptique des chances du OUI. Ce n’est pas un biais personnel, mais les indécis choississent en général l’option moins « risquée ».

En utilisant les sondages parus en 2014, il y a une très légère corrélation négative entre la proportion d’indécis et l’avance du camp du NON mais elle n’est absolument pas significative. Ainsi, je doute qu’il y ait des « indépendantistes cachées » auprès des indécis. Dans le meilleur des cas, ces indécis se répartiront 50-50, dans le pire ils voteront NON.

Les médias faisaient beaucoup de bruit récemment concernant la remontée du OUI (parlant carrément d’écroulement du NON) mais se baser sur un seul sondage est une grosse erreur (surtout lorsque la firme en question, YouGov, était la seule à avoir le NON autant en avance auparavant). Le OUI peut techniquement l’emporter, mais cela reste de loin l’option la moins probable. Le fait que TOUS les sondages publiés ont le NON en avance ne laisse vraiment pas plâner beaucoup de doute.

Combien d’électeurs du Bloc ne peuvent envisager de voter pour un parti fédéraliste?

- 24 août 2014

Le Bloc a perdu un nombre important de ses votes en 2011 et les sondages depuis lors ne montrent pas un général regain de forme. Certes, certains sondages placent le Bloc vers les 30%, mais en moyenne, le Bloc se retrouve en fait sous son score de 2011, aux alentours des 20%.

Abacus a fait un petit sondage (en fait Abacus ne fait que réutiliser les données déjà collectées lors de sondages précédents, mais c’est un détail) auprès des électeurs Bloquistes actuels. Petit car la taille d’échantillon est vraiment faible (228), ce qui fait en sorte que nous devons être prudents avec les résultats. La question était de savoir ce que ces électeurs feraient si le Bloc ne présentait pas de candidat.

Alors, la réponse? La majorité voteraient NPD (59%). Cela peut sembler logique tant ce parti a été le principal bénéficiaire de la chute du Bloc (ou la cause, selon le point de vue) et les similarité entre ces partis sur les questions sociales (deux partis progressistes ou de gauche). Néanmoins, ce n’est pas aussi simple. On parle ici des électeurs RESTANTS. Lorsqu’un parti comme le Bloc se retrouve aussi bas que 20% en moyenne, il se retrouve vraiment avec sa base. Un peu comme le PQ cette année. Cette base peut être fort différente des autres électeurs. Dans le cas du Bloc, il est raisonnable de penser que cette base est formée de souverainistes purs et durs, ceux que l’ont appelle parfois les indépendantistes. Après tout, le simple fait que ces électeurs n’aient pas viré NPD en 2011 montre qu’ils sont différents. Ainsi, le fait que le NPD y serait si populaire est remarquable.

27% ne voteraient pas. Prenez un moment pour réaliser ce que cela signifie. Si le Bloc ne présentait pas de candidat, il n’y aurait pas de parti souverainiste lors d’une élection fédérale. Tous les autres sont fédéralistes (et le NPD est normalement vu comme centralisateur, de part sa nature socio-démocrate. Bien que les dernières années ont probablement changé cette impression, du moins légèrement). Ainsi, pour les électeurs souverainistes, il n’y aurait plus vraiment d’option. Rester chez soit devient la seule option valide si la souveraineté est vraiment l’enjeu majeur. Or, seulement 27% des électeurs restants choisiraient cette option. 27% de 20%, cela ne donne que 5-6%. Est-ce que cela veut dire que seulement 6% des électeurs Québécois ont la souveraineté comme enjeu principal (voire unique)? Je n’irais pas aussi loin. Il se peut que beaucoup d’électeurs dans cette situation sachent que la souveraineté ne se fera pas à Ottawa mais à Québec. Ainsi, une élection fédérale n’est pas sur cet enjeu et ces électeurs choisissent en utilisant d’autres critères.  Selon moi, la meilleure interprétation est la suivante: seulement 6% des électeurs Québécois ne peuvent absolument pas concevoir de soutenir un parti fédéraliste. Il s’agît d’un nombre plus faible que je ne l’aurais pensé.

De manière intéressante, j’avais fait une telle simulation en 2011 avant la chute du Bloc. C’était avant la montée du NPD et ainsi les résultats montrent une répartition plus équitable entre les autres partis. Remarquez aussi que selon le sondage sur lequel je m’étais basé pour les simulations, 33% des électeurs du Bloc ne voteraient pas en l’absence de ce parti. Un nombre relativement proche du 27% ci-dessus, mais on parlait alors de 33% de 39% (le niveau du Bloc à l’époque), donc environ 14% d’électeurs qui ne pourraient soutenir un parti fédéraliste. Le double d’actuellement. Une autre indication du fait que la souveraineté n’est pas d’actualité?

Finalement, pour revenir au sondage Abacus, 25% iraient au PLC (encore une fois, il y a autant d’électeurs du Bloc qui pourraient voter PLC que d’électeurs qui décideraient de rester chez eux, c’est assez fou) et 15% aux Conservateurs.

Je parlais il y a quelques semaines du choix de Mario Beaulieu comme chef du Bloc. J’expliquais que ce choix aller pousser le Bloc vers une position moins centriste qu’auparavant, parlant plus ouvertement d’indépendance. Ce que ces données d’Abacus montrent, c’est que Mario Beaulieu ne pourra se permettre de ne parler que de souveraineté durant la campagne. Car il semble que bien peu d’électeurs ne soient intéressés que par cet enjeu lors d’un scrutin fédéral. Bien sûr, rappelons-nous qu’il ne s’agît que d’un sondage avec un faible échantillon.