24/04/2017

La victoire des instituts de sondages

Le 7 mai, les Français choisiront entre Emmanuel Macron et Marine le Pen pour la présidence de leur pays. Ce premier tour a tenu en haleine tous les observateurs, en raison des sondages qui annonçaient une course bien plus serrée que prévue, avec quatre candidats dans un mouchoir de poche. Ces sondages, que d'aucuns adorent détester, sont souvent critiqués au motif que leurs prédictions seraient fausses, et ne seraient pour cette raison pas fiables. À l'extrême-droite, tant les médias que les instituts de sondages sont même perçus comme des adversaires politiques. On peut certes critiquer les instituts de sondages et leur travail, mais faisons au moins l'effort de ne pas raconter n'importe quoi.

fiabilite-sondages.jpg

Un sondage n'est pas un pronostic. Il ne sert pas à prédire l'avenir, mais à mesurer le présent. Lorsqu'un institut demande le 21 avril à 3000 personnes représentatives de la population française si elles vont bien et que 82% répondent "oui", alors il peut raisonnablement conclure que son sondage du 21 avril révèle que 82% des Français vont bien, même si chacune de ces personnes change d'avis le lendemain. Pour qu'un sondage soit effectué correctement, il ne doit donc pas chercher à prédire l'avenir. Il doit également poser des questions claires et sans équivoque aux personnes sondées, constituer un échantillon véritablement représentatif de la population française (sur la base de critères comme l'âge, le sexe, le niveau de formation, le revenu...) et ne pas "corriger" ses résultats en fonction de facteurs extérieurs comme d'autres sondages ou des résultats d'élections passées.

 

Les instituts de sondage ont globalement bien fait leur travail. On ne peut pas dire que la question "pour lequel des candidats suivants y a-t-il le plus de chances que vous votiez" (formulation dans les sondages du 21 avril d'Ifop-fiducial, Odoxa et OpinionWay par exemple) ne soit pas claire. Quant à la question de l'échantillon, les méthodes peuvent varier. Certains sondeurs utilisent la voie téléphonique, d'autres utilisent internet. Les critères retenus pour déterminer la représentativité ne sont pas les mêmes d'un sondage à l'autre. L'échantillon est parfois constitué aléatoirement, ce qui peut fortement influencer la marge d'erreur, en particulier lorsque le nombre de personnes sondées est inférieur à 1'000. À titre d'exemple, le sondage Scan Research - Le Terrain du 15 avril est le seul de ce mois à avoir indiqué une tendance vers un second tour Macron-Mélenchon, mais il s'agissait également du sondage d'avril avec le plus faible échantillon (642 sondés), échantillon constitué aléatoirement de surcroît.

 

32 des 33 sondages d'avril ont vu juste. À l'exception du sondage Scan Research - Le Terrain du 15 avril précité, tous les sondages de ce mois indiquaient une tendance vers un second tour Macron - Le Pen. Depuis le début de la campagne officielle le 10 avril, 19 sondages ont été conduits et 18 d'entre eux plaçaient Macron et Le Pen en tête des intentions de vote (dont 15 dans cet ordre, 2 les plaçant à égalité et un seul avec Le Pen en tête). Ci-dessous, un tableau indiquant les écarts entre les résultats de ces 19 sondages et les résultats définitifs publiés par le Ministère de l'Intérieur (état ce lundi à 11h00, sur la base de 97% des bulletins dépouillés). 

  Mélenchon Hamon Macron Fillon Le Pen
RÉSULTATS DÉFINITIFS 19.62% 6.35% 23.86% 19.94% 21.43%
Odoxa (21 avril) <1% >1%   <1%  <1%  >1.5% 
BVA (21 avril) <0.5%  >1.5%  <1%  <1%  >1.5% 
Ifop-Fiducial (21 avril) >1%   <1% <1%  <0.5%  >1% 
OpinionWay (21 avril)  >1.5% >1.5%  <1%  >1%  <1% 
Ipsos Sopra (20 avril) <1%  >1%  <0.5%  <1%  <1% 
Elabe (20 avril) <0.5%  <1%  <0.5%  <0.5%  <0.5% 
Harris Interactive (19 avril) <1% >1%  >1%  <1%  <1% 
BVA (19 avril) <1% >2%  <0.5%  <1%  >1.5% 
Ipsos Sopra (17 avril) <1%  >1.5%  <1%  <0.5%  >1% 
Elabe (17 avril) >1.5%  >1.5%  <0.5%  <0.5%  >1.5% 
Kantar Sofres (17 avril) >1.5%  >1.5%  <0.5%  >1%  >1.5% 
Ifop-Fiducial (15 avril) <0.5%  >1.5%  <1%  <1%  <1% 
Scan Research (15 avril) >2%  >1.5%  <0.5%  >2%  <0.5% 
BVA (14 avril) <0.5%  >1%  <1%  <0.5%  <1% 
Ifop-Fiducial (14 avril) <1%  >1.5%  >1%  <1%  >1.5% 
Odoxa (13 avril) <1%  >1.5%  <1%  >1%  >1.5% 
Ipsos (13 avril) <0.5%  >1%  >1.5%  <1%  <1% 
Harris Interactive (13 avril) <1%  >1.5%  <0.5%  <0.5%  <1% 
Elabe (12 avril) >1%  >2.5%  <0.5%  <0.5%  >1%  

On remarque surtout que Benoît Hamon a soit été grossièrement surévalué (certains instituts de sondages ont probablement pris en compte les précédents résultats électoraux, nettement plus favorables au PS français), soit les électeurs socialistes ont "voté utile" à la dernière seconde (probablement Macron ou Mélenchon), donc après le dernier sondage réalisé. En effet, une différence - même nette - entre un sondage et le résultat final n'est pas forcément imputable à l'institut de sondage, il l'est souvent davantage aux changements soudains de comportements électoraux. On voit aussi que, contrairement à 2012, Mélenchon a été légèrement sous-évalué, alors que Le Pen a été légèrement sur-évaluée. Fillon et Macron ont en revanche obtenu un nombre de voix très proche des tendances. Le sondage Elabe du 20 avril était le plus proche du résultat final, celui de Scan Research du 15 avril était le plus éloigné.

 

On a trop tendance à critiquer les sondages avant de les comprendre. Dans la mesure où un sondage n'est pas prédictif, il constate une situation qui est souvent appelée à évoluer au fil de l'actualité. Par exemple, certains des sondages de novembre 2016 donnaient 34% d'intentions de vote à François Fillon, soit avant l'affaire des emplois fictifs. De même, les meilleurs résultats de Philippe Poutou sont apparus après sa prestation très remarquée au débat présidentiel du 4 avril sur BFM TV. Il ne faut pas non plus négliger le rôle des médias, qui relayent les résultats de sondages sans toujours faire preuve de toute la subtilité nécessaire. Cela n'enlève rien au fait que les instituts de sondage ont posé une question claire et neutre et ont permis d'informer avec professionnalisme sur les mouvements d'opinion de la population française.

 

Et le Brexit? Les sondages avant la votation du 23 juin 2016 au Royaume-Uni, portant sur le maintien ou la sortie de l'UE, étaient loin d'être unanimes sur le maintien, contrairement à une fausse croyance très répandue. La campagne a officiellement commencé le 15 avril, et a été suspendue le 16 juin (en raison du meurtre d'une élue pro-UE). Entre ces deux dates, il y a eu un total de 52 sondages, les résultats de plusieurs d'entre eux ayant parfois été calculés selon des méthodes différentes (exemple: sondage BMG Research du 15 juin, indiquant 53% pour le maintien en partant arbitrairement du principe que deux tiers des indécis voteront pour le maintien, puis 55% pour la sortie, en excluant les indécis). Par rapport aux sondages précédant le premier tour de l'élection présidentielle française, les sondages britanniques pré-Brexit sont très hétérogènes, et les méthodes de calcul du résultat très variées et souvent douteuses, profitant tant à un camp qu'à l'autre. Au final, les résultats cumulés de ces 52 sondages ont penché 25 fois en faveur du maintien et 30 fois en faveur de la sortie de l'UE. Pas de quoi en conclure que les sondages se seraient trompés sur le résultat à venir...

 

Et Trump? Contrairement au Brexit et à la présidentielle française, le résultat de l'élection présidentielle américaine ne se décide pas au seul vote populaire, mais au vote des "grands électeurs". En principe, chaque état compte un nombre de grands électeurs proportionnel à sa population (au minimum 3, la Californie en compte 55), qui sont censés voter unanimement en faveur du candidat qui obtient la majorité dans l'état en question ("winner takes all"), sauf en Maine et au Nebraska, qui ont des règles légèrement différentes. Donald Trump a donc gagné l'élection, mais pas le vote populaire: Hillary Clinton a obtenu 48.2% des voix, contre 46.1% pour le candidat républicain. Et chacun des 15 derniers sondages avant l'élection (tous conduits au moins partiellement après l'annonce d'une enquête du FBI contre Hillary Clinton 11 jours avant le vote, ce qui a notablement influencé le choix des électeurs) donnait une majorité populaire à la démocrate. Donc ici, les sondages n'ont aucunement induit en erreur.

La question ici est plutôt de savoir à quel point les tendances annoncées par les sondages dans les 5 seuls états qui ont "changé de camp" depuis 2012 (Iowa, Michigan, Ohio, Pennsylvanie, Wisconsin) étaient proches du résultat final.

  • En Iowa, 15 sondages ont été menés: 11 annonçaient une victoire de Trump, 3 une égalité, et 1 seul une victoire de Clinton.
  • Au Michigan, 43 sondages: 41 annonçant une victoire de Clinton (ceux de novembre lui donnant une avance à chaque fois inférieure à la marge d'erreur), 1 celle de Trump (2 jours avant le vote) et 1 égalité.
  • En Ohio, 46 sondages: 24 annonçant la victoire de Trump, 17 celle de Clinton et 5 égalités.
  • En Pennsylvanie, 54 sondages: 52 annonçaient une victoire de Clinton (13 des 14 sondages de novembre lui donnant une avance inférieure à la marge d'erreur), 1 celle de Trump (3 jours avant le vote) et 1 égalité.
  • Au Wisconsin, chacun des 20 sondages donnaient Clinton gagnante (2 des 4 sondages de novembre lui donnant une avance inférieure à la marge d'erreur).

La victoire de Trump en Iowa, au Michigan, en Ohio et en Pennsylvanie n'a jamais été présentée comme impossible par les sondages. Le cas du Wisconsin est un peu plus douteux, mais si Clinton avait effectivement gagné dans cet état, le résultat final n'aurait pas changé: Trump aurait été élu. Comme pour le brexit, ce n'est pas parce que le résultat surprend ou déplaît que les sondages seraient trompeurs.

 

Et la victoire surprise de François Fillon en primaire des Républicains? Il s'agit probablement du seul cas abordé dans cet article où les sondeurs n'ont pas été à la hauteur. Flottant péniblement sous les 15% durant presque toute la campagne, il a fallu attendre 9 jours avant le premier tour pour voir François Fillon atteindre les 20% dans un sondage. Le dernier sondage a eu lieu 2 jours avant le premier tour, et il donnait François Fillon très légèrement vainqueur, à 30%, devant Sarkozy et Juppé (29% chacun). Au final, les trois concurrents obtiennent respectivement 44.08%, 28.56% et 20.67% des voix, l'ampleur du score excédant nettement les tendances annoncées. À la décharge des instituts de sondage, le concept de "primaire ouverte" présente un fort caractère d'incertitude, dans la mesure où n'importe qui peut participer au vote, y compris les adversaires des Républicains qui voudraient saboter la campagne du parti. Il est donc trop difficile d'identifier les potentiels votants, ce qui empêche de constituer un échantillon véritablement représentatif. Malgré cela, les tous derniers sondages avant le premier tour de la primaire ont quand même identifié une ascension fulgurante de Fillon (+10% en 3 jours), qui arrivait enfin en tête dans le tout dernier sondage d'Ipsos le 18 novembre. Impossible également de mesurer l'impact d'éventuels changements de comportements électoraux de dernière seconde. En revanche, les instituts de sondage n'ont pas assez pris l'élément d'incertitude en compte dans leur marge d'erreur, qui était manifestement trop basse.

 

Cessons ce procès injuste intenté contre les sondages. Ils permettent de garantir un minimum de prévisibilité dans le système politique français, ce qui n'est pas une mauvaise chose. La plupart des instituts de sondages font bien leur travail, et les tendances qu'ils annoncent correspondent la très grande majorité du temps aux résultats officiels. On peut éventuellement jouer à la théorie du complot et dire que le résultat final est justement influencé par les sondages qui le précèdent, mais dans ce cas la solution n'est pas la mise au pilori des sondages, mais l'éducation civique. En effet, en politique, il est important de savoir décortiquer les informations qui nous sont bombardées au visage en permanence. Un électeur informé a des sources d'information diversifiées, et ne dépend pas uniquement des sondages pour se forger une opinion. Les sondages sont un moyen d'information comme un autre, et il suffit de savoir l'utiliser.

Écrit par Diego Esteban dans Politique | Lien permanent | Commentaires (1) |  Imprimer |  Facebook |

Commentaires

C'est en tout cas pas la victoire du peuple de France!

Écrit par : dominique degoumois | 24/04/2017

Les commentaires sont fermés.