Quel est le problème avec les sondages ?

C'est à Pierre Maura qu'il revient l'honneur d'avoir tiré le premier : dans un récent post, il rappelle en quelques mots en quoi les propos de Bruno Jeanbart, directeur des Etudes politiques de l'institut de sondages Opinion Way, témoigne d'une totale méconnaissance de la sociologie française. Mon commentaire et celui de Fr., du Polit'Bistro, en remettent une couche. Je saisis l'occasion au vol pour préciser deux ou trois choses supplémentaires à propos des sondages.


Petit rappel des faits

Dans un récent article du Monde, qui revient sur une petite controverse autour d'Opinion Way, Bruno Jeanbart fait la déclaration suivante, essayant d'expliquer, en les minimisant, les critiques qui sont adressées aux méthodes de son entreprise :

En France, une école de sociologie a toujours critiqué les sondages, c'est l'école bourdieusienne, qui prône le qualitatif par rapport au quantitatif.

Pierre Maura le rappelle sans ambages : Bourdieu et ses disciplines n'ont jamais rechigné à l'utilisation des méthodes quantitatives. La distinction, un de ses textes les plus célèbres, est rempli de tableaux, de graphiques et de pourcentages. De même, les premiers numéros des Actes de la recherche en sciences sociales, la revue fondée par Bourdieu, est que j'ai compulsé à l'occasion de la lecture du dernier Boltanski, témoigne d'un usage régulier des graphiques et des chiffres, parfois avec imagination - comme ce papier calque inséré dans un numéro, qui permet d'avoir deux représentations sur un même graphique. Dommage que le journaliste du Monde n'ait pas corrigé cette grossière erreur...

Mais pour expliquer la controverse qui entoure son institut, Bruno Jeanbart évoque un autre facteur : "la défiance des Français à l'égard des sondages". Il est vrai que les sondages sont régulièrement critiqués en France, y compris dans les milieux intellectuels. Et il est tout aussi vrai que ces critiques sont souvent simplistes et immérités. Le problème, c'est que Bruno Jeanbart ne sait visiblement pas de quoi il parle... Et que l'article du Monde jette quelques sérieux doutes quand aux compétences d'Opinion Way en matière d'enquête.

Sondages... oui, mais de quoi ?

Lorsque l'on parle de sondage dans le "débat public" français - c'est-à-dire, d'une façon assez générale, la presse généraliste et dans les publications destinées à un "grand public" plus ou moins large - on parle de deux types de sondages assez précis : les sondages d'opinion et les sondages électoraux. Les seconds sont les plus simples : il s'agit de demander aux enquêtés pour qui ils ont l'intention de voter ou, lorsqu'il n'y a pas d'élection à court terme, pour qui il voterait dans telle ou telle configuration. Les sondages d'opinion diffère de ce cadre assez strict : il s'agit de poser des questions sur une problématique donnée afin de définir "ce que pensent les gens". Par exemple, on demandera si les Français soutiennent ou non l'emprunt lancé par le gouvernement, s'ils sont d'accords ou non avec une grève ou un mouvement social, qui sont les hommes politiques auxquels ils font confiance, etc.

Dans son plus célèbre texte - "L'opinion publique n'existe pas" [1] - Pierre Bourdieu critique uniquement les sondages d'opinion, le titre étant d'ailleurs assez transparent. Son propos n'est donc absolument pas de disqualifier les méthodes quantitatives, mais uniquement une utilisation particulière de celles-ci. C'est qu'il faut bien distinguer d'une part la méthode du sondage, qui consiste à interroger seulement une partie de la population étudiée - ce que l'on appelle également l'échantillonnage - et les questions aux services desquelles on la met à l'oeuvre. Malheureusement, même dans le débat intellectuel, l'opprobre s'est plus souvent portée sur la pertinence de l'échantillonage que sur la façon dont on l'utilise. Il faut dire que chacun - comprenez les hommes politiques de toutes natures - apprécie les sondages d'opinion quand l'opinion publique va dans le "bon" sens et les critique dans le cas contraire...

Revenons brièvement sur la critique de Bourdieu. On peut retenir deux grands reproches adressés aux sondages d'opinion : 1) toutes les opinions ne se valent pas : parmi les gens interrogés, certains exprimeront une conviction profondes appuyée sur une réflexion particulière sur la question, d'autres donneront simplement une réponse qui leur semble convenable sur le moment, mais qui pourrait changer avec une meilleure connaissance du problème. En les mettant tout sur le même plan, les sondages d'opinion réifie une "opinion publique" qui n'a pas de sens ; 2) les sondages imposent des problématiques aux individus : non seulement, ils légitiment certaines problématiques qui ne sont peut être pas celles qui préoccupepent véritablement les enquêtés, mais en outre ils donnent une formulation particulière à ces questions qui peuvent en orienter les réponses. A partir de deux sondages contradictoires portant sur le soutien à un mouvement de grève de 2007, Pierre Maura avait brillamment illustré ces limites.

Les sondages électoraux peuvent recevoir des critiques assez proches : en sélectionnant certains candidats, en particulier pour les second tours, ils imposent par avance une configuration particulière à l'éléction. L'ouvrage d'Alain Garrigou [2] porte d'ailleurs plus sur ce que les sondages font à la démocratie qu'à une remise en cause de l'utilisation générale des sondages : ils modifient les stratégies des parties, que ce soit en termes de personnels ou de programmes.

Dans les deux cas, il faut relever que ces critiques portent non sur les aspects quantitatifs des sondages, mais sur leurs aspects qualitatifs : pour Bourdieu, c'est la fiction d'une opinion publique monolithique qu'ils entretiennent qui disqualient les sondages d'opinion d'un point de vue scientifique ; pour Garrigou, ce sont les modifications qu'apportent les sondages électoraux à la vie politique qui posent problème à la démocratie. C'est là, en tout cas, les critiques les plus radicales des sondages dans la mesure où, même s'ils sont représentatifs, ces défauts ne disparaissent pas.

Des vertus de l'échantillonage et des limites de la méthode d'Opinion Way

Les critiques portant sur les sondages ne s'expriment que rarement sur ce plan-là. On entend plus souvent remis en cause la représentativité des sondages : lors des dernières élections présidentielles, la question des "jeunes qui n'ont pas de téléphone fixe" a été reprise en choeur par tous ceux qui avaient quelques intérêts à le faire. Alain Garrigou développe également longuement ce point [2]. L'article du Monde met d'ailleurs ce point en avant, Opinion Way utilisant Internet et une rémunération sous forme de bon d'achat pour obtenir ses réponses. Evidemment, les biais sont évidents : la population concernée ne correspond pas, loin de là, à l'ensemble de la population française, les personnes possédant un ordinateur et en ayant une utilisation suffisamment intensive pour collaborer à ce genre d'enquête présentant des caractéristiques sociales particulières.

La réponse de Bruno Jeanbart à ces critiques, exprimées par des sociologues on ne peut plus compétents, a de quoi laisser pantois (notons que le communiqué publié sur le site d'Opinion Way ne dit rien sur ce plan-là) :

La question de la représentativité se pose quelle que soit la méthodologie. Le téléphone et le face-à-face présentent aussi des inconvénients... Notre métier est précisément de contourner ces obstacles grâce à la méthode des quotas

Là encore, on peut se poser de sérieuses questions quant à la compétence d'Opinion Way en matière de pratique des sondages. Tout d'abord, même en appliquant la méthode des quotas, qui consiste à partir d'une évaluation de la composition de la population globale suivant certains critères afin de la retrouver dans l'échantillon sur lequel on travaille, on ne peut corriger ce défaut : en effet, la possession d'un ordinateur et l'utilisation intensive d'Internet sont des critères qui témoignent de la position sociale relative des individus et peuvent donc être corrélé à des comportements politiques particuliers. Ensuite, les corrections qu'apportent les Instituts de sondages à leurs résultats - par exemple, en appliquant des coefficients à certaines réponses que l'on suppose sous-évaluées - sont l'un des plus grands défauts des sondages, car totalement dépendants de l'arbitraire du sondeurs, étant donné qu'il ne connait pas les coefficients exacts de la population mère. Biais qui se renforce alors que le taux de non-réponse aux sondages électoraux ne cesse d'augmenter, comme le rappelle Alain Garrigoux. Inutile de dire qu'avec leurs méthodes, les sondages d'Opinion Way demanderaient des corrections qui leur ôteraient d'entrée de jeu toute pertinence.

Aucune de ces remarques ne doit porter à une condamnation générale de l'échantillonnage : il s'agit d'une critique des pratiques des instituts de sondages, rien de plus. Travailler sur un échantillon d'une population reste une pratique parfaitement justifiée du moment que l'on se plie réellement aux contraintes qui lui donne sa validité. Comme l'écrit Olivier Martin [3], "il ne faudrait d'ailleurs pas croire qu'une enquête exhaustiveapporte ne meilleure connaissance de la population" : si l'Insee a cessé de faire des recensement exhaustifs et procède maintenant par sondages, c'est parce que cela permet un meilleur contrôle des enquêteurs et des enquêtés, supprime beaucoup de biais, et, au final, donne une information de meilleure qualité. Pour s'en convaincre, on peut également penser à cette petite histoire récemment raconté par Jay Livingstone sur le Montclair Socioblog :

Je me souviens d'une anecdote reprise dans un ouvrage sur l'échantillonage - j'aimerais pouvoir me souvenir lequel - à propos d'un scientifique ayant réalisée une recherche sur des soldats et qui présente ses résultats à un général du Pentagone. L'officier mis en doute la méthode de l'échantillonage : comment pouvez connaître les centaines de milliers de soldats que compte l'armée en ne parlant qu'à deux mille d'entre eux ? A combien devrions-nous parler ? Demanda le sociologue ? "Il faut les voir tous" répondit le général.
"Général", répondit le sociologue, "quand vous allez voir un médécin, il prend seulement une petite éprouvette de sang pour connaître votre taux de cholestérol ou autre. C'est un échantillon. Est-ce que vous lui dites que, s'il veut vraiment connaître le vrai taux, il doit prendre tout prendre ?" (ma traduction)

Cet exemple permet de comprendre les conditions de validité d'un sondage : si le prélèvement sanguin est représentatif de l'ensemble du sang du patient, c'est parce qu'il n'y a pas de raison que l'échantillon présente un contenu notablemment différent que le reste de la "population" - au sens statistique - qu'il représente. Comment retrouver cela lorsque l'on étudie la société ? La méthode la plus efficace est le choix aléatoire, ce que l'on appelle un échantillon représentatifs : il permet de calculer un intervalle de confiance qui permet de dire, par exemple, qu'il y a 95% de chance que la valeur recherché dans la population mère soit comprise entre deux valeurs relatives à l'échantillon. Je vous fais grâce des calculs pour y parvenir.

Malheureusement, cette méthode est rarement applicable telle quelle, en particulier parce qu'elle demande d'avoir une "base de sondage", c'est-à-dire une liste exhaustive des individus de la population totale. Les chercheurs sont donc amenés à utiliser divers artifices pour compenser les manques, dont la méthode des quotas. On abandonne alors le caractère aléatoire en se contentant de relever des personnes qui correspondent à certains critères, en laissant les enquêteurs faire leurs propres choix dans la population. Le problème est que l'on "ne sait pas précisément quels sont les principes qui ont guidés les choix des enquêtés : le recrutement peut être fortement biaisé" [3]. Dans le cas d'Opinion Way, on connait le biais - la possession d'un ordinateur et l'utilisation d'Internet - mais on décide de ne pas en tenir compte. Même en essayant de jouer sur les quotas, l'échantillon obtenu ne pourra être considéré comme représentatif :

Dans les années 1960, les caractéristiques générales (âge, sexe, CSP) des lecteurs de Paris Match étaient proches des caractéristiques de l'ensemble de la population française (hors enfants). D'un point de vue strictement formel, cela faisait des lecteurs de Paris Match un échantillon représentatif de la population française. Il est pourtant évident que cette échantillon était biaisé et qu'une enquête auprès de ses lecteurs aurait fourni des estimations érronées des comportements généraux (à commencer par les pratiques de lecture !). [3]

Cela ne veut pas dire que les sondages proposées par Opinion Way - si la méthode affichée est bien celle qui est appliquée, bien sûr - n'ont aucun sens, mais ils n'ont pas le sens que lui donne les commentaires que l'on construit à partir d'eux. Ils peuvent permettre de capter l'avis et les opinions d'une population particulière, dont les frontières doivent être déssinées en fonction des réponses des enquêtés. Les généraliser et les réifier comme l'avis ou l'opinion de l'ensemble de la population française est soit faire preuve d'une bien trop grande naïvité, soit d'une non moins importante malhonnêteté.

Le problème avec les sondages

Le problème des sondages ne se situe donc pas dans la méthode elle-même mais à la fois dans leur utilisation et dans la façon dont celle-ci est mise en oeuvre. La façon dont se défend Opinion Way - et qui ne s'éloigne en rien de celle généralement adoptée par les autres instituts - consiste à se draper dans une position à la fois technicienne et scientiste : se plaçant dans une position d'expert, en appelant à des notions vagues pour qui n'est pas pris dans les enjeux méthodologiques - comme la "méthode des quotas" -, ils se replient sur leurs outils sans réfléxivité. Pourtant, si toutes les méthodes ont des limites, l'important est pour le sociologue de connaître ses limites et de savoir les interpréter :

L'idée selon laquelle il existe un échantillon parfait duquel il faudrait s'approcher au plus près doit être rejetée. Il peut exister des erreurs dans le choix ou la sélection des enquêtés. Mais il ne faut pas voir ces erreurs et biais comme des écarts à un idéal, à une réalité. Il est préférable de les penser comme heuristique, d'en tirer profit.[3]

C'est précisement ce que ne font les divers instituts de sondages, qui se contentent de donner des résultats et de les commenter comme s'ils étaient vrais. C'est déjà ce manque qualitatif que critiquait Bourdieu [1] quand il reprochait aux sondeurs de ne jamais donner l'information la plus importante sans laquelle toute information est nécessairement biaisée :

L'information la plus importante qu'un sondage livre à propos d'un groupe, ce n'est pas le taux de oui ou de non, le taux de pour ou de contre, mais le taux de non réponses, c'est-à-dire la probabilité, pour ce groupe d'avoir une opinion.

Ce dont ont besoin les sondages, au final, c'est peut-être avant tout de sociologues, ou du moins de personnes capables d'en donner une interprétation correcte, en tenant compte de leurs limites générales et particulières. Il faut à la fois tenir compte du sens des questions que l'on pose et des biais qu'elles peuvent introduire dans les réponses, et des frontières de son échantillon qui demande à ce que l'on généralise pour une population globale aux frontières moins étendues que ce que l'on pense généralement. A défaut de quoi, c'est sans doute à chaque citoyen qu'il revient de se sensibilier à ces questions.

Bibliographie :
[1] Pierre Bourdieu, "L'opinion publique n'existe pas", Questions de sociologie, 1980
[2] Alain Garrigou, L'ivresse des sondages, 2006
[3] Olivier Martin, L'analyse de données quantitatives, 2005