De l’esprit critique en sciences sociales

En 2004, une étude provoque un vif émoi aux États-Unis. Des chercheurs exploitant les résultats de l’Enquête sociale générale menée par le très sérieux Natio­nal Opinion Research Center de l’université de Chicago, concluent à une hausse fulgurante de la solitude depuis la précédente enquête, réalisée en 1985. Le nombre d’individus affirmant n’avoir personne avec qui s’entretenir de sujets importants a quasiment triplé. Les choses auraient pu en rester là si deux autres chercheurs, ­Anthony Paik et Kenneth Sanchagrin, n’avaient pas pris la peine de s’intéresser au profil des enquêteurs ayant réalisé le sondage. Ils prouvent que certains d’entre eux n’avaient aucun intérêt personnel à ce que les résul­tats soient exacts, coupaient court aux entretiens programmés avec les personnes interrogées afin de gagner du temps, et que cela avait suffi à biaiser les ­résultats de l’étude. Cette histoire est l’un des nombreux exemples présentés par le sociologue Howard Becker pour illustrer les biais méthodologiques qui faussent trop souvent les résultats publiés dans sa discipline. L’esprit de l’ouvrage n’en est pas moins positif : si Becker entend faire valoir les bonnes raisons de se méfier des études ­publiées en sociologie, c’est surtout dans l’idée d’inviter les étudiants qui s’engagent dans cette discipline à identifier les biais auxquels ils risquent d’être exposés. En voici quelques-uns. Une enquête implique souvent un grand nombre de personnes, des « petites mains » rémunérées à la tâche. Or les chercheurs qui ont conçu l’étude n’ont souvent ­aucun moyen de s’assurer que les questions du formulaire auront le même sens pour eux que pour les enquêteurs chargés de les poser. Comme on l’a vu dans l’exemple de l’enquête sur la solitude, ils ne sont pas non plus en mesure d’évaluer le degré de motivation et le sérieux des enquêteurs. Les chercheurs eux-mêmes ne sont pas à l’abri de biais méthodologiques. Ainsi de l’effet d’ordre, bien connu : les personnes interrogées sont influencées par l’ordre dans lequel les questions sont posées ou les propositions, présentées. Pour y remédier, il faudrait en principe pouvoir mener au moins deux enquêtes séparées, en ­posant les questions dans un ordre différent, mais le coût en serait multiplié par deux. Cela limite la fiabilité des sondages. Comme on le voit dans les référendums, la façon dont les questions sont formulées influe aussi sur les ­réponses. Imaginons que des chercheurs courageux et disposant de moyens conséquents réalisent leurs questionnaires en plusieurs exemplaires, faisant varier l’agencement des questions et la formulation. De plus, pour parer au risque évoqué dans le premier exemple, ils vont eux-mêmes inte­rroger les enquêtés après avoir défini un échantillon représentatif de la population concernée. Hélas, ils vont se heurter à de nouvelles difficultés, car les mots et les concepts utilisés n’ont pas forcément la même signification pour tout le monde. Leur sens change aussi d’une époque à une autre, ce qui complique l’interprétation des études longitudinales. Comme l’explique Bruno ­Latour, que Becker cite à plusieurs reprises, le sociologue plus encore que le biologiste ne peut se retrouver dans la position de l’expérimentateur en physique. Le face-à-face direct entre un esprit et l’objet étudié est impossible. Le chercheur ne peut faire entièrement abstraction de sa subjectivité et de la culture à laquelle il appartient. Ce ne sont bien sûr pas des raisons pour baisser les bras, et Becker s’emploie patiemment à montrer comment contourner tant bien que mal les obstacles. Il donne de nombreux exemples de bonnes pratiques. Dans un ouvrage collectif publié en 1966 sous la direction d’Eugene Webb, les auteurs se penchent sur une question simple : comment évaluer la cote de popu­larité réelle des livres d’une bibliothèque ? On ne saurait se contenter de recen­ser les livres les plus empruntés, observent-ils. Pour voir quels livres sont vraiment lus, il faut regarder leur état de dégradation, les pages cornées, etc. L’un des auteurs, Lee Sechrest, avait enquêté sur les différences de comportement entre femmes et hommes face au risque de vol de leur voiture. Il alla jusqu’à essayer d’ouvrir chaque voiture garée sur les parkings attribués aux dortoirs féminin et masculin de l’université Northwestern de Chicago et constata que les femmes sont plus enclines que les hommes à verrouiller leur voiture la nuit. L’exemple de la bibliothèque et celui des voitures montrent qu’il est parfois possible de se fonder sur des observations matérielles pour en déduire des informations sur une population, sans avoir besoin de l’interroger. Le résultat est alors préservé de nombreux biais. Becker consacre une bonne partie de son livre à l’exploitation des statistiques publiques. Il s’appuie sur les travaux du Français Alain Desrosières pour montrer comment, à partir du XVIII^e siècle, certains États européens se sont emparés de l’outil statistique pour se décrire eux-mêmes et décrire la société qu’ils administraient. Disposer d’informations sur l’effectif et les caractéristiques de la population permet de mettre en place des politiques ciblées sur certaines fractions de la population ou zones du territoire. Entre autres fonctions, le recensement est une clé pour la répartition de la représentation politique. Aux États-Unis par exemple, le nombre d’élus que chaque État envoie à la Chambre des représentants est fonction du poids démographique de cet État, donc de la qualité des ­enquêtes sur la population. La statistique permet de mesurer l’importance de problèmes ­sociaux tels que le chômage ou la criminalité. Becker montre comment les premiers sociologues, à partir de la fin du XIX^e siècle, se sont emparés des données recueil­lies par l’État pour étudier des phénomènes aussi ­divers que le suicide (Durkheim) ou les caractéristiques ethniques. Aux États-Unis, le travail des sociologues s’est très tôt atta­ché à fournir des données permettant d’éclairer les politiques ­publiques, notam­ment en ­matière de criminalité. Les biais méthodologiques ou psychologiques qui affectent couramment les études des sociologues ont alors un impact politique. Pour étayer son propos, Becker aborde à plusieurs reprises les ambiguïtés nées de la notion de race. Il cite à cet égard les travaux de C. Matthew Snipp, qui a montré par exemple que, lors du recensement américain de 1980, le pourcentage de personnes se disant d’ascendance amérindienne avait grimpé de façon inattendue à 82 % alors que seulement 18 % cochaient « amérindien ou autre » quand ils avaient à répondre sur la question de leur race. Snipp écrit : « Les données démographiques ne sont pas toujours ce qu’elles sont supposées être. Les utilisateurs des données sur des sujets éminemment sensibles comme la race et l’appartenance ethnique devraient être doublement prudents. La race et l’appartenance ethnique ne sont pas des notions immuables ayant une signification bien précise et communément admise. Voilà moins de cent ans, les Britanniques considéraient les Celtes et les Anglo-Saxons comme deux races distinctes. De nos jours, les sondages montrent que les attitudes à l’égard de la race sont mouvantes […]. Comme les idées que l’on se fait de la race et de l’ethnicité changent et évoluent, les démographes ne devraient pas être surpris que la signification de leurs données change aussi. » Becker regrette que les administrations, et le Bureau américain du recensement en particulier, n’accordent pas plus de crédit à l’analyse des biais qui faussent trop souvent l’interprétation des statistiques publiques. « Certains des problèmes courants du recen­sement ne sont pas résolus, non parce qu’ils sont insolubles, mais parce que leur résolution “coûterait trop cher” ou nécessiterait “une organisation impossible à mettre en place” ». Or « ce qui est impossible ou coûte trop cher est toujours socialement défini et pourrait être évalué différemment. » Tout au long de son ouvrage, le sociologue souligne les vertus de l’erreur. C’est en détectant les erreurs commises par nos prédécesseurs qu’on peut faire progresser la discipline. C’est vrai en sciences naturelles, cela devrait être encore davantage pris en compte en sciences ­sociales. Becker est très critique à l’égard de ceux de ses collègues qui prétendent vouloir copier le modèle des sciences dures. Il récuse le culte du nombre et l’idée qui la sociologie quantitative serait plus proche des sciences naturelles et donc plus précise que la sociologie qualitative. On n’en attendait pas moins de cet expert de l’enquête de terrain ! Bien souvent, souligne-t-il, ces deux méthodes sont simplement complémentaires, elles se divisent le travail. Becker va jusqu’à affirmer que la différence entre ces deux démarches peut disparaître dans la pratique, socio­logies quantitative et qualitative finissant par se confondre. Evidence est bien un ouvrage sur la méthode mais constitue avant tout une ode à l’esprit critique et à l’inventivité.   — Cet article lui a valu de recevoir le prix Books/Sciences Po de l’essai critique 2019 dans la catégorie « texte en français ».