Avant d'être publiés dans des revues scientifiques, les résultats des recherches médicales et scientifiques sont évalués par d'autres chercheurs au cours d'un procédé appelé « évaluation par les pairs ». Chaque article fait l'objet d'une lecture critique par un petit nombre de chercheurs (généralement de deux à quatre), et les auteurs doivent y répondre point par point, quitte à modifier leur manuscrit pour tenir compte des commentaires proposés.
Ce procédé indispensable n'est pour autant pas exempt de défauts, et il ne garantit aucunement que les résultats des recherches sont scientifiquement valables. Des résultats radicalement contradictoires sont ainsi régulièrement publiés dans des revues à comité de lecture, et il n'est pas rare que des articles soient retirés de publication après que l'on y détecte des anomalies qui avaient échappé à la vigilance des examinateurs.
En ce qui concerne l'utilisation de la science dans les tribunaux, le seul fait qu'un résultat scientifique ait fait l'objet de publications dans des revues à comité de lecture n'est absolument pas suffisant pour s'en emparer comme d'une vérité absolue. De fait, sur les plus de 3000 articles sur le syndrome du bébé secoué publiés dans le monde depuis 50 ans, et censés démontrer la validité de la démarche diagnostique, une revue systématique d'une agence gouvernementale suédoise n'en a trouvé aucun ayant une qualité scientifique suffisante. Tous ces articles avaient pourtant été publiés dans des revues à comité de lecture malgré des failles méthodologiques importantes.
Nous proposons ici la traduction d'un article publié dans le Washington Post le 1er août 2019, rédigé par le journaliste américain Paul D. Thacker et Jon Tennant.
Pourquoi l'évaluation par les pairs ne devrait pas être considérée comme la meilleure méthode possible
Des personnes malveillantes peuvent facilement profiter du système et induire le public en erreur
En juillet, le gouvernement indien a rejeté un article de recherche qui concluait que la croissance économique du pays avait été surestimée, affirmant que l'article n'avait pas fait l'objet d'une « évaluation par les pairs ». Lors d'une conférence pour les ingénieurs plasticiens, un économiste d'un groupe industriel a rejeté les préoccupations environnementales concernant le plastique en affirmant que certaines des recherches en question n'avaient pas été « évaluées par les pairs ». Et l'administration Trump — qui n'est pas exactement connue pour son respect envers la science — a tenté de rejeter un rapport sur le changement climatique en affirmant, à tort, qu'il n'avait pas été soumis à une évaluation par les pairs.
Les chercheurs disent souvent que l'évaluation par les pairs est ce qui se fait de mieux en matière de recherche. Cela donne l'impression qu'un article évalué par les pairs — c'est-à-dire un article envoyé par les éditeurs à des experts du domaine pour qu'ils l'évaluent et le critiquent avant sa publication — doit être légitime, tandis qu'un article qui ne l'est pas ne doit pas valoir grand chose. Mais l'évaluation par les pairs, une pratique datant du XVIIe siècle, est loin d'être idéale. Des études ont montré que les éditeurs de revues préfèrent les examinateurs du même sexe, que les femmes sont sous-représentées dans le processus d'évaluation par les pairs, et que les examinateurs ont tendance à être influencés par des facteurs démographiques comme le sexe de l'auteur ou son affiliation institutionnelle. Des travaux médiocres passent souvent l'épreuve de l'évaluation par les pairs, tandis que des recherches excellentes peuvent être rejetées. Les examinateurs parviennent rarement à déceler des recherches médiocres, des conflits d'intérêts, ou du ghostwriting.
En outre, des acteurs malintentionnés exploitent ce processus à des fins professionnelles ou financières, tirant parti de l'évaluation par les pairs pour induire les décideurs en erreur. Par exemple, la Ligue nationale de football américain (NFL) a utilisé le terme « d'évaluation par les pairs » pour rejeter les critiques des études du Mild Traumatic Brain Injury Committee, un groupe de travail fondé en 1994 par la NFL, qui avait constaté que les lésions cérébrales traumatiques des joueurs ne causaient que peu de séquelles à long terme. Mais le New York Times a découvert plus tard que les scientifiques impliqués avaient omis plus de 100 commotions cérébrales diagnostiquées dans leurs études. De plus, la NFL n'avait pas dit que le processus d'évaluation avait donné lieu à d'énormes contestations : certains examinateurs affirmaient catégoriquement que ces recherches n'auraient jamais dû être publiées.
De même, les lobbies de l'industrie pétrolière ont tenté de déformer le débat public sur le changement climatique en sponsorisant les recherches et en exploitant le prestige de l'évaluation par les pairs, ignorant au passage le consensus scientifique sur le sujet. Pendant de nombreuses années, les climato-sceptiques ont publié des études dans la revue Energy & Environment, qui avait peu de crédibilité auprès des climatologues, même si elle avait un processus d'évaluation par les pairs (l'un des articles que la revue a publié a affirmé à tort que le soleil était constitué de fer). Généralement, dans le processus d'évaluation par les pairs, les éditeurs choisissent les examinateurs, et l'éditeur en chef de longue date d'E&E, Sonja Boehmer-Christiansen, est une climato-sceptique reconnue : « Je n'ai pas honte de dire que j'encourage délibérément la publication d'articles climato-sceptiques », a-t-elle déclaré au Guardian en 2011. En effet, au début des années 2000, alors que les scientifiques commençaient à peine à se rendre compte à quel point les Hommes modifiaient le climat, des personnalités publiques comme le sénateur George V. Voinovich (Ohio) ont commencé à citer des recherches publiées dans cette revue pour retarder l'action politique.
Il y a quelques années, il est apparu que Willie Soon, un scientifique du Harvard-Smithsonian Center for Astrophysics, avait accepté 1,2 million de dollars d'intérêts de l'industrie pétrolière pour publier des études, qu'il qualifiait de « délivrables », dans des revues universitaires. (Ses travaux affirmaient que les variations énergétiques du Soleil pouvaient expliquer le réchauffement climatique récent, et que les Hommes n'ont eu que peu d'effets sur le changement climatique, une thèse rejetée par la majorité des experts). L'évaluation par les pairs n'a pas permis de déceler ces conflits d'intérêt : l'éditeur du Journal of Atmospheric and Solar-Terrestrial Physics a déclaré à un journaliste qu'il se fiait aux déclarations des auteurs à propos de leurs conflits d'intérêts.
Tout comme l'évaluation par les pairs ne permet pas de déceler les financements obscurs, elle ne permet souvent pas non plus de détecter le ghostwriting, où des entreprises écrivent des articles et les font signer par des universitaires, parfois sans aucune modification. L'éditeur d'une revue a déclaré au Comité sénatorial des finances en 2010 qu'il soupçonnait qu'au moins un tiers des articles soumis à sa revue avaient été rédigés par des agences de relations publiques et payés par des sociétés pharmaceutiques. De tels articles ont paru dans des douzaines de revues, et il y a eu des scandales de ghostwriting dans lesquels étaient impliqués des professeurs de l'Université de Pennsylvanie, Brown et Harvard. L'an dernier, des documents judiciaires ont révélé que c'était Monsanto qui avait rédigé des articles publiés dans des revues à comité de lecture pour contrer les recherches sur le caractère cancérigène du pesticide glyphosate et pour attaquer les organismes de réglementation.
L'évaluation par les pairs a aussi parfois entravé des recherches importantes. Les scientifiques seniors sont plus susceptibles d'être invités à évaluer des articles, et ils peuvent rejeter ceux qui entrent en conflit avec leurs propres opinions. Par conséquent, l'évaluation par les pairs peut servir de bouclier pour protéger le statu quo et empêcher la publication de recherches considérées comme radicales ou contraires aux a priori des examinateurs. Une étude réalisée en 2015 sur 1 000 articles soumis à des revues médicales a révélé que parmi les articles qui avaient finalement été publiés, les 14 qui étaient devenus les plus fréquemment cités avaient été initialement rejetés. Des études révolutionnaires de Sir Frank MacFarlane Burnet, Rosalind Yalow, Baruch Blumberg et d'autres ont été rejetées par les examinateurs, alors qu'ils ont par la suite donné lieu à des prix Nobel.
Les scientifiques comprennent que, malgré ses limites, nous avons besoin d'une évaluation par les pairs : il est difficile d'imaginer comment nous pourrions nous en passer. Ils comprennent aussi qu'il s'agit d'un processus humain et donc truffé d'erreurs humaines. Mais ces subtilités sont rarement communiquées au public. Avec plus de transparence dans le processus de publication, nous pourrions avoir une compréhension plus nuancée de la façon dont le savoir est construit — et moins de gens abuseraient du terme « d'évaluation par les pairs » pour signifier une vérité absolue.