Futura Sciences révèle que seulement 49 % des études en sciences sociales publiées entre 2009 et 2018 confirment leurs conclusions lors de tests de réplicabilité rigoureux. Ce constat, issu du projet Score mené par 865 chercheurs sur 3 900 publications, met en lumière les faiblesses structurelles de la recherche académique et interroge la confiance accordée aux travaux qui influencent les politiques publiques.
Ce qu'il faut retenir
- 865 chercheurs ont analysé 3 900 études publiées entre 2009 et 2018 dans 62 revues académiques.
- Seulement 53 % des études testées ont obtenu des résultats identiques lors de la réanalyse des données originales.
- 2 % des études ont abouti à des conclusions opposées lorsque les méthodes d'analyse étaient modifiées.
- 49 % des expériences réplicables ont confirmé les résultats initiaux avec une significativité statistique suffisante.
- Les chercheurs pointent un manque de transparence méthodologique plutôt qu’une fraude généralisée.
- Les règles de transparence progressent : 85 % des études publiées en 2022-2023 sont computationnellement reproductibles.
Un projet colossal pour évaluer la robustesse de la recherche
Piloté par 865 chercheurs et étalé sur sept ans, le projet Score s’est fixé un objectif clair : évaluer la fiabilité des publications en sciences sociales à travers trois critères stricts. Le premier, la reproductibilité, consiste à réanalyser les données originales pour vérifier si les résultats initiaux sont confirmés. Sur les 600 études soumises à ce test, seules 145 contenaient suffisamment de détails pour être exploitées. Parmi elles, 53 % ont livré des bilans identiques, un chiffre qui interroge sur la rigueur des protocoles initiaux.
Le second critère, la robustesse, teste la capacité des études à résister à des méthodes d’analyse alternatives. Dans 2 % des cas, les conclusions se sont inversées, révélant des biais méthodologiques majeurs. Enfin, le test de réplicabilité, le plus exigeant, a révélé que moins de la moitié des expériences répétées intégralement aboutissaient à des résultats significatifs. Ces données, publiées dans la revue Nature, dessinent un paysage où la confiance dans la recherche académique doit être questionnée.
Transparence et méthodologie : les points noirs de la recherche
Tim Errington, directeur de recherche au Center for Open Science et co-auteur de l’étude, précise que ces échecs ne reflètent pas une fraude systématique, mais plutôt un manque de détails méthodologiques. « Dans de nombreux cas, les études manquent tout juste de transparence sur les données ou les codes utilisés », a-t-il déclaré. Ce constat souligne une tendance inquiétante : la publication d’études incomplètes, où les protocoles ne permettent pas une vérification indépendante. Pourtant, ces travaux alimentent des débats publics et des décisions politiques, d’autant plus que les sciences sociales sont au cœur des enjeux sociétaux contemporains.
Abel Brodeur, économiste à l’Université d’Ottawa, apporte une lueur d’espoir en analysant 110 articles publiés en 2022 et 2023. Selon ses observations, 85 % d’entre eux sont computationnellement reproductibles, une nette amélioration par rapport à la décennie précédente. Cette progression témoigne d’une prise de conscience progressive au sein de la communauté scientifique, où la transparence devient un critère de plus en plus valorisé.
Les leviers pour renforcer la fiabilité des publications
Face à ces constats, plusieurs initiatives émergent pour améliorer la qualité des recherches publiées. Le partage systématique des données brutes et des codes d’analyse figure parmi les solutions les plus souvent citées. Une meilleure description des protocoles méthodologiques est également encouragée, afin de permettre aux pairs de reproduire et de valider les résultats. Des outils automatisés, capables d’attribuer un score de confiance aux publications, pourraient bientôt devenir la norme. Ces indicateurs, calculés de manière indépendante, permettraient aux chercheurs et aux décideurs de mieux évaluer la fiabilité des études avant de les citer ou de s’en inspirer.
« La vraie robustesse scientifique ne repose pas sur une seule étude, mais sur la capacité collective à la remettre en question. »
Cette étude soulève une question essentielle : comment concilier l’exigence de rigueur scientifique avec la nécessité de produire des connaissances utiles pour la société ? Les prochaines années seront déterminantes pour y répondre.
La réplicabilité permet de vérifier que les résultats d’une étude ne sont pas le fruit du hasard ou de biais méthodologiques. Dans un domaine comme les sciences sociales, où les variables sont nombreuses et complexes, confirmer une découverte par une réplication indépendante renforce sa crédibilité. Sans cette étape, une étude peut influencer des politiques publiques sans base solide.
Selon le projet Score, la psychologie, l’économie, l’éducation et la sociologie sont les disciplines les plus concernées. Ces champs de recherche reposent souvent sur des enquêtes ou des expériences difficiles à standardiser, ce qui rend la réplicabilité plus complexe. Cependant, aucune discipline n’est totalement épargnée.
