Development and evaluation of interventions to improve the peer-review process in biomedical research
Développement et évaluation d'interventions visant à améliorer le processus de « peer-review » en recherche biomédicale
Résumé
The peer-review process is a cornerstone of biomedical research publication. However, studies have shown that peer-reviewers' evaluations are often discordant, that they fail to detect fraud, errors and that their evaluation is influenced by the results. The objective of this thesis work was to explore and rethink the process of peer-review editorial. As a first step, we identified the tasks expected of peer-reviewers when evaluating a randomized controlled trial report and compared the importance of these tasks from the points of view of peer-reviewers and editors. Our study showed that the most important tasks for peer reviewers were not congruent with the tasks most often requested by journal editors in theirs guidelines to reviewers. In a second step, we conducted a systematic review and a meta-analysis of randomized controlled trials evaluating an intervention aimed at improving the quality of peer-review in biomedical journals. We identified 22 randomized controlled trials that evaluated 5 interventions. These trials included a small number of participants, were mostly monocentric and had biases that limited the interpretation of their results. Finally, we have developed and evaluated a tool to help achieve the peer-review of randomized trials associated with online training. This tool is specifically aimed at evaluating the quality of the reporting that means the compliance with the recommendations of the CONSORT statement (i.e., international recommendations required by publishers to report randomized trials in a complete and transparent manner). We compared the performance of young trained peer-reviewers using the tool with the performance of reviewers evaluating the manuscript as part of the usual peer-review process. We included 120 randomized controlled trials. Our results showed that the tool improved the number of items correctly classified per manuscript by young peer-reviewers. This finding suggests that the use of a CONSORT checklist focusing on specific items could improve the quality of the peer-review process, and thus the quality of the published manuscript. At the end of this work, we propose to rethink the peer-review process that could be carried out in 2 stages with junior peer-reviewers assessing compliance with the recommendations of the CONSORT statement and experienced reviewers evaluating the methodology and relevance of the question.
Le processus de « peer-review » est considéré comme la pierre angulaire de la publication scientifique. Or, des travaux ont démontré que les évaluations des peer-reviewers sont souvent discordantes, qu’ils ne parviennent pas à détecter la fraude, les erreurs et que leur évaluation est influencée par les résultats. L’objectif de ce travail de thèse était d’explorer et de repenser le processus de la peer-review éditoriale. Dans un premier temps, nous avons identifié les tâches attendues des peer-reviewers lors de l'évaluation d'un manuscrit rapportant un essai contrôlé randomisé et, comparé l’importance de ces tâches selon le point de vue des peer-reviewers et des éditeurs. Notre étude a permis de démontrer que les tâches les plus importantes pour les peer-reviewers n'étaient pas conformes aux tâches les plus souvent demandées par les éditeurs. Dans un deuxième temps, nous avons réalisé une revue systématique ainsi qu’une méta-analyse des essais contrôlés randomisés évaluant une intervention visant à améliorer la qualité de la peer-review dans les journaux biomédicaux. Nous avons identifié 22 essais contrôlés randomisés qui ont évalué 5 interventions. Ces essais incluaient un faible nombre de participants, étaient pour la majorité monocentriques, et avaient des biais qui limitaient l’interprétation de leurs résultats. Enfin, nous avons développé et évalué un outil d’aide à la réalisation de la peer-review d’essais randomisés, associé à une formation en ligne. Cet outil vise spécifiquement à évaluer la qualité de la présentation des essais, c’est-à-dire le respect des recommandations du CONSORT statement (i.e., recommandations internationales exigées par les éditeurs pour rapporter les essais randomisés de façon complète et transparente). Nous avons comparé la performance de jeunes peer-reviewers formés utilisant l’outil, avec la performance de reviewers ayant évalué le manuscrit dans le cadre du processus de peer-review classique. Nous avons inclus 120 essais contrôlés randomisés. Nos résultats ont mis en évidence que l'outil a amélioré le nombre d’items correctement classés par manuscrit par les jeunes peer-reviewers. Cette constatation suggère que l'utilisation d'une checklist de type CONSORT se focalisant sur certains items précis pourrait améliorer la qualité du processus de peer-review, et donc la qualité du manuscrit publié. À l’issue de ce travail, nous proposons de repenser le processus de peer-review qui pourrait être réalisé en 2 étapes avec : des peer-reviewers juniors évaluant le respect des recommandations du CONSORT statement et des reviewers expérimentés évaluant la méthodologie et la pertinence de la question.
Origine : Version validée par le jury (STAR)
Loading...