Le CGIAR (le Consultative Group for International Agricultural Research) a récemment publié des directives pour coordonner la manière dont la qualité de la recherche et de la science en générale est évaluée au sein de l’organisme. Ces directives se basent sur le travail de Science-Metrix fait l’année dernière.

En 2022, le comité aviseur du CGIAR, le CAS, a mandaté Science-Metrix de formuler des recommandations quant à la possibilité d’utiliser des indicateurs bibliométriques pour évaluer la qualité de la science menée par le CGIAR. Le CGIAR a fortement apprécié la note technique de Science-Metrix rédigée dans le cadre de la conception du design de l’évaluation et a noté que Science-Metrix avait contribué significativement aux réflexions nécessaires au développement des nouvelles directives. 

Cette note technique incluait quatre études de cas qui examinaient les approches d’évaluation de la qualité de la science utilisées par le CAS pour évaluer les projets de recherche pour le développement. Ces approches incluaient l’utilisation d’indicateurs bibliométriques, des sondages et des entretiens structurés. Un des points soulignés dans le rapport était que la bibliométrie peut s’avérer une importante source de données mais que chaque indicateur, individuellement, avait des limites inhérentes. Une triangulation avec d’autres sources de données s’avèrerait ainsi nécessaire pour amener à des conclusions plus fiables.

Les directives mises sur pieds par le CGIAR pour les évaluateurs ont entrainé non seulement l’utilisation d’une approche commune mais ont également mené à une meilleure compréhension des critères d’évaluation de la qualité de la science et des méthodes d’évaluation possibles. Les évaluateurs ciblés sont principalement ceux du CGIAR mais pourraient aussi inclure ceux qui travaillent dans un contexte de recherche en agriculture pour le développement. Ces directives ont également identifié les dimensions nécessaires à l’évaluation de la qualité de la science—de la conception du projet de recherche dans les propositions, aux intrants (personnel, infrastructures, mode de financement), processus (équité du genre dans les pratiques de recherche, activités de collaboration), et extrants (publications, partage des données dans les répertoires publics, activités de transfert des connaissances). L’idée globale est d’ainsi englober de multiples sources de données et plusieurs méthodes. Les directives recommandent également la combinaison de méthodes quantitatives telles que les indicateurs bibliométriques et d’impact dans les médias et de méthodes qualitatives telles que les revues de documents et des rubriques de l’IDRC, selon les questions d’évaluations.

Finalement, les directives du CGIAR ont également fait une distinction intéressante entre les évaluations de la performance et les évaluations de stratégie. Bien que la bibliométrie soit souvent associée aux évaluations de performance, Science-Metrix soutient que, dans les faits, la plupart des analyses bibliométriques sont propres aux évaluations de stratégie. Les indicateurs de multi et d’interdisciplinarité, d’équité des genres en recherche, les co-publications nord-sud et les co-publications publiques-privées seraient ainsi, pour n’en nommer que quelques-uns, des exemples de mesure de la stratégie employée en recherche.

Pour lire la note de Science-Metrix.

les directives du CGIAR, “Applying the CGIAR Quality of Research for Development Framework to Process and Performance Evaluations.”

Image : iStock Photo