Science-Metrix a mené une évaluation bibliométrique complémentaire à l’évaluation du Programme de recherche axée sur la découverte du CRSNG. Cette étude s’est déroulée en deux phases : la première était une étude pilote qui avait comme but de développer une méthode efficace et rentable pour harmoniser le nom des 12 500 chercheurs à l’étude dans cette évaluation, et la deuxième était l’évaluation bibliométrique elle-même. L’évaluation complète du Programme était menée par PRA.

L’étude pilote avait comme but d’évaluer la fiabilité de l’algorithme automatisé qui harmonise le nom des auteurs des articles scientifiques indexés dans Scopus au lieu de les harmoniser manuellement, tout en obtenant des conclusions fiables et rigoureuses dans un contexte d’évaluation à coût abordable. Cette étude a développé plusieurs stratégies faisant usage de l’identifiant unique des auteurs dans Scopus en fonction du nombre d’auteurs qui faisaient l’objet d’une analyse.

Le CRSNG était intéressé par les deux principaux volets d’évaluation suivants : (1) l’évaluation globale du rendement scientifique de son financement, et (2) l’évaluation de l’influence qu’a eue le financement du Programme sur la carrière de ses titulaires de subventions. Le premier volet consistait à comparer le rendement bibliométrique des titulaires à celui des candidats infructueux dans leur demande de subvention à travers plusieurs dimensions : les programmes de financement, les groupes d’évaluation, la province de résidence des candidats, la taille de leur organisation, l’étape dans leur carrière, leur genre, et le classement des demandes de subventions par niveau de financement et de qualité. Le rendement à l’échelle des provinces et du pays était inclus à des fins de comparaison. Le deuxième volet incluait un modèle économétrique exploitant les données pour quelque 12 500 chercheurs afin d’établir l’influence qu’a eue le financement du Programme sur leur carrière, notamment sur le volume et l’impact scientifique, et la collaboration (internationale et interdisciplinaire) de leur production scientifique. Le rendement scientifique des chercheurs était mesuré sur la période 2009–2017 et plusieurs variables de contrôle (p. ex., les effets fixes pour les individus et les années, le nombre d’années écoulées depuis l’obtention du doctorat, la qualité des demandes de subvention) ont été intégrées au modèle afin d’interpréter les associations entre le financement et le rendement issues d’un lien de cause à effet. Cette étude était complémentaire à l’évaluation mixte menée par l’unité d’évaluation du CRSNG en partenariat avec PRA.

Consultez le rapport final de l’évaluation complète en cliquant ici (en anglais).

Consultez l’article de conférence qui élabore l’étude pilote de ce projet en cliquant ici (en anglais).

Pour plus de détails sur le CRSNG, cliquez ici.

Image : iStock Photo