Évaluation de la science : Science-Metrix donne la mesure depuis 15 ans !

Publié le 13 juillet 2017

 

Science-Metrix célèbre ses 15 ans d’existence ! Entre juin 2017 et mai 2018, nous présenterons une série de publications qui souligneront cet évènement important. Nous ferons un retour sur les débuts de cette aventure, telle que racontée par les cofondateurs de la compagnie, Éric Archambault et Grégoire Côté. Nous ferons un retour sur les principales réalisations de l’entreprise et discuterons de ce que l’avenir nous réserve.

Les débuts

Science-Metrix est fondée en 2002, alors qu’Éric Archambault voyait l’occasion de créer une entreprise de services professionnels portant sur la science et la technologie. Avant même que la firme ne soit incorporée, lors de l’écriture du plan d’affaires initial, Éric commençait une série d’études pour Génome Canada. Le président de Génome Canada à l’époque, Martin Godbout, jugeait essentielles les études bibliométriques, et ces premiers projets ont aidé à façonner l’essence de Science-Metrix. Un deuxième contrat, avec Québec Biophotonique, organisme qui n’existe plus aujourd’hui, a rapidement suivi, et au dernier jour de mai 2002, Éric incorporait l’entreprise. Un mois plus tard, Grégoire le rejoignait, et dès le début de 2003, Frédéric Bertrand s’ajoutait à l’équipe. Vincent Larivière, maintenant professeur à l’Université de Montréal, s’est également joint à l’entreprise pour quelques mois, avant de choisir de se concentrer sur ses études.

Notre plan d’affaires initial visait trois types d’activités : des services d’analyse, des services d’évaluation et des études de contrôle diligent pour des sociétés à capital de risque. Bien que quelques vérifications de contrôle aient été réalisées, les services d’analyse et d’évaluation ont prévalu et aucune étude de contrôle diligent n’a été produite.

Dès le début, nos entrepreneurs néophytes réalisaient des études scientométriques et technométriques. Les données étaient principalement puisées en ligne à partir de Medline et des jeux de données spécifiques étaient obtenus auprès de Thomson ISI. Des collègues de l’Observatoire des sciences et des technologies ainsi que le professeur Yves Gingras de l’Université du Québec à Montréal appuyaient également l’équipe. Nous formions un assemblage quelque peu fragmentaire, se rappelle Éric. « Nous n’avions aucun outil propre et nous faisions ce que nous pouvions en nettoyant les données disponibles gratuitement pour les adapter à la bibliométrie. »

En 2005, Ressources naturelles Canada octroyait à Science-Metrix son tout premier contrat d’évaluation. Ce contrat était pris en charge par Frédéric Bertrand, et dès lors, Frédéric assurait la gestion et la croissance des services d’évaluation de l’entreprise, jusqu’à son départ en 2013. Grégoire, de son côté, développait le volet analytique et bibliométrique de l’entreprise. Bien que les services d’évaluation et d’analyse évoluaient et grandissaient selon leurs chemins respectifs, Science-Metrix a toujours maintenu que la complémentarité et l’excellence de ces deux services constituaient une des forces principales de l’entreprise, et permettaient à Science-Metrix de fournir une offre verticalement intégrée dans l’évaluation des programmes de science et de technologie, des activités de soutien et de la prise de décision sur le plan des politiques.

Mise en place de banques de données internes

Une étape majeure est franchie en 2007, alors que Science-Metrix devenait l’une des premières firmes à établir un partenariat avec Elsevier afin d’importer les données de Scopus sur ses serveurs aux fins de production d’études bibliométriques. À cette époque, peu de nos clients connaissaient Scopus. Ils faisaient un acte de foi en acceptant cette source de données plutôt que la base de référence qu’offrait Thomson ISI. Pendant trois ans, Science-Metrix utilisait presqu’exclusivement les données de Scopus. Nous conservions entre-temps une bonne relation avec Thomson ISI, alors que Henry Small et David Pendlebury nous aidaient à acquérir des jeux de données spécifiques pour certains projets. En 2010, Science-Metrix possédait les capacités nécessaires pour incorporer également les données du Web of Science sur ses serveurs, ainsi qu’une licence lui permettant de mener des études bibliométriques avec ces données. Cette relation commerciale s’est poursuivie avec Thomson Reuters, et plus récemment avec Clarivate Analytics, nouvellement propriétaire du Web of Science. Aujourd’hui, Science-Metrix est privilégiée de profiter d’un partenariat qui l’unit à Scopus et au Web of Science. Nous apprécions grandement notre coopération avec ces éminents partenaires.

En plus de ces deux bases de données bibliographiques d’importance, nous possédons également des versions internes de Medline, PatentsView et plusieurs bases de données montées sur mesure, lesquelles sont mises à jour régulièrement lors de la réalisation d’études complexes. Les avantages des bases de données internes sont nombreux, tels que la possibilité de les adapter aux besoins spécifiques des clients, la capacité de normaliser les valeurs par rapport à l’ensemble du contenu de la base de données, ainsi que le nettoyage et la standardisation des données qui permettent d’enrichir et améliorer le contenu pour des études subséquentes.

Croissance et innovation

En 2010, avec ces bases de données en place, Science-Metrix décrochait un contrat de quatre ans avec la Commission européenne pour mener la plus importante étude bibliométrique sur la production scientifique européenne. Ce projet constituait une percée majeure pour l’entreprise. D’une part, il s’agissait d’un premier contrat d’importance avec un client à l’extérieur de l’Amérique du Nord et il permettait d’établir Science-Metrix comme chef de file mondial en bibliométrie. D’autre part, le contrat a incité les analystes à développer une classification des sciences propre à Science-Metrix, basée sur les revues scientifiques. Il s’agit d’une classification hiérarchique à trois niveaux, comprenant six grands domaines, 22 champs et 176 sous-champs de la science. Cette classification, conçue pour être la plus inclusive possible des nouveaux champs de recherche, des revues générales et multidisciplinaires, et de la gamme complète des disciplines liées aux arts, lettres et sciences humaines, est maintenant utilisée dans presque tous les projets de Science-Metrix.

D’autres contrats de la Commission européenne sont obtenus par la suite, principalement pour la Direction générale de la recherche et l’innovation (DGRI). Ces contrats ont également inspiré des innovations en termes d’outils et de pratiques pour Science-Metrix. Par exemple, les travaux effectués dans le cadre du contrat Study to develop a set of indicators to measure open access ont mené à la découverte que plus de 50 % des articles universitaires étaient disponibles en libre accès, deux fois plus ce qui était précédemment estimé. Cela a motivé la mise sur pied de notre compagnie sœur, 1science, vouée au développement d’une suite de produits visant à faciliter la recherche, l’analyse et la diffusion des articles scientifiques en libre accès de qualité, c’est-à-dire publiés dans des revues à comité de lecture. Ces produits s’adressent principalement aux institutions et organismes de recherche. Pareillement, une analyse réseau de la participation au 7e programme-cadre de la Commission européenne a permis de pousser le développement des outils d’analyse des réseaux de recherche et d’indicateurs de collaboration. Notre travail sur le contrat She Figures 2015 a permis de mettre au point cinq indicateurs sur le genre pour mesurer la participation des femmes aux activités scientifiques et technologiques. Plus récemment, une étude de deux ans sur l’exploration de données pour la Commission a permis de développer un cadre d’application pour la gestion des projets d’exploration de données ainsi que deux inventaires : un sur les sources pertinentes et potentielles de données, et l’autre sur des indicateurs de mesure de l’innovation. Très peu d’entreprises externes à l’Espace de recherche européen peuvent se vanter d’avoir réalisé autant d’études pour la DGRI. Science-Metrix est extrêmement fière que la Commission européenne lui ait accordé sa confiance dans la réalisation de ces projets d’envergure.

En 2015, Science-Metrix a reçu un contrat de SRI International et de la National Science Foundation (NSF) aux États-Unis pour produire les mesures et indicateurs de la recherche et de l’innovation du rapport Science and Engineering Indicators 2016. Ce contrat a incité nos analystes à affiner un algorithme d’assignation des brevets aux articles scientifiques qu’ils citent, dans le but de mesurer l’interaction entre la recherche et l’innovation. L’équipe de bibliométrie de Science-Metrix est particulièrement fière de ce mandat, puisque ce travail statistique a été initialement entrepris par Francis Narin de CHI Research dans les années 1970 ! Science-Metrix est privilégiée de poursuivre le travail de ce grand praticien et chercheur dans le domaine de la scientométrie et de la technométrie. Ce contrat initial avec SRI et la NSF est accompagné d’une entente de collaboration pour la production des éditions futures du rapport Science and Engineering Indicators, jusqu’en 2021. Puisque des statistiques officielles nationales sont produites dans le cadres de ces contrats, ils représentent l’accomplissement d’un rêve pour Grégoire et Éric depuis la mise sur pied de l’entreprise.

Croissance du service d’évaluation

Les activités d’évaluation de Science-Metrix ont contribué de façon importante au développement de l’entreprise. L’équipe d’évaluation a toujours utilisé une approche rigoureuse et méthodique dans l’analyse qualitative et la réalisation de projets d’évaluation complexes. Son principal champ d’action portait sur l’évaluation des politiques de financement de la recherche, des institutions, et des programmes et initiatives liées aux sciences, à la technologie et à l’innovation. Des travaux majeurs ont été réalisés dans la conception de cadres d’évaluation et de mesures de la performance, notamment pour les contrats Développement d’un cadre d’évaluation et d’une stratégie de vérification de la performance pour l’Institut canadien de recherches avancées (ICRA). Plusieurs contrats ont également porté sur le soutien à la recherche universitaire dans des programmes prestigieux, tels que le Tenth-year Evaluation of the Canada Research Chairs Program et le 10-year Evaluation of the Caltech Initiative. Ce dernier projet découlait d’un don à la California Institute of Technology (Caltech) de 300 millions de dollars par la Gordon and Betty Moore Foundation, et représentait à l’époque le don le plus élevé jamais octroyé à une seule université.

En réponse au changement de priorités initié par le gouvernement du Canada, l’équipe évoluait progressivement vers l’évaluation de programmes de recherche appliquée et de programmes destinés à la recherche industrielle, l’innovation et la commercialisation, tels que l’évaluation du Programme d’accès à l’innovation pour les entreprises, l’évaluation formative des Opportunités de recherche collaborative et d’innovation, et l’évaluation du Programme en observation de la Terre de l’Agence spatiale canadienne. Le rapport Naylor, publié en début d’année, a tracé la voie vers le rééquilibre des priorités de financement au Canada. Notre équipe d’évaluation, avec sa vaste expérience, se positionne favorablement pour évaluer les programmes à toutes les phases du continuum de la recherche, dont les champs émergents, tels que les programmes de soutien aux incubateurs et accélérateurs.

Le facteur humain

En 15 ans, Science-Metrix est devenue une entreprise de services professionnels reconnue et respectée dans le domaine de l’analyse et de l’évaluation de la science et de la technologie. Notre firme est importante non seulement sur le plan canadien mais s’affiche de plus en plus comme une entreprise d’importance à travers le monde, d’où provient maintenant la plus grande part de ses revenus. L’équipe de Science-Metrix a travaillé fort, innové et fait des choix audacieux. Nous avons grandement bénéficié de la confiance de clients qui ont pris des risques avec nous alors que nous étions inexpérimentés et qui ont par la suite continué à nous faire confiance pour réaliser des mandats d’envergure de plus en plus grande. Nous sommes fiers d’avoir créé autant de relations de travail fructueuses avec nos clients. Dans certains cas, nous avons même construit des relations extrêmement cordiales, en dépit de l’exigence professionnelle de non-partialité que nous avons toujours respectée dans la relation client-évaluateur. 

Le succès de Science-Metrix est dû en grande partie au dévouement et à la créativité de l’ensemble de ses employés. Ceux-ci ont toute la latitude voulue pour examiner avec soin les problèmes rencontrés, et l’entreprise a toujours compté sur une équipe très soudée, où la collaboration est de mise. Un des employés-clés mérite une mention spéciale, non seulement pour sa longévité chez Science-Metrix, mais aussi pour toutes les innovations que nous lui devons collectivement. David Campbell a débuté comme analyste chez Science-Metrix en 2004. Maintenant directeur scientifique, David a contribué de façon extraordinaire au succès de l’entreprise au cours des 13 dernières années, et poursuit toujours le développement et l’optimisation d’indicateurs pour faire en sorte que Science-Metrix demeure un des chefs de file mondiaux en analyse de la science et de la technologie.

Jean-François Bergeron, qui fut partenaire et directeur des finances et des opérations, a également contribué à la croissance de l’entreprise de façon notable. Jean-François s’est joint à l’équipe en 2009 mais est décédé en 2014 à la suite d’un combat contre la leucémie. Jean-François nous manque toujours. En 2013, l’un des partenaires fondateurs, Frédéric Bertrand, a quitté l’entreprise pour poursuivre d’autres intérêts après avoir créé le service d’évaluation de toute pièce. En 2015, Werner Meier a pris officiellement le rôle de vice-président du service d’évaluation après plusieurs mois de collaboration à titre de consultant.

Après 15 ans de croissance continue, munis des partenariats stratégiques avec Elsevier et Clarivate Analytics, et grâce à la saine collaboration avec notre compagnie sœur 1science, l’année 2017 s’avère passionnante pour Science-Metrix. Avec plusieurs contrats à long terme sous la main, nous visons à affiner nos processus internes, conserver notre culture d’entreprise collégiale et continuer à mettre au point des pratiques innovantes.