Évaluation

Exemples de projets

Voici des exemples de projets par type d'activité ou besoin exprimés par les clients.

PRODUCTEURS DE SCIENCE ET TECHNOLOGIE

Évaluation de la sous-activité de programme Science des écosystèmes forestiers et son application

Client : Ressources naturelles du Canada (RNCan)

Description : L’objectif de la sous-activité de programme SEFA est de développer les connaissances scientifiques sur les écosystèmes forestiers et d’appuyer les intervenants dans l’élaboration de leurs politiques et pratiques d’aménagement forestier durable (AFD). Dans le cadre de cette sous-activité de programme, le RNCan effectue des recherches, des évaluations nationales et des activités de suivi afin de développer, synthétiser et intégrer des connaissances scientifiques. Ces connaissances servent aux compétences gouvernementales appropriées, à l’industrie et à d’autres intervenants dans l’élaboration de pratiques et de politiques d’aménagement forestier, ainsi qu’à RNCan et à d’autres ministères du gouvernement fédéral afin de :

  • respecter les obligations internationales en matière de production de rapports
  • élaborer les positions de négociation du Canada sur des enjeux environnementaux internationaux en matière de forêts
  • dissiper les idées fausses sur les pratiques forestières du Canada.

L’évaluation a couvert une période de cinq ans, de 2007-2008 à 2011-2012 et a examiné les objectifs et les activités du programme SEFA, se concentrant principalement sur les questions de pertinence et de performance.

De nombreux indicateurs et sources de données ont été utilisés pour répondre aux principales questions d’évaluation :

§  Phase IConception : En premier lieu, Science-Metrix a effectué une évaluation de l’« évaluabilité » afin de mettre au point un profil de programme pour le SEFA, incluant l’ajustement ou la confirmation du modèle logique. L’évaluation de l’« évaluabilité » ainsi que la phase subséquente de planification ont également servi à recueillir, analyser et évaluer les données devant servir à l’évaluation (c.-à-d. l’évaluation de la qualité des données), incluant l’identification des répondants potentiels, les données financières et les données de projet. L’évaluation de l’« évaluabilité » a non seulement permis de s’assurer que l’information nécessaire à la réalisation du travail a été recueillie et examinée, mais elle a aussi facilité l’adhésion des divers participants qui seront impliqués dans l’évaluation ainsi que la compréhension de leur rôle. Lors de la phase de conception, le développement et le raffinement du cadre d’évaluation, la liste des questions et le modèle de programme logique ont été faits. La plupart des outils d’évaluation ont été mis en place au cours de cette phase.

§  Phase IITravail sur le terrain et rapports techniques : La seconde phase a consisté à mettre en œuvre les outils d’évaluation, en se basant sur des indicateurs et des sources de données variés en vue de répondre aux principales questions d’évaluation. Quatre méthodes de collecte de données ont été développées et implantées en vue de fournir des preuves à partir de plusieurs types (quantitatifs et qualitatifs) et sources (primaires et secondaires de données). Les constatations tirées de chaque source de données ont été résumées et présentées en fonction des questions d’évaluation dans quatre rapports techniques distincts. En outre, un rapport technique résumant les constatations issues de l’analyse de la base de données, réalisé par le RNCan a été fourni à Science-Metrix.    

§  Phase IIIIntégration et rapports : Toutes les données recueillies dans le cadre du travail sur le terrain, incluant celles déjà collectées à la phase d’évaluabilité et par le RNCan (Analyse de la base de données) ont été intégrées dans un rapport d’évaluation final.

Cette évaluation a puisé dans les sources d’information suivantes:

§  Analyse de la base de données : La division de l’évaluation stratégique du RNCan a effectué un examen des données quantitatives (y compris l’information financière) contenues afin de fournir un aperçu dans l’outil de planification interne de la SEFA afin de fournir un aperçu de l’efficacité et de l’aspect économique de la sous-activité. 

§  Examen de documents : Un examen approfondi d’environ 200 documents, de la littérature grise et de dossiers et de données de la sous-activité a été fait en vue de permettre une compréhension générale de la sous-activité du programme SEFA, ainsi que de fournir des détails sur les besoins du programme, l’accord avec les priorités gouvernementales et d’autres informations pour traiter des questions de pertinence. Il s’agissait principalement de documents ministériels (plans stratégiques, rapports annuels, vérifications, etc.) et de documentation de programme (bases de données financières et administratives, suivi du rendement, produits de communication, etc.)

§  Sondage des responsables de domaines de projet: Un sondage en ligne a été effectué avec 56 responsables d’éléments de domaine sur une population totale visée de 93 personnes. L’objectif principal du sondage consistait à recueillir l’information concernant les réalisations des objectifs de domaines et des résultats subséquents, la participation des partenaires/collaborateurs, le niveau de satisfaction des intervenants, etc. Le sondage portait principalement sur des questions de performance à remplir les vides dans les données relativement aux résultats. Des questions de pertinence ont également été examinées, quoique brièvement. Les points de vue sur le rapport coût-efficacité et la mise en œuvre du programme ont aussi été recueillis.

§  Entrevues et groupes de discussion : 97 entrevues ont été conduites avec des intervenants à la fois internes (c.-à-d. des personnes ayant joué un rôle significatif dans la conception et la mise en œuvre du programme SEFA) et externes (incluant des représentants fédéraux et provinciaux; des gens de l’industrie, des experts internationaux, des gens du secteur académique et enfin du personnel d’organisations non gouvernementales).Les parties prenantes internes ont fourni de précieux renseignements sur la pertinence et l’efficacité et l’aspect économique, sur les facteurs qui ont influencé la performance du programme ainsi que sur les leçons apprises. Les intervenants externes ont aidé les évaluateurs à déterminer les niveaux de sensibilisation et de soutien aux intervenants pour le programme et apporté des observations pertinentes sur les réalisations, les impacts et les autres possibilités. En plus, cinq groupes de discussion ont été menés pour acquérir une compréhension approfondie des besoins des intervenants externes et pour voir dans quelle mesure les activités du SEFA se rapportent à ces besoins.

Bibliométrie et infométrie : Des méthodes bibliométriques et d’infométrie ont été utilisées pour analyser la performance scientifique, ainsi que la consultation d’articles examinés par des pairs, de la littérature grise et d’autres types de documents (p. ex. outils, cadres, bases de données) de la sous-activité du programme SEFA.

Même s’il y a un besoin continu de la sous-activité du programme SEFA, l’étude a montré que certains ajustements devraient être apportés pour mieux répondre à ce besoin. À cet égard, six recommandations ont été faites, notamment afin de clarifier le mandat et les objectifs de la sous-activité dans certains domaines et d’améliorer la communication entre les intervenants internes et externes.

Lire le rapport

 

SCIENCE, POLITIQUE ET RÉGLEMENTATION

Évaluation des programmes de la Société canadienne du sang bénéficiaires de subventions et de contributions de Santé Canada

Client: Santé Canada et Agence de la santé publique du Canada

Description: Au sein du système de santé canadien, un des rôles critiques de Santé Canada consiste à octroyer des fonds et à fournir de l’information afin de soutenir les organismes par le biais de subventions et de contributions afin d’aider à répondre aux objectifs généraux du système de santé. La Société canadienne du sang (SCS), organisme à but non lucratif, est l’un des organismes soutenus par les fonds fédéraux (ainsi que par des fonds provinciaux et territoriaux) et qui fonctionnent de façon indépendante du gouvernement. En lien avec ces grandes lignes de travail, Santé Canada soutient, par le biais des programmes de subventions et de contributions, deux programmes spécifiques de la SCS et qui ont été évalués : le programme de don et de transplantation de tissus et d’organes (Organ and Tissue Donation and Transplantation  - OTDT) (contribution de 19,7 millions sur cinq ans) et le programme de recherche et développement sur le sang (R et D) (subvention annuelle de cinq millions). La période d’évaluation pour les deux programmes s’étendait de 2008-2009 à 2012-2013. L’évaluation couvrait les activités effectuées par la SCS sous les composantes fédérales des programmes OTDT et R et D (c.-à-d. les activités soutenues par les programmes de subventions et de contributions de Santé Canada). 

Conformément à la politique du Conseil du Trésor sur l’évaluation et les directives connexes, l’évaluation a porté sur les questions fondamentales de la pertinence et de la performance (efficacité, efficience et coûts) des deux programmes de la CSC.

Méthodologie d’évaluation : Plusieurs sources de données ont été utilisées pour répondre à dix questions d’évaluation :

§  Examen de la littérature, des documents et des dossiers (incluant l’examen et l’analyse des données administratives) : Cet examen de la documentation de programmes, de fichiers, de bases de données et de documents gouvernementaux et départementaux (tels les budgets, les rapports sur les plans et les priorités, les rapports sur la performance, les CGRR, etc.) a fourni l’information pertinente permettant de répondre à plusieurs questions fondamentales. Plus de 700 documents et dossiers ont été examinés dans le cadre de cette évaluation.

§  Sondage en ligne (2) : Deux sondages ont été menés avec les parties prenantes externes de la SCS et du programme OTDT. Ces sondages ont été particulièrement importants pour l’obtention l’information sur l’atteinte des résultats escomptés.

§  Entretiens avec des intervenants clés (18): Ces entretiensont été réalisés avec des gestionnaires et du personnel de Santé Canada (c.-à-d. des intervenants internes impliqués de près dans la surveillance du programme de subventions et de contributions) ainsi que des représentants de la SCS (c.-à-d. les bénéficiaires). Nous avons également consulté des intervenants clés et/ou des groupes d’experts extérieurs à ces deux organisations, tels que des partenaires (p. ex. les IRSC, l’ICIS, des associations, des représentants des provinces ou des territoires, etc.), des bénéficiaires et des experts, en particulier ceux qui ont joué un rôle direct dans les activités du programme. 

Globalement, l’évaluation a permis d’établir que les programmes de subventions et de contributions du SCS continuent de répondre à un besoin réel et demeure à l’écoute des besoins des Canadiens.  Science-Metrix a apporté trois recommandations à l’intention de Santé Canada dans le but de renforcer les objectifs du programme, développer des plans d’urgence faciliter le passage vers la R et D.

Lire le rapport

 

Évaluation-bilan de l'Initiative de surveillance intensifiée de l'encéphalopathie spongiforme bovine (ESB) de l'ACIA (2009)

Client : Agence canadienne d'inspection des aliments (ACIA)

Description : Par suite de l’éclosion du premier cas d’ESB en mai 2003, le gouvernement du Canada, par l’intermédiaire de Santé Canada et de l’ACIA, a intensifié son activité sur l’ESB et a rapidement développé une gamme complète de mesures scientifiques pour réduire efficacement la probabilité d’une exposition, d’une amplification et d’une propagation de l’ESB dans le cheptel bovin.  Depuis 2003, l’ACIA a obtenu des ressources supplémentaires pour l’initiative ESB intensifiée, notamment les volets suivants :

  • Volet renforcé de surveillance et de prélèvements
  • Volet renforcé de suivi, de traçage et d’application de la loi
  • Augmentation de la capacité d’abattage au pays
  • Retrait du matériel à risque identifié
  • Expansion des marchés d’exportation

Cette évaluation porte sur les questions suivantes : succès et réalisations, gouvernance, conception et déroulement, pertinence et besoin permanent, mesure du rendement et présentation de rapports, rapport coût-efficacité et options de rechange.

L’évaluation est fondée sur les instruments de collecte de données suivants : (1) entrevues auprès d’informateurs clés à l’interne et à l’externe de l’ACIA et (2) un examen de documents et de fichiers de l’ACIA et d’organismes externes concernés.

 

FINANCEMENT DE LA RECHERCHE

Évaluation de l’engagement de Caltech pour la Fondation Gordon et Betty Moore

Client : Fondation Gordon and Betty Moore

Description : En 2002, la Fondation Gordon et Betty Moore a fait un engagement à long terme de 300 millions de dollars en subventions potentielles à l’Institut de Technologie de Californie (Caltech). L’objectif de cet engagement était d’aider l’institution à se propulser à l’avant-garde de l’enseignement supérieur, du développement technologique et de la recherche scientifique. En 2012, Science-Metrix a procédé à une évaluation externe de cet engagement, portant sur 24 des 29 subventions versées à ce jour. La Fondation souhaitait principalement acquérir une compréhension de l’importance des réalisations scientifiques ainsi que de la valeur catalytique de l’approche de financement de l’engagement. Globalement, cette évaluation visait à fournir des conclusions et des recommandations concernant l’impact de cet engagement pour la science, pour Caltech et pour la Fondation.

Méthodologie d’évaluation : Plusieurs sources de données ont été utilisées pour procéder à l’évaluation :

  • Revue des documents et des dossiers : Environ 250 documents ont été examinés, y compris les documents administratifs et financiers, les rapports annuels, les demandes de subvention et les documents connexes, ainsi que la littérature scientifique et la documentation parallèle.
  • Interviews (53) : Afin de valider l’information documentaire, explorer davantage les résultats des subventions et traiter d’autres questions, des entretiens ont été menés avec le personnel suivant :
  •  21 entrevues avec des chercheurs majeures
  • 9 entrevues avec la direction (de Caltech et de la Fondation)
  • 23 entrevues avec des intervenants liés à des études de cas spécifiques
  • Études de cas (8) : Huit subventions sélectionnées ont été examinées en détail afin de mieux comprendre la complexité des projets financés et l’importance des développements scientifiques réalisés. Les études de cas ont porté sur :
  • des analyses bibliométriques ciblées ( 4 des 6 études de cas)
  • des documents supplémentaires spécifiques à des subventions et des revues de littérature
  • des entrevues avec des prestataires de subvention

En plus de ce qui précède, Science-Metrix a préparé et coordonné une rencontre d’un comité d’experts, lequel a donné un avis sur ​​les réalisations scientifiques générées par l’engagement de Caltech, examiné et validé les résultats préliminaires de l’évaluation et élaboré des recommandations préliminaires. Science-Metrix a préparé le matériel devant être examiné par ce comité et analysé les résultats de la rencontre afin de les intégrer au rapport d’évaluation final.

Dans l’ensemble, l’évaluation a révélé que près de toutes les subventions accordées dans le cadre de l’engagement ont permis de réaliser, ou réaliseront, les attentes ciblées à l’origine. De toutes les subventions examinées, quatre ont un potentiel élevé d’apport significatif pour la science. Nous avons trouvé que les avancements issus de la majorité des projets subventionnés sont hautement attribuables à l’engagement de la Fondation. L’engagement a également eu un impact remarquable sur Caltech, en facilitant la concentration de ses ressources sur des domaines de recherche spécifiques et en permettant directement à Caltech de maintenir ou d’améliorer son positionnement dans le domaine académique, la recherche et la technologie.

Évaluation du Programme de subventions de recherche et développement coopérative (RDC) (2010)

Client: Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG)

Le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG) a confié à Science- Metrix le mandat d'évaluer le Programme de subventions de recherche et de développement coopérative (Programme de subventions de RDC). Ce programme favorise les collaborations bénéfiques pour les entreprises et les établissements postsecondaires en appuyant les projets ciblés de recherche et de développement (R et D) qui suscitent des avantages industriels ou économiques. Plus précisément, le Programme de subventions de RDC appuie les projets entrepris par les chercheurs universitaires en collaboration avec des partenaires du secteur privé. Les coûts directs du projet sont partagés entre le CRSNG et le ou les partenaires industriels. La plupart des subventions sont accordées pour une période de un à trois ans, mais peuvent durer jusqu'à cinq ans.

Cette évaluation, qui couvre la période 1997-2008, comprend plusieurs méthodes de collecte de données: 1) un examen des documents, de la littérature, des fichiers et données du programme, 2) un examen des subventions, 3) des entrevues, 4) cinq sondages électroniques (réalisée avec des chercheurs universitaires et des partenaires industriels financés et non financés et du personnel hautement qualifié (PHQ)), 5) une analyse d'impact économique, et 6) six études de cas.

Les résultats révèlent que le Programme de subventions de RDC est pertinent, bien conçu, bien exécuté et que, de manière générale, il offre des avantages à long terme considérables aux partenaires de l'industrie, aux chercheurs universitaires et au PHQ.

Lire le rapport

 

RÉSEAUTAGE, PARTENARIAT ET TRANSFERT DE CONNAISSANCES

Évaluation sommative de la nouvelle initiative des réseaux de centres d’excellence (NI-RCE) (2009)

Client : Conseil de recherches en sciences humaines du Canada (CRSH)

Description : Le programme de recherche pilote NI-RCE a été mis sur pied en 2003 par le Secrétariat des RCE pour (1) faciliter la création de réseaux, (2) appuyer les activités de réseautage chez les chercheurs ou les équipes de recherche bien établis afin de les encourager à développer de nouveaux partenariats avec les communautés concernées et (3) répondre aux besoins en vue d’interaction, de partenariat et de réseautage.

Cette évaluation porte sur les enjeux suivants : (1) résultats du programme pilote, à l’égard des extrants et des résultats escomptés, (2) exécution du projet pilote par le Secrétariat des RCE et par les réseaux de la NI-RCE et (3) utilité du projet pilote.

Plusieurs méthodes et éléments de preuve ont été employés pour l’évaluation : (1) examen de documents administratifs, de fichiers, de données et de sources sur Internet; (2) études de cas des NI-RCE financés (entrevues et examen de la documentation), (3) analyse comparative de programmes similaires et (4) analyse hypothétique.

Lire le Rapport