Utilisation de l’évaluation : réaliser notre potentiel?

Depuis l’ouvrage fondateur de Michael Quinn Patton sur l’évaluation axée sur l’utilisation (Utilization-Focused Evaluation, 1978), l’utilisation de l’évaluation est devenue la valeur primordiale pour beaucoup d’évaluateurs du monde entier, pour qui l’information produite par une évaluation n’a pas de sens si personne ne s’en sert. Mais depuis 40 ans, la notion même d’utilisation de l’évaluation et sa dynamique se sont complexifiées : il est question de l’utilisation d’une évaluation donnée, de l’évaluation en tant que processus, de la pensée évaluative, des constats de l’évaluation, etc. Des gestionnaires plaident pour l’utilité et l’utilisation de leurs évaluations, qui étaient naguère tenues pour acquises. La confusion règne à savoir ce qui constitue une évaluation de qualité et si elle se définit en fonction de son processus, de son produit, de son usage ou d’autres critères. Qui plus est, l’évaluation n’est qu’une des sources d’information auxquelles ses utilisateurs-trices potentiels-les ont accès, et pas toujours la plus crédible ou la plus utile dans la pratique. On peut aussi se demander à qui il revient de définir l’utilisation attendue des évaluations et de déterminer l’apport des besoins, de l’expertise et des intérêts des bénéficiaires et des groupes marginalisés dans le jugement porté sur une intervention.

Le Congrès 2020 de la SCÉ explorera trois aspects de l’utilisation de l’évaluation : son positionnement (qu’est-ce que l’utilisation? est-ce une priorité?), sa réalisation (comment utiliser une évaluation? comment savons-nous qu’elle est utilisée?) et sa mise en question (l’utilisation par qui?). Nous étudierons également les impacts de la pandémie de COVID-19 sur l’utilisation et les liens entre l’utilisation et la marginalisation.

Positionner l’utilisation

Ce volet a trait à la nature de l’évaluation et de son utilisation, à la diversité des formes et des niveaux d’intensité de l’utilisation et à la mesure de l’utilisation. Qu’est-ce que l’utilisation d’une évaluation? Quels sont les différents types d’utilisation (Kusters distingue l’utilisation instrumentale, conceptuelle, processuelle, symbolique, relationnelle, au niveau des valeurs et externe)? La recherche de certains types d’utilisation entrave-t-elle la réalisation d’autres types? Y a-t-il des formes d’utilisation plus efficaces que d’autres pour la recherche du bien commun? Y a-t-il un risque de mésusage de l’évaluation et des évaluations? Dans l’affirmative, comment et pourquoi se manifeste-t-il (Alkin et King sont une source d’inspiration)? Que peut-on faire pour réduire ce risque? Où en sommes-nous dans l’évaluation de l’utilisation? Comment celle-ci est-elle observée, décrite et mesurée? La valeur accordée à l’utilisation a-t-elle une incidence négative sur la façon de concevoir les évaluations, de les exécuter et d’en rendre compte? Est-il possible de mener une évaluation de qualité sans tenir compte de son utilisation? Autrement dit, l’utilisation est-elle une condition obligatoire de la qualité de l’évaluation?

Impact de la pandémie sur l’utilisation

2020 a été marquée par une pandémie mondiale aux proportions inhabituelles. Tous les aspects de la vie humaine ont été affectés bien que ces effets aient varié selon la géographie, la sociologie, le pouvoir, l’économie, etc. Les systèmes non humains ont également été affectés, parfois positivement, comme la qualité de l’air et la propreté de l’eau. La pratique d’évaluation n’a pas été épargnée. De nombreux penseurs et praticien·ne·s ont déjà commencé à évaluer l’impact de la pandémie mondiale sur la pratique de l’évaluation. Ce sous-thème se concentrera sur les impacts de la pandémie sur l’utilisation de l’évaluation. La pandémie a-t-elle suscité un intérêt pour la démonstration évaluative et comment? Comment l’exigence de rapidité d’intervention en cas de pandémie a-t-elle affecté la capacité d’utilisation? Les évaluateur·trice·s doivent-ils·elles adopter une approche différente de l’utilisation des résultats de l’évaluation en période de crise? Les leviers d’utilisation sont-ils les mêmes?

Réaliser l’utilisation

Ce volet a trait aux mécanismes en jeu dans la réalisation de l’utilisation de l’évaluation. Selon quels facteurs peut-on déterminer si une évaluation, ses données ou sa fonction sont utilisées au maximum? Ces facteurs dépendent-ils du contexte? Sont-ils les mêmes dans toutes les organisations, les cultures, les régions, les langues, etc.? Quelle combinaison de facteurs est la plus susceptible de maximiser l’utilisation dans un contexte donné? Quel est le rôle de la capacité d’évaluation dans l’utilisation (lisez Cousins et coll.)? Quelles leçons peut-on tirer des écrits et de la pratique sur l’utilisation de l’information dans la prise de décision et le changement de comportement? Est-ce que la souplesse accordée aux ministères et organismes fédéraux dans la Politique sur les résultats de 2016 aide ou entrave l’utilisation subséquente? L’accent mis sur l’examen de la diversité dans le contexte de l’évaluation (ex. : l’analyse comparée entre les sexes plus) a-t-il bonifié l’utilisation? L’insistance des programmes sur la mesure du rendement a-t-elle accru la valeur des évaluations et leur utilisation? A-t-elle plutôt obscurci le véritable objectif, l’autocritique?

Remettre en question l’utilisation

Ce volet porte sur les aspects subversifs de l’utilisation de l’évaluation. Qui définit l’utilisation recherchée d’une évaluation donnée ou de l’ensemble de la pratique de l’évaluation? Qui détermine ce qu’il faut évaluer et comment procéder? L’utilisation de l’évaluation reflète-t-elle systématiquement les intérêts des personnes qui disposent des ressources nécessaires pour commander des évaluations? La valorisation de l’utilisation est-elle une représentation d’une structure du pouvoir dans les organisations et la société, où celles et ceux qui le détiennent peuvent mettre l’accent sur l’utilisation qui les sert, au détriment du savoir inquisitif? Quelle est la responsabilité des évaluateurs-trices eux-elles-mêmes dans la promotion de l’utilisation, s’ils-elles en ont une? Sommes-nous des agents de changement séditieux ou des recherchistes serviles? Comment un groupe marginalisé peut-il devenir partie prenante de l’entreprise d’évaluation, contribuer à l’utilisation de l’évaluation et en tirer profit? Selon quelle perspective distingue-t-on une utilisation légitime d’un mésusage discutable?

Marginalisation et utilisation

Un autre changement mondial important en 2020 a été la sensibilisation accrue aux inégalités importantes qui deviennent plus apparentes pendant la pandémie et les actions galvanisées pour y remédier. Qu’il s’agisse de la vulnérabilité de nos personnes âgées, de nos peuples autochtones, de nos minorités pauvres, racialisées ou autres, nous avons vu un appel collectif à l’action pour s’attaquer aux inégalités sociales et environnementales de longue date. Parallèlement, on voit des appels à de nouvelles façons de remédier à ces inégalités, telles que: la réduction du financement de la police, l’établissement d’un revenu de base garanti, la réinvention des soins de longue durée, la transition vers les énergies renouvelables et l’économie circulaire ainsi que l’investissement dans les aires protégées autochtones. Quelles sont les implications sur l’utilisation de l’évaluation? L’attention renouvelée donnée aux inégalités a-t-elle affecté l’utilisation des informations d’évaluation? Comment l’évaluation peut-elle s’insérer dans la prise de décision dans le contexte d’un débat socio-politique intense? L’évaluation peut-elle contribuer à réduire les inégalités dans la société contemporaine et, si oui, comment? Quels changements sont nécessaires dans l’état d’esprit et / ou les pratiques des évaluateur·trice·s pour s’assurer que les résultats de nos évaluations contribuent à la justice sociale et environnementale?