Utilización de la evaluación: ¿se alcanza así su potencial?

Desde la publicación del libro La Evaluación Centrada en el Uso de Michael Quinn Patton en 1978, el uso de la evaluación se ha convertido en el valor principal para muchosevaluadores en todo el mundo; para ellos, la información que se obtiene gracias a la evaluación no tiene ningún propósito si no se utiliza. A pesar de ello, en  los últimos cuarenta años, la propia noción del uso de la evaluación se ha vuelto más complicada y sus dinámicas más complejas: se habla sobre el uso de las evaluaciones individuales, de la evaluación como un proceso, del pensamiento evaluativo, de las percepciones de la evaluación, entre otros. Se escuchan coordinadores de evaluaciones que anhelanque sus evaluaciones sean útiles y utilizadas, cuando históricamente dicha utilizaciôn se había dado por sentada.  Aún existe ciertaconfusión sobre cuáles elementos conforman una evaluación de calidad y si ésta se puede definir por su proceso, su producto, su uso o algún otro criterio. Además, la evaluación es sólo una de las fuentes de información a la cual los usuarios potenciales tienen acceso – y no es necesariamente ni la más fiable ni la más factible. También se discute quién debe definir el uso esperado de una evaluación y qué papel juegan las necesidades, la experiencia y el interés de los beneficiarios y grupos desfavorecidos aljuzgar una intervención.   

La conferencia de la CES de 2021 explorará el uso de la evaluación a través de tres línas de discusión. La primera, posicionando este concepto (¿Cómo se define? ¿Es una prioridad?). La segunda, discutiendo cómo lograrlo  (¿Cómo se alcanza? ¿Cómo sabemos que se ha alcanzado?) y por último cuestionándolo (¿Quién lleva a cabo la utilización?). También estudiaremos los impactos de la pandemia de COVID-19 en la utilización y los vínculos entre la utilización y la marginación. 

Posicionando el uso de la evaluación

Esta faceta investiga la naturaleza de la evaluación y de su uso , sus diferentes formas e intensidades, así como su medición. ¿Cómo se define el uso de la evaluación? ¿Cuáles s tipos de uso existen? Kusters, por ejemplo, identifica el uso instrumental, el uso conceptual, el uso procedimental, el uso simbólico, el uso racional, el uso de valor y el uso externo ¿Al perseguir algunos tipos de uso, se impide alcanzar otros tipos? ¿Son algunos usos más eficaces para apoyar el bien común? En ocasiones donde la evaluación es indebidamente utilizada, ¿cómo y por qué sucede esto? (En este tema, Alkin y King son una referencia de interés). ¿Qué se puede hacer para reducir el riesgo de usos indebidos? ¿Cuánto hemos avanzado en el desarrollo de la valoración de la utilización? ¿Cómo observamos, describimos y medimos el uso de la evaluación? ¿Puede la asignación de valor al uso impactar negativamente la forma en que las evaluaciones se diseñan, se ejecutan y se informan? ¿Es posible realizar una evaluación de calidad sin tomar en cuenta su uso? Es decir, ¿es la utilización una condición necesaria de la calidad de la evaluación?

Impacto de la pandemia en la utilización

El 2020 se ha visto marcado por una pandemia mundial de proporciones extraordinarias que afectó todos los aspectos de la vida humana, aunque de manera diferente según la geografía, sociología, el poder y la economía de cada región, entre otros aspectos. También afectó a los sistemas no humanos, en algunos casos de manera positiva, como sucedió con la calidad del aire y la limpieza del agua. No se escatimó en la práctica de la evaluación. Muchos pensadores y profesionales ya han comenzado a evaluar el impacto de la pandemia en la utilización de la evaluación. ¿La pandemia ha despertado un interés en la evidencia evaluativa? ¿De qué manera? ¿Cómo afecta la exigencia de celeridad para la respuesta pandémica a la capacidad de la utilización? ¿Los evaluadores deberán adoptar un enfoque diferente para la utilización de los resultados de una evaluación durante un período de crisis? ¿Los resortes de la utilización son los mismos?

Alcanzando el uso de la evaluación

Esta faceta examina los mecanismos que influyen la utilización de la evaluación. ¿Cuáles factores  determinan si una evaluación, su información, o su función se utilizan al máximo de su potencial o no?  ¿Dependen estos factores del contexto, o son los mismos para todas las organizaciones, las culturas, la geografía, los idiomas u otros? ¿Cuál combinación de factores tiene una mayor probabilidad de maximizar el uso de la evaluación y en cuáles contextos? ¿Cuál es el papel de la capacidad de evaluación en suuso (ver Cousins y otros)? ¿Cuáles lecciones de la literatura y la práctica sobre el uso de la información en la toma de decisiones y en los cambios de comportamiento se pueden considerar en el campo del uso de la evaluación? En el caso canadiense, la flexibilidad que la Política de Resultados de 2016 le otorgó  a las oficinas y agencias federales, ¿ayudó u obstaculizó el uso de la evaluación? ¿Ha mejorado el uso de la evaluación a raíz del énfasis cada vez mayor en considerar la diversidad como parte del proceso de evaluación (por ejemplo,el análisis desde una perspectiva de género) ? El hincapié en la medición del desempeño, ¿ha resultado en un incremento del valor de las evaluaciones y su uso o ha ocultado el objetivo real de la autocrítica?

Cuestionando el uso de la evaluación

Esta faceta aborda los aspectos subversivos del uso de la evaluación. ¿Quién define qué uso se busca para una  evaluación en particular o para la práctica de la evaluación en su conjunto? ¿Quién determina qué se evalúa y de qué manera? ¿El uso de la evaluación refleja sistemáticamente los intereses de aquellos que cuentan con los recursos para solicitar las evaluaciones? ¿Es la valoración del uso una representación de la estructura de poder tanto en las organizaciones como en la sociedad, donde lospoderosos pueden enfatizar el uso de la evaluación para su propio beneficio en lugar de promover el desarrollo del conocimiento inquisitivo? ¿Qué  responsabilidad tienen los propios evaluadores de promover el uso de la evaluación? Si dicha responsabilidad existe, ¿son los evaluadores agentes de de cambio sediciosos o recolectores serviles de información? ¿Cómo se pueden involucrar en la evaluación a los grupos desfavorecidos, de manera que contribuyan a la evaluación y cómo pueden beneficiarse de su? ¿Quién determina lo que se entiende por un uso legítimo de la evaluación y un uso cuestionable?

Marginación y utilización

Otro cambio global importante del 2020 fue el aumento de la conciencia y de las acciones motivadas a abordar las injusticias significativas que se volvieron más notorias durante la pandemia. Notamos una acción colectiva para abordar las inequidades sociales y ambientales de larga data, como la vulnerabilidad de las personas mayores, de los pobres, de las minorías raciales, o de otros grupos. Junto a ellas, llegó la demanda por nuevas formas de resolver estas injusticias, ejemplificadas en el retiro del apoyo financiero a la vigilancia policial, el establecimiento de un ingreso básico garantizado, la reinvención del cuidado a largo plazo, el pasaje a la energía renovable y a la economía circular, y la inversión en áreas indígenas protegidas. ¿Cuáles son las implicancias de la utilización de la evaluación? ¿La renovada atención a las inequidades ha afectado el uso de la información que surge de la evaluación? ¿Cómo puede la evaluación encontrar un camino hacia la toma de decisiones en el contexto de un intenso debate socio-político? ¿La evaluación puede contribuir a la reducción de las inequidades en nuestra sociedad hoy y, de ser así, cómo? ¿Qué cambios son necesarios que se produzcan en el marco de pensamiento de los evaluadores y/o en sus prácticas para garantizar que los resultados de nuestras evaluaciones contribuyan a la justicia social y ambiental?