Evaluación de impacto en la práctica

¿Quieres probar si un programa o una política pública funciona, pero no tienes tiempo para hacer un doctorado en econometría? Entonces este libro es para ti. En “Impact Evaluation in Practice” discutimos los principios básicos de la evaluación de impacto y sus aplicaciones en el mundo real, todo en un lenguaje muy accesible.

En la página web de “Impact Evaluation in Practice” puedes bajar el texto gratis, encontrarás también enlaces a material didáctico, incluyendo presentaciones y audiovisuales (aquí estoy yo en Beijing, presentado uno de mis temas favoritos: evaluación experimental).

Y si prefieres esperarte a leer el libro en castellano, el lanzamiento está previsto para junio de este año en Cuernavaca, México durante la conferencia “Mind the Gap: From Evidence to Policy Impact”.

El libro está dividido en tres partes. 

La primera ofrece una introducción al tema, incluyendo una discusión de porque las evaluaciones de impacto son importantes y como se relacionan con otros tipos de evaluación. Discutimos el proceso de formulación de preguntas de evaluación e hipótesis a probarse.

La definición de preguntas relevantes sobre el tema de interés es el punto de partida clave para cualquier evaluación, ya que todos los pasos subsecuentes irán enfocados en responder estas preguntas. ¿El programa tuvo un impacto en sus resultados finales? ¿Cuál fue la dimensión del impacto? ¿Qué componentes del programa funcionaron mejor que otros?  ¿El programa tuvo impactos no deseados?

La segunda sección del libro se concentra en los principales métodos de evaluación de impacto, minimizando la notación técnica y maximizando la discusión conceptual de cómo los distintos métodos nos permiten llegar a un mismo fin: la estimación de la relación causal entre una intervención y un resultado. Las metodologías incluyen nombres como “asignación aleatoria del tratamiento, ”regresión discontinua” y otros nombres aparentemente complicados.

Pero cuando analizamos lo que se pretende hacer con cada método, vemos que en esencia todos intentan reconstruir la situación que hubiese prevalecido en la ausencia del programa (el famoso “contrafactual”). Una vez logrado este objetivo, la estimación del impacto de un programa es trivial. Simplemente calculamos la diferencia entre (1) la condición observada de un beneficiario cuando recibe el programa y (2) la condición estimada del beneficiario si no hubiese recibido el programa. El primer componente de esta ecuación es relativamente fácil de medir. Solo necesitamos ir donde el beneficiario (persona, localidad, escuela, hospital, etc) y medir el indicador de resultado (relacionado a pobreza, salud, educación, etc). El desafío es la estimación de (2), porque no podemos observarlo directamente. Aunque todos los métodos intentan estimar (2), en el libro discutimos algunas de las ventajas y desventajas principales de cada método.

La última sección del libro toca sobre los aspectos más operativos de las evaluaciones de impacto.  Muchas de las lecciones aquí se basan en experiencias prácticas que mis co-autores y yo sufrimos en campo. Podemos pensar en las evaluaciones de impacto como un proyecto dentro de un proyecto.  Para lograr una evaluación exitosa de principio a fin se requiere planificación, personal, financiamiento y algo de suerte. Discutimos los pasos necesarios para diseñar una evaluación según las reglas operativas del programa, cómo conformar un equipo de evaluación, temas relacionados a muestreo y recolección de datos, y cómo armar un presupuesto, entre otras. Finalmente discutimos el tipo de publicaciones y actividades de difusión que ayuden a que la evaluación tenga sus propios “impactos” en el mundo de las políticas públicas.