En la sesión de cierre de la conferencia Reduciendo la Brecha: de la evidencia al Impacto en las Políticas Públicas en junio 17, el Ministro de Planificación de Chile Felipe Kast levantó algunos puntos interesantes sobre cómo persuadir a los políticos a adoptar evaluaciones de impacto.
Su perspectiva es interesante ya que hasta el año pasado Kast era un académico que realizaba evaluaciones de impacto, y hoy es uno de los formuladores de política sobre los que los evaluadores quieren influir.
El Ministro Kast sugirió que tenemos que entender por lo menos tres cosas de los políticos:
- Les gusta contar historias de éxito, pero saben que
- Carecen de credibilidad y
- Odian la crítica
Según Kast estas tres características se pueden utilizar para impulsar una agenda de evaluaciones de impacto.
Las evaluaciones de impacto pueden proporcionar a los políticos con buenas historias, y si estas historias se basan en una sólida investigación éstas serán creíbles.
Por otro lado, la aversión a la crítica por parte de los políticos le da a los evaluadores una herramienta para captar su atención si se critica el gasto realizado sin evidencia de haber medido su impacto. Un ejemplo muy utilizado de esta historia en el programa mexicano de transferencias condicionadas Oportunidades.
Este programa tuvo una rigurosa evaluación inicial que demostró efectos positivos en el consumo de los hogares, en la asistencia escolar, y sobre las visitas a centros de salud. En consecuencia, el programa no se canceló con el cambio de gobierno, y hoy beneficia a 5 millones de familias. Además, las evaluaciones han permitido hacer ajustes graduales en el programa con el fin de aumentar su impacto. Las evaluaciones del programa Oportunidades han permitido a políticos y evaluadores contar historias exitosas creíbles.
Sin embargo, ¿qué sucede cuando los resultados de la evaluación no son del todo buenas noticias?
Consideremos dos hechos estilizados sobre las evaluaciones y los proyectos de desarrollo:
- Algunos programas no funcionan
- La mayoría de los programas que funcionan tienen impactos significativos pero pequeños
Si estos hechos no fuesen ciertos, la economía del desarrollo sería parte de la historia económica y no estaríamos intentando alcanzar los Objetivos de Desarrollo del Milenio en el año 2015. La primera afirmación es apoyada por la Ley de hierro de Rossi de la evaluación: el valor esperado neto de cualquier evaluación de impacto de un programa de gran escala social es cero. El segundo punto se ilustra con numerosos ejemplos en Poor Economics que muestra cómo los programas exitosos como el microcrédito que tienen un impacto significativo (un aumento del 10% en el consumo), no van a hacer que la pobreza desaparezca (el punto aquí es que no hay soluciones mágicas).
Esto significa que los evaluadores deben ser cautelosos acerca de las historias que proporcionan a los formuladores de política, a fin de no crear falsas expectativas sobre su impacto potencial. Oportunidades es un ejemplo de la necesidad de ser prudentes y realistas. Diez años de evaluación de los beneficios del programa muestran que, más allá del aumento en el consumo que tiene un impacto directo sobre la pobreza inmediata (no es un logro menor, ya que es una forma eficaz de transferencia de recursos sin la pérdida de eficiencia y las distorsiones causadas por los subsidios), el programa tuvo un impacto de aumento de la educación y, para los niños más desfavorecidos, se incrementó su estatura en un centímetro.
Estos resultados son importantes, y han dado lugar a que los niños tengan un mayor capital humano de lo que habrían tenido en ausencia del programa. Oportunidades no va a resolver la pobreza, y no tenía la intención de hacerlo. Con éxito contribuye a este objetivo, generando evidencia sobre la necesidad de mejorar la calidad de la salud y, en particular, de la educación. Estas son historias importantes que no necesariamente se adaptan al esquema de ofrecer historias de éxito creíbles para evitar las críticas del tipo que les gusta a los políticos (que les gustaría contar historias de hadas sobre pociones mágicas).
Por lo tanto, el reto sigue siendo sobre cómo hacer para que las buenas evaluaciones influyan en las políticas sociales, aunque los resultados no sean siempre buenos.
Lamentablemente, los políticos no ofrecen alternativas potenciales para implementar el desarrollo. ¿En que se parece caparecita y blanca nieve a los políticos.
Que los dos son puros cuentos.
Aunque poca, hoy día existe evidencia muy interesante sobre los casos de éxito en materia de evaluación. Cierto es que, esta evidencia, pocas veces se incorpora a los programa oficiales de evaluación debido, ente otras cosas, a la premura y al concepto que sobre está función estratégica se tiene.
Coincido con el autor de este artículo y con el Sr. Kast del ministerio de planificación chileno, en el sentido pragmático que se le debe dar a la evaluación y en la necesidad de bien fundamentar su ejercicio a efecto de lograr la mayor incidencia posible en el diseño de políticas públicas.
Por ello, yo soy partidario de quienes creen que la heurística como método puede contribuir a generar un favorable sistema de aprendizaje capaz de quitar el sentido punitivo de la evaluación y rescatar su aporte argumentativo para el diseño de políticas.