A medida que el debate avanzaba sobre el supuesto impacto en la pobreza del Millenium Villages Project (MVP), ha sido cada vez más claro que, al menos por ahora, no hay evidencia alguna sobre su efectividad. También está claro que desde su incepción, brillaron por su ausencia los diseños rigurosos de evaluación de impacto, y los esfuerzos posteriores no nos dieron evidencia alguna distinta a las que resultaron de líneas trazadas en la arena movediza de controles poco transparentes. Claramente, no se trata de la poción mágica contra la pobreza.
Estos resultados son decepcionantes, porque uno quisiera que el impacto fuese a gran escala.
La mayoría de las evaluaciones de impacto se ejecuta a pequeña escala – a veces experimental – y su réplica a mayor escala es compleja, especialmente si se requiere una capilaridad que pocas organizaciones tienen. Y cuando la tienen, enfrentan retos institucionales complejos, como muestran las recientes evaluaciones de contratación de profesores en Kenia.
Berk Ozler escribió recientemente sobre lo que llamó “pasar de la eficacia a la efectividad” y sobre los retos asociados a escalar intervenciones: heterogeneidad de impactos, pasar de una muestra específica a la población en general, pasar de situaciones bajo control a lo inesperado.
Si es así, ¿puede la demostración de impacto darse a gran escala?
Por un lado, hay evidencia de muchos programas públicos de gran escala que demuestran efectividad en contextos complejos y heterogéneos: Transferencias Condicionadas (ver, por ejemplo las evaluaciones de PROGRESA-Oportunidades aquí), o intervenciones en desarrollo infantil temprano (ver el excelente blog del BID aquí).
También hay ejemplos de proyectos privados que han llegado a la Base de la Pirámide con gran escala y con un impacto que no nos hubiéramos imaginado hace 15 años. Celulares. Hace algunos años – Robert Jensen (llamado el “Indiana Jones de la economía” por Steven Levitt) demostró el efecto que tienen los celulares sobre los ingresos de los pescadores en Kerala (documento completo aquí). Y los celulares se han convertido en una plataforma clave para la provisión de un gran número de bienes y servicios a los más pobres. Mpesa en Kenia o Dddedo en Colombia son buenos ejemplos de cómo los celulares son vehículos de inclusión financiera.
Y las ONGs?
Muchas ONGs carecen de la capacidad de operar a gran escala. Sin embargo, algunas, tanto locales como internacionales, tienen gran alcance, y muchas han adoptado una agenda rigurosa de evaluación como parte integral de los que hacen. Por ejemplo, la evaluación en marcha (ver versión anterior aquí) de un programa para llegar a los “ultra pobres” de BRAC en Bangladesh, la cual es probablemente la ONG más grande del mundo, muestra resultados interesantes. Este programa dirigido a los ultra pobres está diseñado para que este segmento de la población (17.5%) se “gradúe” de la extrema pobreza a programas más generales (como micro-finanzas) y para que pueda establecer mejoras permanentes en su vida.
Este Programa llegó, en 2011 a cerca de medio millón de hogares a un costo de US$300 por hogar (Los pilotos de réplica en Haití han sido considerablemente más costosos). El programa está diseñado para liberar restricciones (carencia de activos productivos, de habilidades y de información para utilizarlos). Los resultados preliminares muestran que los ingresos laborales se incrementan en 50% y que los activos y ahorros también aumentan. Aunque todavía no se cuenta con resultados definitivos, el programa genera una tasa de retorno cerca del doble que la lograda con transferencias de dinero solamente.
En 2006, CGAP y la Fundación Ford lanzaron una iniciativa para adaptar el modelo de BRAC en un grupo relativamente diverso de países y contextos y recientemente concluyó que “Los pilotos están comenzando a demostrar que un programa con secuencias apropiadas y con sistemas de monitoreo intensivos y que combinan apoyo al consumo, acceso al ahorro, entrenamiento vital y transferencia de activos pueden llevar a mayor consumo, diversificación de ingresos y activos, y algún nivel de empoderamiento.”
Llegar a tener impacto a gran escala tiene gran complejidad y el contexto es de gran importancia. Esto presenta retos significativos (organizacionales, culturales, políticos, demográficos, e institucionales). Además tener impacto a escala tiene lo que Jim Manzi llama “alta densidad causal”.
Las buenas noticias son que escala e impacto son reconciliables y que los resultados del MVP son mas la excepción que la norma. Quizás su diseño sufre de lo que Manzi llama “integración holística”.
Leave a Reply