Cuatro evaluaciones de impacto de América Latina: comparando manzanas con manzanas

La primera semana del Taller Internacional de Encuestas y Evaluación de Políticas Públicas se concluyó el viernes 20 de enero con una sesión durante la cual se presentaron cuatro ejemplos de evaluaciones de impacto de programas de la región. Las presentaciones fueron una ocasión para repasar los contenidos metodológicos del curso y debatir sobre la importancia de evaluar políticas públicas.

1) Sector Productivo

Rodolfo Stucchi del BID presentó los resultados de la evaluación del Programa de Desarrollo de Proveedores de Chile. Utilizando una base de datos que representa la población de empresas desde 1998 a 2008, se pudo evaluar el impacto del programa sobre el desempeño de empresas proveedoras y sus clientes (las empresas grandes). A través de un diseño no experimental (propensity score matching junto a diferencias en diferencias), se pudo observar que en ambos grupos de empresas el programa fue exitoso. En particular, las proveedoras registraron un aumento de ventas, empleo, salarios, y probabilidad de supervivencia. Las grandes aumentaron sus ventas y la probabilidad de exportar. Además, el efecto sobre las empresas proveedoras fue más rápido que sobre las empresas grandes.

2) Vivienda

Ryan Cooper, director ejecutivo de J-PAL LAC, presentó la metodología de evaluación del programa de mejoramiento de vivienda “Un techo para mi país” en Uruguay, México y El Salvador. Durante la presentación, Ryan explicó cómo es posible simultáneamente lograr una situación ideal de diseño de la evaluación y del programa, tal fue el caso de este proyecto donde se pudo focalizar mejor el programa y al mismo tiempo aleatorizar la intervención para medir de manera más rigurosa los impactos sobre el desarrollo humano de este proyecto.

3) Educación

Francisco Gallego de la Universidad Católica de Chile presentó una evaluación experimental sobre el rol de la información en la elección de colegio en Chile. Se diseñaron  dos tratamientos: 1) Cartillas de información sobre el desempeño de las escuelas y 2) Video con 3 testimonios de personas de contextos similares.

Estas son las preguntas de evaluación que ya tienen respuesta:

¿Puede la información simple sobre aprendizaje cambiar la elección de escuela para padres de bajos ingresos? Y ¿Existe un efecto adicional si es que los padres son informados sobre los retornos a la calidad de la educación?

Las respuestas:

• Cartilla de información tiene efectos estadística y económicamente significativos en los puntajes, precio y tipo de colegio elegido
• Aumenta la elección de colegio por los puntajes en pruebas estandarizadas, mientras cae la elección por valores y disciplina
• No hay efecto para los estudiantes que ya estaban matriculados
• No hay efectos adicionales del video

Quedamos a la espera de respuestas para la tercera pregunta de evaluación: ¿Existe un efecto en los resultados de aprendizaje en los niños que cambiaron su elección de escuela?

4) Desarrollo infantil temprano

David Evans del Banco Mundial presentó un estudio sobre el Impacto de Cuidado Infantil sobre el Bienestar Materno e Infantil en Brasil. La pregunta principal de esta evaluación tenía el objetivo de medir cual es el impacto de la participación en guarderías infantiles (de 0 a 3 años) públicas en el desarrollo cognitivo, emocional y físico del niño, así como en el bienestar de la familia, medido a través de ingreso y estrés. Al tener un exceso de demanda para este servicio, fue imposible ofrecer un lugar en la guardería a todos los niños. Entonces, junto con el Municipio, se decidió asignar el beneficio a través de una lotería. Esta evaluación experimental llevada a cabo ocho meses después de la lotería por el momento ha dado resultados sobre los efectos relacionados con el bienestar de la familia, dado que evidentemente era demasiado temprano para observar impactos sobre los niños. En particular se pudo observar que las familias que acceden a la guardería, tienen un incremento de ingreso y las madres, a pesar de tenerse que levantar una hora antes para llevar al niño a la guardería, están menos estresadas.