El martes 24 de Enero tuve el placer de ser uno de los panelistas del panel “experiencias con selección de métodos de evaluación de proyectos” del Taller Internacional de Encuestas y Evaluación de Políticas Públicas. Mis co-panelistas fueron Yyannu Cruz Aguayo, Rodolfo Stucchi del BID, Francisco Gallego de la Universidad Católica de Chile y Alessandro Maffioli del BID moderó la sesión. Hablamos mucho y la audiencia nos hizo varias preguntas.
(Para los que adoran visualizar los sitios donde tienen lugar las charlas, el taller tuvo lugar en “la Capilla” que es una de las salas del antiguo hospital de San José en Santiago. Las otras salas, donde se ofreció ofreciendo un curso de STATA, donde se dieron las sesiones plenarias y algunos de los trabajos de grupo, se llaman Carmen, Purísima y María Magdalena, respectivamente. Además, colegas y participantes al curso chilenos nos contaron que el antiguo hospital es muy famoso por las apariciones de fantasmas…)
Aquí va un resumen de lo que se dijo en la Capilla:
a) ¿Entre las características de un programa cuales son las que más influencian la decisión sobre cuál es la metodología más apropiada para evaluar?
- Las características de focalización, de financiación y de calendarización.
- Los incentivos y las limitaciones que inducen la autoselección de beneficiarios.
- La disponibilidad de datos.
- El tamaño del programa y su escala mínima de ejecución.
b) ¿Que nos puede ayudar a aplicar una metodología experimental?
- El exceso de demanda nos puede ayudar. Hacer una buena publicidad de la intervención es relevante.
- Los índices de asignación nos permiten trabajar en los ¨limites¨ de nuestras poblaciones objetivo.
- El miedo a ser evaluados (¿Qué pasa si el programa al final del día no tiene ningún impacto?), en lugar de frenar las evaluaciones de impacto, debería jugar a favor de las mismas con el fin de expandir sus métricas y metas.
- Los pilotos son fundamentales para escalar las intervenciones.
c) ¿Qué pasa cuando no podemos aleatorizar?
- No insistamos en querer modificar el diseño y los mecanismos de implementación en particular cuando el diseño de la evaluación de impacto no va en paralelo con el diseño de la intervención.
- Busquemos alternativas cuasi-experimentales
d) ¿Cuáles son algunas de las ventajas y de las desventajas de diseñar evaluaciones basadas en datos administrativos?
- Permiten evaluar programas que no fueron diseñados para ser evaluados
- Muchos periodos de tiempo. En algunos casos más de 10 años con información mensual.
- Por razones de confidencialidad a veces hay que trabajar en el organismo que recolecta la información
- Permiten utilizar metodologías cuasi experimentales, entre otras, las de diferencias en diferencias y emparejamiento.
Kate Santamaría Dice
Me encantó el artículo, queda claro que el objeto de análisis determina el método a utilizar y que es necesario examinar en detalla cada caso o programa a evaluar. Felicitaciones por el articulo y por el Taller
Francisco Mejía Dice
Kate,
Muchas gracias por su comentario. Esperamos que en las proximas semanas podamos subir copias en PDF de las presentaciones.