Por Gastón Gertner y Lucas Figal Garone*
En uno de los paneles de estudios de caso en el contexto del Taller de Encuestas y Evaluación de Impacto de Políticas Públicas en Santiago de Chile, tratamos un tema no trivial para las evaluaciones. ¿Cómo implementamos una asignación aleatoria de beneficiarios cuando las posibilidades de hacerlo en un escritorio a través de comandos programados en un computador son limitadas?
Los cursos de evaluaciones de impacto suelen poner mucho énfasis en la importancia de asignar aleatoriamente grupos de tratamiento y control para asegurar comparabilidad. Sin embargo, finalizados los cursos, muchos participantes vuelven a sus proyectos con dudas sobre cómo implementar este diseño de evaluación en la práctica. En el #Taller_EEiPP compartimos algunas experiencias exitosas de diseños experimentales realizados mediante sorteos públicos para la asignación de individuos y comunidades elegibles de un programa a grupos de tratamiento y control.
En Bolivia, la evaluación del Programa de Agua Potable y Saneamiento en Comunidades Pequeñas y Rurales con intervenciones de obras de saneamiento a nivel comunitario está definida bajo una metodología experimental. En el contexto del país, con el empoderamiento de comunidades rurales e indígenas, las autoridades demandaban que la asignación aleatoria de comunidades contara con el consenso y la aprobación de los beneficiarios. En esa dirección, se organizaron sorteos públicos en los municipios elegibles donde se determinó el orden de entrada de las comunidades del proyecto.
Para la evaluación del Programa de Apoyo a la Transición Competitiva Agroalimentaria a implementarse en República Dominicana, el gobierno aprobó la estrategia experimental siendo esto una alternativa para lidiar con la sobre-demanda (de un universo de 22,000 productores elegibles sólo se disponía de un presupuesto para beneficiar a 8,000). La selección de beneficiarios contó, sin embargo, con varias restricciones, es decir, hubo que ajustar el proceso de aleatorización considerando aspectos como la existencia de varias tecnologías, la capacidad limitada de oferta de las mismas por parte del gobierno, balance de beneficiarios entre regiones, entre otras.
En ambos proyectos, los sorteos de preparación se llevaron a cabo con éxito. En Bolivia, los sorteos de comunidades se realizaron en ánforas que contenían todos los nombres de las comunidades. Cada representante de las comunidades elegibles extraía un nombre de comunidad por turno. El orden de salida estableció un ordenamiento priorizado de entrada de obras en las comunidades.
En el caso del PATCA II, los sorteos se implementaron mediante un bolillero y consistió en dos etapas: en una primera, se sortearon las localidades elegibles y no elegibles previamente numeradas y, en una segunda etapa, se sortearon los productores beneficiarios y no beneficiarios por región-tecnología utilizando el último número de cédula del productor.
Entre las recomendaciones para una aleatorización en campo exitosa, destacamos:
- Preparar un protocolo/plan de acción y de reglas claras para realizar los sorteos.
- Fomentar la participación de autoridades locales y beneficiarios al evento à garantiza la transparencia.
- Desarrollar una estrategia de comunicación que incluya la difusión con claridad de los criterios de elegibilidad de los beneficiarios del programa como así también mensajes que destaquen al sorteo como un mecanismo justo y equitativo de asignación.
- Trabajar en conjunto con unidades ejecutoras y autoridades de todos los niveles de gobierno.
- Contar con un equipo de campo que conozca la realidad en el terreno.
- Legitimar los resultados del sorteo para establecer consenso de los acuerdos entre los públicos interesados à por ej. mediante la presencia de un notario público.
- Garantizar la entrada al programa de acuerdo a los resultados del sorteo à esto requiere niveles altos de eficiencia en la liberación y ejecución de recursos.
- Manejar temas de crisis, demandas políticas y presiones sociales que puedan afectar o contaminar la evaluación de impacto.
Los participantes del taller consultaron sobre distintas aplicaciones de los sorteos en campo para sus casos particulares. Cada lugar ofrece un contexto específico que debe ser considerado para crear consenso sobre cómo asignar grupos de tratamiento y control. La discusión de lecciones aprendidas son siempre una manera original de alimentar la discusión en pos de dar soluciones creativas a cuestiones ciertamente no triviales.
Leave a Reply