4 visiones sobre retos en evaluación

 Por Paloma Acevedo *

Llevar a cabo una evaluación de impacto es un ejercicio complejo cargado de desafíos (si no estás de acuerdo, apuesto a que aún no has participado en una). Algunas publicaciones como ésta sobre experimentos que nunca suceden o ésta sobre metidas de pata en evaluaciones hablan sobre algunos de estos retos. En la sesión de “Aprendiendo de la Experiencia” del Taller de Encuestas y Evaluación de Impacto de Políticas Públicas  dedicamos un espacio a reflexionar sobre este tema y preguntamos a una jefa de proyectos del BID, un gestor del gobierno, un experto en calidad de datos y a un experto de evaluación cuáles han sido los principales retos a los que se han enfrentado en las evaluaciones de impacto y qué lecciones y soluciones aprendieron por el camino.

Los retos comienzan antes de empezar con preguntas de incredulidad (¿para qué sirve esto?); siguen con problemas de coordinación (¿Cómo coordinamos ocho instituciones que literalmente hablan lenguajes distintos? O de persuasión (¿Cómo convencemos a una madre de familia sin un minuto libre que conteste un cuestionario que parece un libro?). Y al final los resultados podrían no tener explicación clara.

Esto es parte de lo que nos contaron:

Julia Johannsen es jefa de proyectos de protección social en la oficina del BID en Bolivia y nos contó que para ella los retos comienzan incluso antes de que empiece la evaluación… “¿Una evaluación tan cara??”, “¿Para qué es útil??” son algunas de las preguntas que preocupan a sus contrapartes en el gobierno. A esto se añaden retos como la poca experiencia y experticia  en evaluación de impacto y la excesiva rotación del personal en el sector público. Para solucionarlos Julia encontró muy útil dedicar recursos de donación al co-financiamiento de evaluaciones de impacto y a la concienciación  y creación de capacidad mediante seminarios y talleres de evaluación para el sector público. Así mismo, incorporar asistencia técnica de parte de expertos externos y ejemplos de otros países ayuda a mejorar la aceptabilidad y calidad de las evaluaciones en el país.

Roland Pardo es Subdirector de Política Social en la Unidad de Análisis de Políticas Sociales y Económicas –UDAPE, del gobierno de Bolivia, donde se gestiona la evaluación de impacto  del programa de transferencias condicionadas Bono Juana Azurduy. Para él, el mayor reto es coordinación: para llevar a cabo la evaluación del bono se tuvo que coordinar a ocho instituciones distintas: tres organismos financiadores (BID, Banco Mundial y recursos de Fondo Canasta conformado por varios cooperantes), dos instituciones gubernamentales ejecutoras (UDAPE y Ministerio de Salud y Deportes) y tres firmas encuestadoras distintas. ¿Podéis imaginar la coordinación que requiere manejar los distintos protocolos de contratación, integrar las demandas de información en un solo cuestionario, y asegurar la calidad de la recogida de datos?. Roland nos contó que la comunicación entre todos los agentes fue la clave para superar las dificultades administrativas y técnicas, así como un gran esfuerzo de supervisión en el campo para asegurar la calidad de la encuesta.

Mario Navarrete, de Sistemas Integrales, lleva más de dos décadas dedicándose a velar por la calidad de los datos de encuestas. En su opinión los principales riesgos que se plantean hoy en las evaluaciones de impacto son: (i) cuestionarios demasiado extensos, incompatibles con el tiempo y los recursos disponibles… (¿os suena?). Ser muy selectivos con los indicadores que se van a incorporar en la encuesta es esencial para asegurar datos de calidad. (ii) el mal uso de buenas tecnologías: sistemas como el CAPI  (Computer Assisted Personal Interview) pueden dar la falsa impresión de facilitar el diseño del cuestionario, sin embargo ¡ojo! el diseño requiere al menos del mismo esfuerzo que usaríamos con un formato de papel, (iii) desequilibrio entre los requerimientos de los comités de ética y las necesidades en el terreno: nunca debemos olvidarnos del consentimiento informado de una encuesta. Sin embargo, es importante presentarlo con un formato amigable y comprensible para evitar el rechazo del cuestionario (¡y la consecuente pérdida de muestra!). Otra  dificultad es la restricción  a la recogida de datos personales (direcciones, teléfonos, etc.). En ocasiones las limitaciones son tan grandes que suponen un reto para el re-contacto de la muestra, por lo que es importante encontrar fórmulas que permitan un equilibrio entre ambos requerimientos.

Jose Ignacio Cuesta es Senior Research Manager en J-PAL y ha trabajado en varios equipos de evaluación. En su opinión, algunos de los retos más importantes se dan en el momento del análisis… después de tanto esfuerzo… ¿¿qué significan estos resultados?? Para solucionarlo las evaluaciones de procesos pueden ser grandes aliadas. Por ejemplo, nos habló de la evaluación del Servicio País en Educación en Chile donde se encontraron efectos muy heterogéneos por regiones. Gracias a la evaluación de procesos encontraron diferencias en implementación que ayudaron a explicar los resultados. Otros problemas comunes son el del incumplimiento y el desgaste de la muestra… ¿cómo evitarlos? Jose Ignacio propone controlar el primero mediante una buena focalización del programa y una asignación al nivel adecuado. El segundo puede reducirse mejorando los datos de contacto y fortaleciendo los mecanismos de incentivos y monitoreo de los encuestadores para asegurarse de que no escatiman esfuerzos de búsqueda. Estas inversiones durante los procesos de diseño e implementación de la evaluación ¡se agradecerán después durante el análisis!

Seguro que muchos de vosotros os habéis encontrado desafíos parecidos y tenéis lecciones y soluciones que proponer… ¿Cuáles son?

* Paloma Acevedo es economista en la Oficina de Planificación Estratégica y Efectividad en el Desarrollo del BID