Por Anna Crespo
Los organismos de desarrollo están en una posición privilegiada para impulsar una mejor comprensión de los resultados de sus programas y de cómo mejorarlos. Y hacerlo los favorece. Después de todo, desean promocionar intervenciones efectivas. El uso de una de estas herramientas –la evaluación de impacto– ha ido en aumento en los últimos 20 años en del mundo del desarrollo. Estas evaluaciones no solo permiten aislar y medir el efecto de una intervención, sino que además el se ha podido expandir el tipo de preguntas que esta herramienta puede responder gracias a la disponibilidad de datos de alta calidad. Pero ¿pueden las evaluaciones de impacto ir más allá de su bien conocido rol de contribuir al conocimiento y la rendición de cuentas para abarcar un papel más amplio, como el de apoyar a los formuladores de políticas públicas en la ejecución de los proyectos de desarrollo?
El Grupo del Banco Interamericano de Desarrollo (Grupo BID) no es un novato en materia de evaluaciones de impacto. De hecho, su primer paso hacia el uso de estas herramientas data de hace 20 años, cuando el gobierno de México buscó el respaldo de la institución para la primera evaluación de su programa de transferencias condicionadas. Desde entonces se han realizado cientos de evaluaciones y cada año el Grupo BID presenta un inventario de las evaluaciones de impacto completadas (tanto en proyectos del sector privado como del sector público) en su informe Panorama de la Efectividad en el Desarrollo (DEO, por sus siglas en inglés).
Entonces, ¿qué hemos aprendido durante estas dos décadas? La Oficina de Evaluación y Supervisión del BID (OVE, por sus siglas en inglés) decidió hacer un balance de la experiencia del organismo hasta el momento (véase el informe completo aquí). La OVE se centró en las enseñanzas que podían desprenderse del hecho de llevar adelante evaluaciones en organizaciones como el Grupo BID. Al hacer una revisión de todas las operaciones del sector público aprobadas entre 2006 y 2016, incluidas las de asistencia técnica, la OVE identificó 531 evaluaciones de impacto propuestas. De entre ellas, se había completado menos del 20% (94) y se hallaba todavía en camino un poco más de la mitad (286), con un horizonte de compleción de los próximos cinco años. Entre las evaluaciones completadas y en camino, se identificó una clara –y abrupta– curva de aprendizaje. A lo largo de los años, el Grupo BID ha incrementado su capacidad y se ha comprometido con evaluaciones de mejor calidad, lo que conduce a una base de conocimiento más robusta.
Aprender de los errores
Pero el Grupo BID tiene también mucho que aprender de las evaluaciones que no fueron tan satisfactorias. Tómense, por ejemplo, las evaluaciones canceladas, que comprenden cerca del 30% de los casos. Entre las principales causas para cancelar una evaluación se hallan problemas políticos (30%) y temas de diseño e implementación (34%), en aquellos casos en las propias operaciones de préstamos públicos y de cooperación técnica no fueron canceladas. Enfrentar los desafíos políticos es algo que excede la capacidad del Grupo BID y suele relacionarse con los cambios en el enfoque de políticas del gobierno.
Por otra parte, muchas enseñanzas se desprenden de cuestiones ligadas al diseño y a la implementación. Por ejemplo, sabemos que contar con un método ex ante bien definido se asocia con una baja probabilidad de cancelación. Actualmente no hay operación del sector público con evaluación de impacto que se apruebe a menos que el método de evaluación propuesto cumpla con estándares de calidad mínimos. Además, el Grupo BID busca cada vez más tener un acuerdo previo con las autoridades en el terreno, para asegurarse que tienen pleno entendimiento de los costos y beneficios de comprometerse con la evaluación de impacto y coinciden totalmente con los pasos necesarios a seguir.
Más allá de cerrar brechas de conocimiento
Pero vayamos al punto. La verdadera pregunta es si las evaluaciones de impacto no deben concebirse solo como una herramienta de aprendizaje sino también como una herramienta para la implementación de proyectos. ¿Generaría esto menos temor en torno de los costos y el compromiso político?
Un reciente estudio de DIME, el órgano de la evaluación de impacto del Banco Mundial, sostiene que, bien planificadas e implementadas, las evaluaciones de impacto pueden en verdad ayudar a llevar adelante los proyectos. Los autores del estudio utilizan información de proyectos del Banco Mundial para mostrar que aquellos que se acompañan de una evaluación de impacto se desembolsan más rápidamente.
El estudio de OVE reproduce algunos de los análisis de DIME, usando información de todas las operaciones de inversión pública del BID aprobadas entre 2009 y 2016. Nuestro estudio es más simple, pero la comparación entre las tasas de desembolso de los proyectos con y sin evaluaciones de impacto arroja resultados similares a los de DIME.
Lo que observamos es que los proyectos con una evaluación de impacto tienen desembolsos más rápidos después del segundo año y se completan en promedio tres meses antes. Una posible explicación es que los proyectos con evaluaciones de impacto están mejor diseñados. Su preparación toma un promedio de 300 horas adicionales de trabajo del personal del Grupo BID para completarse. Los proyectos con una evaluación de impacto también parecen obtener su aprobación de una manera más madura, ya que toman menos tiempo para alcanzar la elegibilidad e iniciar los desembolsos.
Ciertamente también hay desventajas en este tipo de análisis –que se tratan en el documento– y no debe atribuirse una causalidad directa. Pero ¿no vale la pena investigar más, dado que sin duda existen chances de mejorar la ejecución de los proyectos?
¿Le interesa el trabajo del Grupo BID en materia de evaluación de impacto? Descargue nuestro Panorama de la Efectividad en el Desarrollo 2018 (capítulo 4).
Sobre la autora:
Anna Crespo es Economista Senior de la Oficina de Evaluación y Supervisión del Banco Interamericano de Desarrollo
LAs Evaluaciones de Impacto (EI), sin lugar a dudas permite un mejor diseño del proyecto y no que los proyectos que tienen EI, estuvieran mejor diseñados: En el caso de la EIA, es una herramienta preventiva de Gestión Ambiental, que permite identificar y evaluar los impactos de las acciones de los proyectos sobre los factores naturales (Aire, Agua, suelo, biodiversidad) y proponer un plan de mitigación y monitoreo para proteger el medio ambiente. La idea es que los Planes, Programas y Proyectos (PPP) en su etapa inicial, realicen una Evaluacion Ambiental Estratégica (EAE), que permitirá analizar las alternativas y entre ellas cual es la que afecta menos al medio ambiente y asi se logra introducir el aspecto ambiental en la toma de decisiones. La EI debe ser obligatoria, la metodología adaptable a cada país y con equipos de especialistas se aprenderá mas rápido y el resultado será óptimo.