La efectividad está en el centro de muchos programas y proyectos de desarrollo. Pero como lo indicó Alexandre Meira da Rosa, gerente de la Oficina de Planificación Estratégica y Efectividad en el Desarrollo del BID, el logro de los resultados esperados no siempre ocurre en línea recta.
Los programas de desarrollo se han conceptualizado tradicionalmente como conjuntos de productos que se entregan para afectar positivamente las condiciones de vida de una población. En el sector de la educación, por ejemplo, tradicionalmente se asumía que la implementación de un programa de formación docente, la entrega de nuevos libros de texto o la entrega de computadoras portátiles a los estudiantes serían suficientes para mejorar los resultados de aprendizaje. Sin embargo, décadas de investigación y experiencia práctica de agentes del desarrollo han demostrado que no siempre es así. Un ejemplo citado con frecuencia es un programa que proporcionó libros de texto a escuelas primarias en zonas rurales de Kenia a finales de los años 90. Una evaluación experimental encontró que proporcionar los libros no logró mejorar los resultados de aprendizaje promedio de los estudiantes durante los primeros tres años de implementación del programa. Gracias a esta evaluación, los financistas, el gobierno y las agencias ejecutoras descubrieron que muchos estudiantes, especialmente los menores y más pobres, no podían leer o usar los libros de texto de manera efectiva porque estaban escritos en inglés. Aunque el inglés era el medio oficial de instrucción en las escuelas kenianas, no era el primer o segundo idioma para la mayoría de los estudiantes, sino el tercero. El programa no logró los resultados esperados. Sin embargo, su evaluación oportuna y orientada a resultados ayudó a descubrir un problema más profundo en el sistema educativo que la distribución de libros de texto no podía resolver. [i]
En las últimas décadas, el BID y otros Bancos Multilaterales de Desarrollo (BMD) han promovido el diseño e implementación de proyectos de desarrollo orientados a resultados para minimizar este tipo de fracasos. Dichos proyectos se evalúan rigurosamente, sobre la base del logro de sus resultados. Por ejemplo, los proyectos financiados por el BID deben demostrar que su diseño tiene una lógica vertical, o teoría del cambio, es decir, un conjunto de supuestos sobre las relaciones causa-efecto entre los insumos, las actividades y los productos que se espera que conduzcan a los resultados previstos. Estas relaciones causa-efecto deben basarse en evidencia cualitativa y cuantitativa, y las evaluaciones deben mostrar que los proyectos son efectivos.[ii]
Durante la última década, los BMD también han desarrollado e implementado instrumentos de financiamiento basados en resultados, para reorientar los incentivos y fortalecer la rendición de cuentas de los ejecutores, entre los cuales están los préstamos basados en resultados (PBR).[iii] A diferencia de un préstamo regular que se desembolsa contra la implementación de las actividades del proyecto y la entrega de productos, un PBR se desembolsa sobre la base de sus resultados, independientemente de los insumos necesarios para alcanzarlos.[iv] Un mecanismo de verificación creíble, a menudo independiente, se encarga de constatar el logro de los resultados previamente definidos. Así, la modalidad del PBR alienta a los actores de desarrollo a monitorear y concentrarse en el logro de impactos significativos, en lugar de la mera finalización de actividades y la entrega de productos. Además, permite realizar ajustes oportunos durante la implementación del proyecto para lograr los objetivos previstos.
En 2016, el BID presentó su actual instrumento de PBR, luego de un análisis exhaustivo de experiencias pasadas y la incorporación de conocimientos adquiridos de otras organizaciones. Desde entonces, ha aprobado 29 operaciones de PBR por un total de 4.700 millones de dólares en sectores como salud, pequeñas y medianas empresas (pymes), desarrollo urbano y vivienda, inclusión social y educación, entre otros. Estas operaciones representan una pequeña fracción de los préstamos del BID, pero son cada vez más solicitadas por los gobiernos de América Latina y el Caribe interesados en introducir nuevos incentivos y medidas de rendición de cuentas en el sector público.[v]
La evidencia preliminar sobre el desempeño de las operaciones de PBR en comparación con otros instrumentos del BID es prometedora. Tres de estas operaciones ya han sido evaluadas de forma independiente en Informes de Finalización de Proyectos (PCR), y todas ellas han alcanzado una calificación general exitosa.[vi] Además, en el criterio de efectividad del PCR, que evalúa el grado en que estas operaciones lograron sus objetivos medidos por indicadores de resultados previamente establecidos, han alcanzado calificaciones satisfactorias o excelentes, superando las evaluaciones promedio de las operaciones del BID. La efectividad de estos proyectos se explica por su sólida lógica vertical en el diseño, la evaluación de al menos el 90 por ciento de sus indicadores de resultados, tasas medias de logro de estos indicadores de al menos el 80 por ciento por objetivo de desarrollo, ejecuciones en el tiempo planificado y sólida evidencia de atribución de los resultados observados a la ejecución de los proyectos.
La reciente adopción de instrumentos de préstamo basados en resultados por parte de los BMD ya ha arrojado algunas lecciones importantes. Estas se discuten en una nota técnica del BID de Puerta et al. (2023). En primer lugar, la definición de los indicadores de resultados varía entre los BMD y la mayoría permite desembolsos contra productos (como la construcción de una escuela) en lugar de los resultados (como la reducción de las tasas de deserción escolar o la mejora en resultados de aprendizaje). El instrumento del BID, por el contrario, permite desembolsos sólo en función de indicadores de resultados, con la única excepción de los productos complementarios para fortalecer la capacidad institucional. Estas diferencias pueden dificultar la comparación de la efectividad de los instrumentos entre los BMD y ponen de relieve la importancia de un acuerdo multisectorial sobre las definiciones, así como de un enfoque renovado en los resultados para promover la efectividad y el impacto de los proyectos.
Otra dificultad común a la que se enfrentan los BMD está relacionada con el cálculo de los costos y la auditoría de los gastos de los proyectos. Esto se debe principalmente al bajo nivel de detalle de costos requerido por las regulaciones de los PBR en comparación con otros instrumentos, lo que puede comprometer las mediciones de eficiencia de un proyecto. A lo largo de los años, el BID ha aumentado el detalle requerido sobre los costos de los PBR. Aunque no se hace un seguimiento de los productos durante la ejecución, las propuestas de PBR deben presentar estimaciones de costos para los productos, las actividades y las acciones identificadas en la cadena que conduce a los resultados esperados. El seguimiento de los gastos, aunque no es necesario para los desembolsos, se realiza anualmente, y esta información se puede utilizar para ajustar el alcance de un proyecto durante su ejecución.
Finalmente, los PBR requieren una alta capacidad institucional y mecanismos sólidos de monitoreo y evaluación. Esto podría excluir a los países más vulnerables y resalta la importancia de abordar estos problemas desde el diseño de un proyecto, al tiempo que se proporciona apoyo técnico a los gobiernos. En este aspecto, una propuesta de PBR en el BID debe incluir una evaluación de la capacidad institucional del prestatario, que permite generar insumos para la estructura de la gobernanza del proyecto. Además, debe identificar las brechas de capacidad que tienen el mayor impacto en el proyecto y planificar respuestas costo-efectivas.
La efectividad en el desarrollo exige resultados tangibles que mejoren la vida de los beneficiarios de los proyectos, no obstante lograr estos resultados es un reto. Como lo sugieren las primeras evidencias del BID, el instrumento PBR promete ser una forma directa y efectiva de facilitar el camino al desarrollo al cambiar los incentivos de la entrega de productos al logro de resultados.
[i] La evaluación de impacto también encontró que los libros de texto parecían haber contribuido a mejorar únicamente el rendimiento de los mejores estudiantes, que tuvieron los puntajes más altos en las pruebas preliminares. Esto llevó a la conclusión de que había un gran desajuste entre el plan de estudios oficial para el que se diseñaron los libros de texto y las necesidades de muchos estudiantes kenianos.
[ii] Además, cuando la solución propuesta para un proyecto en términos de diseño es una innovación o no hay suficiente evidencia existente para respaldar los resultados esperados, se debe proponer una evaluación de impacto sólida para acompañar la implementación.
[iii] Otros instrumentos de financiamiento basado en resultados son el apoyo presupuestario basado en resultados y los créditos de carbono. Para una explicación en profundidad véase: Kükenshöner Christina, and and Sarah Thoma. 2023. “Results-Based Financing Peer Analysis.” KfW Development Bank. Frankfurt am Main, Germany.
[iv] Para una explicación en profundidad véase: Puerta, Juan Manuel, Germán Ferreyra, Alejandro Pablo Taddia and Francesca Castellani. 2023. “Development Lending for a New Reality: The Evolution of Financing Instruments across Multilateral Development Banks.” Washington, D. C. https://doi.org/10.18235/0004762.
[v] El BID ha tenido otras experiencias exitosas de financiamiento basado en resultados, entre las que destacan Salud Mesoamérica y la Facilidad de Bonos de Impacto Social (SIB) del BID Lab.
[vi] La calificación de desempeño general del PCR es un promedio ponderado de los puntajes de cuatro criterios: relevancia, efectividad, eficiencia y sostenibilidad. Si bien el PCR comienza como una autoevaluación del desempeño del proyecto por parte del BID, luego es validado de manera independiente por la Oficina de Evaluación y Supervisión (OVE).
Leave a Reply