De cómo evaluar el impacto de la inversión en conocimiento con un enfoque dual

En el Banco Interamericano de Desarrollo (BID), invertir en el fortalecimiento continuo de las capacidades de nuestros equipos y de las agencias ejecutoras en los países miembros es una piedra angular de nuestra misión. Los programas de capacitación, como los talleres sobre el Marco de Política Ambiental y Social (MPAS), son esenciales para asegurar calidad y minimizar riesgos en los proyectos financiados por el Banco.

Dado los esfuerzos realizados en la materia, surge una pregunta crítica para la gestión eficiente y la toma de decisiones estratégicas: ¿Cómo medimos el valor económico real y el impacto tangible de estas inversiones en conocimiento y capacitación?, Además, ¿cómo evaluamos con rigor el retorno económico y el impacto atribuible de estas inversiones en la efectividad del desarrollo? La intención de este blog, entonces, es profundizar en cómo una metodología financiera establecida, el análisis costo-beneficio (ACB), podría ayudarnos a abordar estas preguntas.

ACB: Primera aproximación al valor económico de la capacitación MPAS

El ACB es una metodología financiera utilizada para evaluar la viabilidad económica de diversas inversiones, comparando costos con beneficios esperados a lo largo de un horizonte temporal determinado. Aunque puede parecer complejo, este análisis aplicado a un programa de capacitación como el MPAS se puede descomponer en los siguientes componentes fundamentales:

1. Cuantificación de los costos del programa: Esta fase, aunque metodológicamente sencilla, requiere recopilar toda la información precisa, que puede ser laborioso. Implica identificar y sumar todos los recursos financieros y económicos invertidos en el programa de capacitación durante un período específico:
   • Costos Directos: Incluyen los honorarios de instructores externos, los costos de desarrollo, diseño y producción de materiales didácticos, los gastos de viaje y logística de talleres presenciales y los costos de plataformas de capacitación virtual.
   • Costos Indirectos: Incluyen el costo del tiempo que los profesionales del banco y prestatarios dedican a capacitación, en lugar de a sus responsabilidades operativas. Este costo de oportunidad debe ser estimado y tenido en cuenta.

La fórmula para obtener el costo total del programa sería:

Para la teoría de costos, un costo indirecto es aquel que no se puede atribuir exclusivamente al producto o servicio. Incluye servicios públicos y salarios del personal, ya sean especialistas o personal administrativo que no trabaja directamente en el programa, pero le da soporte, etc., sí y solo si éstos no se han asignado de otra manera.

Más allá de los beneficios: costos evitados

2. Estimación de los beneficios: En un programa de capacitación como el del MPAS, los beneficios rara vez se manifiestan como ingresos monetarios directos. En cambio, hablamos de costos evitados en la preparación y ejecución de los proyectos financiados por el BID, gracias a la aplicación más eficiente y efectiva de los estándares ambientales y sociales. Algunos ejemplos de estos costos serían:

• Reducción de retrasos en los cronogramas de los proyectos vinculados a deficiencias en la gestión ambiental y social.
• Disminución de rediseños costosos en fases avanzadas del proyecto, por una mejor identificación de riesgos e impactos en las etapas tempranas.
• Minimización de los costos financieros, temporales y reputacionales asociados a la gestión de conflictos sociales o quejas de partes afectadas, producto de una mejor atención a la participación de la comunidad (incluyendo tener un mecanismo de quejas adecuado).
• Prevención de multas, sanciones o suspensiones de desembolsos por incumplimientos de los requerimientos de las políticas del Banco.
• Optimización del tiempo del personal del banco y de la agencia ejecutora en tareas de supervisión y resolución de problemas.

¿Cuánto se debe a capacitación?

El desafío fundamental al realizar un ACB independiente es estimar cuánto de estos ahorros son directamente atribuibles a la capacitación. Usualmente, esta estimación se basa en:

1. Juicio experto: Consultas con paneles de especialistas, jefes de equipo, evaluadores/actuarios, para obtener estimaciones razonables sobre la reducción esperada de estos problemas gracias a la capacitación. Por ejemplo, “se estima una reducción entre X% e Y% en retrasos gracias a una mejor comprensión y aplicación del MPAS”.
2. Análisis de escenarios: Desarrollo de múltiples escenarios (el clásico es: bajo, medio, alto) para reflejar la incertidumbre inherente en la efectividad de la capacitación y su traducción en costos evitados.
3. Cálculo de indicadores de rentabilidad económica: Una vez que se tienen los flujos anuales proyectados de costos (C_t) y los beneficios estimados (B_t), para cada escenario de efectividad, se calculan los indicadores estándar de evaluación económica:

• Valor Actual Neto (VAN): Compara el valor presente de los beneficios futuros esperados con el de los costos incurridos, utilizando una tasa de descuento (r) que refleje el costo de oportunidad del capital para el BID.

Un VAN positivo sugiere una inversión económicamente justificable bajo los supuestos adoptados.

• Tasa Interna de Retorno (TIR): Es la tasa de descuento a la cual el VAN del programa sería igual a cero. En contextos con flujos de caja no convencionales (es decir, con cambios de signo múltiples), pueden existir varias TIR, por lo que se interpretar con cautela. Si la TIR es única y supera la tasa de referencia del BID, el programa se considera una inversión económicamente atractiva.
• Relación Beneficio/Costo (RBC): Mide el retorno en unidades monetarias de beneficio por cada unidad monetaria invertida, ambas en valor presente. Un RBC mayor que 1 es favorable.

El ACB proporciona un marco estructurado y cuantitativo valioso. Es una herramienta que nos obliga a pensar sistemáticamente sobre los recursos invertidos y los resultados esperados. De hecho, el ACB es una práctica estándar en evaluaciones de viabilidad para distintos proyectos de desarrollo. Un ejemplo reciente es la publicación del el Banco Mundial en 2023: “Assessing the Benefits and Costs of Nature-Based Solutions for Climate Resilience: A Guideline for Project Developers“. Esta guía no solo aborda los enfoques metodológicos del ACB, sino que también desarrolla casos de estudio para orientar a los involucrados en proyectos de desarrollo (especialmente el caso 8, Coastal Resilience in Emergency Recovery: Beira, Mozambique).

Sin embargo, cuando los beneficios dependen críticamente de la efectividad de la capacitación para cambiar comportamientos y prevenir problemas, la solidez de las conclusiones del ACB se ve comprometida. Esta solidez está intrínsecamente ligada a la calidad y el realismo de los supuestos iniciales (y/o juicios externos) sobre dicha efectividad. Si ésta se asume en lugar de medirse, nos enfrentamos a un grado de incertidumbre que puede comprometer toda la evaluación. Aquí es donde el análisis se enfrenta a una encrucijada: ¿estamos construyendo sobre roca sólida o sobre arena?, ¿cómo saber si los beneficios estimados pueden atribuirse realmente a la intervención?

¿Y si le damos superpoderes al Análisis Costo-Beneficio? Integración estratégica de la Evaluación de Impacto Causal (EIC)

¿Qué sucedería si reemplazásemos los supuestos y estimaciones con evidencia empírica rigurosa? Ésta se obtendría mediante herramientas y métodos alineados con la estrategia BID Impact+. Aquí es donde entra en escena un enfoque complementario: la EIC, que actúa como catalizador y puede potenciar la capacidad de análisis del ACB.

La EIC busca medir el efecto neto y atribuible de una intervención (en este caso, el programa de capacitación MPAS) sobre resultados observables en la ejecución de proyectos, a través de metodologías econométricas como Diferencias en Diferencias (DiD), Regresión Discontinua o Propensity Score Matching (PSM), entre otras. Estas herramientas permiten aislar el efecto de la capacitación de otros factores externos que podrían influir en los resultados.

Por ejemplo, el método DiD compara el cambio en un resultado en el tiempo (antes y después de la capacitación). Compara un grupo que recibió la capacitación (grupo de tratamiento) con un grupo de control. Conceptualmente, si quisiéramos estimar este impacto usando un modelo de regresión, la fórmula podría simplificarse así:

Donde:

Resultado_it​​: Resultado observado para la unidad i en el tiempo t.

Post_it​: Esta variable toma el valor 1 si es el período posterior a la intervención, y 0 si es anterior.

Grupo Tratado_i: Esta variable indicadora toma el valor 1 si la unidad pertenece al grupo tratado y 0 si pertenece al grupo de control.

Grupo Tratado_i * Post_t​:​ Interacción entre las variables Post_t​​ y Grupo Tratado_i, que captura el efecto diferencial del tratamiento en el tiempo.

Beta₃: Coeficiente que representa el efecto causal del tratamiento, es decir, la estimación del impacto de la intervención.

Beta₀, Beta₁, Beta₂: Estos coeficientes capturan efectos fijos y tendencias generales.

Épsilon_it: Término de error aleatorio.

Este modelo permitiría aislar el efecto de la intervención al controlar por diferencias constantes entre los grupos y por tendencias temporales que afectan a ambos grupos por igual. La lógica de la EIC es similar a un ensayo clínico en medicina, donde se compara un grupo de tratamiento con el de control para determinar efectos causales de un medicamento. Por ejemplo, una conclusión podría ser:

“La participación en los talleres de capacitación MPAS resultó en una reducción promedio, estadísticamente significativa, de X días de retrasos en proyectos directamente atribuibles a la gestión ambiental y social”.

Este resultado cuantitativo (X días) representa una medición del cambio en una métrica k observable y causalmente atribuible al programa de capacitación: Delta Impacto_k. Esta información tiene un alto valor analítico, ya que permite traducir evidencia empírica directa en estimaciones monetarias dentro del ACB.

Sinergia analítica: Cuando el ACB se encuentra con la evidencia de impacto causal  

La combinación de los hallazgos de una EIC con la estructura de un ACB da lugar a un análisis de evaluación económica considerablemente más robusto, preciso y defendible:

1. Estimación de beneficios basada en evidencias: El Delta Impacto_k se convierte en un insumo clave para cuantificar los beneficios totales, pero también se agrega el valor unitario así:

Donde:

Delta Impacto_k ​ representa el cambio observado y causalmente atribuible al programa (reducción en días de retraso, número de incidentes, número de reclamos, etc.).

Valor unitario_k representa el costo asociado a una unidad de ese cambio (el costo promedio por día de retraso o por incidente evitado).

2. Indicadores económicos con fundamento empírico: Los indicadores finales (VAN, TIR y RBC) del programa de capacitación ahora se calculan utilizando beneficios que están anclados a mediciones empíricas.
3. Análisis de sensibilidad con intervalos de confianza estadísticos: Los intervalos de confianza que típicamente acompañan a las estimaciones de impacto de una evaluación permiten construir escenarios de sensibilidad más objetivos. Por ejemplo, si se estima que “la reducción de retrasos se encuentra entre 3,2 y 6,4 días con un 95% de confianza”, este rango define los límites inferior y superior (a través de fórmulas estadísticas) y pueden soportar un mejor análisis de escenarios.

Consideraciones estratégicas finales

Adoptar este enfoque combinado para evaluar programas de capacitación, como el de MPAS, conlleva beneficios estratégicos significativos para la institución:

• Optimización de la asignación de recursos financieros y humanos.
• Mejora continua y diseño basado en evidencia de programas.
• Fortalecimiento de la rendición de cuentas y la transparencia (demostrar de manera tangible el valor generado por las inversiones del Banco en conocimiento y desarrollo de capacidades).
• Maximización de la contribución a la efectividad del desarrollo.

Esta discusión sobre enfoques combinados de impacto y costo-beneficio no es nueva. De hecho, ya se había planteado una década atrás en espacios institucionales como el blog de Efectividad en el Desarrollo. Hoy, esa visión se amplía con herramientas más ambiciosas como HUELLA, una metodología desarrollada por el BID que permite medir el impacto de los proyectos mediante imágenes satelitales y diseños cuasi-experimentales. HUELLA permite evaluar de forma escalable los efectos acumulados de múltiples intervenciones, incluyendo dimensiones como crecimiento económico o sostenibilidad ambiental, usando indicadores no tradicionales.

En el ámbito del desarrollo de capacidades, también surgen innovaciones complementarias como el Marco de Evaluación de Impacto y Reconocimiento del Aprendizaje Aplicado (MEiRA). Este marco, implementado recientemente en cursos clave como el de la Norma de Desempeño Ambiental y Social 1, permite evaluar no solo la adquisición de conocimiento, sino su aplicación práctica e impacto en contextos reales, a través de un enfoque basado en cinco pilares (desde la dedicación hasta la transferencia de conocimientos).

Estos avances metodológicos permiten al Banco no solo estimar el valor de sus intervenciones, sino también demostrarlo con rigor. Al hacerlo, se fortalece la toma de decisiones basada en evidencia, se optimiza el uso de recursos escasos y, sobre todo, se pone en valor y se amplifica el impacto positivo de nuestra labor en América Latina y el Caribe.