Diseñar una evaluación de impacto que sea rigurosa, factible y relevante puede ser una experiencia desafiante, si bien provechosa.
Criterios políticos, técnicos y operativos que en un principio pueden parecer incompatibles, deben conciliarse y coincidir para trabajar en conjunto.
La buena noticia es que por lo general existe la forma de darle la vuelta a estos criterios aparentemente excluyentes, y cada vez son más las evaluaciones de impacto de alta calidad que se llevan a cabo.
Experiencias recopiladas a partir de estas evaluaciones se han logrado traducir en herramientas que todos podemos hacer uso para diseñar mejores evaluaciones de impacto!
El Portal de Evaluación de Impacto del BID contiene estos últimos y más recientes materiales, a los cuales te invitamos a acceder mientras trabajas en tu próxima evaluación de impacto.
Estos son los tres pasos para empezar con el proceso:
Paso 1. Definir las preguntas de evaluación más relevantes para tu programa.
Las preguntas de evaluación de impacto típicamente se estructuran como “¿cuál es el impacto de X sobre Y?”. En otros palabras, cuál es el efecto del programa o intervención (X) sobre tus variables de resultado final (Y)?
Para mantener su relevancia política, las evaluaciones de impacto buscan llenar una brecha de conocimiento específico priorizado por los formuladores de política y profesionales del desarrollo que diseñan, ejecutan y financian programas.
La identificación de las preguntas relevantes se facilita cuando el programa se basa en un diagnóstico sólido de un problema de desarrollo y en la evidencia existente, y cuenta con un marco lógico claro que incluye una población objetivo definida y variables de resultado identificados.
La Lista de verificación de evaluación de impacto te ayudará como guía a lo largo del proceso de evaluación. También puedes usar la Plantilla de diseño y la Nota conceptual para documentar el diseño de la evaluación.
Paso 2. Identificar la muestra y metodología de evaluación apropiada.
La asignación aleatoria, considerada como el estándar ideal en los métodos de evaluación, típicamente será la metodología utilizada en las evaluaciones de impacto en tanto es posible.
Sin embargo, existen otros contextos donde, dependiendo de condiciones operativas y políticas, se optará por metodologías cuasi-experimentales tales como diseño de regresión discontinua, diferencias en diferencias, o pareamiento.
En la sección de diseño pueden encontrarse diversas referencias sobre métodos de evaluación de impacto, incluyendo aplicaciones para sectores específicos.
Si planeas recolectar datos para efectos de la evaluación, también necesitarás identificar tu marco muestral y determinar el tamaño de muestra.
El número de observaciones en la muestra responderá al tamaño del efecto que buscas capturar por medio de la evaluación (como regla estándar, efectos detectables menores requieren tamaños de muestra mayores).
La Hoja de cálculo para cálculos de potencia es una herramienta simple que te ayudará a identificar el tamaño de muestra adecuada.
Paso 3. Detallar el plan para la implementación de la evaluación de impacto.
Una evaluación de impacto debe considerarse como “una operación dentro de otra operación”. La evaluación de impacto necesitará personal, presupuesto y planeación para implementarse de manera exitosa y en coordinación directa con el programa.
Los tiempos y la coordinación son cruciales: la línea base debe recolectarse antes de que la intervención comience, el monitoreo del programa es necesario para saber qué sucedió y cuándo, y los datos de línea de seguimiento y el análisis pueden requerirse en momentos críticos para informar decisiones de política.
El Portal de Evaluación de Impacto cuenta con diferentes herramientas de planeación, incluyendo una Carta Gantt para evaluación de impacto, una Carta Gantt para recolección de datos, y una Plantilla de presupuesto.
Te invitamos a que marques el Portal de evaluación de impacto y lo visites mientras trabajas en tu evaluación de impacto!
Muy positivas las políticas del BID que acompañan el cambio de paradigmas en favor de Políticas de Estado eficaces, eficientes y transparentes en el Nuevo Milenio.
PARA USTEDES DESDE MI ROL: No basta con otorgar créditos ni logística: se debe auditar cómo se administran los dineros y programas y no dudar en acompañar a la CIDH en el diseño de nuevos protocolos de control preventivo y reparador de las malas praxis de funcionarios y judiciales. ¿ es necesario que muestre ejemplos…o bastará con la Cuenca del Riachuelo?…
Las incumbencias profesionales de la Abogacía es excelente soporte operativo para avanzar con la actualización que menciono. Les deseo éxito y que logren implementar programas por medio de alianzas estratégicas con quienes podemos denominar “agentes dinamizadores del cambio desde la iniciativa privada”. América está enferma de estatismo burocrático codicioso, se lo equilibra fortaleciendo la iniciativa privada.
Quisiera tener mas conocimientos sobre evaluación de desempeño para el sector público laboral
Me parece interesante la propuesta y las alternativas para aquellos problemas insalvables
Espero poder leer pronto para tratar de comentar con mayor conocimiento.