Tres fuentes de evidencia para analizar proyectos

La resolución de los desafíos de desarrollo es una tarea compleja. Las  investigaciones más rigurosas muestran que algunos programas no funcionan según lo previsto y que la mayoría que sí funcionan, no tienen un impacto significativo.

Una forma sensata de proceder para el diseño de proyectos es guiarse por tres formas de evidencia: la evidencia en la identificación del problema, en la elaboración de soluciones, y la evidencia generada sobre los resultados.

Diagnóstico basado en evidencias. Es importante identificar de la mejor manera posible el problema que se enfrenta en relación al desarrollo, y es necesario hacerlo en base a las evidencias que revelen su magnitud y los factores determinantes que se encuentren presentes.

¿Qué tan grande es el problema? ¿Cuáles son sus causas? Las respuestas a estas preguntas necesitan estar respaldadas por evidencias.

Solución basada en evidencias. Además de estar vinculado a los factores determinantes de un programa, es necesario que existan pruebas sobre la eficacia, efectividad o al menos la plausibilidad teórica de la solución.

Lo ideal sería aplicar una solución probada, pero el hecho que el problema subsista en un determinado lugar significa que no ha sido implementada una solución satisfactoria en ese contexto particular.

Por consiguiente, necesitamos evidencias que confirmen que la solución ha funcionado en otros lugares, ya sea en un contexto similar (mejor segundo) o que allí existe un mecanismo que apoya la intervención. Si fuera posible, las evidencias  disponibles deben ser incorporadas en las directrices sobre la forma de implementar estas políticas.

Este es el proceso por el cual la evidencia de lo que funciona se incorpora en la formulación de políticas.

Generación de evidencia a través del monitoreo y la evaluación. Incluso si se identifica el problema en base a una amplia evidencia y se diseña una solución razonable sobre la base de evidencias rigurosas, el resultado es aún incierto.

La formulación de políticas está llena de buenas intenciones con resultados no tan buenos o incluso malos. Por lo tanto, siempre es importante comparar los resultados obtenidos con las evidencias de cómo está funcionando realmente el programa.

¿Se están tomando en cuenta los resultados esperados y los impactos? La eficacia real tiene que ser medida  contra lo que se podría esperar, en base a evidencias.

Un ejemplo interesante de este proceso es proporcionado por Lawrence Sherman en su artículo publicada en 1998 por la Fundación Policial (Police Foundation, en inglés), sobre la Vigilancia Policial basada en evidencias.

Según Sherman, “la actividad policíaca basada en evidencias consiste en usar la mejor investigación disponible sobre los resultados del trabajo de la policía para aplicar las directrices y evaluar los organismos, dependencias y policías … la vigilancia policial basada en evidencias utiliza la investigación para guiar la práctica y la evaluación de los profesionales que la practican.

 Se utiliza la mejor evidencia para dar forma a la mejor práctica. 

Se trata de un esfuerzo sistemático para analizar y codificar las experiencias “poco sistemáticas” como base para el trabajo de la policía, refinado por las pruebas sistemáticas y continuas de las hipótesis”.

Estos principios pueden y han sido aplicados a ámbitos tan diversos como la labor policial (el artículo de Sherman muestra el ejemplo de las políticas destinadas a reducir la violencia doméstica), la medicina y la educación (algunos ejemplos interesantes son proporcionados por Ian Ayres en su libro Super Crunchers).

El punto más difícil, señalado por Sherman y Ayres, es que la gente cambie su comportamiento, para crear una cultura en la cual la evidencia domine la opinión del experto, la regla de oro o el instinto de lo que debería funcionar.

La implementación de los programas de desarrollo en el campo puede convertirse en una tarea ardua que requiere gente apasionada y comprometida para dirigirla.

El reto es dirigir esa pasión y ese compromiso, no con una intervención en particular, sino resolviendo los problemas de desarrollo que justifiquen trabajar en base a una intervención determinada. Esto proporcionará la flexibilidad necesaria para adaptarse y aprender a partir de las evidencias y, por último, mejorar la eficacia del desarrollo.