Una guía metodológica para evaluar el impacto de programas de ciencia, tecnología e innovación

Como mencionaba mi colega Pablo Ibarrarán en su blog, la Oficina de Planificación Estratégica y Efectividad en el Desarrollo del BID está publicando guías de evaluación de impacto sobre varios temas y métodos. La última publicación de esta serie –– Evaluating the Impact of Science, Technology and Innovation Programs: a Methodological (STIP) Toolkit, que escribí con mis colegas Gustavo Crespi, Pierre Monhen y Gonzalo Vázquez – resulta de un esfuerzo conjunto con la recién creada División de Competitividad e Innovación del BID, y está dirigido a promover una agenda de formulación de políticas de desarrollo productivo basadas en lo que nos dice la evidencia empírica.

Cuando conceptualizamos y desarrollamos este “toolkit”‘ nuestro principal objetivo ha sido facilitar el diálogo entre especialistas del tema y expertos en evaluación de impacto, proveyendo a los primeros con una revisión sencilla de los métodos de evaluación y a los últimos con una visión de los retos y temas concretos asociados a la evaluación de este tipo de programas.

Con estos objetivos, exploramos primero en bastante detalle la teoría de cambio que subyace a estos programas e identificamos las preguntas de evaluación y los principales posibles resultados. También dedicamos mucha atención al tema de los datos: discutimos las bondades y defectos de diversas fuentes de información, temas de calidad de datos, y estrategias de recolección. En lo que probablemente es el corazón del trabajo, analizamos en detalle el potencial para este tema de aplicar métodos experimentales y cuasi experimentales. Para cada método, destacamos las características y supuestos, temas prácticos de implementación y las fortalezas y debilidades relacionadas específicamente a su aplicación a programas de ciencia, tecnología e innovación. En un esfuerzo por ser lo más prácticos posibles, presentamos muchos ejemplos de evaluaciones en curso o ya terminadas. Finalmente, concluimos discutiendo otros temas relacionados con estos programas específicos: la temporalidad de los efectos, la intensidad de tratamiento, el análisis de múltiples tratamientos, la heterogeneidad de impactos, externalidades y efectos de equilibrio general.

Obviamente una revisión metodológica cómo ésta es un proceso continuo. Esta Guía no es la excepción. Por tanto agradeceremos todos los comentarios, sugerencias y correcciones.

Disfruten la lectura!

P.S. En otros documentos de la misma seria, podrán encontrar dos Guías previas de las cuales soy co-autor: Primer for Applying Propensity-Score Matching y Designing Impact Evaluations for Agricultural Projects. Comentarios bienvenidos!