¿Cuánto (verdaderamente) ayudan las evaluaciones de impacto en el diseño de políticas?

por Eva Vivalt.

Las investigaciones sobre los efectos de los programas de desarrollo se están volviendo cada vez más rigurosas con la esperanza de que los resultados de estos estudios puedan ayudar a la hora de tomar decisiones sobre políticas.

Sin embargo, frecuentemente nos encontramos con que el mismo programa tiene efectos diferentes en contextos distintos.

La razón es que hay muchas variables que pueden afectar a estos resultados, pero la pregunta clave es: ¿hasta qué punto podemos generalizar a partir de las conclusiones de un estudio de investigación?

Si una persona que diseña políticas decidiera implementar un programa en base a resultados de evaluaciones de impacto, ¿debería esperar que su propio proyecto obtuviera resultados muy diferentes?

Recientemente publiqué un estudio donde contesto esta pregunta analizando los datos de más de 600 estudios internacionales sobre desarrollo. Los datos se centran en 20 tipos diferentes de programas de desarrollo, desde transferencias monetarias condicionadas a microfinanzas. 

Éstos fueron recopilados a través de análisis sistemáticos y meta análisis realizados por AidGrade, un instituto de investigación sin fines de lucro que creé en 2012. Estos datos son idóneos para examinar esta cuestión, ya que lo que se necesita es un conjunto de evidencia sobre cada uno de los muchos tipos diferentes de programas de desarrollo, siendo todos los datos recolectados de la misma manera.

Muchos economistas no estarán sorprendidos al saber que los resultados de las evaluaciones de impacto sobre un mismo programa varían de un contexto a otro. Sin embargo, se descubrieron una serie hechos sorprendentes a tener en cuenta:

1) Primero, el alcance de la variación fue mucho mayor de lo esperado. De hecho, si uno trata de utilizar los datos de estudios anteriores para predecir los resultados de estudios futuros, sin importar cómo uno modela los resultados o qué métodos se usan para hacer predicciones, es poco común observar que la predicción se acerque al 50 por ciento del valor observado.

2) Mientras que a menudo nos centramos en algunos proyectos exitosos, la mayoría de los programas son estadísticamente muy difíciles de diferenciar unos de otros en lo que se refiere al logro de un objetivo concreto. Esto significa que aunque los estudios de dos programas puedan reportar diferentes resultados, no debemos dar por hecho que la diferencia es real, podría ser solo una coincidencia.

3) Los estudios de investigación parecen “huir los unos de los otros” en cuanto a los indicadores de resultados que se estudian. Muy pocos estudios sobre una intervención concreta tienen más de un par de indicadores en común con cualquier otro estudio sobre la misma intervención. Esto tiene sentido pues todo el mundo quiere escribir el primer estudio sobre un tema, ya que probablemente tendrá más posibilidades de ser publicado. Sin embargo, esto plantea un gran problema para la disciplina, ya que la única forma en la que podemos llegar a conclusiones generalizables es mediante el estudio de la misma cosa una y otra vez.

 

Si somos conscientes de que hay una variación muy grande en los efectos de un tipo de programa en concreto, una pregunta básica que nos debemos hacer es cómo los políticos y asesores técnicos interpretan la evidencia que muestra una evaluación de impacto.

Por ejemplo, si los resultados parecen muy heterogéneos y la gente es demasiado optimista, tenderán a preferir programas que han tenido una amplia gama de efectos. También está el tema de cómo los diseñadores de políticas, profesionales e investigadores agregan la información proveniente de los estudios realizados en diferentes contextos.

Actualmente estoy trabajando en otra serie de estudios para responder a estas preguntas. Sin embargo, lo cierto es que, como investigadores, podemos hacer mucho más para ofrecer mejor evidencia que pueda ayudar a la creación de políticas, incluyendo la coordinación, la replicación, la construcción de modelos que expliquen resultados dispersos, y ser humildes y transparentes acerca de las limitaciones de cada estudio particular.

 

Eva Vivalt es profesora adjunta visitante en Stanford, docente (profesora adjunta en funciones) en la Universidad Nacional de Australia y fundadora de AidGrade, un instituto de investigación sin fines de lucro que recolecta y sintetiza datos de evaluaciones de impacto. Eva tiene un doctorado en Economía y un máster en Matemáticas por la Universidad de California en Berkeley. Además, fue young professional (joven profesional) en el Banco Mundial, donde trabajó en el Grupo de investigación sobre Economía del desarrollo.