Hace unas semanas, Martin Ravallion escribió un blog muy interesante sobre cómo adelantar evaluaciones con bajo presupuesto. En él sugería que se pueden evitar los dos elementos mas costosos de las evaluaciones de impacto rigurosas: la información de datos de línea de base e indicadores de impacto objetivos, basados en información muestral. Ravallion propuso una solución más barata que remplaza los costosos datos cuantitativos, con información cualitativa de carácter retrospectivo generada mediante entrevistas post intervención a los grupos tratados y no tratados sobre cuánto ha mejorado su bienestar desde el inicio de la intervención. Para examinar este método, Ravallion lo utilizó en una evaluación de impacto en China y no lo encontró confiable. Dado que éste es un test donde n=1, Ravallion hizo un llamado por más intentos como éste, dado que su costo marginal es muy bajo y su potencial grande.
Pareciera entonces que lograr evaluaciones de bajo costo no es fácil.
O No? Talvez no, si consideramos el potencial de los datos de carácter administrativo. La organización Coalition for Evidence Based Policy acaba de publicar un buen artículo sobre el potencial que tienen los datos administrativos para ofrecernos información más barata que sirva de base para evaluaciones rigurosas. Mejor dicho, que en vez de basarnos en información muestral diseñada específicamente para la captura de información de resultados predefinidos, es posible reducir costos usando datos administrativos existentes que han sido recogidos con otros fines como registros de salud, prontuarios policiales y resultados de exámenes escolares, por ejemplo. Para mostrar la factibilidad – y flexibilidad – de esta propuesta, el artículo resume cinco evaluaciones de impacto, en áreas como política criminal (aquí y aquí), abuso de drogas y bienestar infantil, intervenciones comunitarias para mejorar las habilidades de padres y madres, y sistemas de incentivos para profesores .
El artículo también subraya que tienen que cumplirse ciertas condiciones para que este tipo de evaluaciones de bajo costo sean factibles. La primera es obvia, y es que el acceso a estos datos debe ser barato. En segundo lugar, que se tiene acceso a individuos sin mayores esfuerzos de reclutamiento, y tercero que los actores clave en el sector público, están de acuerdo y el acceso a la información es continuo.
Además de los anteriores casos, hay muchos ejemplos de evaluaciones que usan datos administrativos. Alessandro Maffioli mostró en este blog sobre el potencial en el uso de datos administrativos y que realmente éstos son un tesoro escondido para los evaluadores. Un tesoro que hasta puede ser utilizado para documentar el impacto de la distribución de tierras sobre el poder en el siglo 16 en Buenos Aires.
Nota: la Coalition for Evidence based Policy tiene una lista extraordinaria de publicaciones que incluye no solamente artículos técnicos y resúmenes, sino guías y checklists (que nos gustan tanto a los que somos adictos al libro Checklist Manifesto) que son completas, simples y muy útiles.
Bueno idea y es plausible en proyectos de mercado laboral pero en nutrición, salud o educación es poco útil.
Desde luego la reutilización de datos públicos abarata el trabajo de campo de las evaluaciones de impacto. Ahora bien, el acceso continuo a datos públicos y una correcta sistematización de la recogida de información secundaria (recordando que el objetivo de la generación de datos no es ad-hoc para la evaluación de impacto) hace que tenga mis dudas sobre ese “potencial” abaratamiento.