La formulación de políticas y de proyectos de desarrollo que estén basados en la evidencia requieren – que suenen los tambores – buenos datos. Estos se pueden obtener de recolecciones rutinarias en encuestas nacionales o de censos, de registros administrativos o de encuestas de muestras aleatorias.
La calidad de los datos en cualquier evaluación es crítica, y errores en ellos puede ser el talón de Aquiles de cualquier metodología que se base en la evidencia empírica, especialmente en países en desarrollo.
Esta guía – Mejorando la calidad de los datos y los estudios de evaluación de impacto en países en desarrollo – preparada (en inglés) por Guy Stecklov (Hebrew University en Jerusalén) y Alex WeinrebF(Universidad de Texas en Austin) para el BID, provee mucha información y una lista de recomendaciones “top diez” para reducir el error de medición en encuestas.
Stecklov y Weinreb proponen reducir el error volviendo a lo básico vía una metodología en dos etapas. Primero, la minimización del error durante la recolección de información requiere incorporar elementos en este proceso para estimar sus efectos y sus dimensiones.
Como línea de defensa de segundo nivel, los autores proveen un menú de metodologías estadísticas – especialmente econométricas – que han sido desarrolladas para evitar los problemas más álgidos de los errores de medición.
Esta Guía se concentra en la reducción del error en la fuente, revisando mejores prácticas en la recolección de información y con una sección muy interesante sobre el papel de los incentivos, y mostrando que hasta evaluaciones de muy alto nivel – como las de PROGRESA – no son inmunes a los problemas de calidad en los datos.
En últimas – y esto es quizás lo principal – los datos en sí deben ser evaluados, y la mejor forma es buscar fuentes de validación, lo que puede ser complejo en países en desarrollo. Como alternativa, se puede seguir una estrategia de pre-testeo, donde este pre-testeo sea una parte integral en el refinamiento de todo el proceso de recolección de información y no solamente un elemento aislado del mismo.
Los autores condensan sus recomendaciones para reducir el error de medición en una lista “top diez”:
1. Siga las guías administrativas básicas
2. Entienda quienes son los actores principales del proceso, regional y nacionalmente y esté seguro que trabaja con ellos para evitar boicots
3. Haga pre-testeo de todos los cuestionarios
4. Contrate un número alto de encuestadores, examinándolos en los entrenamientos, fijando estándares altos y dando incentives para el éxito
5. Los entrevistadores deben ser asignados usando técnicas de muestreo interpenetradas
6. Tenga presente todos los errores potenciales de no observación, incluyendo el muestreo, el cubrimiento y la no respuesta
7. Incluya preguntas que permitan la identificación ex-post de diferentes errores de medición
8. Evalúe si hay patrones sistemáticos de no respuesta que puedan afectar la interpretación de los datos
9. Diseñe guías claras para completar datos que faltan, preferiblemente usando equipos de entrevistadores y al final de cada día de encuesta
10. Intente comparar los resultado con aquellos que se hubiesen obtenido de otras fuentes estadística u otras fuentes de información
Muy atinado!!, agradezco estas recomendaciones dado que en nuestro Observatorio estamos por empezar el levatamiento de información.
Saludos y éxitos desde Arequipa-Perú.
Muchas gracias por su comentario !