Cinco pasos para evaluar proyectos de educación

La única cosa que usted necesitó cuando aprendió a contar fueron los cinco dedos de cada una de las dos manos. Así que es muy útil que la nueva Guía del BID para hacer evaluaciones de impacto en proyectos de educación venga explicada en cinco pasos. No son pasos sencillos, pero si se toman uno por uno, le ahorrará un montón de tiempo la próxima vez que desee saber si contratar más profesores es mejor que construir un nuevo salón de clases.

Y no es una pregunta trivial. El gasto público en educación en países como Colombia o Chile es superior al 4 por ciento del PIB. Brasil tiene 650 mil maestros, más que las poblaciones de Bahamas y Barbados juntas. El valor del gasto en educación en  la India es mayor que todo el PIB de Costa Rica.

Ok. Creo que se entiende el punto. La educación es importante. Pero es importante no sólo porque es grande, pero sobre todo porque el futuro de nuestros hijos depende que el sistema educativo funcione para ellos. Y aunque sabemos que necesitamos saber mucho más sobre lo que funciona y lo que no, es muy útil saber cómo aprender más.

Esta nueva Guía para la evaluación de impacto en educación usando diseños experimentales por Rosángela Bando proporciona un punto de partida para hacer las preguntas correctas y elegir las herramientas adecuadas. En cinco pasos.

Primer paso…..

Paso uno. El primer paso es entender que sabemos y tratar de saber lo que no. Este paso requiere recoger en el camino lo que ya se conoce.

En esta sección, la Guía proporciona un marco para pensar acerca de la educación, su importancia, la evidencia de lo que importa para su calidad y el marco causal con el fin de evaluar los efectos de un programa comparando los resultados con y sin el programa, centrándonos en los supuestos necesarios para identificar el efecto promedio del tratamiento.

El lector debe tener en cuenta que estas directrices se centran en la asignación al azar y no se discuten otros métodos. Si quieres dar ese paso lateral, hay que ir a este libro (o para los lectores más avanzados éste).

Paso dos. Después de saber lo que se sabe, es importante especificar la pregunta principal de la investigación. En este paso, la Guía proporciona orientación sobre cómo definir la hipótesis de la evaluación: el por qué, el quién, el qué, el cuándo, el dónde y el cómo.

Una única evaluación no puede contestar todas las preguntas, por lo que este paso establece los criterios para responder con qué finalidad se utilizará la evaluación, y su relevancia. La unidad de análisis también es importante.

La autora recomienda el uso de datos individuales, porque los datos intra-escuela tienden a tener más variación que los datos entre escuelas.

El cuándo también es fundamental: los efectos no son constantes en el tiempo y pueden desaparecer. Hay que programar el momento de la evaluación en función de cuándo se espera que el programa logre cambios. Pero si la cadena causal está suelta o la muestra no describe la población vuelve al paso uno.

Paso Tres. La tercera sección establece un marco para la selección de la muestra y el montaje de la evaluación de impacto aleatoria. En este paso, la autora resume y presenta las principales fórmulas y la lógica de los cálculos de potencia, introduce aleatorización por bloques o estratificada y proporciona una lista de chequeo útil (Listas de verificación que nos gustan mucho en el BID)

Paso Cuatro. Así que por ahora esperamos que ya sepa casi todo lo que se sabe sobre su tema, que tenga una idea de una cosa que usted no sabe aún y para la cual tiene una buena pregunta, que ya domine las fórmulas y los cálculos y que teoría del cambio no hace agua.

Ahora lo que necesita son datos. Esta sección proporciona una visión general muy útil de las fuentes de datos, en particular de las pruebas estandarizadas de educación ENLACE, PISA,ONE, Prova Brasil, SIMCE, SABER, TIMSS y PIRLS y TEMA, su uso potencial en su propia evaluación y cómo sus propios datos pueden ser construidos consistentemente con algunas de estas fuentes de datos.

Paso Cinco. Con los datos en la mano, ahora es el momento de analizar los números. En esta sección se proporciona orientación sobre la forma de calcular los efectos del programa, analizar grupos de interés específicos, cómo interpretar los resultados y cómo enfrentar temas relativos a la validez externa de la evaluación, a desviaciones posibles del diseño original, y a cambios de la muestra.

Ahí los tienes. Cinco pasos. Ahora a empezar a recorrer el camino.