Esta es un blog escrito conjuntamente con Julian Cristiá, Ana Santiago y Eugenio Severín; miembros del equipo que desarrolló la evaluación de OLPC en Perú.
El pasado marzo publicamos una entrada en este blog con los resultados de la primera evaluación aleatorizada del modelo de Una Laptop por Niño (OLPC por sus siglas en inglés) en Perú, que ha sido ampliamente discutida en las blogosferas de tecnología y educación (ver, por ejemplo las entradas en el debate sobre tecnologías educativas).
Recientemente, Berk Ozlerseñaló algunas preguntas interesantes sobre si estamos aprendiendo suficiente del programa OLPC en una entrada del blog de Impacto en el Desarrollo del Banco Mundial. Los miembros del equipo del BID que realizó la evaluación da la bienvenida a esta discusión ya que el autor levanta varios temas importantes.
Estamos de acuerdo que idealmente deberíamos experimentar e identificar programas exitosos mediante métodos empíricos sólidos, y entonces escalarlos.
En un mundo ideal esta es la estrategia óptima en un contexto de retornos inciertos, múltiples programas y recursos escasos, y cuando los costos de generar información son pequeños comparados con los costos de tomar malas decisiones.
Esto no sucedió en el caso del programa OLPC, y aprender porqué nos dará valiosas lecciones a futuro.
La primera pregunta de Ozler es porqué programas grandes como OLPC se han implementado sin contar con evidencia empírica sólida.En lugar de especular sobre el tema, quisiéramos señalar que sabemos muy poco de cómo mejorar el aprendizaje en países en desarrollo. De hecho, esta es una de las conclusiones de un resumen reciente de dos décadas de investigación en esta área por Paul Glewwe y otros co-autores.
Por tanto, los formuladores de política podrían responder la pregunta señalando que invirtieron en el Programa de OLPC porque querían mejorar la educación y que, dada la información disponible, este era un programa muy prometedor entre las diversas alternativas posibles.
Claramente esta brecha de conocimiento en un área tan importante es inaceptable, pero es complejo criticar a los tomadores de decisiones en este contexto.
En nuestro trabajo nos hemos encontrado el convencimiento que los computadores mejoran el aprendizaje, y esto podría ayudar a explicar la popularidad del modelo OLPC.
Las directivas del programa en el Perú pensaron que OLPC era una opción prometedora y que algo podría hacerse en el corto plazo (comparado, por ejemplo, con el mejoramiento de las capacidades de los profesores o modificar sus prácticas didácticas).
Debería resaltarse que estaban muy interesados en mostrar resultados, por lo que se asociaron con el BID en la evaluación del proyecto (el BID no lo financió, solo financió la evaluación).
La segunda pregunta del post de Ozler es porqué no diseñamos la evaluación para examinar el efecto de “tecnologías” alternativas o combinaciones diversas de insumos (por ejemplo, software especializado, entrenamiento, Internet etc.) en vez de simplemente evaluar OLPC.
Es claro que los tratamientos múltiples son atractivos porque permiten la comparación directa entre distintas intervenciones y aprovechan economías de escala y sinergias.
Estamos de acuerdo con el autor que los tratamientos de eficacia múltiples en múltiples sitios son el ideal, y hubiéramos diseñado la evaluación en esas líneas si nosotros estuviéramos a cargo de OLPC y si no tuviésemos restricciones presupuestales (las evaluaciones multi-tratamiento/multi-resultados para grupos heterogéneos son muy exigentes en términos de implementación, recolección de información y costos).
Pero no estamos conduciendo el programa, y respondimos a una inquietud válida planteada por el gobierno peruano: ¿está funcionando el programa de la forma que lo estamos conduciendo? Las preguntas de evaluación se plantearon basadas en los objetivos del proyecto OLPC en Perú, y sobre la base de lo que la literatura ha identificado como interrogantes válidos.
Consideramos esto como una primera aproximación a un tema muy complejo, y analizamos la “teoría de cambio” subyacente para explicar los resultados.
Por eso, y aunque consideramos la opción de implementar más tratamientos, decidimos enfocar nuestro recursos limitados a tratar de contar con una respuesta sólida sobre los impactos del programa y en entender porque sucedieron o no esos impactos. Tomamos esta decisión por tres razones.
En primer lugar, OLPC era un programa popular (sin examinar) y por tanto al estimar su impacto proveeríamos información valiosa a los gobiernos que estaban considerando su implementación o expansión.
Segundo, los efectos esperados en dos resultados centrales (logros académicos y habilidades cognitivas) eran modestos y por tanto requeríamos de una muestra grande para poder identificar efectos pequeños pero significativos.
Tercero, pensamos de esta evaluación como la primera de una agenda más ambiciosa de investigación sobre tecnologías y educación.
Por tanto, preferimos concentrar nuestros recursos en este período inicial, en explorar los efectos de OLPC para así más tarde abordar algunos interrogantes más específicos de esta agenda.
De hecho, en los últimos dos años hemos continuado con nuestra estrecha colaboración con el gobierno de Perú y con GRADE, introduciendo innovaciones basadas en los resultados de la evaluación, y esperamos continuar diseñando e implementando pilotos en los próximos años.
Finalmente, como está ocurriendo en otras áreas, nuestra percepción es que los tomadores de decisión en educación y tecnología valoran cada vez más el valor de la experimentación y la evaluación.
Sin embargo, necesitamos mejorar en la comunicación de los resultados de la investigación solida y cuidadosamente diseñada. La tecnología es muy versátil, y las innovaciones ocurren a un ritmo frenético.
Ojalá que en algunos años lo que está sucediendo en tecnologías de la educación hoy sea señalado como un ejemplo de una historia de éxito en términos de innovación, identificación de programas efectivos y escalamiento ulterior.
También estamos de acuerdo que instituciones tales como el BID, el Banco Mundial, el PNUD y otros deben invertir en proyectos basados en “evaluar primero, implementar después”.
Los fondos parque financian las evaluaciones de eficacia son escasos. Tenemos que tomar el siguiente paso: empezamos de un equilibrio de ignorancia (Pritchett, It pays to be ignorant), y hemos avanzado significativamente.
Hoy las evaluaciones de impacto son parte del léxico y la práctica del trabajo en temas de desarrollo. Pero tenemos que seguir avanzando y asegurar que maximizamos el potencial de las evaluaciones de impacto como herramientas de conocimiento.
Habiendo dicho esto, pensamos que la evaluación del OLPC, como fue implementada, ha ayudado a mover la agenda hacia adelante.
En una palabra, las críticas de Ozler son todas válidas pero el BID no podia hacer otra cosa. ¿Qué quieren?.
Les tiro una idea para la próxima evalución: comparar los logros académicos y habilidades cognitivas con el volumen de ventas y ganancias de los proveedores de laptop, para ver a quién le está sirviendo más el programa. Tal vez se descubra que es más útil estimulando el consumo de laptops que mejorando la educación.