La tecnología tiene el potencial de impulsar el aprendizaje de los estudiantes. Según un meta-análisis realizado por Elena Arias Ortiz y Julián Cristia (2014), los programas que tienen una intencionalidad pedagógica claramente definida y se apoyan en la supervisión docente guiada, han obtenido impactos positivos y significativos en el aprendizaje. A la hora de diseñar e implementar programas de innovación y transformación digital educativa en diferentes realidades, surge el desafío de comprender en qué contextos y con qué insumos es posible crear un ambiente favorable para aprender. Por lo tanto, es importante indagar en qué condiciones puede la tecnología mejorar el aprendizaje: ¿cómo podemos saber si los programas que incorporan tecnología en las escuelas están siendo exitosos?, y ¿cuáles son las mejores prácticas para monitorear y evaluar los programas de tecnología educativa?
En esta entrada de blog respondemos a estas preguntas a partir de las lecciones aprendidas de un programa implementado en Brasil. Estos hallazgos fueron compartidos en el evento final de monitoreo y evaluación dónde el Banco Interamericano de Desarrollo (BID) presentó mejores prácticas internacionales en intervenciones de tecnología en escuelas de América Latina y el Caribe.
En el 2017, el Ministerio de Educación de Brasil lanzó el Programa de Innovación en Educación Conectada con el objetivo de transformar la realidad de las escuelas públicas brasileñas a través de la innovación y la tecnología enfocada a los diversos contextos del país. Con el propósito de evaluar el programa, se realizó un piloto en las cinco regiones de Brasil, abarcando 17 sistemas educativos subnacionales (6 estados y 11 municipios) que alcanzaron 396 escuelas con más de 12 mil profesores y 162 mil alumnos. Con el objetivo de entender los desafíos y buenas prácticas, así como generar conocimiento para orientar la implementación de programas de tecnología en educación en otros contextos, el Observatorio de Tecnología en la Escuela (OTec) de la Fundación Getúlio Vargas (FGV) realizó el monitoreo y evaluación de la Iniciativa Educación Conectada (IEC-BNDES) entre 2019 y 2023.
De la implementación a la evaluación: ¿cómo medir el éxito de un programa de transformación digital educativa?
De ese ejercicio de monitoreo y evaluación surgieron 5 acciones clave que pueden ser útiles para los programas de transformación digital educativa de América Latina y el Caribe:
1. Alinear objetivos a través de una sólida teoría del cambio: Basándose en el marco conceptual de las escuelas conectadas, el IEC-BNDES desarrollaron la “Teoría del Cambio” de la iniciativa, a fin de maximizar el impacto de la tecnología en el aprendizaje con acciones e inversiones simultáneas en cuatro dimensiones: visión, capacitación, recursos educativos digitales e infraestructura. Esta alineación fue muy importante ya que aseguró que todos los actores involucrados estuvieran alineados en cuanto a los resultados esperados y garantizó que la iniciativa mantuviera el mismo objetivo a lo largo de los 4 años que duró la implementación (¡incluso con una pandemia en el camino!).
Teoría del Cambio del IEC-BNDES
La teoría del cambio comprende los insumos necesarios para llevar a cabo las actividades específicas según el modelo Cuatro en Equilibrio, los productos que deben ser generados y los efectos esperados a corto, mediano y largo plazo. Los insumos, actividades y productos son acciones de responsabilidad de los socios implementadores, mientras que los efectos a corto, mediano y largo plazo hacen referencia a los beneficiarios que reciben el programa. Es decir, para que se obtengan los efectos a mediano y largo plazo, es necesario un cambio en el comportamiento de los profesores, directores y estudiantes.
2. Estructurar el monitoreo a través de indicadores: El monitoreo de la iniciativa se realizó a través de indicadores basados en la teoría del cambio, divididos en:
(i) Indicadores de proceso: presentan la evolución de las acciones ejecutadas en relación a lo previsto por el IEC-BNDES; por ejemplo: “Selección y contratación de recursos educativos digitales”.
ii) Indicadores de eficacia: miden la prestación de productos y servicios, de acuerdo con los procesos y objetivos definidos; por ejemplo: “Porcentaje de alumnos registrados en los recursos educativos digitales.”
iii) Indicadores de efectividad: verifican el logro de los efectos esperados; por ejemplo: “Tiempo y frecuencia de utilización de los recursos educativos digitales”.
Esto permitió ajustar las líneas de acción durante la ejecución y proporcionar información actualizada a los responsables de la toma de decisiones sobre la marcha del proyecto en los distintos territorios. Además, el uso de indicadores con datos públicos contribuyó a una medición más accesible y escalable de los resultados, dando insumos para prototipar esta política pública, generando aprendizajes replicables para el resto del país.
El panel de procesos presenta el estado de conclusión de las actividades de la teoria del cambio.
La intención con estos tableros estratégicos es que los investigadores, gestores y socios del proyecto puedan realizar análisis precisos y en corto tiempo que respalden la toma de decisiones, utilizando los datos generados por la OTec. No obstante, es importante destacar la importancia de análisis ágiles a partir de tableros de control simples, que proporcionen una base sólida para la toma de decisiones. Herramientas accesibles como Excel u otras similares también pueden ser adecuadas para monitorear los datos y las fases del proyecto.
iii. Crear un grupo de trabajo de monitoreo y evaluación (M&E) y un comité académico: Para que los resultados del monitoreo pudieran ser discutidos con los actores involucrados, se creó el Grupo de Trabajo de Monitoreo y Evaluación, compuesto por socios financiadores y organizaciones implementadoras, además del equipo de la OTec. A través de reuniones mensuales, la OTec compartió tableros interactivos que permitieron monitorear la ejecución de las acciones y los resultados alcanzados, identificando los principales desafíos y las buenas prácticas a ser replicadas en otros territorios. Además de los grupos de trabajo de M&E, la OTec contó con un comité académico que desempeñó un papel de asesoría, contribuyendo a mejorar la producción de conocimiento. El comité debatió temas estructurales y metodológicos del proyecto, la revisión de los indicadores de seguimiento y el seguimiento de actividades.
También te puede interesar: “Nos cambió la forma de ver el mundo: el impacto de la transformación digital en educación
iv. Publicar los resultados periódicamente: Dado que el monitoreo y evaluación debe generar aprendizajes escalables, las acciones de la OTec promovieron la divulgación de los resultados y la articulación de actores de la academia, centros de investigación, instituciones sin fines de lucro y sector público para que las buenas prácticas efectivamente pudieran ser replicadas. Para ello, se produjeron informes de aprendizaje, se organizaron eventos de intercambio y se creó un sitio web con noticias sobre la iniciativa, incluyendo una amplia biblioteca de referencias sobre el tema, un boletín con entrevistas a actores relevantes en el campo, y un tablero de mando con microdatos sobre la implementación de la iniciativa. Además de estos productos, se creó la Red OTec, que incluye a más de 35 instituciones de investigación sobre tecnología en la educación. La Red OTec participó activamente en el seguimiento y la evaluación del proyecto mediante reuniones periódicas.
v. Evaluar el impacto: Aún en curso, el impacto causal del IEC-BNDES se estimará comparando las escuelas apoyadas por el proyecto con un grupo de escuelas similares que no recibieron apoyo, a partir de una selección aleatoria de escuelas que se estableció por medio de la lotería federal. El objetivo de la evaluación de impacto es verificar que los resultados del modelo del IEC-BNDES se traduzcan en una mejora de los resultados de los estudiantes de las escuelas participantes, medida mediante la aplicación de pruebas a los alumnos de segundo grado. La evaluación de impacto completa la estrategia de monitoreo y evaluación, permitiendo que el aprendizaje generado a lo largo de la iniciativa informe el resultado final del impacto en el aprendizaje de los estudiantes. Además, este esfuerzo contribuye a la producción de conocimiento en materia de transformación digital educativa y la posible replicabilidad de la Iniciativa Educación Conectada.
La experiencia del OTec puede convertirse en un marco sistémico para avanzar en el monitoreo y evaluación en proyectos de implementación de tecnología en la educación, replicable en otros países de América Latina y el Caribe. A través de estos sistemas, los países pueden generar aprendizajes y aprovechar las lecciones aprendidas, adaptarlas a sus necesidades e impulsar la adopción de tecnología con foco en la mejora de los aprendizajes.
¿Qué importancia tiene la medición y evaluación para avanzar hacia la transformación digital educativa? ¡Déjanos tu comentario!
Mi nombre es Hilda Alicia Carvajal de Honduras, actualmente curso una Ingeniería en Sistemas y de acuerdo la tecnología nos abre nuevos saberes y competencias ,como parte del proceso de alfabetización digital en mi centro educativo Álvaro Contreras de Santa Teresa San Francisco del Valle , Ocotepeque este año 2023,.Puedo decir que vivimos en un mundo rodeado de tecnología y los educadores del siglo xxI deben ser parte de éste proceso ,llevar a las aulas de clases herramientas nuevas para hacer los temas más creativos de una manera dinámica ,creo en la tecnología y la brecha es grande en muchos campos si ,todos aprendemos de todos y juntos podemos hacer historia .Saludos