Por Xiomara Alemán, Suzanne Duryea, Nancy Guerra, Patrick McEwan, Rodrigo Muñoz, Marco Stampini y Ariel Williamson
¿Quién podría haber imaginado hace cuatro décadas que un puñado de músicos venezolanos que ensayaban en un garaje sentarían las bases para un proyecto que hasta la fecha ha llegado a millones de niños y adolescentes?
Esto es precisamente lo que ha logrado el Sistema Nacional de Orquestas y Coros Juveniles e Infantiles de Venezuela (El Sistema).
Iniciado en 1975 y administrado por la Fundación Musical Simón Bolívar (Fundamusical), el programa ha recibido galardones nacionales e internacionales que premian sus iniciativas musicales y sociales. Más de 25 países han intentado reproducirlo completa o parcialmente. Algunos de esos esfuerzos han sido apoyados por el BID a través de cooperaciones técnicas.
No obstante su prestigio internacional, El Sistema nunca ha sido objeto de una evaluación de impacto que mida rigurosamente sus beneficios.
Para abordar esa necesidad, el BID y Fundamusical acordaron en 2011 reunir un equipo interdisciplinario compuesto por economistas, ingenieros, sociólogos y psicólogos para diseñar una evaluación de impacto que identificara los efectos causales del programa.
Para empezar, conceptualizaron una “teoría del cambio”, es decir, un modelo que describía la manera en que el programa de música podía contribuir a una cadena de efectos intermedios y, eventualmente, a los resultados esperados en el largo plazo.
En el momento de la evaluación, en toda Venezuela participaban en el programa cerca de 400.000 niños y jóvenes en 370 núcleos (centros académicos) dedicados a enseñar teoría musical y música aplicada.
Las dos grandes contribuciones de esta evaluación son: se trata de la primera evaluación experimental en el mundo de una intervención musical gubernamental llevada a escala, y presenta evidencia experimental sobre los efectos de un programa de educación musical grupal en un país en vías de desarrollo con altas tasas de violencia.
La metodología
Siguiendo un diálogo permanente entre el BID y Fundamusical, y a través de una exhaustiva revisión de la literatura sobre psicología, se definieron cuatro constructos para explicar la manera en que el sistema musical podría ser potencialmente beneficioso para los niños y adolescentes, a saber: aptitudes de autorregulación, aptitudes y conexiones prosociales, conductas, y aptitudes cognitivas.
Dado el exceso de demanda del programa en algunos centros de formación, fue posible llevar a cabo una evaluación de impacto experimental para medir los efectos causales de corto plazo en 16 núcleos en el Distrito Capital y en los departamentos de Aragua, Bolívar, Lara y Miranda.
Todas las familias con niños entre los 6 y los 14 años que postulaban a una plaza fueron divididas aleatoriamente en dos grupos: al grupo de tratamiento se le ofreció admisión en el programa en septiembre de 2012 y al grupo de control se lo ofreció una admisión garantizada en el programa en septiembre de 2013.
Para obtener información directamente relacionada con los cuatro constructos se llevó a cabo la recopilación de datos en dos fases.
La primera tuvo lugar entre octubre de 2012 y febrero de 2013, y la segunda entre septiembre y octubre de 2013.
El análisis se centró en los cambios registrados en los resultados de los niños en relación con los cuatro constructos a lo largo de un año académico.
¿Se constató en la evaluación un impacto del programa de educación musical en los niños y en los jóvenes?
Mediante un exhaustivo estudio bibliográfico se seleccionó un conjunto de instrumentos para estimar los efectos de los cuatro constructos. Este comprendía cuestionarios computarizados y ejercicios realizados por los postulantes al programa y sus padres o tutores. Lo anterior permitió a su vez definir 26 indicadores que capturan las dimensiones de los cuatro constructos.
Los resultados de la evaluación mostraron que, en promedio, los niños en el grupo de tratamiento aumentaron sus puntajes en la escala de autocontrol autorreportada en 1,13%, en comparación con el grupo de control.
Este aumento significa que recibir una oferta de admisión temprana en el programa de educación musical ayudaba los niños a mejorar su capacidad de controlar su atención, su comportamiento y sus emociones.
Adicionalmente, los jóvenes del grupo de tratamiento disminuyeron sus puntajes en la escala de dificultades totales autorreportadas en 2,05%. Esto implica que los jóvenes que recibieron una oferta de admisión a El Sistema exhibieron menos problemas de conducta y mejoraron las relaciones con sus pares.
Finalmente, en la evaluación se encontró que los efectos eran, en promedio, más positivos entre los niños que se encontraban en las situaciones más vulnerables.
Para el subgrupo de niños expuestos a ámbitos de violencia, la oferta de admisión aumentó sus puntajes en la escala de autocontrol en un promedio de 2,42% y redujo sus puntajes en la escala de dificultades en un promedio de 6,03%. De la misma manera, en este subgrupo la oferta de admisión redujo el comportamiento agresivo en un promedio de 6,9%.
El diseño de la evaluación aporta importantes lecciones para el grupo de evaluadores. De un lado señala la importancia de trabajar con un grupo interdisciplinario para diseñar la teoría del cambio que orienta la evaluación de impacto. De otro lado muestra el valor de incorporar el análisis psicométrico para confirmar la precisión y fiabilidad de las medidas de los resultados que se buscan.
Por último, señala el valor de unificar, estandarizar y automatizar los procesos de información a través de los cuales se recopilan los registros y logros de los centros de formación que participan, sobre todo en relación con los procesos de preinscripción de los alumnos.
Los formularios de inscripción de los participantes utilizados en la evaluación de impacto serán empleados en todos los centros de formación en el programa de educación musical, lo cual ayudará a monitorearlo en los próximos años.
Si bien en esta evaluación solo se estimaron los efectos de corto plazo del programa, el sistema parece ser particularmente efectivo en los niños expuestos a situaciones violentas. Múltiples estudios de otras intervenciones que se enfocan en grupos de niños o jóvenes varones en situación de vulnerabilidad no han mostrado ese impacto positivo.
Esta historia forma parte de las evaluaciones de impacto del Panorama de la Efectividad en el Desarrollo, una publicación anual que resalta las lecciones y experiencias de los proyectos y evaluaciones del BID.
Acerca de los autores:
Xiomara Alemán es especialista en protección social del Banco Interamericano de Desarrollo.
Suzanne Duryea es economista investigadora principal en el sector social del Banco Interamericano de Desarrollo.
Marco Stampini es especialista líder en protección social del Banco Interamericano de Desarrollo.
Nancy Guerra es profesora del Departamento de Ciencias Psicológicas y del Cerebro de la Universidad de Delaware.
Patrick McEwan es profesor de economía en Wellesley College.
Rodrigo Muñoz es ingeniero e investigador especializado en métricas sociales y evaluación.
Ariel Williamson es estudiante de posgrado del Departamento de Ciencias Psicológicas y del Cerebro en la Universidad de Delaware.
Leave a Reply