Los instrumentos que funcionan para unos podrían no funcionar para todos

Copyright © 2017. Banco Interamericano de Desarrollo. Si deseas republicar el artículo, por favor solicita autorización a [email protected].

Por Florencia López Boo y Marta Dormal.

Hemos aprendido en este blog que en América Latina y el Caribe (ALC) los formuladores de políticas y los investigadores pueden medir de diferentes maneras la calidad de sus servicios de Desarrollo Infantil Temprano (DIT). Sin embargo, también hemos visto que la mayoría de los instrumentos diseñados para el efecto han sido desarrollados en contextos (Estados Unidos en muchos casos) muy diferentes de aquellos con los que estamos familiarizados en la región. Así que ¿qué deberías hacer si quieres medir la calidad del cuidado infantil y administrar uno o más de estos instrumentos en tu país?

¿Estamos midiendo lo que queremos medir?

Esto plantea la cuestión de lo que los expertos llaman “validez del instrumento”. Es un término amplio que abarca varios conceptos, pero que en esencia permite constatar hasta qué punto un determinado instrumento está midiendo lo que pensamos que está midiendo. Muchas de las variables que nos interesa medir en nuestro trabajo son conceptos abstractos tales como la calidez, el respeto y el disfrute que el cuidador comunica a los niños a través de interacciones verbales y no verbales.

Es por ende importante confirmar que el instrumento mida lo que se quiere medir antes de sacar cualquier conclusión de los datos para orientar la formulación de políticas. Nótese que esto es verdad para cualquier tipo de instrumento y no solo para los que miden la calidad de los servicios y que usaremos como ejemplo en este artículo.

¿Por dónde exactamente comenzamos?

En el año 2012 un equipo del BID administró cuatro instrumentos diferentes diseñados en los Estados Unidos para medir la calidad de los servicios de cuidado infantil en una muestra representativa a nivel nacional de 400 centros en Ecuador. Un paso crucial en ese estudio para la validación de los instrumentos fue su adaptación al contexto ecuatoriano. Como era obvio, adaptarlos incluyó traducir el instrumento al español, con una redacción fácilmente comprensible para los encuestados locales y con la cual pudieran relacionarse, así como otros aspectos más sutiles: asegurar que los ítems fueran culturalmente relevantes. Por ejemplo, una de las preguntas que se hacía a los cuidadores de los centros era si tenían una mascota en el aula.  Este ítem tuvo que ser eliminado pues la práctica de tener un animal no era en absoluto relevante para la realidad de las aulas ecuatorianas.

¿Cómo se pueden analizar los datos para validar los instrumentos?

Una vez que se recolectaron los datos, comenzamos por hacernos las siguientes preguntas: ¿funcionan estos instrumentos, según las expectativas, cuando se administran en Ecuador y no en los Estados Unidos? ¿Están midiendo aquello para lo que fueron diseñados? Hay muchas técnicas que los expertos usan para responder a estas preguntas. Entre otras, un ejercicio —que realizamos— llamado “consistencia interna” y que se basa en revisar si los diferentes ítems del mismo instrumento (o sus subescalas) destinados a medir el mismo concepto producen puntuaciones similares.

También probamos, utilizando lo que se denomina “Análisis factorial confirmatorio”, si los datos en Ecuador se adaptaban adecuadamente a la estructura diseñada por los creadores de los instrumentos. Por ejemplo, ¿se ajusta a los datos ecuatorianos un instrumento dividido por sus diseñadores en 7 subescalas diferentes que miden conceptos diferentes? Finalmente, otro ejercicio consistió en observar las correlaciones (es decir la conexión/relación entre dos cosas) entre los instrumentos y otras variables con las que se esperaría que estos instrumentos guarden relación. Por ejemplo, se aspiraría intuitivamente a que los centros que disponen de una mejor infraestructura muestren una correlación más alta con su ubicación en un entorno urbano. ¿Es eso lo que los datos nos informan?

¿Qué se puede aprender de un ejercicio de validación?

En el caso de Ecuador, los resultados (disponibles en inglés pero pronto también en español) demostraron que, en general, estos instrumentos están funcionando como se esperaba y muestran una variabilidad significativa en este contexto. Hubo, no obstante, un par de excepciones que deberían tomarse en consideración: en los cuatro instrumentos dos subescalas que miden el nivel de negatividad expresada en las aulas (por ejemplo si el cuidador muestra irritabilidad, ira o dureza hacia los niños) parecieron no coincidir con la experiencia ecuatoriana. De hecho, esta constatación concuerda perfectamente con lo que el equipo del BID observó durante el trabajo de campo en los centros, donde esa negatividad expresada fue básicamente inexistente.

En este sentido, el análisis de validación realizado fue importante para destacar algunos aspectos de los instrumentos que no son relevantes en el contexto ecuatoriano y, como tales, no deberían ser considerados (o al menos no en su formato actual) en una futura utilización por parte del gobierno o de otras instancias interesadas.

Sin embargo, es importante señalar que estos hallazgos no nos permitieron extraer ninguna conclusión para otros contextos en países de América Latina y el Caribe. Por lo tanto, recomendamos enfáticamente que los países interesados en utilizar estos instrumentos lleven a cabo análisis de validación similares en sus propios contextos y utilicen el estudio sobre Ecuador como una guía para la replicación de este ejercicio.

¿Tienes otras ideas de cómo pueden validarse estos instrumentos en tu país? Cuéntanos en la sección de comentarios o mencionando a @BIDgente en Twitter.

 

Read this article in English HERE.

Florencia López-Boo es economista sénior en protección social en la División de Protección Social y Salud del Banco Interamericano de Desarrollo.

Marta Dormal es consultora en Desarrollo Infantil Temprano en la División de Protección Social y Salud del Banco Interamericano de Desarrollo.