Copyright © 2017. Banco Interamericano de Desarrollo. Si deseas republicar el artículo, por favor solicita autorización a sph-communication@iadb.org.

Por Florencia López Boo y Marta Dormal.

Hemos aprendido en este blog que en América Latina y el Caribe (ALC) los formuladores de políticas y los investigadores pueden medir de diferentes maneras la calidad de sus servicios de Desarrollo Infantil Temprano (DIT). Sin embargo, también hemos visto que la mayoría de los instrumentos diseñados para el efecto han sido desarrollados en contextos (Estados Unidos en muchos casos) muy diferentes de aquellos con los que estamos familiarizados en la región. Así que ¿qué deberías hacer si quieres medir la calidad del cuidado infantil y administrar uno o más de estos instrumentos en tu país?

¿Estamos midiendo lo que queremos medir?

Esto plantea la cuestión de lo que los expertos llaman “validez del instrumento”. Es un término amplio que abarca varios conceptos, pero que en esencia permite constatar hasta qué punto un determinado instrumento está midiendo lo que pensamos que está midiendo. Muchas de las variables que nos interesa medir en nuestro trabajo son conceptos abstractos tales como la calidez, el respeto y el disfrute que el cuidador comunica a los niños a través de interacciones verbales y no verbales.

Es por ende importante confirmar que el instrumento mida lo que se quiere medir antes de sacar cualquier conclusión de los datos para orientar la formulación de políticas. Nótese que esto es verdad para cualquier tipo de instrumento y no solo para los que miden la calidad de los servicios y que usaremos como ejemplo en este artículo.

¿Por dónde exactamente comenzamos?

En el año 2012 un equipo del BID administró cuatro instrumentos diferentes diseñados en los Estados Unidos para medir la calidad de los servicios de cuidado infantil en una muestra representativa a nivel nacional de 400 centros en Ecuador. Un paso crucial en ese estudio para la validación de los instrumentos fue su adaptación al contexto ecuatoriano. Como era obvio, adaptarlos incluyó traducir el instrumento al español, con una redacción fácilmente comprensible para los encuestados locales y con la cual pudieran relacionarse, así como otros aspectos más sutiles: asegurar que los ítems fueran culturalmente relevantes. Por ejemplo, una de las preguntas que se hacía a los cuidadores de los centros era si tenían una mascota en el aula.  Este ítem tuvo que ser eliminado pues la práctica de tener un animal no era en absoluto relevante para la realidad de las aulas ecuatorianas.

¿Cómo se pueden analizar los datos para validar los instrumentos?

Una vez que se recolectaron los datos, comenzamos por hacernos las siguientes preguntas: ¿funcionan estos instrumentos, según las expectativas, cuando se administran en Ecuador y no en los Estados Unidos? ¿Están midiendo aquello para lo que fueron diseñados? Hay muchas técnicas que los expertos usan para responder a estas preguntas. Entre otras, un ejercicio —que realizamos— llamado “consistencia interna” y que se basa en revisar si los diferentes ítems del mismo instrumento (o sus subescalas) destinados a medir el mismo concepto producen puntuaciones similares.

También probamos, utilizando lo que se denomina “Análisis factorial confirmatorio”, si los datos en Ecuador se adaptaban adecuadamente a la estructura diseñada por los creadores de los instrumentos. Por ejemplo, ¿se ajusta a los datos ecuatorianos un instrumento dividido por sus diseñadores en 7 subescalas diferentes que miden conceptos diferentes? Finalmente, otro ejercicio consistió en observar las correlaciones (es decir la conexión/relación entre dos cosas) entre los instrumentos y otras variables con las que se esperaría que estos instrumentos guarden relación. Por ejemplo, se aspiraría intuitivamente a que los centros que disponen de una mejor infraestructura muestren una correlación más alta con su ubicación en un entorno urbano. ¿Es eso lo que los datos nos informan?

¿Qué se puede aprender de un ejercicio de validación?

En el caso de Ecuador, los resultados (disponibles en inglés pero pronto también en español) demostraron que, en general, estos instrumentos están funcionando como se esperaba y muestran una variabilidad significativa en este contexto. Hubo, no obstante, un par de excepciones que deberían tomarse en consideración: en los cuatro instrumentos dos subescalas que miden el nivel de negatividad expresada en las aulas (por ejemplo si el cuidador muestra irritabilidad, ira o dureza hacia los niños) parecieron no coincidir con la experiencia ecuatoriana. De hecho, esta constatación concuerda perfectamente con lo que el equipo del BID observó durante el trabajo de campo en los centros, donde esa negatividad expresada fue básicamente inexistente.

En este sentido, el análisis de validación realizado fue importante para destacar algunos aspectos de los instrumentos que no son relevantes en el contexto ecuatoriano y, como tales, no deberían ser considerados (o al menos no en su formato actual) en una futura utilización por parte del gobierno o de otras instancias interesadas.

Sin embargo, es importante señalar que estos hallazgos no nos permitieron extraer ninguna conclusión para otros contextos en países de América Latina y el Caribe. Por lo tanto, recomendamos enfáticamente que los países interesados en utilizar estos instrumentos lleven a cabo análisis de validación similares en sus propios contextos y utilicen el estudio sobre Ecuador como una guía para la replicación de este ejercicio.

¿Tienes otras ideas de cómo pueden validarse estos instrumentos en tu país? Cuéntanos en la sección de comentarios o mencionando a @BIDgente en Twitter.

 

Read this article in English HERE.

Florencia López-Boo es economista sénior en protección social en la División de Protección Social y Salud del Banco Interamericano de Desarrollo.

Marta Dormal es consultora en Desarrollo Infantil Temprano en la División de Protección Social y Salud del Banco Interamericano de Desarrollo.

Recommended Posts
Showing 6 comments
  • Porhua
    Responder

    Efectivamente, los instrumentos de ejecución y evaluación de cualquier actividad son referenciales o pautas para todas las actividades, ocurren exactamente en una actividad empresarial, por más que sean del mismo rubro o giro, los procesos y los resultados no son iguales, por tanto son diferentes en calidad. Por ello, se realizan cada proceso por área o sección especializada para cada acción o proceso. Es decir cada hogar, incluido los niños son diferentes, porque son son diferentes hogares y cada hogar es diferente por más que sean vecinos.

  • GILBERTO SANTOS ZAPATA PECHO
    Responder

    es cierto es necesario que todo instrumento que nos permite recoger informacion debe tener la solidez adecuada, de tal forma que no pierde su interacion con el problema a investigarse.

  • Fabiola Garcerá Arango
    Responder

    Cordial saludo, Sería valioso para hacer el ejercicio de validación en otros países de latinoamérica conocer los resultados del estudio en español.

    Importante sean publicados en el Blog una vez se encuentren disponibles.

    Fabiola Garcerá Arango – Coordinadora Nacional de Educación Inicial – Fe y Alegría Colombia

  • Ricardo Socompi
    Responder

    Muchas veces se emplean instrumentos de medición que no son de la región, por lo cual los resultados hallados son variables. Sería importante que las políticas públicas a favor del DIPI impulsen la baremación o estandarización de instrumentos aptos para cada región.

    • Marta Dormal
      Responder

      Mil gracias a todos por sus comentarios! Efectivamente vamos a traducir el estudio al español para que los resultados sean accesibles a una audiencia más amplia. También estamos haciendo estudios similares en la región con instrumentos para medición de calidad de programas de visitas domiciliarias. Pronto compartiremos los resultados de esos estudios también. Gracias nuevamente por seguir nuestro trabajo.

pingbacks / trackbacks
  • […] La calidad engloba cuestiones estructurales y de procesos. Define lo que se pretende alcanzar a través de la interacción de los niños entre sí, con los adultos y el medio que los rodean; las condiciones ambientales de los espacios donde se produce esta interacción y las necesidades de infraestructura, equipamiento y  oferta nutricional. Se refiere también a la formación y condiciones laborales de los trabajadores para la primera infancia, así como a la relación con las familias y la comunidad. Finalmente, cuando hablamos de calidad en desarrollo infantil, hablamos del modelo pedagógico y la articulación con otras políticas sociales, de manera que se establezcan mecanismos efectivos de medición y monitoreo considerando las realidades locales. […]

Dejar un comentario

Start typing and press Enter to search