Medir la calidad no es fácil, pero es indispensable

Copyright © 2016. Banco Interamericano de Desarrollo. Si deseas republicar el artículo, por favor solicita autorización a [email protected].

Por Romina Tomé.

Sabemos que medir la calidad de un servicio no es sencillo. Pero también sabemos que hay un gran interés por aprender a hacerlo por lo que queremos continuar estimulándolo. Hace un tiempo tuvimos un interesante intercambio en el seminario virtual sobre la guía de herramientas ¿Cómo se mide la calidad de los servicios de cuidado infantil? Este es el primero de dos artículos en donde contestamos las preguntas y comentarios más destacados entre los asistentes.

Más no siempre es mejor

En los últimos años, los gobiernos de la región han incrementado su inversión en el desarrollo infantil temprano, enfocándose principalmente en expandir la cobertura de los servicios orientados a los niños de los hogares más pobres. Una pregunta recurrente es: ¿un mayor número de centros de cuidado es suficiente para que los niños logren un desarrollo saludable?

Podríamos pensar que sí lo es para los niños de familias más vulnerables pues en la casa sus padres o cuidadores no pueden cuidarlos y su alternativa al centro va desde quedar al cuidado de otro niño, a pasar tiempo en el trabajo de alguno de los padres. Sin embargo, diferentes estudios muestran que los servicios de cuidado de baja calidad pueden generar efectos negativos en el desarrollo infantil. Es fundamental ofrecer servicios de calidad pues sólo los centros de alta calidad logran impactos que permiten aliviar los efectos de las privaciones tempranas a los que estos niños están expuestos.

Decidimos medir la calidad y ¿ahora qué hacemos?

Como hablamos algunas semanas atrás, la medición de la calidad de los servicios de cuidado infantil se divide en tres pasos: antes, durante y después del operativo de medición. El primer grupo de decisiones incluye definir el objetivo de la medición: ¿Es una evaluación de monitoreo del estado de los niños, del país o de un programa? ¿Queremos medir el impacto de un servicio sobre determinados indicadores? ¿Es un seguimiento frecuente de la calidad del servicio para su mejora? Según este objetivo se selecciona quién, qué y cómo se quiere medir. Así, por ejemplo, si el interés recae sobre cómo los padres perciben el servicio, una encuesta a un grupo aleatorio de ellos permitiría recolectar la información buscada.

El objetivo de la medición es también una variable clave en la decisión de la frecuencia adecuada con la que se debería repetir la evaluación. Otros elementos que determinarán la frecuencia de la evaluación son los costos y el tiempo necesario para realizar la medición, analizar los datos, introducir modificaciones y permitir que los indicadores deseados tengan resultados. De este modo, el tiempo entre una medición y otra debe definirse de acuerdo a cada programa, a la flexibilidad del mismo para introducir cambios y a los indicadores que se busca modificar.

Por ejemplo, el programa Head Start de EEUU mide la calidad con instrumentos más complejos cada 2 o 3 años. Estos instrumentos se usan menos frecuentemente, pero  capturan aspectos indispensables de la calidad de procesos.

Otra decisión fundamental antes de iniciar el operativo de medición es el modo en que se recolectará la información: observación, reporte o ambos. Los dos procedimientos tienen ventajas y limitaciones. La evidencia empírica muestra que la medición por observación de la calidad del servicio predice resultados en un grado significativamente mayor del que lo hacen las listas de verificación o entrevistas. Sin embargo, recolectar información por medio de observación es más complejo y demanda más tiempo, capacitación y recursos que el reporte para asegurar la objetividad y confiabilidad de los observadores.

La evaluación puede enriquecerse con mayor información y precisión al combinar los dos mecanismos y contar con diferentes formas de medición sobre una misma dimensión. Si esta es la opción elegida es bueno tener en cuenta la logística del operativo de campo para evitar afectar la rutina diaria el centro y los resultados por la presencia de muchas personas externas en el centro. En el Capítulo 3 de la guía de herramientas pueden encontrar en mayor detalle las ventajas y limitaciones de los procedimientos de recolección de la información.

¿Cómo implementamos la medición?

Una vez elegido el método de recolección de datos, tenemos que seleccionar el personal encargado de esto. ¿Conviene trabajar con alguien externo al centro o con personal del mismo? Si bien utilizar personal del centro puede ser tentador pues confiamos en ellos, conocemos su capacidad y evitamos que varias “caras nuevas” interrumpan la rutina del centro, tenemos que ser cuidadosos pues su observación o evaluación podría ser sesgada, tendiendo a minimizar las características negativas del centro.

Una vez elegido el grupo de aplicadores, la tarea consiste en capacitarlos para lograr confiabilidad en sus observaciones. En otras palabras, los resultados obtenidos por diferentes observadores al aplicar un instrumento sobre un mismo estudio deben ser suficientemente parecidos de modo de reducir
 el potencial de sesgo derivado de una valoración personal subjetiva.

¿Cómo se prueba si hay confiabilidad entre observadores?

Se necesita contar con una persona entrenada y eficiente en la aplicación del instrumento cuya observación se tome como la “regla de oro”. Esta persona y los aplicadores valoran la misma situación de modo presencial o en un video. Luego se comparan las respuestas de los observadores con el de la persona considerada como “regla de oro” para asegurar el nivel de acuerdo buscado. La alta confiabilidad entre observadores se debe alcanzar antes de salir al campo y es necesario mantenerla durante la recolección de la información con una comparación, calibración o recertificación periódica.

¿Miden la calidad del servicio en los centros de cuidado de tu ciudad? ¿Cómo lo hacen? Cuéntanos en la sección de comentarios abajo o mencionando a @BIDgente en Twitter.

 

Lee aquí la segunda parte de la serie ¿Cómo se mide la calidad? sobre Los instrumentos disponibles para medir la calidad de los servicios de cuidado.

 

Romina Tomé es estudiante del doctorado de politicas públicas en la Universidad de Duke, y coautora del libro ¿Cómo se mide la calidad de los servicios de cuidado infantil?