Banco Interamericano de Desarrollo
facebook
twitter
youtube
linkedin
instagram
Abierto al públicoBeyond BordersCaribbean Development TrendsCiudades SosteniblesEnergía para el FuturoEnfoque EducaciónFactor TrabajoGente SaludableGestión fiscalGobernarteIdeas MatterIdeas que CuentanIdeaçãoImpactoIndustrias CreativasLa Maleta AbiertaMoviliblogMás Allá de las FronterasNegocios SosteniblesPrimeros PasosPuntos sobre la iSeguridad CiudadanaSostenibilidadVolvamos a la fuente¿Y si hablamos de igualdad?Inicio
Administración pública Agua y saneamiento Ciencia, tecnología e innovación Comercio e integración regional Conocimeinto Abierto Desarrollo infantil temprano Desarrollo urbano y vivienda Educación Energía Género y diversidad Impacto Industrias Creativas Medio ambiente, cambio climático y Salvaguardias Política y gestión fiscal Salud Sin Miedos Trabajo y pensiones
  • Skip to main content
  • Skip to secondary menu
  • Skip to primary sidebar
  • Skip to footer

Impacto

  • INICIO
  • CATEGORÍAS
    • Cómo medimos nuestro desempeño
    • Discusiones más allá de la efectividad en el desarrollo
    • Métodos y técnicas de evaluación
    • Qué funciona y qué no en desarrollo
  • Autores
  • Español
    • English

4 visiones sobre retos en evaluación

May 14, 2013 por Autor invitado 4 Comentarios


 Por Paloma Acevedo *

Llevar a cabo una evaluación de impacto es un ejercicio complejo cargado de desafíos (si no estás de acuerdo, apuesto a que aún no has participado en una). Algunas publicaciones como ésta sobre experimentos que nunca suceden o ésta sobre metidas de pata en evaluaciones hablan sobre algunos de estos retos. En la sesión de “Aprendiendo de la Experiencia” del Taller de Encuestas y Evaluación de Impacto de Políticas Públicas  dedicamos un espacio a reflexionar sobre este tema y preguntamos a una jefa de proyectos del BID, un gestor del gobierno, un experto en calidad de datos y a un experto de evaluación cuáles han sido los principales retos a los que se han enfrentado en las evaluaciones de impacto y qué lecciones y soluciones aprendieron por el camino.

Los retos comienzan antes de empezar con preguntas de incredulidad (¿para qué sirve esto?); siguen con problemas de coordinación (¿Cómo coordinamos ocho instituciones que literalmente hablan lenguajes distintos? O de persuasión (¿Cómo convencemos a una madre de familia sin un minuto libre que conteste un cuestionario que parece un libro?). Y al final los resultados podrían no tener explicación clara.

Esto es parte de lo que nos contaron:

Julia Johannsen es jefa de proyectos de protección social en la oficina del BID en Bolivia y nos contó que para ella los retos comienzan incluso antes de que empiece la evaluación… “¿Una evaluación tan cara??”, “¿Para qué es útil??” son algunas de las preguntas que preocupan a sus contrapartes en el gobierno. A esto se añaden retos como la poca experiencia y experticia  en evaluación de impacto y la excesiva rotación del personal en el sector público. Para solucionarlos Julia encontró muy útil dedicar recursos de donación al co-financiamiento de evaluaciones de impacto y a la concienciación  y creación de capacidad mediante seminarios y talleres de evaluación para el sector público. Así mismo, incorporar asistencia técnica de parte de expertos externos y ejemplos de otros países ayuda a mejorar la aceptabilidad y calidad de las evaluaciones en el país.

Roland Pardo es Subdirector de Política Social en la Unidad de Análisis de Políticas Sociales y Económicas –UDAPE, del gobierno de Bolivia, donde se gestiona la evaluación de impacto  del programa de transferencias condicionadas Bono Juana Azurduy. Para él, el mayor reto es coordinación: para llevar a cabo la evaluación del bono se tuvo que coordinar a ocho instituciones distintas: tres organismos financiadores (BID, Banco Mundial y recursos de Fondo Canasta conformado por varios cooperantes), dos instituciones gubernamentales ejecutoras (UDAPE y Ministerio de Salud y Deportes) y tres firmas encuestadoras distintas. ¿Podéis imaginar la coordinación que requiere manejar los distintos protocolos de contratación, integrar las demandas de información en un solo cuestionario, y asegurar la calidad de la recogida de datos?. Roland nos contó que la comunicación entre todos los agentes fue la clave para superar las dificultades administrativas y técnicas, así como un gran esfuerzo de supervisión en el campo para asegurar la calidad de la encuesta.

Mario Navarrete, de Sistemas Integrales, lleva más de dos décadas dedicándose a velar por la calidad de los datos de encuestas. En su opinión los principales riesgos que se plantean hoy en las evaluaciones de impacto son: (i) cuestionarios demasiado extensos, incompatibles con el tiempo y los recursos disponibles… (¿os suena?). Ser muy selectivos con los indicadores que se van a incorporar en la encuesta es esencial para asegurar datos de calidad. (ii) el mal uso de buenas tecnologías: sistemas como el CAPI  (Computer Assisted Personal Interview) pueden dar la falsa impresión de facilitar el diseño del cuestionario, sin embargo ¡ojo! el diseño requiere al menos del mismo esfuerzo que usaríamos con un formato de papel, (iii) desequilibrio entre los requerimientos de los comités de ética y las necesidades en el terreno: nunca debemos olvidarnos del consentimiento informado de una encuesta. Sin embargo, es importante presentarlo con un formato amigable y comprensible para evitar el rechazo del cuestionario (¡y la consecuente pérdida de muestra!). Otra  dificultad es la restricción  a la recogida de datos personales (direcciones, teléfonos, etc.). En ocasiones las limitaciones son tan grandes que suponen un reto para el re-contacto de la muestra, por lo que es importante encontrar fórmulas que permitan un equilibrio entre ambos requerimientos.

Jose Ignacio Cuesta es Senior Research Manager en J-PAL y ha trabajado en varios equipos de evaluación. En su opinión, algunos de los retos más importantes se dan en el momento del análisis… después de tanto esfuerzo… ¿¿qué significan estos resultados?? Para solucionarlo las evaluaciones de procesos pueden ser grandes aliadas. Por ejemplo, nos habló de la evaluación del Servicio País en Educación en Chile donde se encontraron efectos muy heterogéneos por regiones. Gracias a la evaluación de procesos encontraron diferencias en implementación que ayudaron a explicar los resultados. Otros problemas comunes son el del incumplimiento y el desgaste de la muestra… ¿cómo evitarlos? Jose Ignacio propone controlar el primero mediante una buena focalización del programa y una asignación al nivel adecuado. El segundo puede reducirse mejorando los datos de contacto y fortaleciendo los mecanismos de incentivos y monitoreo de los encuestadores para asegurarse de que no escatiman esfuerzos de búsqueda. Estas inversiones durante los procesos de diseño e implementación de la evaluación ¡se agradecerán después durante el análisis!

Seguro que muchos de vosotros os habéis encontrado desafíos parecidos y tenéis lecciones y soluciones que proponer… ¿Cuáles son?

* Paloma Acevedo es economista en la Oficina de Planificación Estratégica y Efectividad en el Desarrollo del BID


Archivado Bajo:Discusiones más allá de la efectividad en el desarrollo Etiquetado con:Bolivia, CAPI, Chile, encuesta, evaluacion de impacto, J-PAL

Autor invitado

Reader Interactions

Comments

  1. Ulises Yuma Ibarra Dice

    May 15, 2013 at 2:21 pm

    Actualmente estoy llevando un curso del BID-INDES sobre mejoras en la implementación de los programas públicos y estoy aprendiendo la evaluación de procesos, trabajo para la Secretaría de Agricultura en México y me he llevado una muy grata experiencia con los cursos que ofrece el BID.

    Ahora que leo este blog me preguntaba si el BID maneja alguna guía de evaluación de impacto de los programas.

    Saludos y gracias por compartir estas experiencias.

    Reply
  2. mario figueroa Dice

    August 2, 2013 at 4:54 pm

    me gustaria que me pasen algunas ideas de como poder evaluar el programa Bono Juana Azurduy de padilla porque quiero realizar una evaluacion de este programa en un municipio de Oruro.
    Espero sugerencias desde ya gracias

    Reply
    • Avatar photoFrancisco Mejía Dice

      August 7, 2013 at 3:55 pm

      Gracias por el comentario. Un excelente punto de partida lo puede encontrar en este link
      http://web.worldbank.org/WBSITE/EXTERNAL/EXTDEC/EXTDEVIMPEVAINI/0,,contentMDK:22712137~pagePK:64168445~piPK:64168309~theSitePK:3998212,00.html

      Reply

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

Primary Sidebar

SIGUENOS

Subscribe

Buscar

Acerca del blog

Este blog resalta ideas efectivas en la lucha contra la pobreza y la exclusión, y analiza el impacto de los proyectos de desarrollo en América Latina y el Caribe.

Categorías

Footer

Banco Interamericano de Desarrollo
facebook
twitter
youtube
youtube
youtube

    Blogs escritos por empleados del BID:

    Copyright © Banco Interamericano de Desarrollo ("BID"). Este trabajo está disponible bajo los términos de una licencia Creative Commons IGO 3.0 Reconocimiento-No comercial-Sin Obras Derivadas. (CC-IGO 3.0 BY-NC-ND) y pueden reproducirse con la debida atribución al BID y para cualquier uso no comercial. No se permite ningún trabajo derivado. Cualquier disputa relacionada con el uso de las obras del BID que no se pueda resolver de manera amistosa se someterá a arbitraje de conformidad con el reglamento de la CNUDMI. El uso del nombre del BID para cualquier otro propósito que no sea la atribución, y el uso del logotipo del BID estarán sujetos a un acuerdo de licencia escrito por separado entre el BID y el usuario y no está autorizado como parte de esta licencia CC-IGO. Tenga en cuenta que el enlace proporcionado anteriormente incluye términos y condiciones adicionales de la licencia.


    Blogs escritos por autores externos:

    Para preguntas relacionadas con los derechos de autor para autores que no son empleados del BID, por favor complete el formulario de contacto de este blog.

    Las opiniones expresadas en este blog son las de los autores y no necesariamente reflejan las opiniones del BID, su Directorio Ejecutivo o los países que representan.

    Atribución: además de otorgar la atribución al respectivo autor y propietario de los derechos de autor, según proceda, le agradeceríamos que incluyera un enlace que remita al sitio web de los blogs del BID.



    Política de privacidad

    Derechos de autor © 2025 · Magazine Pro en Genesis Framework · WordPress · Log in

    Banco Interamericano de Desarrollo

    Aviso Legal

    Las opiniones expresadas en estos blogs son las de los autores y no necesariamente reflejan las opiniones del Banco Interamericano de Desarrollo, sus directivas, la Asamblea de Gobernadores o sus países miembros.

    facebook
    twitter
    youtube
    En este sitio web se utilizan cookies para optimizar la funcionalidad y brindar la mejor experiencia posible. Si continúa visitando otras páginas, se instalarán cookies en su navegador.
    Para obtener más información al respecto, haga clic aquí.
    X
    Manage consent

    Privacy Overview

    This website uses cookies to improve your experience while you navigate through the website. Out of these, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may affect your browsing experience.
    Necessary
    Always Enabled
    Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.
    Non-necessary
    Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.
    SAVE & ACCEPT