¿Las evaluaciones del gasto público juegan algún rol en la toma de decisiones en los sistemas de presupuesto por resultados de América Latina y el Caribe?

Los primeros esfuerzos por implementar la presupuestación por resultados en América Latina y el Caribe (ALC) comenzaron hace ya más de dos décadas, y desde entonces se ha invertido muchos recursos en este propósito. Sin embargo, es común escuchar que los resultados de estas iniciativas han sido decepcionantes ya que la información sobre el desempeño de los programas gubernamentales rara vez se usa o llega a incidir sobre la toma de decisiones presupuestarias.

Este escepticismo se encuentra bastante extendido. Sin embargo, salvo por unos pocos estudios de caso enfocados en experiencias de países específicos[i], el grado de uso e influencia de esta información en los sistemas de presupuesto por resultados (PpR) de la región ha sido muy poco estudiado empíricamente. En consecuencia, resulta muy difícil evaluar su nivel de éxito con suficiente fundamento y rigurosidad. Al mismo tiempo, esta laguna de conocimiento limita la posibilidad de extraer lecciones de las experiencias de los distintos países que ayuden a orientar los intentos por aumentar la efectividad de estos sistemas.

En este sentido, la realización de la Encuesta sobre PpR en ALC 2023 (Pimenta y otros, 2023) representa un hito muy significativo dado que, si bien no profundizó en este tema en particular, fue el primer estudio en recabar información empírica sobre el uso y la influencia de los hallazgos del monitoreo y la evaluación (M&E) durante el proceso presupuestario a escala regional. Sumado a eso, sus resultados ofrecen varias claves para comenzar a identificar los factores que podrían estar interfiriendo o contribuyendo a que eso suceda.

El uso de la información sobre desempeño durante la elaboración del presupuesto

Entre los 18 países de ALC para los que contamos con datos[ii], 15 (83%) declararon tener un marco de presupuestación por resultados, y todos ellos reportaron valerse de distintos mecanismos de M&E para realizar el seguimiento y evaluar el desempeño de sus programas gubernamentales. Catorce (93%) de los 15 países declararon utilizar indicadores de desempeño, 12 (80%) indicaron que realizan evaluaciones ex ante, y todos reportaron emplear evaluaciones ex post. Todo lo cual sugiere un nivel de avance bastante apreciable en la implementación del PpR en la región. Sin embargo, cuando se les preguntó si la información que surge de sus sistemas de M&E se utiliza para la elaboración del presupuesto, solamente nueve (60%) de los 15 países respondieron afirmativamente.  

Como la encuesta no entró en mayores detalles acerca de la frecuencia con la que diferentes tipos de información sobre desempeño se están utilizando, no es posible saber qué nivel de intensidad de uso habrá tomado como umbral cada oficina central de presupuesto (OCP) al responder a la pregunta de manera positiva o negativa. Dada esta situación, a los efectos de este análisis, se asume que aún si en los países que respondieron no estar utilizando la información la misma estuviera siendo usada en alguna medida[iii], ese grado de uso habría sido significativamente menor que en los países que respondieron a la pregunta de manera positiva.

Influencia de las evaluaciones de desempeño en la toma de decisiones

La encuesta también indagó acerca de la medida en que las evaluaciones de desempeño influyen en la toma de decisiones presupuestarias por parte de las OCPs, de los ministerios de línea o agencias competentes, y a nivel de programas. En este sentido, sólo dos (22%) de los nueve países que reportaron usar la información indicaron un nivel de influencia alto en uno o más de esos tres ámbitos de decisión presupuestaria sobre los que fueron consultados; cuatro (44%) declararon cuanto mucho un nivel de influencia medio, y los tres restantes (33%) sólo señalaron un nivel de influencia bajo[iv] (ver Gráfico 1).

Gráfico 1: Cantidad de países de ALC con marcos de PpR según máximo nivel de influencia de los resultados del M&E sobre las decisiones presupuestarias reportado

Los niveles de influencia altos fueron reportados como parte de la toma de decisiones a nivel de programas (en dos países) y de la OCP (en un país), mientras que los niveles de influencia medios se registraron tanto durante la elaboración del presupuesto por parte de las OCPs (en cinco países) y de los ministerios o agencias (en tres países) como a nivel de programas (en tres países, también). Por otro lado, el ámbito de decisión presupuestaria en el que se reportó un nivel de influencia bajo en un mayor número de países fue el de los ministerios o agencias (en cinco de los nueve países en los que se reportó que la información se está utilizando).

La baja proporción de países que reportaron niveles de influencia altos se observa también entre los sistemas de PpR de los países extra-regionales de la OCDE[v], y no sorprende.  La literatura sobre el uso de la evaluación identifica varios factores que tienden a diluir el impacto de las evaluaciones sobre la toma de decisiones. Por ejemplo, Weiss (1990) señala que, dado que las evaluaciones sólo cubren una limitada gama de aspectos de las políticas y los programas en los que se centran, su perspectiva es necesariamente parcial y, por lo tanto, rara vez funcionan como único fundamento de las decisiones.

Por su parte, Weiss y Bucuvalas (1980) sostienen que, dada la diversidad de puntos de vista y de intereses que suelen estar en juego, es común que los tomadores de decisiones se muestren dispuestos a sacrificar ‘la mejor solución’ identificada en base a la evidencia empírica en pos de acortar diferencias y alcanzar consensos. Por último, en un sentido más amplio, es importante tener presente también que, como argumentaron Wildavsky (1984) y Schick (1971) hace ya varias décadas, la toma de decisiones presupuestarias es un proceso intrínsecamente político y, por lo tanto, es de esperar que la contribución de las técnicas analíticas y la información sobre desempeño a la mejora de la calidad de la asignación de los recursos públicos tienda a suceder sólo en el margen.

En consecuencia, que seis de los nueve países de la región que declararon usar los resultados del M&E durante la elaboración del presupuesto hayan reportado niveles de influencia medios o altos es de por sí un hallazgo importante. Sin embargo, considerando que este número representa incluso menos de la mitad de los sistemas analizados, queda claro que aún hay mucho camino por recorrer. En línea con ello, resulta inevitable preguntarse qué podría estar llevando a que mientras que en algunos de los sistemas de PpR de la región se está reportando el uso y, en varios casos también, niveles de influencia medios o altos de la información sobre desempeño durante la elaboración del presupuesto, en tantos otros ocurra lo opuesto.

Restricciones que limitan el uso de las evaluaciones de gasto público en la elaboración del presupuesto

El cuestionario de la encuesta presentó a las OCPs relevadas una variedad de factores que podrían estar limitando el uso de las evaluaciones para la elaboración del presupuesto y les solicitó que, para cada uno de ellos, indicaran en qué medida representaba un obstáculo en ese sentido.

De acuerdo con sus respuestas, las limitantes que estarían interfiriendo en mayor medida en los países que declararon no estar utilizando la información son: la falta de un mecanismo formal para inducir el uso de la información (todas las oficinas de presupuesto en las que no se registró uso de la información le atribuyeron a este factor un efecto alto); el insuficiente interés político y burocrático en que la información se use para este fin; la falta de experiencia técnica especializada; y la pobre calidad de los datos sobre desempeño y de los reportes de evaluación (ver Gráfico 2).

Gráfico 2: Cantidad de países con marcos de PpR que reportaron no usar las evaluaciones en la elaboración del presupuesto según medida en que distintas restricciones limitan dicho uso

Seis aspectos institucionales y normativos asociados con el uso y la influencia de la información sobre desempeño

La encuesta también encontró una asociación entre el uso y los mayores niveles de influencia de la información sobre desempeño y las siguientes características de los marcos institucionales y normativos de los sistemas de PpR analizados:

1. Mecanismos institucionalizados para la consideración de los resultados del M&E: Todos los países que declararon hacer uso de los resultados del M&E durante la formulación del presupuesto reportaron contar con mecanismos o procedimientos institucionalizados para que dicha información sea tomada en cuenta. Ejemplos de estos mecanismos o procedimientos son las recomendaciones que el Departamento de Evaluación, Transparencia y Productividad Fiscal le hace a la Subdirección de Presupuesto del Ministerio de Hacienda de Chile respecto de los recursos a asignar a cada programa; los Comités de Apoyo Técnico Sectoriales en Colombia; y las Mesas de Desempeño en Perú. A su vez, ocho de los nueve países que declararon contar con mecanismos o procedimientos institucionales de este tipo reportaron hacer uso de esta información, mientras que entre los que no los tienen ninguno declaró estar utilizando la información.

• Apoyo para la aplicación de la presupuestación por resultados: Entre las modalidades de apoyo a la aplicación de la presupuestación por resultados que la encuesta presentó como opciones, la que emergió como más directamente asociada con el uso y la influencia de la información sobre desempeño es la existencia de una unidad especializada dedicada a brindar apoyo con este fin. Siete de los nueve países que cuentan con unidades de este tipo reportaron usar la información, y cinco de esos siete reportaron niveles de influencia medios o altos. Por el otro lado, entre los sistemas de PpR que reportaron utilizar otras modalidades de apoyo (tales como la asistencia de consultores externos, la disponibilidad de directrices metodológicas o las revisiones de calidad) sólo dos de un total de seis estaría usando la información y en tan sólo uno de esos dos se reportó un nivel de influencia medio o alto.

• Base normativa: Los países en los que el PpR se estableció a través de una ley declararon usar la información y reportaron niveles de influencia medios o altos sobre las decisiones presupuestarias en bastante mayor proporción (siete de un total de nueve, y cinco de un total de siete, respectivamente) que los países en los que el PpR se instituyó a través de un reglamento, de instrucciones para la elaboración del presupuesto u otro tipo de documento normativo (dos de un total de nueve, y dos entre siete, respectivamente).  

• Obligatoriedad del marco de PpR: Los países en los que el marco de presupuestación por resultados es de aplicación obligatoria para todos los ministerios reportaron usar la información y que la misma tiene niveles de influencia medios o altos en una proporción bastante mayor (siete de un total de 10, y cinco de un total de siete, respectivamente) que los países en los que el PpR es de aplicación opcional o sólo obligatoria para programas seleccionados (dos de un total de cinco, y uno de un total de dos, respectivamente).

• Requisitos jurídicamente vinculantes para evaluar programas: Los países en los que existe un requisito vinculante de evaluar los programas ex ante y ex post reportaron usar los resultados del M&E para la elaboración del presupuesto en una proporción bastante más alta (cinco países en total y ocho de un total de 10 países, respectivamente) que los que no tienen este tipo de requisito (cuatro de un total de 10, y uno de un total de cinco, respectivamente).

• Participación de las OCPs en la decisión de qué programas evaluar: Los países en los que la OCP juega un rol en la decisión de qué programas se van a evaluar ex post reportaron usar la información en una proporción bastante mayor (siete de un total de 10) que los países en los que dicha institución no interviene en esa decisión (dos de un total de cinco). Algo muy similar sucede en términos del nivel de influencia de los resultados del M&E sobre las decisiones presupuestarias: mientras que entre los países en los que la OCP participa en la decisión de qué programas evaluar los que reportaron niveles de influencia medios o altos fueron cinco de los siete que declararon usar la información, entre los dos países en los que la OCP no participa en la decisión sólo uno reportó un nivel de influencia medio o alto.

La importancia de consolidación de las capacidades institucionales para la PpR en el tiempo

Un último aspecto característico de los sistemas de PpR en los que se registró el uso y los mayores niveles de influencia de los resultados del M&E se identificó analizando las respuestas de la encuesta a la luz de las mediciones de capacidad institucional de los países de la región para la presupuestación por resultados que se realizaron en el marco del Sistema de Evaluación del PRODEV[vi] (SEP) en 2007 y en 2013 (Kaufmann y otros, 2015).[vii] 

Este análisis encontró que los países que alcanzaron niveles de capacidad institucional para la presupuestación por resultados altos o medios de manera más temprana reportaron usar la información y niveles de influencia medios o altos sobre las decisiones presupuestarias en mayor proporción que los que las desarrollaron más recientemente (ver Gráfico 3).

Gráfico 3: Uso e influencia de los resultados del M&E en los países de ALC con marcos de PpR según puntajes obtenidos en el pilar de PpR del SEP en 2007 y 2013

Si bien no contamos con información acerca de desde cuándo habrían estado registrándose el uso y los mayores niveles de influencia de las evaluaciones de desempeño en los países que los reportaron, este hallazgo sugiere que, para que dicha información comience a utilizarse y a incidir durante la elaboración del presupuesto, además de haber alcanzado un cierto nivel de capacidad institucional, los sistemas de PpR podrían necesitar que esas capacidades hayan contado con tiempo para consolidarse.

Cómo avanzar hacia una mayor comprensión del rol del M&E en los sistemas de PpR de la región

La realización de la encuesta sobre PpR en ALC 2023 representa un primer gran paso en la búsqueda de respuestas con base empírica acerca de cuál ha venido siendo el verdadero aporte de la presupuestación por resultados a la mejora de la calidad del gasto público a nivel regional.  

Los hallazgos a los que dio lugar muestran que en varios de los países considerados los resultados del M&E se están utilizando e, incluso, llegando a incidir sobre las decisiones presupuestarias. Al mismo tiempo, los datos de la encuesta ayudaron a identificar una serie de factores que limitan el uso de la información con dicho fin, y encontraron una aparente asociación entre un conjunto de aspectos normativos e institucionales de los marcos de PpR y el uso y los mayores niveles de influencia de la información.  Sería importante estudiar esa aparente relación con mayor profundidad y evaluar si de allí pudieran desprenderse lecciones que ayuden a orientar los esfuerzos por fortalecer los sistemas de PpR de la región.

De cara al futuro, sería recomendable incorporar otros aspectos del diseño institucional de estos sistemas al análisis y estudiar las formas en que están teniendo lugar tanto el uso como la influencia de los resultados del M&E sobre las decisiones presupuestarias en mayor detalle, prestando especial atención a la frecuencia y a la intensidad con las que suceden y a las características de la información de desempeño involucrada en cada caso.

Esto último permitirá dimensionar tanto el uso como la influencia de esta información con mayor precisión y granularidad, facilitando así la evaluación de los logros de la presupuestación por resultados en los distintos contextos y la generación de conocimiento que pueda aplicarse a su continuo fortalecimiento.   

Suscríbase a nuestro boletín para mantenerse informado sobre nuestras últimas publicaciones, blogs y eventos. Asegúrese de seleccionar la opción de boletines, después de elegir el tema de política y gestión fiscal.

Estudios relacionados:

El Presupuesto por Resultados en América Latina y el Caribe: Hallazgos de la Encuesta 2023

The Effects of Performance Information on Public Resource Allocations: A Study of Chile’s Performance-Based Budgeting System

Blogs relacionados

El futuro del presupuesto por resultados en países en desarrollo:  La importancia de simplificar

Cuatro tendencias sobre el uso del Presupuesto por Resultados en América Latina y el Caribe en la pospandemia

Presupuesto verde basado en resultados para una gestión efectiva del gasto público relacionado con el cambio climático

---

[i] El sistema de PpR de Chile ha sido uno de los más estudiados en este sentido. Ver, por ejemplo, Rojas y otros (2005), Martínez Guzmán (2018) y Zaltsman (2009).

[ii] Estos 18 países están compuestos por los 17 países que respondieron a la Encuesta sobre PpR en ALC 2023 (Argentina, Barbados, Belice, Bolivia, Brasil, Chile, Colombia, Costa Rica, El Salvador, Guatemala, Honduras, Jamaica, Panamá, Paraguay, Perú, República Dominicana y Uruguay) y por México. Si bien México no respondió a la Encuesta de ALC 2023, sí lo hizo a la Encuesta sobre PpR de la OCDE 2018, que incluyó todas menos una de las preguntas de la Encuesta de ALC 2023 que se utilizaron para este análisis.

[iii] A título ilustrativo, la Encuesta sobre PpR de la OCDE 2018 indagó sobre la frecuencia de uso de cinco tipos de información sobre desempeño distintos por separado (ver más abajo) y encontró que todos los países relevados que cuentan con un sistema de PpR reportaron algún grado de uso de al menos uno de los cinco tipos de información presentados como opciones: 20 (67%) de los 30 países declararon usar uno o más de estos tipos de información de manera habitual, nueve (32%) ocasionalmente, y el país restante (3%), rara vez.

[iv] Como las únicas opciones de respuesta posibles a esta pregunta fueron “alta”, “media” y “baja”, no puede descartarse que, de haber contado con la opción de hacerlo, algunos de los países que reportaron un nivel de influencia bajo habrían respondido que el nivel de influencia era nulo.

[v] De acuerdo con los datos de la Encuesta sobre PpR de la OCDE 2018, sólo en cinco (20%) de los 25 países extra-regionales que reportaron algún grado de uso de la información de desempeño se estarían registrando niveles de influencia altos. Sin embargo, la proporción de países en los que se señaló cuanto mucho un nivel de influencia bajo fue aún menor: tres (12%) del total de 25 países.

[vi] La sigla PRODEV corresponde al Programa de Implementación del Pilar Externo del Plan de Acción a Mediano Plazo para la Efectividad en el Desarrollo, un programa del BID creado en 2005 con la finalidad de fortalecer la capacidad de Gestión para Resultados en el Desarrollo de sus países miembros prestatarios.

[vii] Además de en la presupuestación por resultados, las mediciones del SEP se enfocaron en otras cuatro dimensiones de la gestión por resultados para el desarrollo (planificación orientada a resultados; gestión financiera, auditoría y adquisiciones; gestión de programas y proyectos; y monitoreo y evaluación), y los países fueron clasificados de acuerdo con el nivel de capacidad institucional alcanzado en relación con cada una de dichas dimensiones. En el caso particular de la dimensión referente a la presupuestación por resultados, la evaluación de la capacidad institucional de cada país se basó en información relacionada con las siguientes subdimensiones: clasificación del presupuesto en programas; existencia de un marco fiscal de mediano plazo; existencia de una ley de responsabilidad fiscal; evaluación de efectividad del gasto; incentivos para la efectividad en la gestión; y existencia de mecanismos de difusión de la información.