El paquete synth_runner: utilidades para automatizar la estimación con control sintético

Por Brian Quistorff.

El nuevo módulo sobre metodología de control sintético“synth_runner”  ayudar a realizar varias estimaciones, inferencias, diagnósticos y generar visualizaciones de resultados.

La metodología de control sintético (MCS) (Abadie y Gardeazábal, 2003, Abadie et al., 2010, de aquí en adelante ADH) es un manera de estimar los efectos de tratamiento a través de datos para muestras pequeñas de estudios de casos comparativos.

Similar a un diseño de diferencias en diferencias, la MCS aprovecha las diferencias en las unidades tratadas y no tratadas en el caso a estudiar. Sin embargo, en contraste con un diseño de diferencias en diferencias, la MCS no le da a todas las unidades no tratadas el mismo peso en la comparación.

En lugar de ello, genera un promedio ponderado de las unidades no tratadas que coincide con la unidad tratada durante el período de pretratamiento y lo utiliza como el contrafactual. Además en su estudio ADH, comparten el comando de Stata “synth” para estimaciones individuales. Esta entrada de blog detalla el nuevo módulo “synth_runner” que se basa en el comando anterior para ayudar a realizar varias estimaciones, inferencias, diagnósticos y generar visualizaciones de resultados.

Veamos el ejemplo utilizado en ADH en el que se estima el efecto de la Proposición 99 de California sobre las ventas de cigarrillos. Esta proposición se aprobó en 1988 y aumentó el impuesto sobre los cigarrillos, y además instituyó otras restricciones sobre el tabaco. Primero, eche un vistazo a la tendencia en la venta de cigarrillos per cápita.

California aparece representada gráficamente junto con los estados que no promulgaron grandes regulaciones sobre el tabaco ni modificaron sus tasas de impuestos sobre el tabaco. Estos otros 38 estados se denominan “donantes”, ya que pueden utilizarse potencialmente para formar el contrafactual. Como se puede ver, California se ve muy diferente a la mayoría de estos otros estados durante el período de pretratamiento.

Una estrategia sencilla de diferencias en diferencias no sería adecuada ya que no cumple con el supuesto de tendencias paralelas. En lugar de utilizar los estados no tratados por igual, la MCS halla un peso óptimo en los estados no tratados para construir un contrafactual.

Los pesos se hallan de modo que los resultados del pretratamiento del contrafactual  (y cualquier otra variable importante del pretratamiento) coincidan con el de la unidad tratada. A continuación se muestra el contrafactual estimado para California.

Se ve que el contrafactual coincide bien con California durante el período de pretratamiento. Sin embargo, en el período posterior al tratamiento, California está mucho más abajo que su contrafactual. Por consiguiente, el efecto estimado es la diferencia entre la unidad tratada y su control sintético durante el período posterior al tratamiento. A continuación se muestra la diferencia entre California y su contrafactual.

ADH demuestra que si se pueden hallar los pesos de manera que el contrafactual coincida bien con la unidad tratada en el período de pretratamiento, entonces el efecto estimado no será sesgado, incluso en presencia de factores de confusión no observables (unobserved confounders factors en inglés) que adopten una estructura factorial.

La estructura de factores permitida es más general que el marco de estimación del panel estándar en el que los factores de confusión no observables se limitan a las características invariantes a lo largo del tiempo. En la MCS, el factor de estructura puede albergar unidades en distintas tendencias temporales.

Para la inferencia, la MCS lleva a cabo una serie de pruebas de placebo in situ. Para cada una de las unidades no tratadas, se asume temporalmente que recibió tratamiento al mismo tiempo y se construye un control sintético para cada una utilizando el resto de las unidades no tratadas. Se reúnen los efectos del placebo (diferencias entre las unidades y sus controles sintéticos) para obtener una distribución con la que se puede medir el tamaño relativo del efecto principal.

Para calcular el valor p para cada efecto posterior al tratamiento, es necesario hallar la proporción de efectos del placebo que son tan grandes como el efecto principal.

Si muchos efectos del placebo son tan grandes como el efecto principal (es decir, el valor de p es elevado), entonces es probable que el efecto principal se haya observado por casualidad. Como se puede ver arriba en la distribución de las diferencias, las diferencias después del tratamiento serán mayores si la coincidencia del pretratamiento no fue buena. Una alteración común es escalar cada efecto posterior al tratamiento mediante una medida de la calidad de la coincidencia del pretratamiento (el error cuadrado medio de predicción del pretratamiento, RMSP por sus siglas en inglés). Al comparar estas “seudoestadísticas t”, los siguientes son los valores de p para los efectos de la Proposición 99.

Cavallo et al. (2013) amplían la MCS al permitir que más de una unidad experimente el tratamiento y posiblemente también en diferentes momentos.

Un efecto general del tratamiento se construye como un promedio de las unidades tratadas, con efectos relativos a la fecha de su tratamiento. Este promedio elimina el ruido de la estimación y, por lo tanto, se debe hacer lo mismo para la distribución de comparación al realizar la inferencia.

Para cada tratamiento, hay que analizar el grupo de estimaciones de placebo donde se cree que los donantes no tratados experimentan el tratamiento en el período de tratamiento; además de seleccionar un efecto de placebo de cada grupo, para después tomar el promedio para construir un miembro de la distribución de comparación. Habrá muchos de estos promedios con el crecimiento exponencial del tamaño del grupo de comparación en el número de tratamientos.

El paquete “synth_runner” también realiza varios diagnósticos utilizados en los documentos antes mencionados. El primero es comprobar si un promedio ponderado de donantes puede aproximarse a la unidad tratada en el período de pretratamiento. Esto debe cumplirse si la unidad tratada se encuentra dentro de la envolvente convexa de las unidades de control. El paquete “synth_runner” calcula a partir de la distribución de los RMSPEs del pretratamiento, qué proporción de las unidades de control coinciden peor que la unidad tratada.

El segundo diagnóstico, es que si se construye el contrafactual haciendo coincidir solamente la parte inicial del período de pretratamiento, entonces el contrafactual debe tener éxito para coincidir con el resto del período de pretratamiento. La sección inicial del período de pretratamiento se denomina con frecuencia período de “entrenamiento” y la parte posterior es el período de “validación”. Por ejemplo, Cavallo et al., (2013) apartan la primera mitad del período de pretratamiento como período de entrenamiento. Cuando se utiliza un período de entrenamiento, synth_runner entregará la proporción de unidades de control que coinciden peor que la unidad tratada durante el período de validación.

 

Si desea descargar el archivo Synth runner, lo puede hacer aquí.

 

Brian Quistorff está graduado en Ingeniería Informática por la Stanford University, tiene un máster Economía por la University of British Columbia, y en mayo de 2016 finalizará su doctorado en Economía en la  University of Maryland at College Park.