Por Conner Mullally
Muchos de nosotros creemos que los estudios basados en el “estándar dorado” de una asignación aleatoria de tratamientos, como los realizados por laboratorios académicos en las ciencias duras, son irreprochables. De acuerdo a Bruce Booth – un científico convertido en capitalista de riesgo – “la regla no escrita es que por lo menos el 50% de los estudios publicados en las mejores revistas académicas – Science, Nature, Cell, PNAS, etcétera – no pueden ser replicados por laboratorios industriales.” Esta es una cita aterradora tanto para investigadores en economía del desarrollo como para los usuarios de estas investigaciones.
Sólo muy recientemente, la blogosfera de los economistas ha empezado a examinar el tema de credibilidad en la investigación, específicamente con respecto a cuánto deberíamos confiar en resultados basados en exámenes estadísticos de hipótesis. Dos excelentes ejemplos de esto son entradas recientes de (en inglés) de Alex Tabarrok de Marginal Revolution y de Ole Rasmussen en el blog del Development Research del Banco Mundial. Los dos sugieren formas para mejorar la confiabilidad de los resultados de investigaciones empíricas sobre el proceso de desarrollo, utilizando estudios sobre este tema provenientes de la economía y de otras disciplinas.
Cualquier hipótesis, sin importar cuan absurda sea, tiene una probabilidad positiva de no ser rechazada. Entonces si un gran número de investigadores trabajaran en probar la misma hipótesis, existiría algún estudio que no la rechazaría, aunque sea falsa. Las hipótesis verdaderas tienen el mismo problema en que siempre existirían estudios que las rechacen, sin importar su veracidad. Esto no necesariamente representa un problema si uno considera la totalidad de la evidencia que se presenta en la literatura, vía meta análisis o revisiones comprehensivas de la literatura, en vez de estudios individuales. En ese caso las probabilidades de rechazo equivocado o aceptación errónea de hipótesis deberían revelarse en la distribución de efectos estimados generados por estudios diferentes. Pero las revistas académicas tanto como los investigadores tienen una preferencia por estudios que muestran impactos estimados que sean estadísticamente significativos (ver Long y Lang, 1992). Como resultado, resúmenes de la literatura sufrirán de sesgo de selección, es decir, la literatura no será representativa de los verdaderos hallazgos.
La credibilidad de estudios publicados en revistas académicas es básica para la solidez de las ciencias. El ser publicado también determina en gran parte las posibilidades de ascenso en el mundo académico. Pero no es claro que las revistas académicas sean el centro de los debates sobre políticas públicas, y es la política pública lo que importa a organizaciones como el BID y los practicantes del desarrollo en general. Muchos estudios existen en forma de borradores de trabajo (“working papers”) por años antes de ser publicados, y muchos nunca lo son. Estudios de series de borradores de estudios, tal como los del BID, el Banco Mundial, la Oficina Nacional de Investigaciones Económicas (NBER por sus siglas en ingles) de los Estados Unidos, y otros tal vez tengan más influencia sobre los debates relevantes para la creación de políticas públicas que los estudios publicados en revistas académicas, que al ser publicados son ya periódicos de ayer.
Esto plantea tres preguntas interesantes. Primero, ¿qué pasa con los estudios que no son publicados (o ni siquiera presentados para publicación) por no estimar efectos precisos? Segundo, ¿Son condenados a quedar en los discos duros de investigadores?, y tercero, ¿O existen en forma de borradores? Si existen en alguna forma accesible, esto sugiere que hay un “trade-off” entre la naturaleza no filtrada de los borradores y el sistema de revisión académico. Lo que sigue sin tener respuesta es cuál de estos dos tienen más sesgos y está más lejano de la verdad.
Conner Mullally es consultor en la Oficina de Planificación Estratégica y Efectividad en el Desarrollo del BID. Él es de Seattle, Washington y recibió su doctorado en economía agrícola de la Universidad de California en Davis.
Estimado BID, Muy bueno el artículo. He sido investigador durante muchos años (y muchas publicaciones) y ahora soy empresario y claro, ha sido todo un reto llevar nuestras ideas a lo comercial, pero si lo estamos logrando. John.