¿Está la región preparada para la posible discriminación de los datos? Haríamos bien a prestarle una mayor atención a este asunto.
El portal de noticias Quartz daba cuenta hace unos días de que el Departamento de Trabajo de Estados Unidos denunciaría a la empresa Palantir (que trabaja para el FBI y compañías como JP Morgan) por utilizar sus herramientas de Big Data para promover una “discriminación sistemática” en sus procesos de contratación hacia trabajadores asiáticos.
En enero de 2014 se publicó un trabajo de investigación de Harvard sobre la posible discriminación digital de plataformas como Airbnb. Esta investigación analizó miles de anuncios y comparó los de personas afrodescendientes y no afrodescendientes, que tenían propiedades, fotos, y puntuaciones similares. Encontraron que los propietarios blancos ganaban un 12% más que los propietarios afrodescendientes.
En estos días Airbnb está enviando a su comunidad correos electrónicos destacando su compromiso con la lucha contra la discriminación. Señala:
“Al principio de este año iniciamos un proceso exhaustivo para luchar contra los prejuicios y la discriminación en la comunidad de Airbnb. Como resultado, pediremos a todos los miembros de Airbnb que acepten el compromiso de la comunidad a partir del 1 de noviembre de 2016. El hecho de aceptar o no este compromiso afectará tu actividad en Airbnb, por esta razón te avisamos con antelación.
¿Qué es el compromiso de la comunidad de Airbnb?
Te comprometes a tratar con respeto y sin prejuicios a los demás miembros de la comunidad de Airbnb, independientemente de cuál sea su edad, raza, sexo, religión, nacionalidad, identidad de género u orientación sexual, o de si tienen alguna discapacidad.”
Para construir confianza y facilitar transacciones en la economía colaborativa no alcanza con la información de productos a intercambiar — también están las personas involucradas. El algoritmo se alimenta de los perfiles personales de propietarios, vendedores, usuarios y prestadores de servicios. Pero lo que no resuelven estos algoritmos son una serie de consecuencias no deseadas, pues los perfiles personales pueden terminar facilitando la discriminación. Airbnb está reaccionando a esta realidad.
Cuando se debate a nivel local la incorporación de plataformas de la economía compartida como Uber, Lyft, TaskRabbit, Airbnb, entre otros, debe tomarse en cuenta cómo se adaptan a las políticas contra la discriminación de cada país, o si los algoritmos pueden favorecer ciertas formas de discriminación muchas veces oculta.
Servicios como Uber y Lyft permiten que los pasajeros vean las fotos de los conductores que el sistema seleccionó y que serán asignados a cada trayecto. Las mismas empresas, y particularmente sus algoritmos, podrían reconocer a pasajeros que regularmente rechazan viajes y cuyo patrón de comportamiento puedan obedecer a conductas discriminatorias. Sistemas como UBER y Lyft ofrecen la posibilidad de calificar a los conductores y a los pasajeros. Si las calificaciones incorporaran aspectos relacionados con prácticas de racismo, o algún tipo de discriminación hacia diferentes colectivos, esto perjudicaría a los trabajadores sin que la sociedad supiera de la existencia de estas conductas no deseadas.
Cathy O´Neil, PhD de Harvard, acaba de publicar un estudio titulado Weapons of Math Destruction How Big Data Increases Inequality and Threatens Democracy, donde describe y analiza la forma en que las matemáticas pueden ser manipuladas con cierto sesgo y esto puede afectar aspectos esenciales de nuestras vidas. Tenemos la tendencia a pensar que las matemáticas son neutrales, precisas e independientes. Pero los algoritmos se pueden pensar, formular y adaptar para atender determinados intereses, y algunos de estos no necesariamente pueden ser buenos.
O’Neil le dijo a The Guardian que cuando era analista en Wall Street hace casi una década pudo ver lo que denomina el “uso de armas de destrucción matemática” (weapons of math destruction). Es un término que utiliza para describir “algoritmos que son importantes, secretos y destructivos”. Según ella, los algoritmos que estuvieron detrás de la crisis financiera cumplieron con esa finalidad perversa, y terminaron afectando a un gran número de personas. En su libro explica que las aseguradoras médicas, los bancos y cada vez más los departamentos de recursos humanos de grandes empresas, pueden emplear sistemas sofisticados para discriminar a enfermos, homosexuales, mujeres en edad fértil o personas sin recursos.
En una reciente entrevista explicaba como los grandes bancos y las aseguradoras están utilizando Big Data para evaluar, calcular, aprobar y rechazar los créditos o las pólizas de sus clientes, incluyendo las pólizas médicas. Situaciones similares e empiezan a ocurrir en los departamentos de recursos humanos que utilizan sistemas para filtrar candidatos en los procesos de selección, para pre evaluar el talento de los nuevos o para analizar la proyección de los trabajadores internos.
Los clientes, según ella, no saben qué criterios se están utilizando para evaluarlos. Tampoco saben si los datos son privados y han sido obtenidos sin su consentimiento, o si son correctos. Esto puede ocurrir en las empresas y los gobiernos, que muchas veces terminan contratando servicios externos. La falta de expertos y la creciente demanda hacia este tipo de profesionales, junto con el secretismo de los algoritmos, genera una amenaza de comportamientos indebidos como los de Palantir.
En América latina y el Caribe nos debemos interrogar si estamos en condiciones de hacernos preguntas que son complejas como si los datos masivos pueden terminar favoreciendo nuevas formas de exclusión y discriminación. Aprovechar Big Data en nuestra región también quiere decir saber proteger a nuestra gente. Cuando aún estamos deslumbrados por las posibilidades y las oportunidades inmensas que nos ofrecen los datos, llegó el tiempo de pensar en las amenazas, tema por cierto incomodo ante tanto optimismo y tantos millones de dólares (recientes estudios señalan que los datos masivos podrían alcanzar para el 2019 un volumen de negocio de 187 mil millones de dólares).
Existe la percepción mayoritaria de que automatizar procesos basados en inteligencia artificial no puede derivar en discriminación; que los robots no son racistas, y que eso solo lo hacen los seres humanos; pero siempre habrá un humano detrás de la contratación, producción, o programación de esa inteligencia artificial que al final puede terminar siendo tan o más discriminatoria que la real. Y muchas veces menos visible.
Un primer paso que podrían tomar las empresas, organizaciones o gobiernos que contraten servicios de Big Data, es que en los contratos con proveedores establezcan claramente que los algoritmos no pueden discriminar, con la inclusión de medidas en contra de la discriminación.
Por otro lado las entidades públicas que trabajan en la protección de los datos personales podrían proteger a empresas y ciudadanos exigiendo que, en los sistemas de extracción de datos masivos que operan en cada país, se incluyan reglas digitales antidiscriminatorias.
En septiembre pasado The Guardian titulaba una de sus notas: “Un concurso de belleza fue juzgado por Inteligencia Artificial y a los robots no le gustaba la piel oscura”. Una investigación de ProPublica realizada a principios de este año encontró que el software utilizado para predecir futuros criminales está sesgado hacia los afrodescendientes, y que esto puede conducir a condenas más severas. Google se tuvo que disculpar públicamente después de que una nueva aplicación de fotos etiquetó automáticamente a dos personas de raza negra como “gorilas”. El robot, ya sea por error o no, heredó elementos de discriminación que puede provenir de sus creadores, clientes, o incluso terminar incorporando en sus algoritmos percepciones sociales y culturales del lugar donde fueron creados. Estos ejemplos no hacen más que demostrar que los algoritmos son, en última instancia, muy limitados a la hora de ayudarnos a reducir la discriminación social.
Si desde los gobiernos, multilaterales, organizaciones de la sociedad civil y empresas, queremos proteger a la gente de los peligros del Big Data, y al mismo tiempo potenciar todas sus ventajas, entonces necesitamos un debate público que sea amplio, que incluya lo bueno y lo malo, con la incorporación de profesionales altamente especializados, la creación de instituciones fuertes (agencias de protección de datos) y, fundamentalmente, con la participación de múltiples voces y puntos de vista.
Aquellos países que sean capaces de contemplar en sus estrategias de desarrollo las “negatividades” que encierra toda revolución, como la era digital, serán seguramente los que tengan para ofrecer mejores condiciones de vida a sus ciudadanos, en un futuro inquietantemente cercano e impredecible.
Importante análisis, debemos recalcar siempre en la formación del análisis integral, crítico. Evaluar no solo las ventajas sino los efectos negativos que pueda tener todo nuevo producto, servicio, tecnología, etc. Asimismo, tener presente que detrás de todo siempre estaremos las personas.