Cuando la inteligencia artificial discrimina a las personas

La gran apuesta tecnológica de este siglo es la inteligencia artificial. Utilizar programas para identificar patrones en inmensas cantidades de datos de cara a poder realizar predicciones es algo que abre un mundo de posibilidades para la ciencia, la economía y también para nuestra vida diaria, pues estos algoritmos cada vez están más presentes en los servicios que consumimos. No obstante, existe el peligro de que estos sistemas inteligentes desarrollen sesgos discriminatorios hacia determinadas personas o colectivos. La prevención de comportamientos que pueden atentar contra los derechos de las personas es básica para mantener la confianza de la sociedad en la tecnología.

A pesar de que es un sector joven que está dando sus primeros pasos fuera de los laboratorios (es un campo de estudio con una tradición de décadas, pero es ahora cuando realmente está dando frutos comerciales), la inteligencia artificial ya ha protagonizado situaciones indeseadas o no previstas que han hecho saltar las alarmas.

Uno de los ejemplos más conocidos es el del chatbot Tay de Microsoft que estaba programada para conversar con los usuarios en las redes, podía contar chistes o comentar las fotografías que recibía, pero también podía personalizar sus interacciones con los humanos, respondiendo a sus preguntas. Tay aprendía de las conversaciones que mantenía con los humanos y comenzó a emitir juicios y opiniones políticamente incorrectos de carácter racista. Microsoft la apagó a las dieciséis horas de su lanzamiento.

También en 2016 saltó la noticia de que un programa informático utilizado por la justicia de Estados Unidos para evaluar la probabilidad de reincidir de los presos juzgaba a las personas de color más proclives a ello. Se trataba del sistema Compas (Correctional Offender Management Profiling for Alternative Sanctions), de la empresa Northpointe, que asesoraba a jueces y fiscales a la hora de tomar decisiones y que establecía erróneamente la tasa de volver a delinquir de los ciudadanos negros en el doble que la de los blancos. Paradójicamente, Compas pretendía eliminar el posible sesgo racista que podían manifestar los jueces humanos.

Y más. El primer concurso de belleza cuyo jurado era una máquina, Beauty.AI, también arrojó una discriminación relacionada con el color de la piel. Participaron en torno a 6.000 candidatas de más de 100 países que enviaron sus fotos para ser juzgadas por un algoritmo programado para evaluar la belleza humana. El sorprendente resultado fue que, de las 44 ganadoras, la mayoría eran blancas, unas pocas asiáticas y solamente una tenía la piel oscura.

Este tipo de efectos no previstos ni deseados del funcionamiento de la inteligencia artificial es lo que  Roman V. Yampolskiyi (La inteligencia artificial en las empresas falla y fallará, sepa cómo evitar sus peores consecuencias) denomina “malos hábitos”, que a su juicio pueden ser de dos tipos: errores cometidos durante la fase de aprendizaje y errores cometidos durante la fase de funcionamiento.

Con el objeto de entender los riesgos potenciales del aprendizaje automático (machine learning) para poder prevenirlos, el Foro Económico Mundial ha publicado el libro blanco How to Prevent Discriminatory Outcomes in Machine Learning. A juicio de los autores no se trata de frenar el uso de la inteligencia artificial o de minar las expectativas que presenta, sino de mantener la confianza en ella y proteger el contrato social basado en la idea de que la tecnología está al servicio de los intereses de las personas. 

De acuerdo con este trabajo, la inteligencia artificial actual plantea cuatro grandes desafíos:

• Es compleja: a diferencia del software tradicional, crea modelos que no siguen un proceso lógico que pueda ser entendido por los humanos.
• Es opaca: dada su complejidad y la naturaleza de sus algoritmos es como una caja negra, por lo que es muy difícil averiguar por qué ha tomado una decisión determinada.
• Es ubicua: poco a poco está presente en muchos aspectos de la sociedad.
• Es exclusiva: a día de hoy, los sistemas basados en aprendizaje automático necesitan de grandes cantidades de datos y de expertos técnicos para programarlo. Sin embargo, la información, por ejemplo, las bases de datos, es cara y no está al alcance de todo el mundo. Además, los técnicos programadores requieren tener unos conocimientos que pocos tienen. En conclusión, pocos pueden acceder al desarrollo de estos sistemas o disponer de las ingentes cantidades de datos que necesitan para funcionar.

Para el Foro Económico Mundial estos cuatro factores condicionan en gran medida la forma en que los algoritmos son diseñados, desarrollados y aplicados.

Algunos peligros relacionados con la discriminación están relacionados con la información introducida en la fase de aprendizaje de los algoritmos. Pueden ser colectivos que no están bien representados en esos datos, bien porque no generan demasiada información (por ejemplo, la población rural de los países en desarrollo) o porque han elegido no hacer públicos sus datos. En cualquier caso, esto ya genera un sesgo.

Pero incluso si los datos que utiliza el machine learning no tienen sesgos y son correctos, existen otras amenazas que puede producir discriminación, pues esta puede ir en el modo en que se ha diseñado o aplicado el algoritmo, por ejemplo, porque se ha aplicado un modelo equivocado o un modelo que encierra discriminación sin que lo sepamos, porque el funcionamiento de la máquina no ha contado con la debida supervisión humana, porque a menudo el aprendizaje automático lleva a que los sistemas tomen decisiones cuyo origen no entendemos y, por supuesto, porque siempre está abierta la posibilidad de introducir factores discriminatorios en una programación de forma intencionada.

El informe plantea cuatro grandes principios, que deberían ser observados a la hora de crear sistemas de inteligencia artificial, para garantizar que no existan sesgos en el funcionamiento de los algoritmos.

Inclusión activa. El desarrollo y diseño de aplicaciones basadas en el aprendizaje automático deben asegurar la diversidad de los datos que recibe el sistema (input), teniendo en cuenta las normas y valores de colectivos específicos que puedan verse afectados por los resultados arrojados por estos algoritmos.

Igualmente, los individuos deben dar su consentimiento específico para que un sistema pueda hacer uso de información sensible, como puede ser la raza, el género o el credo, a la hora de tomar decisiones.

Justicia. Los principios de justicia y de la dignidad de las personas afectadas deben estar en la base de la arquitectura del sistema de aprendizaje automático. Por ejemplo, analizar qué colectivos afectados por las decisiones de un algoritmo pueden verse en desventaja al ser implementado y entender por qué.

Derecho a entender. Cuando los sistemas basados en machine learning estén implicados en la toma de decisiones que afecten a los derechos individuales, este hecho se debe desvelar. Además, se debe garantizar el poder explicar cómo toman las máquinas sus decisiones de forma que sea entendible por el usuario final y por una autoridad competente humana que revise el diagnóstico del algoritmo.

Vías para la corrección. Los diseñadores y desarrolladores de algoritmos son los responsables del uso correcto y de las acciones de los mismos. Deben establecer vías para que se pueda deshacer y corregir a tiempo un resultado con efectos discriminatorios para personas o colectivos.