La artista Stephanie Dinkins ha sido pionera durante mucho tiempo en la combinación de arte y tecnología en su práctica de Brooklyn. En mayo, el Museo Guggenheim le otorgó $ 100,000 por sus innovaciones pioneras, incluida una serie de entrevistas en curso con Bina48, un robot.
Durante los últimos siete años, experimenté con la capacidad de la IA para retratar de manera realista a mujeres negras, sonriendo y llorando, usando una variedad de palabras desencadenantes. Los primeros resultados fueron mediocres, si no alarmantes: su algoritmo produjo un cuerpo humano de color rosa rodeado por una capa negra.
“Esperaba algo un poco más como la feminidad negra”, dijo. Y aunque la tecnología ha mejorado desde sus primeros experimentos, Dinkins se ha encontrado usando terminología anidada en indicaciones de texto para ayudar a los generadores de imágenes de IA a lograr la imagen que quieren, “para darle a la máquina la oportunidad de darme lo que quiero”. Pero ya sea que use el término “mujer afroamericana” o “mujer negra”, las deformaciones automáticas que distorsionan los rasgos faciales y las texturas del cabello ocurren a un ritmo elevado.
“Las mejoras oscurecen algunas de las preguntas más profundas que tenemos que hacer sobre la discriminación”, dijo Dinkins. El artista negro agregó: “Los sesgos están arraigados en lo profundo de estos sistemas, por lo que están arraigados y son automáticos. Si estoy trabajando dentro de un sistema que usa ecosistemas algorítmicos, entonces quiero que ese sistema sepa quiénes son las personas negras de manera sutil, para que podemos sentirnos mejor apoyados”.
No es la única que hace preguntas difíciles sobre la preocupante relación entre la IA y la raza. Muchos artistas negros encuentran evidencia de sesgo racial en la inteligencia artificial, tanto en los grandes conjuntos de datos que enseñan a las máquinas cómo crear imágenes como en el software subyacente que ejecuta los algoritmos. En algunos casos, las tecnologías de IA parecen ignorar o distorsionar las afirmaciones textuales de los artistas, lo que afecta la forma en que se representa a las personas negras en las imágenes y, en otros casos, parecen representar o censurar la historia y la cultura negras.
La discusión sobre el sesgo racial en la inteligencia artificial se ha intensificado en los últimos años, ya que los estudios muestran que las tecnologías de reconocimiento facial y los asistentes digitales tienen problemas para identificar imágenes y patrones de habla de personas que no son blancas. Los estudios plantearon preguntas más amplias sobre la equidad y el sesgo.
Las grandes empresas detrás de los generadores de imágenes de IA, incluidas OpenAI, Stability AI y Midjourney, se han comprometido a mejorar sus herramientas. “El sesgo es un problema importante en toda la industria”, dijo Alex Beck, portavoz de OpenAI, en una entrevista por correo electrónico, y agregó que la compañía intenta constantemente “mejorar el rendimiento, reducir el sesgo y mitigar los resultados dañinos”. Se negó a decir cuántos empleados están trabajando con prejuicios raciales o cuánto dinero ha reservado la compañía para resolver el problema.
“Los negros están acostumbrados a no ser vistos”, escribe la artista senegalesa Linda Doña Ribez en el prólogo de su exposición “Invisible” para Feral File, un mercado de NFT. “Cuando nos ven, estamos acostumbrados a que nos representen mal”.
Para probar su punto durante una entrevista con un reportero, Rebeiz, de 28 años, le pidió al generador de imágenes de OpenAI, DALL-E 2, que imaginara edificios en su ciudad natal, Dakar. El algoritmo produjo paisajes desérticos áridos y edificios en ruinas que, según Ribeez, no se parecían a las casas costeras de la capital senegalesa.
“Es frustrante”, dijo Rebes. “El algoritmo se inclina hacia la imagen cultural de África creada por Occidente. Utiliza por defecto los peores estereotipos que ya existen en Internet”.
El año pasado, OpenAI dijo que estaba creando nuevas técnicas para diversificar las imágenes que produce DALL-E 2, de modo que la herramienta genere imágenes de personas que reflejen con mayor precisión la diversidad de la población mundial.
Artista presentada en la Galería Rebeiz, Minne Atairu tiene un Ph.D. candidato en Teachers College en la Universidad de Columbia que planeó usar generadores de imágenes con jóvenes estudiantes de color en el sur del Bronx. Atayiru dijo que ahora teme que “esto pueda causar que los estudiantes generen imágenes ofensivas”.
La galería de Feral File incluye imágenes de “Blonde Curl Studies”, que exploran las limitaciones del algoritmo de Midjourney para producir imágenes de mujeres negras con cabello naturalmente rubio. Cuando el artista solicitó una imagen de un gemelo negro idéntico con cabello rubio, el programa produjo un hermano con piel más clara.
“Esto nos dice de dónde está ensamblando el algoritmo las imágenes”, dijo Atayru. “No es necesariamente un retiro de un grupo de personas negras, sino uno que está orientado hacia las personas blancas”.
Dijo que le preocupaba que los niños negros jóvenes pudieran intentar crear imágenes de sí mismos y ver a niños que han sido iluminados. Atairu recordó algunas de sus experiencias pasadas con Midjourney antes de que las actualizaciones recientes mejoraran sus habilidades. “Generaría imágenes que se verían como una cara pintada de negro”, dijo. “Habría visto una nariz, pero no era una nariz humana. Parecía la nariz de un perro”.
En respuesta a una solicitud de comentarios, el fundador de Midjourney, David Holz, dijo en un correo electrónico: “Si alguien encuentra un problema con nuestros sistemas, le pedimos que nos envíe ejemplos específicos para que podamos investigar”.
Stability AI, que brinda servicios de generación de imágenes, dijo que planea colaborar con la industria de IA para mejorar las técnicas de evaluación de sesgos con una mayor diversidad de países y culturas. La firma de inteligencia artificial dijo que el sesgo fue causado por la “sobrerrepresentación” en los conjuntos de datos públicos, aunque no especificó si la sobrerrepresentación de los blancos era el problema aquí.
A principios de este mes, Bloomberg analizó más de 5000 imágenes generadas por Stability AI y descubrió que su software amplificaba los estereotipos sobre la raza y el género, por lo general representaba a las personas de piel clara con trabajos bien remunerados, mientras que las personas de piel clara eran etiquetadas como mujeres oscuras. como “lavaplatos” y “ama de llaves”.
Estos problemas no han detenido el frenesí de inversiones en la industria tecnológica. Un informe rosado reciente de la consultora McKinsey predijo que la IA generativa agregará $ 4.4 billones a la economía global anualmente. El año pasado, casi 3200 nuevas empresas obtuvieron $ 52,1 mil millones en fondos, según la base de datos de GlobalData Deals.
Las empresas de tecnología han luchado contra las acusaciones de parcialidad al retratar pieles más oscuras desde los primeros días de la fotografía en color en la década de 1950, cuando empresas como Kodak usaban modelos blancos en su desarrollo de color. Hace ocho años, Google deshabilitó la capacidad de su software de inteligencia artificial para permitir que las personas busquen gorilas y monos a través de su aplicación Fotos porque el algoritmo clasificaba incorrectamente a las personas negras en esas categorías. Recientemente, en mayo de este año, el problema aún no se ha resuelto. Dos exempleados que trabajaron en la tecnología le dijeron al New York Times que Google no había entrenado su sistema de IA con suficientes imágenes para personas negras.
Otros expertos que estudian la inteligencia artificial dijeron que el sesgo es más profundo que los conjuntos de datos, refiriéndose al desarrollo inicial de esta tecnología en la década de 1960.
“El problema es más complejo que el sesgo de datos”, dijo James E. Dobson, historiador cultural de Dartmouth College y autor de un libro reciente sobre el nacimiento de la visión por computadora. Hubo poca discusión sobre la raza durante los primeros días del aprendizaje automático, según su investigación, y la mayoría de los científicos que trabajaban en la tecnología eran hombres blancos.
“Es difícil separar los algoritmos de hoy de esa historia, porque los ingenieros están construyendo sobre esas versiones anteriores”, dijo Dobson.
Para reducir la apariencia de prejuicios raciales e imágenes de odio, algunas empresas han prohibido ciertas palabras de los mensajes de texto que los usuarios envían a los generadores, como “esclavo” y “fascista”.
Pero Dobson dijo que las empresas que esperan una solución simple, como censurar el tipo de reclamos que los usuarios pueden enviar, eluden los problemas más fundamentales de sesgo en la tecnología subyacente.
“Es un momento alarmante ya que estos algoritmos se vuelven cada vez más complejos. Cuando ves que sale la basura, debes preguntarte qué tipo de proceso de basura todavía está dentro del modelo”, agregó el profesor.
Uriah Harvey, el artista incluido en la reciente exposición “Refiguración” del Museo Whitney sobre identidades digitales, se topó con esa prohibición para un proyecto reciente que utiliza Midjourney. “Quería preguntarle a la base de datos qué sabía sobre los barcos de esclavos”, dijo. “Recibí un mensaje que dice que Midjourney suspenderá mi cuenta si continúo”.
Dinkins tuvo problemas similares con los NFT que fabricó y vendió para mostrar cómo los esclavos y los colonos trajeron okra a América del Norte. Fue censurada cuando intentó usar un programa de generación, Replicate, para hacer imágenes de barcos de esclavos. Eventualmente aprendí a engañar a los sargentos usando el término “barco pirata”. La imagen que recibió fue una aproximación a lo que ella quería, pero también planteó preguntas inquietantes para la artista.
“¿Qué hace esta tecnología por la historia?” preguntó Dinkins. “Puedes ver que alguien está tratando de corregir un sesgo, pero al mismo tiempo esto está borrando una parte de la historia. Considero que los borrados son tan peligrosos como cualquier sesgo, porque simplemente olvidaremos cómo llegamos aquí”.
Naomi Beckwith, curadora en jefe del Guggenheim, ha acreditado el enfoque matizado de Dinkins sobre los temas de representación y tecnología como una de las razones por las que el artista recibió el primer Premio de Arte y Tecnología del museo.
“Stefani se ha convertido en parte de una tradición de artistas y practicantes de la cultura que abren brechas en estas teorías radicales sobre cómo funcionan las cosas”, dijo Beckwith. La coordinadora agregó que su paranoia inicial acerca de que el software de inteligencia artificial reemplazara la creatividad humana se redujo considerablemente cuando se dio cuenta de que estos algoritmos no sabían nada sobre la cultura negra.
Pero Dinkins no está del todo listo para renunciar a la tecnología. Ella continúa empleándola en sus proyectos de arte: Bishk. “Una vez que el sistema pueda crear una imagen de muy alta resolución de una mujer negra llorando o sonriendo, ¿podemos descansar?”.