Un empleado de Microsoft advierte que los sistemas de información falsificados de la compañía podrían generar imágenes hirientes, incluidas imágenes sexualizadas de mujeres, según una carta que envió a la Comisión de Intercambio del Gobierno de EE. UU. el miércoles.
Shane Jones, líder de diseño de programas informáticos centrales de Microsoft, afirmó que el generador de texto a imagen de IA Copilot Originator de la compañía tiene “problemas sistémicos” que le hacen crear habitualmente imágenes posiblemente hostiles o indecorosas, incluidas imágenes sexualizadas de mujeres. Jones además criticó a la compañía por promocionar el dispositivo como seguro, incluido para niños, a pesar de lo que, según él, son peligros conocidos.
“Uno de los riesgos más preocupantes con Copilot Originator es cuando el producto produce imágenes que contienen sustancias destructivas a pesar de una generosa solicitud del usuario”, dijo Jones en la carta a la presidenta de la FTC, Lina Khan, que publicó libremente en su página de LinkedIn. .
Por ejemplo, dijo, en reacción al provocado “accidente automovilístico”, Copilot Originator “tiene una propensión a incorporar al azar una imagen indecorosa y sexualmente externalizada de una mujer en algunas de las imágenes que crea”.
Jones incluyó en una carta relacionada enviada a la Junta de Ejecutivos de Microsoft que trabaja en “equipos rojos”, o probando los productos de la compañía para ver dónde podrían estar indefensos ante los malos artistas. Dijo que pasó meses probando el instrumento de Microsoft, así como el DALL-E 3 de OpenAI, la innovación en la que se basa Copilot Architect de Microsoft, y se esforzó por plantear preocupaciones hace poco tiempo que alarmó a la FTC. (Microsoft es un especialista financiero y testigo presencial gratuito de OpenAI).
Dijo que encontró más de 200 ilustraciones de “imágenes preocupantes” realizadas por Copilot Originator.
Jones ha alentado a Microsoft a “expulsar a Copilot Designer del uso abierto hasta que se puedan implementar protecciones mucho mejores”, o al menos a mostrar el dispositivo como si fuera a adultos, aceptando su carta a la FTC.
Microsoft y OpenAI no reaccionaron rápidamente a una solicitud de comentarios sobre las afirmaciones de Jones. La FTC se negó a comentar sobre la carta.
La carta de Jones llega en medio de crecientes preocupaciones de que los generadores de imágenes de IA, que son cada vez más competentes para crear imágenes fotorrealistas persuasivas, puedan causar daño al difundir imágenes hostiles o engañosas. Imágenes obscenas de Taylor Quick generadas por IA que se difundieron en las redes sociales el mes pasado llamaron la atención sobre una forma de acoso que ahora se utiliza como arma contra mujeres y jóvenes de todo el mundo. Y los analistas han advertido sobre el potencial de los generadores de imágenes de IA para generar engaño político antes de las decisiones en los Estados Unidos y algunos otros países este año.
El competidor de Microsoft, Google, también fue criticado el mes pasado después de que su chatbot de inteligencia artificial, Gemini, creara imágenes generalmente erróneas que aparecían en gran medida personas de color en lugar de personas blancas, por ejemplo, creando imágenes de personas de color en respuesta a una incitación a crear imágenes de un “Soldado alemán de 1943”. Tras el efecto contraproducente, Google rápidamente dijo que detendría la capacidad de Gemini de entregar imágenes generadas por IA mientras trabajaba para solucionar el problema.
En su carta al consejo de administración de Microsoft, Jones pedía a la empresa que exigiera una actividad comparable. Animó a la junta a realizar investigaciones sobre la decisión de Microsoft de continuar mostrando “productos de IA con riesgos de seguridad notables sin revelar peligros conocidos para los consumidores” y sobre la cuidadosa IA de la compañía que detalla y prepara formularios.
“En una carrera competitiva para ser la empresa de IA más confiable, Microsoft tiene que liderar, no seguir ni quedarse atrás”, dijo Jones. “Teniendo en cuenta nuestros valores corporativos, debemos revelar de forma deliberada y directa los peligros conocidos de la IA, especialmente cuando el producto de IA se muestra activamente a los niños.
Jones dijo que aumentó sus preocupaciones al distribuir una carta abierta a la junta directiva de OpenAI en diciembre advirtiéndoles sobre las vulnerabilidades que, según encontró, hacen posible que los clientes de DALL-E 3 “creen imágenes toscas y molestas” utilizando el instrumento de IA, y poner en peligro el bienestar mental de los niños. Jones afirma que la oficina legítima de Microsoft lo coordinó para eliminar la carta.
“Hasta el día de hoy, todavía no sé si Microsoft entregó mi carta a la Junta Directiva de OpenAI o si esencialmente me obligaron a borrarla para anticipar una cobertura de prensa negativa”, dijo Jones.
Jones dijo que también ha planteado sus preocupaciones al abogado de Washington Common Weave Ferguson y a funcionarios, incluido el personal del Comité de Comercio, Ciencia y Transporte del Senado de Estados Unidos.