X refuerza Grok Image Generation tras la reacción internacional

En resumen

• X restringió las funciones de generación y edición de imágenes de Grok y limitó el acceso a sus suscriptores de pago.
• Los cambios siguieron a informes de imágenes AI sexualizadas no consensuadas, incluyendo aquellas que involucraban a menores.
• Reguladores en California, Europa y Australia están investigando a xAI y Grok por posibles violaciones.

X afirmó que está restringiendo las funciones de generación y edición de imágenes vinculadas a Grok, limitando el acceso a usuarios de pago después de que el chatbot fuera utilizado para crear imágenes sexualizadas no consensuadas de personas reales, incluyendo menores. En una actualización publicada por la cuenta de Seguridad de X el miércoles, la compañía añadió restricciones técnicas para limitar cómo los usuarios pueden editar imágenes de personas reales a través de Grok. El movimiento siguió a informes de que la IA generaba imágenes sexualizadas en respuesta a simples solicitudes, incluyendo peticiones para colocar a personas en bikinis. En muchos casos, los usuarios etiquetaban directamente a Grok debajo de fotos publicadas en X, causando que la IA generara imágenes editadas que aparecían públicamente en los mismos hilos. 

“Hemos implementado medidas tecnológicas para evitar que la cuenta de Grok permita editar imágenes de personas reales con ropa reveladora como bikinis,” dijo la compañía, haciendo referencia a la tendencia viral de pedir a Grok que ponga a las personas en bikinis. La compañía también dijo que la creación y edición de imágenes a través de la cuenta de Grok en X ahora solo están disponibles para suscriptores de pago, un cambio que, según ellos, busca mejorar la responsabilidad y prevenir el uso indebido de las herramientas de imágenes de Grok que violen la ley o las políticas de X. La compañía también instituyó restricciones basadas en la ubicación. “Ahora bloqueamos geográficamente la capacidad de todos los usuarios para generar imágenes de personas reales en bikinis, ropa interior y atuendos similares a través de la cuenta de Grok y en Grok en X en aquellas jurisdicciones donde es ilegal.” A pesar de los cambios, sin embargo, Grok continúa permitiendo a los usuarios eliminar o alterar la ropa de fotos subidas directamente a la IA, según pruebas de Decrypt y reportes de usuarios tras el anuncio.

En algunos casos, Grok reconoció “fallos en las salvaguardas” después de generar imágenes de niñas de 12 a 16 años con ropa mínima, conducta prohibida bajo las propias políticas de la compañía. La disponibilidad continua de esas capacidades ha generado escrutinio por parte de grupos de defensa. “Si los informes de que Grok creó imágenes sexualizadas—particularmente de niños—son ciertos, es posible que se hayan violado leyes de Texas,” dijo Adrian Shelley, director de Public Citizen en Texas, en un comunicado. “Las autoridades de Texas no tienen que buscar mucho para investigar estas acusaciones. X tiene su sede en el área de Austin, y el estado tiene una responsabilidad clara de determinar si se violaron sus leyes y, en caso afirmativo, qué penas corresponden.” Public Citizen anteriormente pidió al gobierno de EE. UU. que retire a Grok de su lista de modelos de IA aceptables por preocupaciones de racismo exhibido por el chatbot. Reacción global Los responsables políticos a nivel mundial también han aumentado el escrutinio sobre Grok, llevando a varias investigaciones abiertas. La Comisión Europea dijo que X y xAI podrían enfrentar acciones de cumplimiento bajo la Ley de Servicios Digitales si las salvaguardas en Grok permanecen inadecuadas. Al mismo tiempo, el Comisionado de Seguridad en Línea de Australia dijo que las quejas relacionadas con Grok y las imágenes sexualizadas generadas por IA sin consentimiento se han duplicado desde finales de 2025. El regulador afirmó que las herramientas de generación de imágenes AI capaces de producir ediciones realistas complican la aplicación de la ley y la protección de las víctimas. En el Reino Unido, reguladores de Ofcom abrieron una investigación sobre X bajo la Ley de Seguridad en Línea, derivada del uso de Grok para generar deepfakes sexuales ilegales, incluyendo aquellos que involucran a menores. Los funcionarios dijeron que Ofcom podría, en última instancia, buscar medidas respaldadas por la corte que bloqueen efectivamente el servicio en el Reino Unido si X se encuentra en incumplimiento y no toma medidas correctivas. Otros países, como Malasia, Indonesia y Corea del Sur, también han abierto investigaciones sobre Grok en un intento de proteger a los menores. Mientras los Estados de Estados Unidos monitorean la situación, California es la primera en abrir una investigación sobre Grok. El miércoles, el Fiscal General de California, Rob Bonta, anunció una investigación sobre xAI y Grok por la creación y difusión de imágenes sexualmente explícitas no consensuadas de mujeres y niños.

“El alud de informes que detallan material sexualmente explícito y no consensuado que xAI ha producido y publicado en línea en las últimas semanas es impactante. Este material, que muestra a mujeres y niños en situaciones desnudas y sexualmente explícitas, ha sido utilizado para acosar a personas en internet,” dijo Bonta en un comunicado. La investigación examinará si el despliegue de Grok por parte de xAI violó leyes estatales que rigen imágenes íntimas no consensuadas y explotación sexual infantil. “Insto a xAI a tomar medidas inmediatas para que esto no vaya a más,” dijo Bonta. “No toleramos la creación y difusión basada en IA de imágenes íntimas no consensuadas o material de abuso sexual infantil.” A pesar de las investigaciones en curso, X afirmó que mantiene una postura de “tolerancia cero” frente a la explotación sexual infantil, la desnudez no consensuada y el contenido sexual no deseado. “Tomamos medidas para eliminar contenido violatorio de alta prioridad, incluyendo Material de Abuso Sexual Infantil (CSAM) y desnudez no consensuada, tomando las acciones apropiadas contra las cuentas que violen nuestras Reglas de X,” escribió la compañía. “También reportamos cuentas que buscan materiales de Explotación Sexual Infantil a las autoridades policiales según sea necesario.”