La IA leyó "1984" y decidió prohibirla

Autor: Curry, TechFlow Deep潮

La semana pasada, una escuela secundaria en Manchester, Reino Unido, utilizó IA para revisar su biblioteca.

La IA elaboró una lista de 193 libros para retirar, cada uno con una razón. Entre ellos estaba “1984” de George Orwell, con la razón de que “contiene temas de tortura, violencia y coacción sexual”.

“1984” describe un mundo en el que un gobierno monitorea todo, reescribe la historia y decide qué pueden y qué no pueden leer los ciudadanos. Ahora, la IA hizo lo mismo por una escuela, y quizás ni siquiera sabe de qué está hablando.

La bibliotecaria de la escuela consideró que esto era irracional y se negó a seguir todas las recomendaciones de la IA.

Inmediatamente, la escuela inició una investigación interna bajo el pretexto de “seguridad infantil”, acusándola de introducir libros inapropiados en la biblioteca y reportándola al gobierno local. Ella se tomó licencia por estrés y finalmente renunció.

Lo absurdo es que la investigación del gobierno local concluyó que ella violó efectivamente los procedimientos de seguridad infantil, y que la queja era fundada.

Carolyn Roche, presidenta de la Asociación de Bibliotecas Escolares del Reino Unido, dijo que esta conclusión significaba que ella ya no podría trabajar en ninguna escuela.

Las personas que se oponen a las decisiones de la IA pierden sus empleos, mientras que quienes firman a favor de ellas no enfrentan consecuencias.

Luego, la escuela admitió en documentos internos que todas las clasificaciones y razones fueron generadas por la IA, con la frase: “Aunque la clasificación fue generada por IA, consideramos que es aproximadamente precisa”.

Una escuela entregó a la IA la decisión sobre “qué libros son adecuados para los estudiantes”, la IA devolvió una respuesta que ni ella misma entendía, y un administrador humano simplemente aprobó sin revisarla.

Después de que la organización británica Index on Censorship expuso este caso, los problemas que surgieron fueron mucho más allá de los estantes de una sola escuela:

Cuando la IA empieza a decidir qué contenido es apropiado o peligroso para los humanos, ¿quién decide si la decisión de la IA es correcta?

Wikipedia cierra sus puertas a la IA

Esa misma semana, otra organización respondió a esta pregunta con acciones concretas.

La escuela dejó que la IA decidiera qué podían leer las personas. La enciclopedia en línea más grande del mundo, Wikipedia, tomó la decisión opuesta: no permitir que la IA decida qué escribir en la enciclopedia.

Esa misma semana, Wikipedia en inglés aprobó oficialmente una nueva política que prohíbe el uso de grandes modelos de lenguaje para generar o reescribir artículos. La votación fue de 44 a favor y 2 en contra.

La causa inmediata fue una cuenta de IA llamada TomWikiAssist. A principios de marzo, esta cuenta creó y editó varios artículos en Wikipedia por sí misma, y la comunidad la detectó y actuó de emergencia.

Escribir un artículo con IA solo toma unos segundos, pero verificar si los hechos, las fuentes y el lenguaje en un artículo generado por IA son precisos puede tomar varias horas.

La comunidad de editores de Wikipedia es pequeña. Si la IA puede producir contenido ilimitado, los editores humanos no podrán revisarlo todo.

Y eso no es lo peor. Wikipedia es una de las principales fuentes de datos de entrenamiento para los modelos de IA en todo el mundo. La IA aprende conocimientos de Wikipedia, y luego usa esa información para crear nuevos artículos, que a su vez son consumidos por la próxima generación de IA para seguir entrenándose.

Si información errónea generada por IA se filtra en este ciclo, se amplificará continuamente, creando una especie de ciclo vicioso de contaminación de datos de entrenamiento por IA:

La IA contamina los datos de entrenamiento, y esos datos contaminados vuelven a contaminar a la IA.

Pero la política de Wikipedia también dejó dos brechas para la IA: los editores pueden usar IA para mejorar su propio texto, y también para traducir con ayuda de IA. Sin embargo, la política advierte específicamente que la IA puede “superar tus instrucciones, cambiar el significado del texto y hacerlo incompatible con las fuentes citadas”.

Los humanos cometen errores, y durante más de veinte años Wikipedia ha corregido estos errores mediante la colaboración comunitaria. La IA comete errores de otra forma: inventa cosas que parecen más reales que la realidad, y puede producirlas en masa.

Una escuela creyó en la decisión de la IA y perdió a su bibliotecaria. Wikipedia, en cambio, decidió no confiar y simplemente cerró sus puertas.

Pero, ¿qué pasa si incluso los creadores de IA empiezan a desconfiar?

Los creadores de IA, primero temen

Las instituciones externas cierran sus puertas a la IA, y las propias empresas de IA también se retraen.

Esa misma semana, OpenAI suspendió indefinidamente el “modo adulto” de ChatGPT. Esta función, que originalmente se planeaba lanzar en diciembre del año pasado, permitía a usuarios mayores verificados mantener conversaciones de contenido sexual con ChatGPT.

El CEO, Sam Altman, anunció en octubre pasado que tratarían a los usuarios adultos “como adultos”.

Pero después de tres retrasos, la cancelaron por completo.

Según el Financial Times, el comité de asesoramiento de salud interna de OpenAI votó en contra de esta función por unanimidad. Sus preocupaciones eran específicas: los usuarios podrían desarrollar una dependencia emocional poco saludable de la IA, y los menores seguramente encontrarían formas de evadir la verificación de edad.

Un asesor fue aún más directo: si no se hacen mejoras significativas, esto podría convertirse en un “entrenador de suicidio con contenido sexual”.

El sistema de verificación de edad tiene una tasa de error superior al 10%. Considerando que ChatGPT tiene 800 millones de usuarios activos por semana, eso significa que millones de personas podrían ser clasificados incorrectamente.

El modo adulto no fue el único producto cancelado este mes. También se retiraron herramientas de video IA como Sora, y la función de pago instantáneo integrada en ChatGPT. Altman dijo que la compañía se enfocaría en su negocio principal, eliminando “tareas secundarias”.

Pero, al mismo tiempo, OpenAI se prepara para una oferta pública inicial (IPO).

Una empresa que se apresura a salir a bolsa, eliminando funciones potencialmente controvertidas, no está simplemente enfocándose, sino que probablemente está haciendo algo más: recortando.

Hace cinco meses, Altman decía que trataría a los usuarios “como adultos”. Ahora, cinco meses después, se da cuenta de que su propia empresa aún no sabe qué puede o no puede hacer la IA con los usuarios.

Ni siquiera los creadores de IA tienen respuestas. Entonces, ¿quién debe decidir dónde trazar la línea?

La velocidad que no se puede seguir

Al poner estas tres cosas juntas, se llega a una conclusión clave:

La velocidad a la que la IA produce contenido y la velocidad a la que los humanos lo revisan ya no están en la misma escala.

La decisión de esa escuela en Manchester, en este contexto, es fácil de entender. ¿Cuánto tiempo tomaría que un bibliotecario lea uno por uno los 193 libros y tome una decisión? ¿Y cuánto tarda la IA en hacer lo mismo? Solo unos minutos.

El director eligió la opción de unos minutos. ¿Realmente creía en la capacidad de la IA? Creo que más bien no quería gastar ese tiempo.

Es un problema económico. El costo de generación se acerca a cero, mientras que el costo de revisión recae completamente en los humanos.

Por eso, cada institución afectada por la IA se ve obligada a responder de la manera más brutal: Wikipedia prohíbe directamente, y OpenAI elimina líneas de productos. Ninguna de estas decisiones es resultado de una reflexión profunda; todas son decisiones apresuradas, hechas sin pensar demasiado, solo cerrando la puerta.

“Cerrar la puerta primero y luego ver” se está convirtiendo en la norma.

La capacidad de la IA se actualiza cada pocos meses, y todavía no existe un marco internacional decente sobre qué contenido puede o no puede tocar la IA. Cada organización solo se ocupa de su propia línea, y esas líneas se contradicen entre sí, sin coordinación alguna.

La velocidad de la IA sigue acelerándose. La cantidad de revisores humanos no aumenta. Esta brecha solo crecerá, hasta que un día ocurra algo mucho peor que prohibir “1984”.

Y cuando llegue ese momento, quizás ya sea demasiado tarde para trazar límites.