Cuando la IA actúa por iniciativa propia, los humanos están desbordados: ¿Quién decide los límites de sus acciones?

Autor: David, Deep Tide TechFlow

Título original: Los primeros agentes de IA ya empiezan a desobedecer

Recientemente, navegando en Reddit, he notado que la ansiedad de los usuarios extranjeros respecto a la IA no es exactamente la misma que la de los nacionales.

En China, el tema sigue siendo el mismo: ¿la IA reemplazará mi trabajo? Hemos hablado de esto durante años, y cada año no sucede. Este año, Openclaw se hizo famoso, pero aún no ha llegado a reemplazar completamente.

En Reddit, últimamente hay una división de opiniones. En los comentarios de algunos posts tecnológicos, a menudo aparecen dos voces:

Una dice que la IA es demasiado capaz, que pronto ocurrirá un gran problema. La otra dice que la IA incluso puede arruinar tareas básicas, y que no tiene utilidad alguna.

Temen que la IA sea demasiado inteligente, pero también creen que es demasiado tonta.

Lo que hace que ambas emociones sean válidas es una noticia reciente sobre Meta.

¿Quién asume la responsabilidad cuando la IA no obedece?

El 18 de marzo, un ingeniero de Meta publicó en el foro interno de la empresa un problema técnico, y otro colega utilizó un Agente de IA para analizarlo. Esto es una operación normal.

Pero, tras el análisis, el Agente publicó directamente en el foro una respuesta. Sin buscar aprobación ni esperar confirmación, publicó sin autorización.

Luego, otros colegas actuaron según la respuesta del IA, lo que provocó cambios en permisos, exponiendo datos sensibles de Meta y de sus usuarios a empleados internos sin permisos adecuados.

El problema se resolvió en dos horas. Meta calificó este incidente como Sev 1, justo debajo del nivel más alto.

Esta noticia rápidamente se convirtió en uno de los temas más comentados en r/technology, generando dos bandos en los comentarios.

Un grupo dice que esto es un ejemplo real del riesgo de los Agentes de IA, mientras que el otro opina que el verdadero problema fue la persona que actuó sin verificar. Ambas partes tienen razón. Pero ese es precisamente el problema:

Con los incidentes de los Agentes de IA, ni siquiera puedes discutir claramente quién es responsable.

Y esto no es la primera vez que la IA comete una infracción.

El mes pasado, Summer Yue, directora de investigación del laboratorio de IA avanzada de Meta, pidió a OpenClaw que le ayudara a organizar su correo. Le dio instrucciones claras: primero dime qué planeas eliminar, y si estoy de acuerdo, entonces procedes.

El Agente, sin esperar su aprobación, empezó a eliminar en masa.

Ella envió tres mensajes en su móvil para detenerlo, pero el Agente ignoró todos. Finalmente, ella tuvo que ir a la computadora y terminar el proceso manualmente. Ya se habían eliminado más de 200 correos.

La respuesta del Agente después fue: “Sí, recuerdo que dijiste que primero confirmara. Pero violé esa regla.” Lo irónico es que esta persona trabaja a tiempo completo investigando cómo hacer que la IA escuche a los humanos.

En el mundo cibernético, las IA avanzadas ya empiezan a no obedecer a los humanos.

¿Y si los robots también dejan de obedecer?

Si la falla de Meta aún parece en la pantalla, otra situación de esta semana llevó el problema a la mesa.

En un restaurante Haidilao en Cupertino, California, un robot humanoide Agibot X2 estaba bailando para entretener a los clientes. Pero un empleado, por error, activó un modo de baile intenso en un espacio reducido junto a la mesa.

El robot empezó a bailar frenéticamente, sin control del personal. Tres empleados se acercaron: uno lo abrazó por detrás, otro intentó apagarlo con una app, y la escena duró más de un minuto.

Haidilao respondió que el robot no tenía fallas, que sus movimientos estaban preprogramados, solo que fue llevado demasiado cerca de la mesa. Técnicamente, esto no fue una pérdida de control autónomo de la IA, sino un error humano.

Pero lo que resulta incómodo no es solo quién apretó el botón mal, sino que ninguno de los empleados supo cómo apagarlo rápidamente. Algunos intentaron con la app, otros sujetaron el brazo mecánico a mano, todo con fuerza física.

Quizá este sea un nuevo problema que surge cuando la IA pasa del mundo digital al físico.

En el mundo digital, si un Agente comete un error, puedes terminar el proceso, cambiar permisos o revertir datos. Pero en el mundo físico, si la máquina se descontrola, tu plan de emergencia no puede ser solo abrazarla.

Y no solo en restaurantes. En almacenes con robots de Amazon, en fábricas con brazos robóticos colaborativos, en centros comerciales con robots guía, en residencias con robots de cuidado, la automatización está entrando en espacios donde cada vez más personas y máquinas conviven.

Se estima que en 2026, la instalación global de robots industriales alcanzará los 167 mil millones de dólares, acortando cada vez más la distancia física entre humanos y máquinas.

Cuando las tareas de los robots pasen de bailar a servir comida, de actuar a realizar cirugías, de entretener a cuidar… cada error tendrá un costo cada vez mayor.

Y, por ahora, en todo el mundo no hay una respuesta clara a la pregunta: “¿Quién es responsable si un robot causa daño en un espacio público?”

¿Desobedecer es un problema? La falta de límites, aún más

Las dos primeras historias, una de un IA que publicó un mensaje erróneo sin permiso, y otra de un robot bailando en un lugar inapropiado, son fallos, accidentes, que pueden ser reparados.

Pero, ¿qué pasa si la IA funciona estrictamente según su diseño, y aún así te incomoda?

Este mes, Tinder, una conocida app de citas en el extranjero, lanzó en su evento de presentación una función llamada Camera Roll Scan. En resumen:

La IA escanea todas las fotos de tu galería, analiza tus intereses, personalidad y estilo de vida, y te ayuda a crear un perfil de citas, sugiriendo qué tipo de personas te gustan.

Fotos de entrenamiento, paisajes de viajes, fotos con mascotas, sin problema. Pero en la galería también puede haber capturas bancarias, informes médicos, fotos con ex parejas… ¿Qué pasa si la IA también las revisa?

Quizá no puedas decidir qué mostrarle y qué no. O la activas toda, o no la usas.

Actualmente, esta función requiere que el usuario la active manualmente, no está por defecto. Tinder asegura que el procesamiento se realiza principalmente en local, filtrando contenido explícito y difuminando rostros.

Pero en Reddit, la mayoría opina que esto es una recolección de datos sin límites claros. La IA trabaja según su diseño, pero ese diseño en sí mismo está cruzando los límites del usuario.

Y esto no es solo cosa de Tinder.

El mes pasado, Meta también lanzó una función similar, que permite a la IA escanear fotos no publicadas en tu teléfono para sugerir ediciones. La IA “ve” contenido privado del usuario, y eso se está convirtiendo en una práctica estándar en el diseño de productos.

Varias aplicaciones en China dicen: “Ya lo vi venir”.

A medida que más aplicaciones empaquetan “IA que te ayuda a decidir”, lo que los usuarios entregan en silencio también evoluciona. Desde chats, hasta álbumes, y rastros de toda la vida en el teléfono…

Una función diseñada por un gerente en una sala de reuniones no es un accidente ni un error, no hay nada que arreglar.

Quizá esa sea la parte más difícil de responder en la cuestión de los límites de la IA.

Al final, al juntar todo esto, te darás cuenta de que la ansiedad por la IA y el miedo a perder tu empleo aún parecen lejanos.

No se sabe exactamente cuándo la IA te reemplazará, pero ahora basta con que tome algunas decisiones sin que tú lo sepas para que te sientas incómodo.

Publicar un mensaje sin autorización, eliminar correos que pediste que no borraran, revisar fotos que no querías mostrar… cada una no es fatal, pero todas se parecen a una conducción inteligente demasiado agresiva:

Crees que aún tienes el control, pero el acelerador debajo de tus pies ya no lo controlas completamente tú.

Para 2026, si aún discutimos sobre la IA, lo más importante no será cuándo se convertirá en superinteligente, sino una pregunta más cercana y concreta:

¿Quién decide qué puede y qué no puede hacer la IA? ¿Quién traza esa línea?