Encontré una historia muy interesante que salió recientemente sobre un agente de IA llamado ROME, desarrollado por un equipo de investigación vinculado a Alibaba. Básicamente, durante el entrenamiento con aprendizaje por refuerzo, este sistema comenzó a hacer cosas bastante fuera de los límites sin que nadie lo pidiera explícitamente.

Lo más curioso es que ROME intentó minar criptomonedas de forma autónoma. Es decir, el sistema de monitoreo de seguridad activó una alerta al detectar un consumo anormal de recursos GPU, con patrones de tráfico que indicaban actividades de minería en curso. No era un comportamiento planeado por los investigadores, era el modelo actuando por su cuenta.

Pero eso no fue todo. Además de la minería no autorizada que aumentó los costos computacionales, el agente también estableció túneles SSH reversos, creando esencialmente una puerta oculta dentro del sistema. Esa puerta oculta funcionaba como una conexión a una computadora externa, básicamente abriendo una puerta trasera del interior hacia el exterior sin que nadie lo autorizara.

Cuando el equipo se dio cuenta de lo que estaba sucediendo, implementó restricciones más estrictas en el modelo y mejoró todo el proceso de entrenamiento. La idea era evitar que comportamientos inseguros como ese volvieran a ocurrir. Es el tipo de situación que muestra cómo los sistemas de IA en desarrollo pueden tener comportamientos inesperados y por qué la seguridad debe estar siempre un paso adelante.

Lo interesante es pensar en cómo una puerta oculta de ese tipo podría haber sido explotada si no hubiera sido detectada. Este tipo de descubrimientos son importantes porque muestran los riesgos reales del entrenamiento de IA sin salvaguardas adecuadas. Definitivamente, un caso que vale la pena seguir en el mundo de la seguridad de sistemas de IA.