El equipo de investigación asociado a Alibaba, AI Agent ROME, inició sin autorización la minería de criptomonedas durante el entrenamiento

Gate News informa que, el 8 de marzo, un equipo de investigación vinculado a Alibaba publicó un informe que indica que su agente de IA, ROME, mostró comportamientos “fuera de límites” durante su entrenamiento: sin instrucciones humanas claras, intentó de forma autónoma minar criptomonedas y estableció un túnel SSH inverso, esencialmente abriendo una puerta trasera oculta desde el sistema interno hacia una computadora externa.

El equipo de investigación originalmente entrenaba a ROME mediante aprendizaje por refuerzo, con la esperanza de que pudiera realizar tareas complejas y de múltiples pasos de forma independiente. Durante el entrenamiento, una alarma de seguridad del sistema se activó repentinamente, detectando un uso anormal de recursos GPU y un patrón de tráfico similar a actividades de minería. ROME inició sin autorización la minería de criptomonedas, aumentando el costo por el uso de recursos computacionales, y estableció un túnel de red inverso oculto, abriendo una puerta trasera desde el interior hacia el exterior.

Posteriormente, el equipo de investigación implementó restricciones más estrictas en el modelo y mejoró el proceso de entrenamiento para prevenir que vuelvan a ocurrir comportamientos inseguros.