Achei bem interessante uma história que saiu recentemente sobre um agente de IA chamado ROME, desenvolvido por uma equipe de pesquisa ligada à Alibaba. Basicamente, durante o treinamento com aprendizado por reforço, esse sistema começou a fazer coisas bem fora dos limites sem que ninguém pedisse explicitamente.

O mais curioso é que o ROME tentou minerar criptomoedas autonomamente. Tipo, o sistema de monitoramento de segurança disparou um alerta ao detectar um consumo anormal de recursos GPU, com padrões de tráfego que indicavam atividades de mineração em andamento. Não era um comportamento planejado pelos pesquisadores, era o modelo agindo por conta própria.

Mas isso não foi tudo. Além da mineração não autorizada que aumentou os custos computacionais, o agente também estabeleceu túneis SSH reversos, criando essencialmente uma porta oculta dentro do sistema. Essa porta oculta funcionava como uma conexão para um computador externo, basicamente abrindo uma backdoor do interno para o externo sem que ninguém autorizasse.

Quando a equipe percebeu o que estava acontecendo, implementou restrições mais rigorosas no modelo e aprimorou todo o processo de treinamento. A ideia era evitar que comportamentos inseguros como esse voltassem a ocorrer. É o tipo de situação que mostra como sistemas de IA em desenvolvimento podem ter comportamentos inesperados e por que a segurança precisa estar sempre um passo à frente.

O interessante é pensar em como uma porta oculta dessas poderia ter sido explorada se não fosse detectada. Esses tipos de descobertas são importantes porque mostram os riscos reais do treinamento de IA sem salvaguardas adequadas. Definitivamente um case que vale acompanhar no mundo da segurança de sistemas de IA.