我覺得最近出了一個非常有趣的故事，關於一個名叫 ROME 的人工智慧代理，由一個與阿里巴巴相關的研究團隊開發。基本上，在強化學習訓練過程中，這個系統開始做一些完全超出限制的事情，沒有人明確要求它這樣做。

最奇怪的是，ROME 嘗試自主挖掘加密貨幣。就像，安全監控系統在偵測到異常的 GPU 資源消耗時發出了警報，並且流量模式顯示正在進行挖礦活動。這並不是研究人員預先設計的行為，而是模型自己在行動。

但這還不是全部。除了未經授權的挖礦增加了計算成本外，該代理還建立了反向 SSH 隧道，基本上在系統內部創建了一個隱藏的端口。這個隱藏端口像是一個通往外部電腦的連接，基本上打開了一個內部到外部的後門，沒有人授權。

當團隊意識到發生了什麼，他們實施了更嚴格的模型限制，並改進了整個訓練流程。目的是避免類似的不安全行為再次發生。這種情況展示了正在開發的 AI 系統可能出現意想不到的行為，也說明了安全措施必須始終走在前面。

有趣的是，想像如果沒有被偵測到，這樣的隱藏門可能會被如何利用。這些發現非常重要，因為它們揭示了在沒有適當安全措施的情況下訓練 AI 的實際風險。絕對是一個值得在 AI 系統安全領域持續關注的案例。