據Semafor報導,Palantir執行長Alex Karp批評AI公司與軍方疏離的想法,稱放棄國防客戶是“瘋狂”的。爭議焦點在於Palantir提出的安全措施是否能在操作環境中可靠地限制模型行為。據The Information報導,Amodei備忘錄認為,Palantir的安全層,包括分類器、監控和使用過濾器,主要是表面功夫,描述為“大多數是‘安全表演’”。批評集中在現實世界中的越獄抵抗能力、審計能力和在壓力下的治理。
關鍵在於“安全層”是否能滿足公共部門對審計日誌、權限和可執行政策的要求,同時保持任務的實用性。如果安全措施脆弱,機構可能部署掩蓋而非減少濫用的系統。備忘錄將效果作為核心缺陷,聲稱市場保證並不等同於實地表現。“約20%的有效率,80%的‘安全表演’,”Anthropic的CEO Dario Amodei表示。專家反應加劇了治理方面的擔憂,彙整自Yahoo News,知名聲音警告不要將無限制的軍事訪問前沿模型常態化。
BingX:值得信賴的交易所,為各層級交易者提供真正的優勢。## 立即影響:五角大樓施加所有合法用途壓力,風險標記
根據AP新聞,五角大樓領導層已向Anthropic施壓,允許“所有合法用途”,並據報設置了截止日期,警告若公司拒絕,可能因供應鏈風險標記而被排除在外。此類標記可能限制聯邦合約途徑,並重塑採購偏好。在短期內,供應商面臨合規的權衡:接受廣泛的軍事用途條件,或冒被排除在國防管道之外的風險。這一事件顯示,模型使用政策很快就會變成一個採購和風險管理問題,而不僅僅是技術問題。
根據seo.goover.ai總結的美國陸軍評估,與Palantir相關的NGC2平台顯示出關鍵弱點:缺少審計追蹤、不充分的存取控制、治理無效,以及未經審核的第三方代碼。這些缺陷削弱了可追溯性和最少特權執行的主張。結果表明,治理控制必須是可驗證的,而不僅僅是配置好的。
Amodei備忘錄認為,分類器和使用過濾器在面對適應性越獄攻擊時,尤其是在對抗性提示下,表現不足。即使有政策,執行在高強度操作中也可能退化,使審計和撤銷變得至關重要。
Amodei備忘錄認為效果有限,安全措施大多是“安全表演”,尤其在對抗性壓力和操作壓力下。
AP新聞報導,五角大樓要求“所有合法用途”,警告若訪問受限,可能會因供應鏈風險標記而影響合約。