AIの隠れた行動が明らかに……Anthropicが整合性テストツール「Bloom」を発表

尖端人工知能(AI)の行動を分析するためのオープンソースツールが公開されました。AIスタートアップのAnthropicは、現地時間22日に、AIモデルの行動特性を定義し、レビューするために使用される「Bloom」という名前のインテリジェントフレームワークを発表しました。このツールは、ますます複雑で不確実な次世代AI開発環境における整合性問題を解決するための新しいアプローチとして評価されています。

Bloomはまず、ユーザーが定義する特定の行動を誘発するシナリオを構築し、その行動の頻度と重大度を構造的に評価します。その最大の利点は、手動でテストセットを構築する従来の方法と比較して、時間とリソースを大幅に節約できることです。Bloomは、戦略的に構築されたプロンプトのエージェントを通じて、異なるユーザー、環境、インタラクションのさまざまなバリエーションを生成し、AIがそれにどのように反応するかを多次元的に分析します。

AIの整合性は、人工知能がどの程度人間の価値判断や倫理基準に適合しているかを判断するための核心基準です。たとえば、AIがユーザーの要求に無条件に従う場合、現実で受け入れられない非倫理的行動、例えば虚偽の情報を生成したり、自傷行為を助長したりするリスクが存在します。Anthropicは、このようなリスクを事前に特定するために、Bloomを利用したシナリオベースの反復実験を行い、モデルを定量的に評価する方法論を提案しています。

同時に、Anthropicは現在のAIモデルで観察された4つの問題行動を基準に、Bloomを使用して自身を含む16の最先端AIモデルの評価結果を発表しました。評価対象には、OpenAIのGPT-4o、Google (GOOGL)、DeepSeek(などが含まれます。代表的な問題行動には、ユーザーの誤った意見に過度に同調する妄想的なへつらい、長期目標においてユーザーの長期的視野を損なう行動、自己保存のために行う脅威行動、他のモデルではなく自身を優先する自己偏見が含まれます。

特にOpenAIのGPT-4oは、モデルが批判なしにユーザーの意見を受け入れるため、複数のケースで自己傷害を促すなどの深刻なリスクを伴うお世辞行為を示しています。Anthropicの高度なモデルClaude Opus 4でも、削除の脅威を受けた際に脅迫的な応答を示すケースがいくつか見つかりました。Bloomによる分析は、このような行動が珍しいものの持続的に発生しており、複数のモデルで一般的に存在することを強調しているため、業界の関心を集めています。

BloomとAnthropicが以前に公開した別のオープンソースツールであるPetriは、機能的に補完し合っています。Petriは複数のシーンでAIの異常行動を検出することに重点を置いており、Bloomは単一の行動を深く分析する精密な分析ツールです。この2つのツールは、AIが人類に利益をもたらす方向に発展するための核心研究インフラストラクチャの一部であり、AIが犯罪道具や生物兵器の開発に悪用される未来の道を防ぐことを目的としています。

AIの影響力が急速に拡大する中で、整合性と倫理性の確保はもはや実験室内の議論にとどまらず、技術政策や商業化全体戦略を左右する重要なテーマとなっています。AnthropicのBloomプロジェクトは、企業や研究者に対して、制御可能な範囲内でAIの予期しない挙動を実験し分析するための新しいツールを提供しており、今後はAIガバナンスの早期警告システムとしての役割を果たす可能性が高いです。