Xは、Grokに関連する画像生成および編集機能を制限し、チャットボットが未成年者を含む実在の人物の非合意の性的画像を作成した後、有料ユーザーに対するアクセスを制限したと発表しました。 水曜日にXのセーフティアカウントが投稿したアップデートでは、Grokを通じて実在の人物の画像を編集する方法を制限する技術的制約を追加しました。 この措置は、AIがシンプルなプロンプトに応じて性的な画像を生成したという報告を受けて行われました。たとえば、水着を着た人を配置するリクエストなどです。多くの場合、ユーザーはXに投稿された写真の下にGrokを直接タグ付けし、AIが編集された画像を生成し、同じスレッド内で公開されることがありました。
「私たちは、Grokアカウントがビキニなどの露出した衣服を着た実在の人物の画像を編集できないようにする技術的措置を実施しました」と、ウイルストレンドを受けてGrokに人々をビキニに入れるように頼む行為を指して述べました。 また、XのGrokアカウントを通じた画像の作成と編集は、現在有料加入者のみに限定されており、これは責任を向上させ、法律やXのポリシーに違反するGrokの画像ツールの悪用を防ぐことを目的とした変更だと述べました。さらに、位置情報に基づく制限も導入しました。 「現在、すべてのユーザーがGrokアカウントおよびGrok in Xを通じて、ビキニ、下着、類似の衣装を着た実在の人物の画像を生成する能力を地理的にブロックしています。これらの地域では違法です。」 しかしながら、変更後も、Grokは引き続き、AIに直接アップロードされた写真から衣服を取り除いたり変更したりすることを許可しています。これは_Decrypt_のテストとユーザーレポートによると、発表後も継続しています。
一部のケースでは、Grokは「安全措置の不備」を認め、最小限の衣服を着た12歳から16歳の少女の画像を生成したことがあり、これは同社のポリシーに違反しています。これらの機能の継続的な利用可能性は、擁護団体からの監視を受けています。 「Grokが性的に露骨な画像、特に子供の画像を作成したという報告が本当であれば、テキサス州の法律に違反している可能性があります」と、Public Citizenのテキサス州ディレクター、Adrian Shelleyは声明で述べました。「テキサス当局はこれらの申し立てを調査するために遠くを見る必要はありません。Xはオースティン地域に本社を置いており、州は法律違反の有無と、違反していればどのような罰則が適用されるかを判断する明確な責任があります。」 Public Citizenは以前、チャットボットによる人種差別の懸念から、米国政府にGrokを許容AIモデルのリストから除外するよう求めていました。 世界的な反発 世界の政策立案者もGrokに対する監視を強化し、いくつかの調査が進行中です。 欧州委員会は、Grokの安全措置が不十分な場合、Digital Services Actの下でXとxAIに対して執行措置が取られる可能性があると述べました。同時に、オーストラリアのeSafety委員長は、Grokと非合意のAI生成性的画像に関する苦情が2025年末以降2倍になったと述べました。規制当局は、リアルな編集が可能なAI画像ツールは執行と被害者保護を複雑にすると指摘しています。 英国では、Ofcomの規制当局が、Grokを利用して違法な性的なディープフェイク画像を生成したことに関して、オンラインセーフティ法の下でXの調査を開始しました。関係者は、最終的にXが違反と判断され、是正措置を取らなかった場合、裁判所の支援を得てサービスをブロックする措置を求める可能性があると述べました。 マレーシア、インドネシア、韓国など他の国々も、未成年者を保護するためにGrokの調査を開始しています。 アメリカ全土で状況を監視する中、カリフォルニア州が最初にGrokの調査を開始しました。水曜日に、カリフォルニア州司法長官のRob Bontaは、女性や子供の非合意の性的画像の作成と拡散に関する調査を発表しました。
「最近数週間にわたり、xAIが作成・投稿した非合意の性的に露骨な資料の報告の雪崩は衝撃的です。この資料は、女性や子供をヌードや性的に露骨な状況に描写しており、インターネット上で人々を嫌がらせるために使用されています」とBontaは声明で述べました。 この調査では、xAIのGrokの展開が、非合意の親密な画像や子供の性的搾取に関する州法に違反しているかどうかを調査します。 「私は、xAIに対し、これ以上進行しないよう直ちに行動を取ることを強く求めます」とBontaは述べました。「私たちは、非合意の親密な画像や子供の性的虐待資料のAIによる作成と拡散に対してゼロトレランスの方針を持っています。」 調査が進行中であるにもかかわらず、Xは子供の性的搾取、非合意のヌード、望まない性的コンテンツに対して「ゼロトレランス」の姿勢を示しています。 「私たちは、Child Sexual Abuse Material (CSAM)や非合意のヌードを含む違反コンテンツを削除し、Xルールに違反するアカウントに対して適切な措置を講じます」と同社は記しています。「また、必要に応じて、Child Sexual Exploitation資料を求めるアカウントを法執行機関に報告します。」
