Anthropic は、同社の AI コード代理ツールである Claude Code に向けて、新しい「Computer Use(コンピュータ操作)」機能を提供開始しました。この機能は、リサーチプレビュー(Research Preview)という形で macOS ユーザーに公開されます。この機能により Claude は、ユーザーのコンピュータ画面を直接操作できます——アプリを開く、ボタンをクリックする、文字を入力する、スクリーンショットを撮るなど。そして同じ会話の中で、コードを書いてから UI テストまでの一連のワークフローをつなげて完了し、ターミナルから離れる必要がありません。
Claude はいったい「何をクリック」できるの?
公式の技術ドキュメントによると、Computer Use は主に、GUI(グラフィカル・ユーザー・インターフェイス)がないと完了できないタスク、つまり「普段は終端(ターミナル)を置いて、自分でやる必要がある」ことを対象としています:
ネイティブアプリの構築と検証:Claude に macOS のメニューバー App を書かせます。Claude は自分でコンパイルし、起動し、すべての操作用コントロールを順にクリックして機能が正常であることを確認します。あなたがまだその App を開いていないとしてもです。
エンドツーエンドの UI テスト:ローカルの Electron アプリに対して「新規ユーザー向けガイドの手順をテストして」と指示すると、Claude は App を開き、登録手順をクリックし、各画面をスクリーンショットします。Playwright の設定も不要で、テストフレームワークも不要です。
視覚とレイアウトのデバッグ:Claude に「この Modal が小さいウィンドウだと切れて見える」と伝えると、Claude はウィンドウを縮小してバグを再現し、スクリーンショットを撮り、CSS を修正し、再び修正結果を確認します——Claude はあなたが見ている画面を見ています。
GUI しか操作できないツール:デザインツール、ハードウェアのコントロールパネル、iOS Simulator、または CLI や API が存在しない専用ソフトウェアのこと。
Claude のツール選択の優先順位
Computer Use は「最も広く使えて、かつ最も遅い」ツールです。Claude は次の優先順位で最も正確な方法を選びます:
対応する MCP Server がある → MCP を使う
シェルコマンドである → Bash を使う
ブラウザ操作であり、かつ設定で Claude in Chrome がある → Chrome 拡張機能を使う
上記すべてが適用できない → Computer Use を有効化する
つまり、画面操作は「他の方法では届かない」ケースのために用意されています:ネイティブアプリ、シミュレータ、API がないツール。
Computer Use の開き方
Computer Use は、内蔵 MCP Server(名称:
computer-use
)の形式で提供され、デフォルトでは無効です。手動で有効化する必要があります:
対話型の Claude Code ワークセッションで /mcp を実行し、リストから computer-use を見つけます(無効と表示されます)
選択したら Enable をクリックします。設定はプロジェクトごとに永続的に保存され、各プロジェクトは 1 回だけ設定すれば済みます
最初に Claude にコンピュータを操作させると、macOS が 2 つの権限の付与を求めます:アクセシビリティ(Accessibility) と スクリーン録画(Screen Recording)。許可後「もう一度試す」を選びます。状況によっては Claude Code の再起動が必要です
各ワークセッションごとに、App を 1 つずつ許可する
有効化
computer-use
は、Claude があなたのコンピュータ上のすべての App を制御できることを意味しません。毎回のワークセッションで、Claude が初めてある App を操作する必要があるとき、ターミナルにプロンプトが表示されます。内容は:
Claude が制御したい App
追加の権限の要求があるか(例:クリップボードのアクセス)
作業中に何個のほかの App が隠されるか
「今回のワークセッションで許可する」か「拒否する」を選ぶと、許可は現在のワークセッション中のみ有効です。広範なシステムアクセス権を持つ App では、システムがさらに別の警告も表示します:
Claude があなたの画面上でどのように動作するか
全機独占ロック:Computer Use を起動すると、マシンレベルの排他ロックを取得します。別の Claude Code ワークセッションがすでにコンピュータを使用している場合、新しい要求は失敗し、「先に別のワークセッションを終了して」といった表示が出ます。
他の App を一時的に非表示:Claude が画面操作を開始すると、許可されていない表示可能な App は隠されます。Claude が許可された App だけとやり取りすることが保証されます。あなたのターミナルウィンドウは可視のままで、スクリーンショットされません。あなたはリアルタイムで監視できますが、Claude は自身の出力を見ることができません。Claude が完了すると、隠されていた App は自動的に元に戻ります。
いつでも中断可能:Claude がロックを取得すると、macOS が通知「Claude is using your computer · press Esc to stop」を表示します。いつでも
Esc
を押すか、ターミナルで Ctrl+C を押せばすぐに中断できます。Claude はロックを解放し、すべての App を復元し、制御権を返します。
セキュリティメカニズムと信頼の境界
公式ドキュメントでは、Computer Use はサンドボックス化された Bash ツールとは異なり、あなたのデスクトップ環境上で直接実行されるため、信頼の境界も異なると特に強調されています。内蔵の安全なガードレールには以下が含まれます:
逐 App の許可:Claude は、当該ワークセッションで明示的に許可された App だけを制御できます
番人(セントリー)警告:Shell、ファイルシステム、またはシステム設定へのアクセス権を持つ App に対して、許可の前に特別にマークされます
自動プロンプト注入の検出:Claude は画面上の内容を検査し、潜在的なプロンプト注入攻撃を示します
使用条件と制限
Pro または Max プランへの購読が必要(Team、Enterprise は対象外)
Claude Code v2.1.85 以上が必要
現時点では macOS のみ対応(研究プレビュー段階)
対話型のワークセッション内で使用する必要があり、非対話モードには対応していません( -p フラグ)
ブラウザや取引プラットフォームなどの App は「閲覧モード」のみ。ターミナルと IDE は「クリックモード」。その他の App は完全な制御
MacRumors は、競合他社と比べて Claude の Computer Use は、権限の優先設計がより厳格であり、かつ現時点では Mac のみに限定されている一方、他のプランは macOS、Windows、Linux をすでにサポートしていると指摘しています。
開発者にとって、この機能の最大の価値は「書く→テスト→バグを修正する」というループを短縮できることです——Claude はコードを書くばかりでなく、あなたの画面を実際に見ながら結果を検証することもできます。
リスク通知 暗号資産への投資は高いリスクを伴い、その価格は大きく変動する可能性があります。元本の全額を失う可能性があります。リスクを慎重に評価してください。
この記事 Claude Code の新機能:AI があなたの Mac の画面を直接操作、終端(ターミナル)でコードを書いてからクリックテストまでワンストップ で 最初に 鏈新聞 ABMedia に掲載されました。