Gate Newsの報道によると、2023年3月25日にオープンソース開発者のTommaso De Rossiがデスクトップ自動化コマンドラインツール「usecomputer」を公開しました。このツールはZigで書かれたネイティブバイナリで、Node.jsランタイムに依存せず、AIプログラミングアシスタント（Claude Code、Codex、OpenCodeなど）から直接マウス、キーボード、スクリーンショット機能を制御できます。macOSとLinux（X11、WaylandはXWayland経由で対応）をサポートしています。usecomputerは、スクリーンショット、マウスの移動・クリック・ドラッグ・スクロール、キーボード入力、ショートカットキーの合成などのCLIコマンドを提供し、座標マッピングシステム（coord-map）を備えており、スクリーンショットのピクセル座標を実際の画面座標に自動変換します。スクリーンショットの出力は、モデルのコンテキストウィンドウに適合させるために、最長辺を1568ピクセルに縮尺します。さらに、Kitty Graphics Protocolに対応しており、環境変数を設定することで、スクリーンショットを直接モデルのコンテキストにインラインで貼り付けることも可能です。De Rossiが以前開発したブラウザ自動化ツール「Playwriter」はGitHubで3200以上のスターを獲得しており、「usecomputer」はブラウザ自動化からデスクトップ自動化への拡張版です。このプロジェクトは、彼のkimaki単一リポジトリから独立して分割されており、CLIとNode.jsライブラリの両方で利用可能です。READMEには、OpenAIのコンピュータツールやAnthropicのコンピュータ使用例の完全な統合例も含まれています。
