Entwickler veröffentlichen Desktop-Automatisierungstool usecomputer, geschrieben in Zig und kompatibel mit mehreren KI-Programmierassistenten

Gate News Meldung, 25. März: Der Open-Source-Entwickler Tommaso De Rossi hat das Desktop-Automatisierungstool usecomputer veröffentlicht. Das Tool ist in Zig geschrieben, erzeugt native Binärdateien und benötigt keine Node.js-Laufzeitumgebung. Es ermöglicht KI-Programmierassistenten (einschließlich Claude Code, Codex, OpenCode usw.), direkt die Maus-, Tastatur- und Screenshot-Funktionen des Desktops zu steuern. Das Tool unterstützt macOS und Linux (X11, Wayland über XWayland). usecomputer bietet CLI-Befehle für Screenshots, Mausbewegungen/Klicks/Drag/Scrollen, Tastatureingaben und Hotkey-Kombinationen. Es verfügt über ein Koordinatensystem (coord-map), das Pixelkoordinaten aus Screenshots automatisch in echte Bildschirmkoordinaten umwandelt. Die Screenshot-Ausgabe skaliert standardmäßig die längste Seite auf 1568 Pixel, um sie an den Modellkontext anzupassen. Zudem unterstützt das Tool das Kitty Graphics Protocol; nach Setzen der Umgebungsvariable können Screenshots direkt in den Modellkontext eingebettet werden. De Rossi’s vorheriges Browser-Automatisierungstool Playwriter hat über 3200 GitHub-Sterne erhalten. usecomputer ist eine Erweiterung, die von der Browser-Automatisierung zur Desktop-Automatisierung übergeht. Das Projekt wurde eigenständig vom Kimaki-Repository abgetrennt und bietet sowohl CLI- als auch Node.js-Bibliotheks-Integrationen. Im README sind vollständige Beispiele für die Integration mit OpenAI computer tool und Anthropic computer use enthalten.