Cho phép trợ lý lập trình AI điều khiển trực tiếp máy tính để bàn: công cụ CLI gốc của Zig, mã nguồn mở, tương thích với Claude Code và Codex

Theo theo dõi của 1M AI News, nhà phát triển mã nguồn mở Tommaso De Rossi đã phát hành công cụ dòng lệnh tự động hóa desktop usecomputer, viết bằng Zig dưới dạng tệp nhị phân gốc, không phụ thuộc vào môi trường chạy Node.js, cho phép trợ lý lập trình AI (Claude Code, Codex, OpenCode, v.v.) kiểm soát trực tiếp chuột, bàn phím và chụp màn hình trên desktop. Hỗ trợ macOS và Linux (X11, Wayland qua XWayland).

usecomputer cung cấp các lệnh CLI như chụp màn hình, di chuyển/nhấp/kéo/cuộn chuột, nhập bàn phím và tạo phím tắt, kèm theo hệ thống ánh xạ tọa độ (coord-map), tự động chuyển đổi tọa độ pixel trong ảnh chụp thành tọa độ thực trên màn hình. Ảnh chụp mặc định được thu phóng cạnh dài nhất về 1568 pixel để phù hợp với cửa sổ ngữ cảnh của mô hình. Công cụ còn hỗ trợ Giao thức Đồ họa Kitty, sau khi thiết lập biến môi trường, ảnh chụp có thể nhúng trực tiếp vào ngữ cảnh của mô hình mà không cần đọc file bổ sung.

De Rossi trước đó đã phát triển công cụ tự động hóa trình duyệt Playwriter (hơn 3200 sao trên GitHub), usecomputer mở rộng từ tự động hóa trình duyệt sang tự động hóa desktop. Dự án tách ra từ kho lưu trữ đơn kimaki của ông, đồng thời cung cấp hai phương thức sử dụng là CLI và thư viện Node.js. Trong README có ví dụ tích hợp đầy đủ về công cụ của OpenAI và Anthropic.