投稿 提交工具 投放合作

self-operating-computer:多模态模型操作电脑框架

智能体与MCP 10.3k 1.4k Python 2026-11-21 访问官网 ↗ 在 GitHub 打开

一个让多模态模型像人一样看屏幕并发出鼠标键盘操作来完成目标的框架,支持 GPT-4o、Gemini、Claude 等模型。

Self-Operating Computer Framework 让多模态模型操作电脑:模型查看屏幕,决定一系列鼠标和键盘动作以达成目标,输入输出与人类操作者相同,2023 年 11 月发布时是最早的完整 computer-use 示例之一。当前集成的模型包括 GPT-4o、GPT-4.1、o1、Gemini Pro Vision、Claude 3、Qwen-VL 和 LLaVa(通过 Ollama 本地运行,README 提示其错误率很高,仅作为基础供构建)。默认模式为 OCR:GPT-4 得到可点击元素的坐标哈希表,按文字点击后再查表取坐标;也支持 Set-of-Mark 提示模式,内置一个用 YOLOv8 训练的按钮检测模型,可自行替换权重。另有语音输入模式。运行需要相应模型的 API key,macOS 上需授予终端“屏幕录制”和“辅助功能”权限;兼容 macOS、Windows 和装有 X server 的 Linux。

Star 趋势2026-11-08 — 2026-11-21当前 Stars 10k7 日 +2

10k11-0811-1211-1411-1611-1811-21