← 可视化
/
🖱 Computer Use Agent 循环
L4-16
看 AI 一步步操作屏幕
每一步:截屏 → 模型推理 → 输出鼠标/键盘动作 → 执行 → 再截屏。
Step 0 / 5 ·
Tokens 0 ·
Cost $0.000
任务
把 Numbers 里的"年度预算"标题改成粗体红色
Numbers — Budget.numbers
年度预算
类别
预算
实际
服务器
$2,000
$1,850
设计
$500
$320
营销
$1,200
$1,100
🖱️
Step 0 · screenshot
看屏幕:发现 Numbers 已打开,标题在中间。
📸 1024×768 → 1500 tokens
Step 1 · 推理
先用鼠标点击标题"年度预算"——选中它。
action: left_click @ (210, 200)
Step 2 · 推理
点击工具栏 Bold 按钮加粗。
action: left_click @ (45, 78)
Step 3 · 推理
点击颜色按钮 → 选红色。
action: left_click @ (150, 78)
Step 4 · 验证 ✓
再截一次屏 → 看到标题已变粗体红色 → 任务完成。
📸 + final screenshot
💸 注意 token 消耗:每步约 1500 tokens(一张截图)+ 推理 → 5 步任务约 9000 tokens。
复杂任务可能需要 50-100 步,**单次任务成本几美元不奇怪**。
⚙️ 一些工程细节
- 截屏分辨率:1024×768 是 Claude / OpenAI 推荐——再高就 token 爆炸
- 坐标定位:模型直接输出 (x, y) 像素坐标。OCR 标注法是另一条路
- 沙箱:必须在 VM / Docker / 浏览器沙箱里跑——主机直接跑等于授权 AI 操作一切
- max_steps:必须设上限。Agent 卡死循环烧 token 极常见