← 可视化 /

🖱 Computer Use Agent 循环

L4-16

看 AI 一步步操作屏幕

每一步:截屏 → 模型推理 → 输出鼠标/键盘动作 → 执行 → 再截屏。

Step 0 / 5 · Tokens 0 · Cost $0.000
任务
把 Numbers 里的"年度预算"标题改成粗体红色
Numbers — Budget.numbers
年度预算
类别
预算
实际
服务器
$2,000
$1,850
设计
$500
$320
营销
$1,200
$1,100
🖱️
Step 0 · screenshot
看屏幕:发现 Numbers 已打开,标题在中间。
📸 1024×768 → 1500 tokens
Step 1 · 推理
先用鼠标点击标题"年度预算"——选中它。
action: left_click @ (210, 200)
Step 2 · 推理
点击工具栏 Bold 按钮加粗。
action: left_click @ (45, 78)
Step 3 · 推理
点击颜色按钮 → 选红色。
action: left_click @ (150, 78)
Step 4 · 验证 ✓
再截一次屏 → 看到标题已变粗体红色 → 任务完成。
📸 + final screenshot
💸 注意 token 消耗:每步约 1500 tokens(一张截图)+ 推理 → 5 步任务约 9000 tokens。 复杂任务可能需要 50-100 步,**单次任务成本几美元不奇怪**。

⚙️ 一些工程细节

→ 配套阅读:L4-16 视觉语言 Agent