Computer Use 是 Claude Code 的研究预览功能(Week 13 起在 CLI 可用),让 Claude 可以在你的本地机器上打开原生应用、点击 UI、填写表单、截图验证——直接操控图形界面,而不只是通过终端命令行。本文是 Computer Use 的完整实战指南。
Computer Use 是什么?
传统 Claude Code 只能通过 Shell 命令、文件读写和 MCP 工具与外部世界交互。但有些任务只能通过 GUI 完成:
- 使用企业内网工具(没有 API 的遗留系统)
- 浏览器里的复杂表单填写
- 桌面应用里的配置操作
- 截图验证 UI 渲染效果
- 操作不支持自动化的商业软件
Computer Use 填补了这个空缺:Claude 可以截屏查看当前状态,移动鼠标、点击、输入文字,然后再截屏验证效果。
启用 Computer Use
CLI 启用(研究预览)
# 全局启用
export CLAUDE_CODE_COMPUTER_USE=1
claude
# 或者通过 chrome flag 集成(v2.1.132 新增)
claude --chrome桌面应用启用
Claude Code 桌面应用已集成 Computer Use,无需额外配置。通过 /desktop 命令从终端切换到桌面应用后自动可用。
工作原理
Computer Use 工具集包含:
| 工具 | 功能 |
|---|---|
computer_screenshot | 截取当前屏幕 |
computer_click | 在指定坐标点击(左键/右键/双击) |
computer_move | 移动鼠标到指定位置 |
computer_type | 输入文字 |
computer_key | 按下快捷键 |
computer_scroll | 滚动页面 |
Claude 使用这些工具的典型流程:
computer_screenshot查看当前状态- 分析截图,找到目标 UI 元素的位置
computer_click或computer_type执行操作- 再次
computer_screenshot验证操作结果
实战使用示例
场景 1:操作没有 API 的企业内网系统
> 打开 Chrome,导航到 http://internal.company.com/forms,
填写新员工入职表单:
姓名:张三
部门:工程部
入职日期:2026-05-15
提交并截图确认
Claude 会:
- 截屏确认当前状态
- 找到 Chrome 图标,点击打开
- 导航到内网地址
- 定位表单字段,填写信息
- 点击提交,截图保存结果
场景 2:验证 UI 渲染效果
> 在 Chrome 里打开 localhost:3000,
测试以下场景并截图:
1. 桌面端(1920x1080)首页渲染
2. 调整到 375px 宽(移动端)后的首页渲染
3. 点击导航菜单,截图展开状态
把所有截图保存到 screenshots/ 目录
场景 3:操作不支持自动化的桌面软件
> 打开 Figma(桌面版),
在文件 "App Redesign" 里找到 "Button Component" 框架,
截图保存到 exports/button-component.png
场景 4:结合 Shell 命令和 GUI
> 运行 npm start 启动开发服务器,
等到服务器 ready 后,
在 Chrome 里打开 localhost:3000,
截图保存首页加载状态,
确认没有控制台错误
与 MCP 工具的配合
Computer Use 和 MCP 工具可以互补:
MCP 优先(效率更高):
- 有 API 的服务 → 用 MCP 工具直接调用
- 数据库操作 → MCP server-postgres
- GitHub 操作 → MCP server-github
Computer Use 兜底:
- 没有 API 的遗留系统
- 需要视觉验证的 UI 测试
- 桌面应用配置
Claude 会自动选择最合适的工具:如果有 MCP 工具可以完成任务,优先用 MCP;只有在必须使用 GUI 时才用 Computer Use。
--chrome 参数(v2.1.126)
claude --chrome开启 Chrome 调试集成,Claude Code 可以:
- 获取 Chrome 里的 console 日志
- 访问网络请求记录
- 读取 DOM 结构(比截图分析更精准)
最适合:前端开发调试、Web 自动化测试
# 配合 --chrome 的用法
> 打开 localhost:3000/checkout,
完成一次测试购买流程,
收集所有网络请求的 XHR 记录,
检查是否有请求失败
权限和安全
Computer Use 权限的权限控制:
// .claude/settings.json
{
"permissions": {
"allow": [
"ComputerUse(screenshot)", // 只允许截图,不允许操作
"ComputerUse(click)",
"ComputerUse(type)"
],
"deny": [
"ComputerUse(key(cmd+q))", // 禁止退出应用
"ComputerUse(key(ctrl+alt+del))" // 禁止系统快捷键
]
}
}Auto Mode 对 Computer Use 的处理:
- 截图:通常自动允许
- 点击/输入:会评估目标 URL/应用是否在受信任范围内
- 系统快捷键:默认谨慎,可能需要确认
已知限制(研究预览阶段)
- 坐标系依赖分辨率:高 DPI 屏幕(Retina)需要注意坐标缩放
- 速度比 API 慢:每次操作需要截屏分析,比直接 API 调用慢
- 弹窗/遮挡:系统级弹窗可能干扰 Claude 的视野
- 跨显示器:多显示器场景的坐标处理还在完善中
- 需要屏幕访问权限:macOS 需要在系统偏好中授权"屏幕录制"
Computer Use 和 Browser MCP 的选择
| 场景 | 推荐工具 |
|---|---|
| 标准 Web 操作(有 API) | MCP server-fetch |
| 前端调试 | Computer Use + --chrome |
| 遗留桌面应用 | Computer Use |
| 视觉截图验证 | Computer Use |
| 批量表单(有规律) | Playwright/Puppeteer 脚本(通过 Bash 调用) |
来源:Claude Code 官方文档 - Computer Use | Week 14 发布公告 | 整理:ClaudeEagle