你有没有想过让 AI 不仅能写代码，还能直接操作你的电脑——编译 Swift 应用、启动它、点击每个按钮、截图验证结果？Claude Code 的 Computer Use 功能就是这个想法的实现。
这不是 Chrome 集成
别和 Chrome 集成搞混了。Chrome 集成操控的是浏览器，Computer Use 操控的是整个 macOS 桌面：
| 功能 | Chrome 集成 | Computer Use |
|---|---|---|
| 操控对象 | Chrome 浏览器 | macOS 桌面应用 |
| 适用范围 | Web 应用 | 原生应用、模拟器、任何 GUI 工具 |
| 平台 | 跨平台 | macOS 专属 |
| 计划 | 所有直接计划 | Pro/Max 专属 |
能做什么？
1. 构建和验证原生应用
text
构建 MenuBarStats 目标，启动它，打开偏好窗口，
验证间隔滑块是否更新标签。截图偏好窗口。Claude 编译、启动、点击、验证——一气呵成。
2. 端到端 UI 测试
text
测试这个 Electron 应用的注册流程。Claude 打开应用，点击注册，截图每一步。不需要 Playwright、不需要测试框架。
3. 调试视觉和布局问题
text
模态框在小窗口下被裁剪了。Claude 调整窗口大小、复现 Bug、截图、修复 CSS、验证修复效果。
4. 操控纯 GUI 工具
设计工具、硬件控制面板、iOS 模拟器——任何没有 CLI 或 API 的工具。
使用前提
- macOS
- Pro 或 Max 计划
- Claude Code v2.1.85+
- 交互式会话（不支持
-p非交互模式）
启用步骤
1. 开启 Computer Use Server
text
/mcp找到 computer-use → 选择 Enable。设置按项目持久化。
2. 授权 macOS 权限
首次使用时需要两个权限：
- 辅助功能 (Accessibility)：允许点击、输入、滚动
- 屏幕录制 (Screen Recording)：允许查看屏幕内容
授权后可能需要重启 Claude Code。
安全机制
逐应用审批
开启 Computer Use 不等于 Claude 能操控所有应用。每个应用需要单独批准：
| 权限等级 | 应用类型 |
|---|---|
| 完整控制 | 大多数应用 |
| 仅点击 | 终端、IDE |
| 仅查看 | 浏览器、交易平台 |
高权限应用有额外警告：
| 警告 | 适用于 |
|---|---|
| 等同于 Shell 访问 | Terminal, iTerm, VS Code |
| 可读写任何文件 | Finder |
| 可更改系统设置 | 系统设置 |
全局紧急停止
按 Esc 键立即中止 Computer Use，Claude 释放锁定、恢复隐藏的应用。
其他安全措施
- 终端不截图：Claude 永远看不到自己的终端输出
- 独占锁：同一时间只有一个 Claude 会话可以操控屏幕
- 每会话审批：应用权限在会话结束后失效
工具选择优先级
Claude 自动选择最精确的工具：
- MCP Server（如果有对应服务的 MCP）
- Bash 命令（如果是 Shell 操作）
- Chrome 集成（如果是浏览器操作）
- Computer Use（以上都不适用时）
Computer Use 是最后选择——覆盖面最广但速度最慢。
工作方式
当 Claude 开始操控屏幕时：
- 其他可见应用被隐藏（只留审批过的应用和终端）
- Claude 执行操作（点击、输入、截图）
- 操作完成后自动恢复隐藏的应用
你可以在终端中实时观看 Claude 的操作过程。
实用示例
验证 iOS 模拟器中的应用
text
在 iOS 模拟器中启动应用，测试所有导航标签，
确保数据正确加载。截图任何异常状态。自动化 Xcode 操作
text
打开 Xcode，选择 Release scheme，Archive 项目，
然后导出 IPA 文件。截图对比设计稿
text
打开 Figma 中的设计稿，然后打开本地运行的应用，
逐屏对比两者的差异。原文来源：Claude Code Computer Use 文档 | 来源：Claude Code 官方文档