教程

Claude Code Computer Use 使用指南:让 AI 直接操控 iOS 模拟器和 GUI 应用

Claude Code Computer Use 完整使用指南:三种入口(桌面应用/CLI/macOS Desktop)的启用步骤、iOS 模拟器测试/深色模式验证/Figma 检查/无 API 专有工具等实战场景、权限和安全机制(默认关闭,每步确认)、当前研究预览阶段已知限制,以及 Computer Use + Hooks 自动保存截图的高级组合。

2026/4/264分钟 阅读ClaudeEagle

Claude Code 的 Computer Use 功能让 Claude 可以像人一样操控你的电脑——打开应用、点击按钮、截图验证。这解决了一个长期存在的问题:对于没有 API 的 GUI 工具,AI 以前根本无法帮忙验证变更。


Computer Use 能解决什么问题?

传统 AI 编程工具的局限:

  • 能写代码,但只能通过运行测试验证
  • 无法验证 GUI 层面的正确性(UI 渲染、用户交互流程)
  • 对专有工具(没有 API 的商业软件)完全无能为力
  • 无法操控 iOS 模拟器、Figma、Adobe 等工具

Computer Use 打破了这个边界,让 Claude 可以:

  • 端到端验证 UI 变更
  • 测试用户实际会走的流程
  • 操控任何可以在屏幕上显示的工具

三种入口:桌面应用、终端 CLI、桌面应用

入口版本状态启用方式
Claude Code 桌面应用v2.1.83研究预览设置开关
Claude Code CLI(终端)v2.1.86研究预览/mcp → computer-use
Claude Code 桌面(macOS)v2.1.83研究预览设置 → 启用

桌面应用启用步骤

macOS

  1. 打开 Claude Code 桌面应用
  2. 进入 Settings(设置)
  3. 找到 "Computer use" 开关,开启
  4. 系统会弹出权限请求:
    • 屏幕录制:允许(Claude 需要截图)
    • 辅助功能:允许(Claude 需要控制鼠标和键盘)
  5. 重启 Claude Code

确认启用成功

> /status # 会显示 Computer use: enabled

CLI 终端启用步骤

# 1. 在 Claude Code 里运行 > /mcp # 2. 在 MCP 服务器列表里找到 "computer-use" # 3. 按回车开启 # 4. 重新启动对话

或者通过配置文件:

json
// .claude/settings.json
{
  "mcpServers": {
    "computer-use": {
      "enabled": true
    }
  }
}

实际使用示例

iOS 应用引导流程测试

> 打开 iOS 16 模拟器,运行我们的应用, 点击完整的新用户引导流程(5 步), 截图每一步,在每张截图上标注步骤编号, 最后告诉我哪一步的 UI 看起来有问题。

Claude 会:启动模拟器 → 运行应用 → 截图 → 点击 → 截图 → … → 汇报结果。

验证深色模式/浅色模式

> 验证刚刚修改的 ProfileScreen 组件在深色模式和浅色模式下的渲染。 在模拟器里切换系统主题,截图对比, 找出任何颜色对比度或布局问题。

Figma 设计稿检查

> 打开 Figma,找到"Homepage v3"设计稿, 截图所有需要在这次 Sprint 里实现的组件, 列出每个组件的具体颜色值、字体大小和间距。

没有 API 的专有工具

> 打开公司内部的 QA 系统(那个只能在浏览器里用的), 把刚才的 Bug 报告 #4521 标记为"已修复", 截图确认状态已更新。

权限和安全机制

Computer Use 默认是关闭的,需要显式开启。

每次操作前,Claude 都会显示将要执行的操作,你可以:

  • 批准:允许执行
  • 拒绝:阻止这一步
  • 修改:告诉 Claude 用不同方式操作

最佳实践

  • 只在需要的会话里启用,用完关掉
  • 不要在处理敏感数据的屏幕上使用
  • 对于重要的系统操作,保持默认的手动确认

当前已知限制(研究预览阶段)

官方提醒"仍在早期,预期会有粗糙的地方":

  • 截图分辨率和 AI 识别精度仍在优化
  • 复杂的动画和过渡效果可能干扰识别
  • 有些应用(用了特殊安全机制)可能无法被操控
  • 网络延迟会影响实时交互的流畅度
  • Windows 支持仍在开发中

Computer Use + Hooks 的高级组合

可以用 Hooks 在 Computer Use 截图后自动处理结果:

json
// .claude/settings.json
{
  "hooks": {
    "PostToolUse": [{
      "matcher": "computer_use",
      "hooks": [{
        "type": "command",
        "command": ".claude/hooks/save-screenshot.sh"
      }]
    }]
  }
}
bash
# .claude/hooks/save-screenshot.sh
#!/bin/bash
# 把每次截图保存到 screenshots/ 目录
TIMESTAMP=$(date +%Y%m%d_%H%M%S)
mkdir -p screenshots
cp /tmp/claude-screenshot-*.png screenshots/screenshot_$TIMESTAMP.png
echo "截图已保存:screenshots/screenshot_$TIMESTAMP.png"

来源:Claude Code Computer Use 文档 | Week 13 What's New | Week 14 What's New | 整理:ClaudeEagle

相关文章推荐

教程Claude Code Computer Use:从终端直接操控 macOS 桌面的 AI 自动化Claude Code Computer Use 让 AI 直接操控 macOS 桌面:编译应用、点击按钮、截图验证。详解启用步骤、安全机制和实际应用场景。2026/4/7教程Claude Code GitHub Actions 集成:自动化 CI/CD 工作流与 PR 代码审查Claude Code GitHub Actions 集成完整指南:PR 自动代码审查工作流、自动生成单元测试、--print 非交互模式配置、GitHub Actions 权限配置、成本控制策略,以及官方 Claude Code Action 使用方法。2026/3/1教程Claude Code Slack 集成完全指南:让团队在工作频道里直接触发 AI 编程任务Claude Code Slack 集成完整指南:5 大核心能力(代码问答/任务执行/代码审查/CI 通知/团队协作)、按频道设置权限(read/write/execute/pr 四级)、人工审批工作流配置、GitHub Actions CI 失败自动触发 Claude 分析和修复、4 个团队场景(技术支持/新人上手/PM 提需求/凌晨紧急修复),以及 Slack 集成安全最佳实践。2026/4/26教程Claude Code Auto Mode 完全使用指南:智能权限管理,告别频繁确认打断Claude Code Auto Mode 完整指南:三种权限模式对比、三种开启方式(Shift+Tab/settings.json/--permission-mode)、分类器判断安全 vs 危险操作的逻辑、精细权限规则配置(allow/deny 列表)、PermissionDenied Hook 实现自定义逻辑、/permissions 面板管理,以及三个实战场景。2026/4/26教程Claude Code 进阶技巧 2026:10 个不在官方文档里的实用技巧10 个来自社区和实战的 Claude Code 进阶技巧:--print 批处理脚本、临时覆盖 CLAUDE.md 规则、草稿本模式(先写计划再执行)、GitHub Issue 作为上下文、让 Claude 给自己出题、分层 CLAUDE.md 配置(全局+项目+目录)、thinking out loud 暴露推理、文件修改白名单、实验性 Flag 开关,以及 Session 之间的记忆桥。2026/4/24教程Claude Code 与 GitHub Actions 集成完全指南:CI/CD 自动化的 5 个实用模式Claude Code 整合 GitHub Actions 的 5 个完整可用模式:PR 自动代码审查(触发+评论)、空 PR 自动生成描述、测试覆盖率分析和建议、安全扫描(发现 Critical 问题阻断合并)、变更日志自动生成。每个模式含完整 YAML 配置,以及 API Key 安全管理和成本控制建议。2026/4/24