Claude 中的计算机使用(Computer use)的工作方式与常规工具使用完全相同——它建立在您已经熟悉的相同基础之上。关键区别在于,Claude 不是调用天气 API 或数据库函数,而是发出请求来控制计算机界面。
工具使用回顾
在深入了解计算机使用之前,让我们快速回顾一下标准工具使用的工作原理。当您希望 Claude 使用工具时,您会发送一个同时包含用户消息和工具模式(tool schema)的请求。工具模式描述了您想要向 Claude 公开的附加功能。

以下是典型的流程:
- 您向 Claude 发送一个问题,以及可用的工具模式
- Claude 分析请求并决定需要使用工具
- Claude 以工具使用请求作为响应,其中包含工具名称和所需的输入
- 您的服务器执行工具函数并返回结果
- 您将工具结果发送回 Claude

例如,如果您询问旧金山的天气,Claude 可能会调用一个带有位置参数的 get_weather 函数,您的服务器获取天气数据,然后您将结果返回给 Claude。

计算机使用:相同的流程,不同的工具
计算机使用遵循完全相同的模式。区别在于"工具"实际执行的操作——它不是获取天气数据,而是模拟鼠标点击和键盘输入等计算机交互。

当您启用计算机使用时,您会向 Claude 发送一个特殊的工具模式,该模式会在后台自动扩展。在您这端开始时只是一个简单的模式,最终会变成一个全面的接口,告诉 Claude 它可以执行以下操作:
- 鼠标移动和点击
- 键盘输入和组合键
- 截取屏幕截图
- 滚动和其他界面交互

您发送的工具模式是最小化的,但它会自动转换为详细的规范,其中包括 Claude 所需的所有计算机交互能力。

技术实现
要使计算机使用正常工作,您需要一个能够以编程方式执行 Claude 请求的操作的计算环境。参考实现使用运行 Firefox 的 Docker 容器,以及能够模拟按键和鼠标移动的代码。
当 Claude 决定与计算机交互时,它会像任何其他工具一样发送工具使用请求。您的服务器接收此请求,并在容器化环境中执行相应的操作——无论是点击按钮、输入文本还是截取屏幕截图。
需要理解的重要一点是,Claude 并不是直接控制计算机。它是在发出工具请求,而您的基础设施将这些请求转换为实际的计算机交互。
开始使用
您不需要从零开始构建这个基础设施。Anthropic 提供了一个参考实现,为您处理所有复杂的部分。

要设置计算机使用,您需要:
- 在您的系统上安装 Docker 运行时
- 在本地配置一个 AWS 配置文件(通常为"default")
- 来自 Anthropic quickstarts 仓库的参考实现
一旦您具备了这些先决条件,您就可以通过一个命令启动 Docker 容器。这将为您提供与演示中展示的相同界面的访问权限——左侧是一个聊天界面,您可以在其中与 Claude 交谈,右侧是一个浏览器环境,Claude 可以在其中与网页和应用程序进行交互。

设置过程非常简单,完整的设置指南可在 GitHub 上的 Anthropic quickstarts 仓库中找到。这个参考实现提供了您在安全、受控的环境中开始试验 Claude 的计算机使用能力所需的一切。