Claude 中的電腦使用運作方式與一般的工具使用完全相同——它建立在您已經熟悉的相同基礎之上。主要的差異在於,Claude 不是呼叫天氣 API 或資料庫函式,而是發出請求來控制電腦介面。
工具使用複習
在深入探討電腦使用之前,讓我們快速回顧一下標準工具使用的運作方式。當您想要 Claude 使用工具時,您會傳送一個包含使用者訊息和工具結構(tool schema)的請求。工具結構描述了您想要向 Claude 公開的額外功能。

以下是典型的流程:
- 您向 Claude 傳送一個問題,以及可用的工具結構
- Claude 分析請求並判斷需要使用工具
- Claude 回應一個工具使用請求,其中包含工具名稱和所需的輸入
- 您的伺服器執行工具函式並回傳結果
- 您將工具結果傳回給 Claude

舉例來說,如果您詢問舊金山的天氣,Claude 可能會呼叫 get_weather 函式並帶入地點參數,您的伺服器擷取天氣資料,然後您將結果回傳給 Claude。

電腦使用:相同的流程,不同的工具
電腦使用遵循完全相同的模式。差異在於「工具」實際執行的內容——它不是擷取天氣資料,而是模擬滑鼠點擊和鍵盤輸入等電腦互動。

當您啟用電腦使用時,您會向 Claude 傳送一個特殊的工具結構,該結構會在幕後自動展開。您這端原本只是一個簡單的結構,最終會變成一個完整的介面,告訴 Claude 它可以執行以下動作:
- 滑鼠移動和點擊
- 鍵盤輸入和組合鍵
- 擷取螢幕截圖
- 滾動和其他介面互動

您傳送的工具結構是最簡化的,但它會自動轉換成一個詳細的規格,其中包含 Claude 所需的所有電腦互動能力。

技術實作
為了讓電腦使用能夠運作,您需要一個能夠以程式化方式執行 Claude 所請求動作的運算環境。參考實作使用一個執行 Firefox 的 Docker 容器,以及能夠模擬按鍵和滑鼠移動的程式碼。
當 Claude 決定與電腦互動時,它會像其他任何工具一樣傳送一個工具使用請求。您的伺服器接收此請求,並在容器化環境中執行對應的動作——無論是點擊按鈕、輸入文字,還是擷取螢幕截圖。
需要理解的重點是,Claude 並非直接控制電腦。它是在發出工具請求,而您的基礎架構會將這些請求轉換成實際的電腦互動。
開始使用
您不需要從零開始建置這個基礎架構。Anthropic 提供了一個參考實作,為您處理所有複雜的部分。

要設定電腦使用,您需要:
- 系統上已安裝 Docker 執行環境
- 本機已設定好 AWS 設定檔(通常是「default」)
- 來自 Anthropic quickstarts 儲存庫的參考實作
一旦您具備這些先決條件,您就可以用一個指令啟動 Docker 容器。這會讓您存取與示範中所展示的相同介面——左側是一個聊天介面,您可以在其中與 Claude 對話,右側是一個瀏覽器環境,Claude 可以在其中與網頁和應用程式互動。

設定過程非常簡單,完整的設定指南可在 GitHub 上的 Anthropic quickstarts 儲存庫中取得。這個參考實作提供了您在安全、受控的環境中開始試驗 Claude 電腦使用能力所需的一切。