載入中

電腦使用如何運作

第 64 課3 分鐘

Claude 中的電腦使用運作方式與一般的工具使用完全相同——它建立在您已經熟悉的相同基礎之上。主要的差異在於,Claude 不是呼叫天氣 API 或資料庫函式,而是發出請求來控制電腦介面。

工具使用複習

在深入探討電腦使用之前,讓我們快速回顧一下標準工具使用的運作方式。當您想要 Claude 使用工具時,您會傳送一個包含使用者訊息和工具結構(tool schema)的請求。工具結構描述了您想要向 Claude 公開的額外功能。

以下是典型的流程:

  1. 您向 Claude 傳送一個問題,以及可用的工具結構
  2. Claude 分析請求並判斷需要使用工具
  3. Claude 回應一個工具使用請求,其中包含工具名稱和所需的輸入
  4. 您的伺服器執行工具函式並回傳結果
  5. 您將工具結果傳回給 Claude

舉例來說,如果您詢問舊金山的天氣,Claude 可能會呼叫 get_weather 函式並帶入地點參數,您的伺服器擷取天氣資料,然後您將結果回傳給 Claude。

電腦使用:相同的流程,不同的工具

電腦使用遵循完全相同的模式。差異在於「工具」實際執行的內容——它不是擷取天氣資料,而是模擬滑鼠點擊和鍵盤輸入等電腦互動。

當您啟用電腦使用時,您會向 Claude 傳送一個特殊的工具結構,該結構會在幕後自動展開。您這端原本只是一個簡單的結構,最終會變成一個完整的介面,告訴 Claude 它可以執行以下動作:

  • 滑鼠移動和點擊
  • 鍵盤輸入和組合鍵
  • 擷取螢幕截圖
  • 滾動和其他介面互動

您傳送的工具結構是最簡化的,但它會自動轉換成一個詳細的規格,其中包含 Claude 所需的所有電腦互動能力。

技術實作

為了讓電腦使用能夠運作,您需要一個能夠以程式化方式執行 Claude 所請求動作的運算環境。參考實作使用一個執行 Firefox 的 Docker 容器,以及能夠模擬按鍵和滑鼠移動的程式碼。

當 Claude 決定與電腦互動時,它會像其他任何工具一樣傳送一個工具使用請求。您的伺服器接收此請求,並在容器化環境中執行對應的動作——無論是點擊按鈕、輸入文字,還是擷取螢幕截圖。

需要理解的重點是,Claude 並非直接控制電腦。它是在發出工具請求,而您的基礎架構會將這些請求轉換成實際的電腦互動。

開始使用

您不需要從零開始建置這個基礎架構。Anthropic 提供了一個參考實作,為您處理所有複雜的部分。

要設定電腦使用,您需要:

  1. 系統上已安裝 Docker 執行環境
  2. 本機已設定好 AWS 設定檔(通常是「default」)
  3. 來自 Anthropic quickstarts 儲存庫的參考實作

一旦您具備這些先決條件,您就可以用一個指令啟動 Docker 容器。這會讓您存取與示範中所展示的相同介面——左側是一個聊天介面,您可以在其中與 Claude 對話,右側是一個瀏覽器環境,Claude 可以在其中與網頁和應用程式互動。

設定過程非常簡單,完整的設定指南可在 GitHub 上的 Anthropic quickstarts 儲存庫中取得。這個參考實作提供了您在安全、受控的環境中開始試驗 Claude 電腦使用能力所需的一切。