Computer Use in Claude funktioniert genau wie reguläre Tool-Nutzung - es basiert auf demselben Fundament, das du bereits kennst. Der entscheidende Unterschied besteht darin, dass Claude anstatt eine Wetter-API oder eine Datenbankfunktion aufzurufen, Anfragen stellt, um eine Computerschnittstelle zu steuern.
Auffrischung zur Tool-Nutzung
Bevor wir uns mit Computer Use beschäftigen, lass uns kurz wiederholen, wie standardmäßige Tool-Nutzung funktioniert. Wenn du möchtest, dass Claude ein Tool verwendet, sendest du eine Anfrage, die sowohl eine Nutzernachricht als auch ein Tool-Schema enthält. Das Tool-Schema beschreibt die zusätzliche Funktionalität, die du Claude zur Verfügung stellen möchtest.
Hier ist der typische Ablauf:
- Du sendest Claude eine Frage zusammen mit den verfügbaren Tool-Schemas
- Claude analysiert die Anfrage und entscheidet, dass es ein Tool verwenden muss
- Claude antwortet mit einer Tool-Nutzungsanfrage, die den Tool-Namen und die erforderlichen Eingaben enthält
- Dein Server führt die Tool-Funktion aus und gibt das Ergebnis zurück
- Du sendest das Tool-Ergebnis zurück an Claude
Wenn du zum Beispiel nach dem Wetter in San Francisco fragst, könnte Claude eine get_weather-Funktion mit dem Standortparameter aufrufen, dein Server ruft die Wetterdaten ab, und du gibst das Ergebnis an Claude zurück.
Computer Use: Derselbe Ablauf, ein anderes Tool
Computer Use folgt genau diesem gleichen Muster. Der Unterschied liegt darin, was das „Tool" tatsächlich tut - anstatt Wetterdaten abzurufen, simuliert es Computerinteraktionen wie Mausklicks und Tastatureingaben.
Wenn du Computer Use aktivierst, sendest du Claude ein spezielles Tool-Schema, das im Hintergrund automatisch erweitert wird. Was auf deiner Seite als einfaches Schema beginnt, wird zu einer umfassenden Schnittstelle, die Claude mitteilt, dass es Aktionen wie folgende ausführen kann:
- Mausbewegungen und Klicks
- Tastatureingaben und Tastenkombinationen
- Screenshots aufnehmen
- Scrollen und andere Interaktionen mit der Benutzeroberfläche
Das Tool-Schema, das du sendest, ist minimal, aber es wird automatisch in eine detaillierte Spezifikation umgewandelt, die alle Fähigkeiten zur Computerinteraktion enthält, die Claude benötigt.
Die technische Umsetzung
Damit Computer Use funktioniert, benötigst du eine Computerumgebung, die die von Claude angeforderten Aktionen programmatisch ausführen kann. Die Referenzimplementierung verwendet einen Docker-Container mit Firefox sowie Code, der Tastendrücke und Mausbewegungen simulieren kann.
Wenn Claude entscheidet, mit dem Computer zu interagieren, sendet es eine Tool-Nutzungsanfrage wie bei jedem anderen Tool. Dein Server empfängt diese Anfrage und führt die entsprechende Aktion in der containerisierten Umgebung aus - sei es das Klicken auf eine Schaltfläche, das Eingeben von Text oder das Aufnehmen eines Screenshots.
Wichtig zu verstehen ist, dass Claude nicht direkt einen Computer steuert. Es stellt Tool-Anfragen, und deine Infrastruktur übersetzt diese Anfragen in tatsächliche Computerinteraktionen.
Erste Schritte
Du musst diese Infrastruktur nicht von Grund auf neu aufbauen. Anthropic stellt eine Referenzimplementierung bereit, die alle komplexen Teile für dich übernimmt.
Um Computer Use einzurichten, benötigst du:
- Eine auf deinem System installierte Docker-Laufzeitumgebung
- Ein lokal konfiguriertes AWS-Profil (normalerweise „default")
- Die Referenzimplementierung aus dem Anthropic-Quickstarts-Repository
Sobald du diese Voraussetzungen erfüllt hast, kannst du den Docker-Container mit einem einzigen Befehl starten. Dies gibt dir Zugriff auf dieselbe Schnittstelle, die in den Demonstrationen gezeigt wird - eine Chat-Schnittstelle auf der linken Seite, über die du mit Claude sprechen kannst, und eine Browserumgebung auf der rechten Seite, in der Claude mit Webseiten und Anwendungen interagieren kann.
Der Einrichtungsprozess ist unkompliziert, und die vollständige Einrichtungsanleitung ist im Anthropic-Quickstarts-Repository auf GitHub verfügbar. Diese Referenzimplementierung bietet alles, was du brauchst, um mit den Computer-Use-Fähigkeiten von Claude in einer sicheren, abgeschlossenen Umgebung zu experimentieren.