Computer use: Desktop-Software ohne API automatisieren

Die meisten Unternehmen haben mindestens eine App ganz ohne API. Die Tools aus den vorherigen Lektionen kommen nicht an sie heran, weil es nichts gibt, das sie aufrufen könnten.

Meridian, eine fiktive Ingenieurberatung, hat eine dieser Apps. Es handelt sich um einen alten, ebenfalls fiktiven Zeichnungsmanager namens PlotDesk. Jeden Freitag verbringt eine Person den ganzen Tag damit, sich durch dieselben Bildschirme zu klicken, um PDF-Planungssätze zu exportieren. PlotDesk hat weder eine API noch eine Kommandozeile. Es gibt nur Fenster und Schaltflächen.

Mit Computer Use kann Claude PlotDesk über genau diese Fenster und Schaltflächen bedienen, genau wie eine Person es tun würde, indem es Screenshots betrachtet und entscheidet, was zu klicken ist und welcher Text einzugeben ist.

Meridian möchte, dass Claude den heutigen PDF-Planungssatz für das Projekt MEG-2026-0142 exportiert.

Wer welche Aktion ausführt

Über die API stellt Claude niemals eine Verbindung zum Desktop her. Alles, was Claude erzeugt, ist eine Antwort mit darin enthaltenen Tool-Aufrufen. Dein Programm ist das Python-Programm, das die Messages API aufruft. Es führt jede Aktion auf dem Desktop aus und sendet das Ergebnis zurück.

So sieht die Schleife aus: Claude fordert einen Screenshot an. Dein Programm erstellt einen und sendet ihn als Bild zurück. Claude betrachtet ihn und sendet die nächste Aktion, etwa einen Klick auf bestimmte Koordinaten oder einen einzugebenden Text. Dein Programm führt die Aktion aus, und die Schleife wiederholt sich, bis die Aufgabe erledigt ist. Es ist dieselbe Tool-Schleife, die du bereits kennst, nur dass einige der Ergebnisse Screenshots sind.

Der gesamte Export von Meridian benötigte sieben Aktionen.

Den Desktop in einem dedizierten Container ausführen

Claude handelt nach dem, was auf dem Bildschirm zu sehen ist. Text auf einer Webseite oder in einem Bild kann deine Anweisungen überschreiben oder Claude zu Fehlern verleiten. Um zu begrenzen, wie viel Schaden eine einzelne falsche Aktion anrichten kann, gib dem Desktop einen dedizierten Container oder eine virtuelle Maschine, die nur das enthält, was die Aufgabe braucht. Richte es so ein:

• Jede Sitzung erhält einen dedizierten Container.
• Der Container enthält keine Zugangsdaten und keine vom Host gemounteten Verzeichnisse.
• Der Container kann nur die Netzwerk-Hosts erreichen, die die Aufgabe nutzt.

Dein Programm und dein API-Key bleiben außerhalb des Containers.

Die Aktionen schreiben und die Schleife vom SDK ausführen lassen

Die Python- und TypeScript-SDKs verfügen über eine Klasse namens Computer-Toolset. Du leitest eine Unterklasse davon ab und schreibst für jede Aktion, die die Aufgabe benötigt, eine eigene Methode. Die Klasse erstellt den tools-Eintrag des Toolsets für dich und befindet sich in der Beta-Phase. In Python benötigt sie Version 1.12.0 oder höher des SDK.

Meridian implementiert drei der Aktionen des Toolsets: screenshot, left_click und type. Jede Aktion, die du nicht implementierst, wird der API als deaktiviert gemeldet.

Jede Methode besteht aus einer Zeile, die die Arbeit an backend übergibt. Das ist dein eigener Wrapper um das, was auch immer den Desktop steuert, etwa ein VNC-Client oder xdotool. Dieses minimale VNC-Beispiel in Python und TypeScript ist ein guter Ausgangspunkt, ist aber nicht für den Produktionseinsatz gedacht.

Übergib eine Instanz deiner Klasse in tools, zusammen mit dem Prompt. Tool Runner, ein SDK-Helfer, führt die Schleife für dich aus, bis Claude ohne Tool-Aufruf antwortet.

Stand Oktober 2026 ist dieses Toolset über die Claude API und für Claude-Modelle auf Google Cloud (von Google verwaltet) verfügbar. Amazon Bedrock, Microsoft Foundry und die Claude Platform auf AWS verfügen über die früheren Beta-Tool-Versionen. Diese verwenden einen anderen tools-Eintrag und einen Beta-Header, einen Anfrage-Header, der eine Beta-Funktion aktiviert.

Klicks und Eingaben von einer Person genehmigen lassen

Wenn du die Instanz erstellst, übergib eine Funktion namens confirm. Das SDK ruft sie vor jeder Aktion auf. Gibt sie True zurück, wird die Aktion ausgeführt. Alles andere lehnt die Aktion ab, und Claude wird mitgeteilt, dass eine Person sie abgelehnt hat.

confirm sieht die Aktion und ihre Eingabe, aber nicht den Bildschirm. Eine Person, die den Desktop beobachtet, kann sehen, was sich an der Stelle befindet, auf die Claude klicken will. Deshalb genehmigt Meridian Screenshots automatisch und sendet jeden Klick sowie jede type-Aktion an seinen Operator, die Person, die den Desktop beobachtet.

Hier ist Meridians Programm. Drei Namen darin stammen aus Meridians eigenem Code, nicht aus dem SDK: backend, ask_operator und TASK. ask_operator zeigt dem Operator die Aktion und gibt dessen Antwort zurück, und TASK enthält den Prompt.

Entscheiden, wann sich Computer Use eignet

Jeder Screenshot bleibt in der Konversation erhalten, sodass jeder Schritt mehr kostet als der vorherige. Wenn die Software also über einen MCP-Server (einen Dienst, der seine Funktionen Claude als Tools anbietet), eine API oder eine Kommandozeile verfügt, verwende stattdessen diese. Computer Use ist für Software gedacht, die nichts davon hat, wie PlotDesk.

Bleibt die Aufgabe innerhalb von Webseiten, passt das Browser-Use-Tool besser. Es liest und handelt direkt auf der Seite selbst und benötigt keinen vollständigen Desktop.

Wichtige Erkenntnisse

• Claude fordert Aktionen an, und dein Programm führt sie aus.
• Der Desktop läuft für jede Sitzung in einem dedizierten Container.
• Du implementierst nur die Aktionen, die die Aufgabe benötigt.
• Meridians confirm-Funktion sendet jeden Klick und jede type-Aktion zur Genehmigung an eine Person.
• Verwende eine direkte Schnittstelle, wenn es eine gibt, und Computer Use, wenn es keine gibt.