Die Vision-Fähigkeiten von Claude ermöglichen es dir, Bilder in deine Nachrichten einzubinden und Claude zu bitten, sie auf anspruchsvolle Weise zu analysieren. Du kannst Claude bitten, Bildinhalte zu beschreiben, mehrere Bilder zu vergleichen, Objekte zu zählen oder komplexe visuelle Analyseaufgaben durchzuführen.
Grundlagen der Bildverarbeitung
Wenn du mit Bildern in Claude arbeitest, musst du mehrere wichtige Einschränkungen beachten:
- Bis zu 100 Bilder über alle Nachrichten in einer einzelnen Anfrage hinweg
- Maximale Größe von 10 MB pro Bild, gemessen nach der Base64-Kodierung
- Beim Senden eines einzelnen Bildes: maximale Höhe/Breite von 8000 px
- Beim Senden mehrerer Bilder: maximale Höhe/Breite von 2000 px
- Bilder können nur als Base64-Kodierung eingebunden werden
- Jedes Bild zählt als Tokens basierend auf den Abmessungen:
tokens = ⌈width / 28⌉ × ⌈height / 28⌉
Um ein Bild einzubinden, fügst du deiner Benutzernachricht neben Textblöcken einen Bildblock hinzu. Hier ist die Struktur:
with open("image.png", "rb") as f:
image_bytes = base64.standard_b64encode(
f.read()
).decode("utf-8")
add_user_message(messages, [
# Bildblock
{
"type": "image",
"source": {
"type": "base64",
"media_type": "image/png",
"data": image_bytes,
}
},
# Textblock
{
"type": "text",
"text": "What do you see in this image?"
}
])Nachrichtenfluss
Das Gespräch funktioniert genau wie reine Textinteraktionen. Dein Server sendet eine Benutzernachricht, die sowohl Bild- als auch Textblöcke enthält, an Claude, und Claude antwortet mit einer Textnachricht, die das Bild analysiert.
Prompting-Techniken
Das Wichtigste, was man über Claudes Vision-Fähigkeiten verstehen muss, ist, dass gute Prompting-Techniken absolut entscheidend sind. Einfache Prompts liefern oft schlechte Ergebnisse, selbst bei klaren Bildern.
Zum Beispiel könnte die Frage „Wie viele Murmeln sind auf diesem Bild?" bei einem Bild mit 12 Murmeln eine falsche Zählung von 13 ergeben. Du kannst die Genauigkeit drastisch verbessern, indem du dieselben Prompt-Engineering-Techniken anwendest, die du auch für Text verwenden würdest:
- Bereitstellung detaillierter Richtlinien und Analyseschritte
- Verwendung von One-Shot- oder Multi-Shot-Beispielen
- Aufteilung komplexer Aufgaben in kleinere Schritte
Schrittweise Analyse
Anstelle einer einfachen Frage gibst du Claude eine Methodik vor:
Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?Dieser strukturierte Ansatz hilft Claude, die korrekte Anzahl von 12 Murmeln zu ermitteln.
One-Shot-Beispiele
Du kannst auch One-Shot-Prompting verwenden, indem du mehrere Bild-Text-Paare in einer einzigen Nachricht einbindest:
[Image of 11 marbles]
The image above has 11 marbles in it.
[Image of 12 marbles]
How many marbles are in this image?Die Bereitstellung eines Beispiels verbessert Claudes Genauigkeit beim Zielbild erheblich.
Praxisbeispiel: Brandrisikobewertung
Hier ist eine praktische Anwendung: die Automatisierung von Brandrisikobewertungen für die Hausratversicherung. Versicherungsunternehmen verlangen von Hausbesitzern oft, Bäume rund um ihr Grundstück zu beschneiden, um das Waldbrandrisiko zu verringern. Anstatt Inspektoren zu jedem Grundstück zu schicken, kannst du Satellitenbilder mit Claude verwenden.
Das System analysiert Satellitenbilder, um Folgendes zu identifizieren:
- Dichte, eng beieinanderstehende Bäume in der Nähe des Wohnhauses
- Schwierige Zufahrtswege für Rettungsdienste
- Über das Wohnhaus hängende Äste
Anstatt eines einfachen Prompts wie „Gib eine Brandrisikobewertung an" erstellst du ein detailliertes Analyseframework:
Analyze the attached satellite image of a property with these specific steps:
1. Residence identification: Locate the primary residence on the property by looking for:
- The largest roofed structure
- Typical residential features (driveway connection, regular geometry)
- Distinction from other structures (garages, sheds, pools)
2. Tree overhang analysis: Examine all trees near the primary residence:
- Identify any trees whose canopy extends directly over any portion of the roof
- Estimate the percentage of roof covered by overhanging branches (0-25%, 25-50%, 50-75%, 75%+)
- Note particularly dense areas of overhang
3. Fire risk assessment: For any overhanging trees, evaluate:
- Potential wildfire vulnerability (ember catch points, continuous fuel paths to structure)
- Proximity to chimneys, vents, or other roof openings if visible
- Areas where branches create a "bridge" between wildland vegetation and the structure
4. Defensible space identification: Assess the property's overall vegetative structure:
- Identify if trees connect to form a continuous canopy over or near the home
- Note any obvious fuel ladders (vegetation that can carry fire from ground to tree to roof)
5. Fire risk rating: Based on your analysis, assign a Fire Risk Rating from 1-4:
- Rating 1 (Low Risk): No tree branches overhanging the roof, good defensible space around
- Rating 2 (Moderate Risk): Minimal overhang (<25% of roof), some separation between tree canopies
- Rating 3 (High Risk): Significant overhang (25-50% of roof), connected tree canopies, multiple points of vulnerability
- Rating 4 (Severe Risk): Extensive overhang (>50% of roof), dense vegetation against structure
For each item above (1-5), write one sentence summarizing your findings, with your final response being the numerical rating.Dieser umfassende Prompt führt Claude durch eine systematische Analyse, die zu genauen und umsetzbaren Brandrisikobewertungen führt. Bei der Prüfung eines stark mit Bäumen bewachsenen Grundstücks identifizierte Claude es korrekt als „3 (Hohes Risiko)" aufgrund erheblicher Baumüberhänge und verbundener Baumkronen rund um das Gebäude.
Die wichtigste Erkenntnis ist, dass Claudes Vision-Fähigkeiten leistungsstark sind, aber dasselbe sorgfältige Prompt-Engineering erfordern, das du für jede komplexe Aufgabe verwenden würdest. Investiere Zeit in die Erstellung detaillierter, strukturierter Prompts, anstatt dich auf einfache Fragen zu verlassen.