Die Vision-Fähigkeiten von Claude ermöglichen es dir, Bilder in deine Nachrichten einzubinden und Claude zu bitten, sie auf unzählige Arten zu analysieren. Du kannst Claude bitten, zu beschreiben, was auf einem Bild zu sehen ist, mehrere Bilder zu vergleichen, Objekte zu zählen oder komplexe visuelle Analyseaufgaben durchzuführen.
Grundlagen der Bildverarbeitung
Es gibt mehrere wichtige Einschränkungen, die du bei der Arbeit mit Bildern beachten solltest:
- Bis zu 600 Bilder über alle Nachrichten in einer einzelnen Anfrage (100 bei Modellen mit einem Kontextfenster von 200.000 Token)
- Maximale Größe von 10 MB pro Bild, gemessen nach der Base64-Kodierung
- Beim Senden eines einzelnen Bildes: maximale Höhe/Breite von 8000 px
- Beim Senden mehrerer Bilder: maximale Höhe/Breite von 2000 px
- Bilder können als Base64-Kodierung oder als URL zum Bild eingebunden werden
- Jedes Bild zählt als Token basierend auf seinen Abmessungen:
tokens = ⌈width / 28⌉ × ⌈height / 28⌉
Um Claude ein Bild zu senden, fügst du einen Bildblock in deine Benutzernachricht neben Textblöcken ein. Hier ist die Struktur:
with open("image.png", "rb") as f:
image_bytes = base64.standard_b64encode(f.read()).decode("utf-8")
add_user_message(messages, [
# Bildblock
{
"type": "image",
"source": {
"type": "base64",
"media_type": "image/png",
"data": image_bytes,
}
},
# Textblock
{
"type": "text",
"text": "What do you see in this image?"
}
])Nachrichtenfluss
Das Gespräch funktioniert genau wie reine Textinteraktionen. Dein Server sendet eine Benutzernachricht, die sowohl Bild- als auch Textblöcke enthält, an Claude, und Claude antwortet mit einem Textblock, der seine Analyse enthält.
Prompting-Techniken
Der Schlüssel zu guten Ergebnissen mit Bildern liegt darin, die gleichen Prompt-Engineering-Techniken anzuwenden, die du auch bei Text verwenden würdest. Einfache Prompts führen oft zu schlechten Ergebnissen. Zum Beispiel könnte die Frage „Wie viele Murmeln sind auf diesem Bild?" eine falsche Anzahl zurückgeben.
Du kannst die Genauigkeit von Claude erheblich verbessern, indem du:
- Detaillierte Richtlinien und Analyseschritte bereitstellst
- One-Shot- oder Multi-Shot-Beispiele verwendest
- Komplexe Aufgaben in kleinere Schritte unterteilst
Schrittweise Analyse
Anstatt einer einfachen Frage gibst du Claude eine Methodik vor:
Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?One-Shot-Beispiele
Du kannst die Genauigkeit auch verbessern, indem du Beispiele innerhalb deiner Nachricht bereitstellst. Füge ein Bild mit einer bekannten Anzahl ein, gib die korrekte Antwort an und frage dann nach deinem Zielbild. Dies gibt Claude einen Referenzpunkt für die Art der Analyse, die du möchtest.
Praxisbeispiel: Brandrisikobewertung
Hier ist eine praktische Anwendung: die Automatisierung von Brandrisikobewertungen für die Wohngebäudeversicherung. Anstatt Inspektoren zu jeder Immobilie zu schicken, können Versicherungsunternehmen Satellitenbilder und die Analyse von Claude nutzen.
Das System analysiert Satellitenbilder, um Folgendes zu identifizieren:
- Dichte, eng beieinanderstehende Bäume in der Nähe des Wohngebäudes
- Schwierige Zufahrtswege für Rettungsdienste
- Über das Wohngebäude hängende Äste
Anstatt eines einfachen Prompts wie „Gib eine Brandrisikobewertung an" unterteilt ein gut strukturierter Prompt die Analyse in konkrete Schritte:
Analyze the attached satellite image of a property with these specific steps:
1. Residence identification: Locate the primary residence on the property by looking for:
- The largest roofed structure
- Typical residential features (driveway connection, regular geometry)
- Distinction from other structures (garages, sheds, pools)
2. Tree overhang analysis: Examine all trees near the primary residence:
- Identify any trees whose canopy extends directly over any portion of the roof
- Estimate the percentage of roof covered by overhanging branches (0-25%, 25-50%, 50-75%, 75%+)
- Note particularly dense areas of overhang
3. Fire risk assessment: For any overhanging trees, evaluate:
- Potential wildfire vulnerability (ember catch points, continuous fuel paths to structure)
- Proximity to chimneys, vents, or other roof openings if visible
- Areas where branches create a "bridge" between wildland vegetation and the structure
4. Defensible space identification: Assess the property's overall vegetative structure:
- Identify if trees connect to form a continuous canopy over or near the home
- Note any obvious fuel ladders (vegetation that can carry fire from ground to tree to roof)
5. Fire risk rating: Based on your analysis, assign a Fire Risk Rating from 1-4:
- Rating 1 (Low Risk): No tree branches overhanging the roof, good defensible space around the home
- Rating 2 (Moderate Risk): Minimal overhang (<25% of roof), some separation between tree canopies
- Rating 3 (High Risk): Significant overhang (25-50% of roof), connected tree canopies, multiple vulnerability points
- Rating 4 (Severe Risk): Extensive overhang (>50% of roof), dense vegetation against structure
For each item above (1-5), write one sentence summarizing your findings, with your final response being the numerical rating.Dieser detaillierte Prompt führt Claude durch eine systematische Analyse, was zu deutlich genaueren und nützlicheren Bewertungen führt, als es eine einfache Anfrage liefern würde.
Denk daran: Die gleichen Prompting-Techniken, die bei Text funktionieren, gelten auch für Bilder. Investiere Zeit in die Erstellung detaillierter, strukturierter Prompts, anstatt dich auf einfache Fragen zu verlassen, wenn du zuverlässige Ergebnisse erzielen möchtest.