Claudes Vision-Fähigkeiten ermöglichen es dir, Bilder in deine Nachrichten einzubinden und Claude zu bitten, diese zu analysieren, zu vergleichen, Objekte zu zählen oder praktisch jede visuelle Aufgabe auszuführen, die du dir vorstellen kannst. Dies eröffnet leistungsstarke Möglichkeiten für Anwendungen, die von der Dokumentenanalyse bis hin zu automatisierten Bewertungen reichen.
Grundlagen der Bildverarbeitung
Wenn du mit Bildern in Claude arbeitest, musst du einige wichtige Einschränkungen verstehen:
- Bis zu 20 Bilder über alle Nachrichten in einer einzelnen Anfrage hinweg
- Maximale Größe von 3,75 MB
- Maximale Höhe/Breite von 8000px
- Jedes Bild zählt als eine bestimmte Anzahl von Tokens:
tokens = ⌈width / 28⌉ × ⌈height / 28⌉
Um ein Bild einzubinden, fügst du es als einen weiteren Nachrichtenteil-Typ hinzu. Für jedes Bild, das du senden möchtest, fügst du einen Bildteil in deine Benutzernachricht ein. Die Struktur sieht folgendermaßen aus:
with open("image.png", "rb") as f:
image_bytes = f.read()
add_user_message(messages, [
{
"image": {
"format": "png",
"source": {"bytes": image_bytes}
}
},
{"text": "What do you see in this image?"}
])Mehrere Bilder
Du kannst mehrere Bilder in einer einzelnen Nachricht senden, indem du mehrere Bildteile hinzufügst. Claude kann dann Beziehungen zwischen Bildern analysieren, sie vergleichen oder Fragen beantworten, die das Verständnis mehrerer visueller Eingaben erfordern.
Prompting-Techniken
Das Wichtigste, was du über Claudes Vision-Fähigkeiten verstehen musst, ist, dass alle gleichen Prompt-Engineering-Techniken auch für Bilder gelten. Du kannst Claudes Genauigkeit bei der Bildanalyse drastisch erhöhen, indem du Richtlinien, Analyseschritte oder One-Shot-/Multi-Shot-Beispiele bereitstellst.
Anstatt beispielsweise einfach zu fragen „Wie viele Murmeln sind auf diesem Bild?", kannst du einen strukturierten Ansatz bereitstellen:
Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?
Eine weitere effektive Technik ist One-Shot-Prompting, bei dem du ein Beispielbild mit der korrekten Analyse bereitstellst, bevor du Claude bittest, dein Zielbild zu analysieren:
Praxisbeispiel: Brandrisikobewertungen
Eine praktische Anwendung von Claudes Vision-Fähigkeiten ist die automatisierte Brandrisikobewertung für Versicherungsunternehmen. Anstatt Inspektoren zu jeder Immobilie zu schicken, können Unternehmen hochauflösende Satellitenbilder verwenden und Claude bitten, Brandrisiken zu bewerten.
Das System kann mehrere Schlüsselfaktoren analysieren:
- Dichte, eng beieinanderstehende Bäume in der Nähe des Wohnhauses
- Schwierige Zufahrtswege für Einsatzfahrzeuge
- Über das Wohnhaus hängende Äste
- Allgemeine Baumdichte und -abstände
So könntest du eine solche Analyse strukturieren:
with open('./images/prop7.png', 'rb') as f:
image_bytes = f.read()
messages = []
add_user_message(messages, [
{"image": {"format": "png", "source": {"bytes": image_bytes}}},
{"text": prompt}
])
response = chat(messages)Der Schlüssel zum Erfolg bei dieser Art komplexer visueller Analyse liegt darin, detaillierte, strukturierte Prompts bereitzustellen, die Claude durch spezifische Analyseschritte führen, anstatt nach einer einfachen Bewertung zu fragen.
Denke daran: Wenn du mit Bildern arbeitest, tappe nicht in die Falle, einfache Prompts zu verwenden. Wende dieselben Prompt-Engineering-Techniken an, die du für textbasierte Interaktionen gelernt hast, um Claudes visuelle Analysegenauigkeit drastisch zu verbessern.