Les capacités de vision de Claude vous permettent d'inclure des images dans vos messages et de demander à Claude de les analyser d'innombrables façons. Vous pouvez demander à Claude de décrire ce qui se trouve dans une image, de comparer plusieurs images, de compter des objets, ou d'effectuer des tâches d'analyse visuelle complexes.
Principes de base de la gestion des images
Il existe plusieurs limitations importantes à garder à l'esprit lorsque vous travaillez avec des images :
- Jusqu'à 600 images sur l'ensemble des messages dans une seule requête (100 pour les modèles dotés d'une fenêtre de contexte de 200 000 tokens)
- Taille maximale de 10 Mo par image, mesurée après l'encodage en base64
- Lors de l'envoi d'une seule image : hauteur/largeur maximale de 8000 px
- Lors de l'envoi de plusieurs images : hauteur/largeur maximale de 2000 px
- Les images peuvent être incluses sous forme d'encodage base64 ou d'URL vers l'image
- Chaque image compte comme des tokens en fonction de ses dimensions :
tokens = ⌈largeur / 28⌉ × ⌈hauteur / 28⌉
Pour envoyer une image à Claude, vous incluez un bloc image dans votre message utilisateur à côté des blocs de texte. Voici la structure :
with open("image.png", "rb") as f:
image_bytes = base64.standard_b64encode(f.read()).decode("utf-8")
add_user_message(messages, [
# Bloc d'image
{
"type": "image",
"source": {
"type": "base64",
"media_type": "image/png",
"data": image_bytes,
}
},
# Bloc de texte
{
"type": "text",
"text": "What do you see in this image?"
}
])Flux de messages
La conversation fonctionne exactement comme les interactions textuelles uniquement. Votre serveur envoie un message utilisateur contenant à la fois des blocs image et texte à Claude, et Claude répond avec un bloc de texte contenant son analyse.
Techniques de prompting
La clé pour obtenir de bons résultats avec les images est d'appliquer les mêmes techniques d'ingénierie de prompt que celles que vous utiliseriez avec du texte. Des prompts simples conduisent souvent à de mauvais résultats. Par exemple, demander « Combien de billes y a-t-il dans cette image ? » pourrait renvoyer un décompte incorrect.
Vous pouvez améliorer considérablement la précision de Claude en :
- Fournissant des directives détaillées et des étapes d'analyse
- Utilisant des exemples one-shot ou multi-shot
- Décomposant les tâches complexes en étapes plus petites
Analyse étape par étape
Au lieu d'une question simple, fournissez à Claude une méthodologie :
Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?Exemples one-shot
Vous pouvez également améliorer la précision en fournissant des exemples dans votre message. Incluez une image avec un décompte connu, indiquez la bonne réponse, puis posez votre question sur l'image cible. Cela donne à Claude un point de référence pour le type d'analyse que vous souhaitez.
Exemple concret : évaluation du risque d'incendie
Voici une application pratique : l'automatisation des évaluations de risque d'incendie pour l'assurance habitation. Plutôt que d'envoyer des inspecteurs dans chaque propriété, les compagnies d'assurance peuvent utiliser l'imagerie satellite et l'analyse de Claude.
Le système analyse les images satellite pour identifier :
- Des arbres denses et rapprochés près de la résidence
- Des voies d'accès difficiles pour les services d'urgence
- Des branches surplombant la résidence
Plutôt qu'un prompt simple comme « fournir un score de risque d'incendie », un prompt bien structuré décompose l'analyse en étapes spécifiques :
Analyze the attached satellite image of a property with these specific steps:
1. Residence identification: Locate the primary residence on the property by looking for:
- The largest roofed structure
- Typical residential features (driveway connection, regular geometry)
- Distinction from other structures (garages, sheds, pools)
2. Tree overhang analysis: Examine all trees near the primary residence:
- Identify any trees whose canopy extends directly over any portion of the roof
- Estimate the percentage of roof covered by overhanging branches (0-25%, 25-50%, 50-75%, 75%+)
- Note particularly dense areas of overhang
3. Fire risk assessment: For any overhanging trees, evaluate:
- Potential wildfire vulnerability (ember catch points, continuous fuel paths to structure)
- Proximity to chimneys, vents, or other roof openings if visible
- Areas where branches create a "bridge" between wildland vegetation and the structure
4. Defensible space identification: Assess the property's overall vegetative structure:
- Identify if trees connect to form a continuous canopy over or near the home
- Note any obvious fuel ladders (vegetation that can carry fire from ground to tree to roof)
5. Fire risk rating: Based on your analysis, assign a Fire Risk Rating from 1-4:
- Rating 1 (Low Risk): No tree branches overhanging the roof, good defensible space around the home
- Rating 2 (Moderate Risk): Minimal overhang (<25% of roof), some separation between tree canopies
- Rating 3 (High Risk): Significant overhang (25-50% of roof), connected tree canopies, multiple vulnerability points
- Rating 4 (Severe Risk): Extensive overhang (>50% of roof), dense vegetation against structure
For each item above (1-5), write one sentence summarizing your findings, with your final response being the numerical rating.Ce prompt détaillé guide Claude à travers une analyse systématique, aboutissant à des évaluations bien plus précises et utiles qu'une simple demande ne le permettrait.
Rappelez-vous : les mêmes techniques de prompting qui fonctionnent pour le texte s'appliquent aux images. Investissez du temps dans la création de prompts détaillés et structurés plutôt que de vous appuyer sur des questions simples si vous souhaitez obtenir des résultats fiables.