Les capacités de vision de Claude vous permettent d'inclure des images dans vos messages et de demander à Claude de les analyser de manière sophistiquée. Vous pouvez demander à Claude de décrire le contenu d'une image, de comparer plusieurs images, de compter des objets ou d'effectuer des tâches d'analyse visuelle complexes.
Principes de base de la gestion des images
Lorsque vous travaillez avec des images dans Claude, vous devez comprendre plusieurs limitations clés :
- Jusqu'à 100 images au total dans tous les messages d'une même requête
- Taille maximale de 10 Mo par image, mesurée après l'encodage en base64
- Lors de l'envoi d'une seule image : hauteur/largeur maximale de 8000 px
- Lors de l'envoi de plusieurs images : hauteur/largeur maximale de 2000 px
- Les images ne peuvent être incluses qu'au format d'encodage base64
- Chaque image est comptabilisée en jetons en fonction de ses dimensions :
tokens = ⌈width / 28⌉ × ⌈height / 28⌉
Pour inclure une image, vous ajoutez un bloc d'image à votre message utilisateur, à côté des blocs de texte. Voici la structure :
with open("image.png", "rb") as f:
image_bytes = base64.standard_b64encode(
f.read()
).decode("utf-8")
add_user_message(messages, [
# Bloc d'image
{
"type": "image",
"source": {
"type": "base64",
"media_type": "image/png",
"data": image_bytes,
}
},
# Bloc de texte
{
"type": "text",
"text": "What do you see in this image?"
}
])Flux des messages
La conversation fonctionne exactement comme les interactions textuelles uniquement. Votre serveur envoie à Claude un message utilisateur contenant à la fois des blocs d'image et de texte, et Claude répond par un message texte analysant l'image.
Techniques de formulation des requêtes
L'élément le plus important à comprendre concernant les capacités de vision de Claude est que de bonnes techniques de formulation des requêtes sont absolument essentielles. Des requêtes simples produisent souvent de mauvais résultats, même avec des images claires.
Par exemple, demander « Combien de billes y a-t-il sur cette image ? » avec une image contenant 12 billes peut renvoyer un décompte incorrect de 13. Vous pouvez considérablement améliorer la précision en appliquant les mêmes techniques d'ingénierie de requêtes que celles que vous utiliseriez pour du texte :
- Fournir des consignes détaillées et des étapes d'analyse
- Utiliser des exemples en one-shot ou en multi-shot
- Décomposer les tâches complexes en étapes plus petites
Analyse étape par étape
Au lieu d'une simple question, fournissez à Claude une méthodologie :
Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?Cette approche structurée aide Claude à obtenir le décompte correct de 12 billes.
Exemples en one-shot
Vous pouvez également utiliser la formulation de requêtes en one-shot en incluant plusieurs paires image-texte dans un seul message :
[Image of 11 marbles]
The image above has 11 marbles in it.
[Image of 12 marbles]
How many marbles are in this image?Fournir un exemple améliore considérablement la précision de Claude sur l'image cible.
Exemple concret : évaluation du risque d'incendie
Voici une application pratique : l'automatisation des évaluations du risque d'incendie pour l'assurance habitation. Les compagnies d'assurance exigent souvent des propriétaires qu'ils taillent les arbres autour de leur propriété afin de réduire le risque d'incendie de forêt. Plutôt que d'envoyer des inspecteurs sur chaque propriété, vous pouvez utiliser l'imagerie satellite avec Claude.
Le système analyse les images satellite afin d'identifier :
- Des arbres denses et rapprochés à proximité de la résidence
- Des voies d'accès difficiles pour les services d'urgence
- Des branches surplombant la résidence
Plutôt qu'une requête simple comme « indiquez un score de risque d'incendie », vous créez un cadre d'analyse détaillé :
Analyze the attached satellite image of a property with these specific steps:
1. Residence identification: Locate the primary residence on the property by looking for:
- The largest roofed structure
- Typical residential features (driveway connection, regular geometry)
- Distinction from other structures (garages, sheds, pools)
2. Tree overhang analysis: Examine all trees near the primary residence:
- Identify any trees whose canopy extends directly over any portion of the roof
- Estimate the percentage of roof covered by overhanging branches (0-25%, 25-50%, 50-75%, 75%+)
- Note particularly dense areas of overhang
3. Fire risk assessment: For any overhanging trees, evaluate:
- Potential wildfire vulnerability (ember catch points, continuous fuel paths to structure)
- Proximity to chimneys, vents, or other roof openings if visible
- Areas where branches create a "bridge" between wildland vegetation and the structure
4. Defensible space identification: Assess the property's overall vegetative structure:
- Identify if trees connect to form a continuous canopy over or near the home
- Note any obvious fuel ladders (vegetation that can carry fire from ground to tree to roof)
5. Fire risk rating: Based on your analysis, assign a Fire Risk Rating from 1-4:
- Rating 1 (Low Risk): No tree branches overhanging the roof, good defensible space around
- Rating 2 (Moderate Risk): Minimal overhang (<25% of roof), some separation between tree canopies
- Rating 3 (High Risk): Significant overhang (25-50% of roof), connected tree canopies, multiple points of vulnerability
- Rating 4 (Severe Risk): Extensive overhang (>50% of roof), dense vegetation against structure
For each item above (1-5), write one sentence summarizing your findings, with your final response being the numerical rating.Cette requête complète guide Claude à travers une analyse systématique, aboutissant à des évaluations du risque d'incendie précises et exploitables. Lors d'un test sur une propriété fortement boisée, Claude l'a correctement identifiée comme présentant un risque « 3 (Risque élevé) » en raison d'un surplomb important des arbres et de canopées connectées autour de la structure.
Le point essentiel à retenir est que les capacités de vision de Claude sont puissantes, mais qu'elles nécessitent la même ingénierie de requêtes rigoureuse que celle que vous utiliseriez pour toute tâche complexe. Investissez du temps dans la création de requêtes détaillées et structurées plutôt que de vous fier à de simples questions.