Las capacidades de visión de Claude te permiten incluir imágenes en tus mensajes y pedirle a Claude que las analice de innumerables maneras. Puedes pedirle a Claude que describa lo que hay en una imagen, compare varias imágenes, cuente objetos o realice tareas de análisis visual complejas.
Fundamentos del manejo de imágenes
Hay varias limitaciones importantes que debes tener en cuenta al trabajar con imágenes:
- Hasta 600 imágenes en todos los mensajes de una sola solicitud (100 en los modelos con una ventana de contexto de 200K tokens)
- Tamaño máximo de 10MB por imagen, medido tras la codificación base64
- Al enviar una imagen: altura/ancho máximo de 8000px
- Al enviar varias imágenes: altura/ancho máximo de 2000px
- Las imágenes se pueden incluir como codificación base64 o una URL a la imagen
- Cada imagen cuenta como tokens según sus dimensiones:
tokens = ⌈width / 28⌉ × ⌈height / 28⌉
Para enviar una imagen a Claude, incluyes un bloque de imagen en tu mensaje de usuario junto con bloques de texto. Aquí está la estructura:
with open("image.png", "rb") as f:
image_bytes = base64.standard_b64encode(f.read()).decode("utf-8")
add_user_message(messages, [
# Bloque de imagen
{
"type": "image",
"source": {
"type": "base64",
"media_type": "image/png",
"data": image_bytes,
}
},
# Bloque de texto
{
"type": "text",
"text": "What do you see in this image?"
}
])Flujo de mensajes
La conversación funciona igual que las interacciones solo de texto. Tu servidor envía un mensaje de usuario que contiene tanto bloques de imagen como de texto a Claude, y Claude responde con un bloque de texto que contiene su análisis.
Técnicas de prompting
La clave para obtener buenos resultados con imágenes es aplicar las mismas técnicas de ingeniería de prompts que usarías con texto. Los prompts simples a menudo conducen a resultados deficientes. Por ejemplo, preguntar "¿Cuántas canicas hay en esta imagen?" podría devolver un conteo incorrecto.
Puedes mejorar drásticamente la precisión de Claude mediante:
- Proporcionar pautas detalladas y pasos de análisis
- Usar ejemplos de uno o varios disparos (one-shot o multi-shot)
- Dividir tareas complejas en pasos más pequeños
Análisis paso a paso
En lugar de una pregunta simple, proporciona a Claude una metodología:
Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?Ejemplos de un solo disparo (One-Shot)
También puedes mejorar la precisión proporcionando ejemplos dentro de tu mensaje. Incluye una imagen con un conteo conocido, indica la respuesta correcta y luego pregunta sobre tu imagen objetivo. Esto le da a Claude un punto de referencia para el tipo de análisis que deseas.
Ejemplo del mundo real: Evaluación de riesgo de incendio
Aquí hay una aplicación práctica: automatizar evaluaciones de riesgo de incendio para seguros de hogar. En lugar de enviar inspectores a cada propiedad, las compañías de seguros pueden usar imágenes satelitales y el análisis de Claude.
El sistema analiza imágenes satelitales para identificar:
- Árboles densos y muy juntos cerca de la residencia
- Rutas de acceso difíciles para los servicios de emergencia
- Ramas que cuelgan sobre la residencia
En lugar de un prompt simple como "proporciona una puntuación de riesgo de incendio", un prompt bien estructurado divide el análisis en pasos específicos:
Analyze the attached satellite image of a property with these specific steps:
1. Residence identification: Locate the primary residence on the property by looking for:
- The largest roofed structure
- Typical residential features (driveway connection, regular geometry)
- Distinction from other structures (garages, sheds, pools)
2. Tree overhang analysis: Examine all trees near the primary residence:
- Identify any trees whose canopy extends directly over any portion of the roof
- Estimate the percentage of roof covered by overhanging branches (0-25%, 25-50%, 50-75%, 75%+)
- Note particularly dense areas of overhang
3. Fire risk assessment: For any overhanging trees, evaluate:
- Potential wildfire vulnerability (ember catch points, continuous fuel paths to structure)
- Proximity to chimneys, vents, or other roof openings if visible
- Areas where branches create a "bridge" between wildland vegetation and the structure
4. Defensible space identification: Assess the property's overall vegetative structure:
- Identify if trees connect to form a continuous canopy over or near the home
- Note any obvious fuel ladders (vegetation that can carry fire from ground to tree to roof)
5. Fire risk rating: Based on your analysis, assign a Fire Risk Rating from 1-4:
- Rating 1 (Low Risk): No tree branches overhanging the roof, good defensible space around the home
- Rating 2 (Moderate Risk): Minimal overhang (<25% of roof), some separation between tree canopies
- Rating 3 (High Risk): Significant overhang (25-50% of roof), connected tree canopies, multiple vulnerability points
- Rating 4 (Severe Risk): Extensive overhang (>50% of roof), dense vegetation against structure
For each item above (1-5), write one sentence summarizing your findings, with your final response being the numerical rating.Este prompt detallado guía a Claude a través de un análisis sistemático, lo que resulta en evaluaciones mucho más precisas y útiles que las que proporcionaría una solicitud simple.
Recuerda: las mismas técnicas de prompting que funcionan para texto se aplican a las imágenes. Invierte tiempo en elaborar prompts detallados y estructurados en lugar de depender de preguntas simples si quieres resultados confiables.