Cargando

Compatibilidad con imágenes

Lección 4410 min

Las capacidades de visión de Claude te permiten incluir imágenes en tus mensajes y pedirle a Claude que las analice de formas sofisticadas. Puedes pedirle a Claude que describa el contenido de una imagen, compare varias imágenes, cuente objetos o realice tareas de análisis visual complejas.

Conceptos básicos del manejo de imágenes

Una diapositiva con una versión anterior de los límites de imágenes y la fórmula de tokens que se muestran a continuación, junto al bloque de código de imagen en base64 que también se muestra a continuación.

Cuando trabajas con imágenes en Claude, debes comprender varias limitaciones clave:

  • Hasta 100 imágenes en total en todos los mensajes de una sola solicitud
  • Tamaño máximo de 10 MB por imagen, medido tras la codificación en base64
  • Al enviar una sola imagen: altura/ancho máximo de 8000 px
  • Al enviar varias imágenes: altura/ancho máximo de 2000 px
  • Las imágenes solo pueden incluirse mediante codificación en base64
  • Cada imagen cuenta como tokens según sus dimensiones: tokens = ⌈width / 28⌉ × ⌈height / 28⌉

Para incluir una imagen, agregas un bloque de imagen a tu mensaje de usuario junto con bloques de texto. Esta es la estructura:

python
with open("image.png", "rb") as f:
    image_bytes = base64.standard_b64encode(
        f.read()
    ).decode("utf-8")

add_user_message(messages, [
    # Bloque de imagen
    {
        "type": "image",
        "source": {
            "type": "base64",
            "media_type": "image/png",
            "data": image_bytes,
        }
    },
    # Bloque de texto
    {
        "type": "text",
        "text": "What do you see in this image?"
    }
])

Flujo de mensajes

Mensaje de usuario con un bloque de imagen con datos de imagen sin procesar y un bloque de texto dirigido a Claude, cuya respuesta comienza con "Veo un árbol alto".

La conversación funciona igual que las interacciones de solo texto. Tu servidor envía un mensaje de usuario que contiene tanto bloques de imagen como de texto a Claude, y Claude responde con un mensaje de texto que analiza la imagen.

Técnicas de prompting

Mensaje de usuario con una foto de 12 canicas y la pregunta de conteo, luego la respuesta de Claude de 13 canicas marcada con una X roja.

Lo más importante que debes entender sobre las capacidades de visión de Claude es que las buenas técnicas de prompting son absolutamente fundamentales. Los prompts simples a menudo producen resultados deficientes, incluso con imágenes claras.

Por ejemplo, al preguntar "¿Cuántas canicas hay en esta imagen?" con una imagen que contiene 12 canicas, podría devolver un conteo incorrecto de 13. Puedes mejorar drásticamente la precisión aplicando las mismas técnicas de ingeniería de prompts que usarías para texto:

  • Proporcionar pautas detalladas y pasos de análisis
  • Usar ejemplos de uno o varios disparos (one-shot o multi-shot)
  • Dividir tareas complejas en pasos más pequeños

Análisis paso a paso

Una foto de canicas y el prompt de conteo paso a paso se envían a Claude, cuya respuesta "Cuento 12 canicas en esta imagen" es correcta.

En lugar de una pregunta simple, proporciónale a Claude una metodología:

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.

What is the exact, verified number of marbles in this image?

Este enfoque estructurado ayuda a Claude a obtener el conteo correcto de 12 canicas.

Ejemplos de un solo disparo (one-shot)

Una foto de ejemplo etiquetada como 11 canicas, luego una foto objetivo; Claude responde correctamente "Cuento 12 canicas en esta imagen".

También puedes usar el prompting de un solo disparo (one-shot) incluyendo varios pares de imagen-texto en un solo mensaje:

[Image of 11 marbles]
The image above has 11 marbles in it.

[Image of 12 marbles]  
How many marbles are in this image?

Proporcionar un ejemplo mejora significativamente la precisión de Claude en la imagen objetivo.

Ejemplo del mundo real: evaluación de riesgo de incendio

Foto satelital anotada de una casa rodeada de árboles densos, con flechas que marcan las tres características de riesgo enumeradas a continuación.

Aquí tienes una aplicación práctica: automatizar evaluaciones de riesgo de incendio para seguros de vivienda. Las compañías de seguros a menudo exigen a los propietarios que recorten los árboles alrededor de su propiedad para reducir el riesgo de incendios forestales. En lugar de enviar inspectores a cada propiedad, puedes usar imágenes satelitales con Claude.

El sistema analiza imágenes satelitales para identificar:

  • Árboles densos y muy juntos cerca de la residencia
  • Rutas de acceso difíciles para los servicios de emergencia
  • Ramas que cuelgan sobre la residencia

En lugar de un prompt simple como "proporciona una puntuación de riesgo de incendio", creas un marco de análisis detallado:

Analyze the attached satellite image of a property with these specific steps:

1. Residence identification: Locate the primary residence on the property by looking for:
   - The largest roofed structure
   - Typical residential features (driveway connection, regular geometry)
   - Distinction from other structures (garages, sheds, pools)

2. Tree overhang analysis: Examine all trees near the primary residence:
   - Identify any trees whose canopy extends directly over any portion of the roof
   - Estimate the percentage of roof covered by overhanging branches (0-25%, 25-50%, 50-75%, 75%+)
   - Note particularly dense areas of overhang

3. Fire risk assessment: For any overhanging trees, evaluate:
   - Potential wildfire vulnerability (ember catch points, continuous fuel paths to structure)
   - Proximity to chimneys, vents, or other roof openings if visible
   - Areas where branches create a "bridge" between wildland vegetation and the structure

4. Defensible space identification: Assess the property's overall vegetative structure:
   - Identify if trees connect to form a continuous canopy over or near the home
   - Note any obvious fuel ladders (vegetation that can carry fire from ground to tree to roof)

5. Fire risk rating: Based on your analysis, assign a Fire Risk Rating from 1-4:
   - Rating 1 (Low Risk): No tree branches overhanging the roof, good defensible space around
   - Rating 2 (Moderate Risk): Minimal overhang (<25% of roof), some separation between tree canopies
   - Rating 3 (High Risk): Significant overhang (25-50% of roof), connected tree canopies, multiple points of vulnerability
   - Rating 4 (Severe Risk): Extensive overhang (>50% of roof), dense vegetation against structure

For each item above (1-5), write one sentence summarizing your findings, with your final response being the numerical rating.

Este prompt integral guía a Claude a través de un análisis sistemático, lo que da como resultado evaluaciones de riesgo de incendio precisas y prácticas. Al probarse con una propiedad densamente cubierta de árboles, Claude la identificó correctamente como "3 (Riesgo Alto)" debido al importante solapamiento de árboles y a las copas conectadas alrededor de la estructura.

La conclusión clave es que las capacidades de visión de Claude son poderosas, pero requieren la misma ingeniería de prompts cuidadosa que usarías para cualquier tarea compleja. Invierte tiempo en crear prompts detallados y estructurados en lugar de depender de preguntas simples.