載入中

Claude 的視覺能力讓您可以在訊息中包含圖像,並要求 Claude 分析、比較、計算物件數量,或執行您能想到的幾乎任何視覺任務。這為從文件分析到自動化評估等各種應用開啟了強大的可能性。

圖像處理基礎

在 Claude 中使用圖像時,您需要了解幾個關鍵限制:

  • 單次請求中所有訊息最多可包含 20 張圖像
  • 最大大小為 3.75MB
  • 最大高度/寬度為 8000px
  • 每張圖像會計算為一定數量的 token:tokens = ⌈width / 28⌉ × ⌈height / 28⌉

要包含圖像,您需要將其新增為另一種類型的訊息部分。對於您想要傳送的每張圖像,您需要在使用者訊息中包含一個圖像部分。其結構如下所示:

python
with open("image.png", "rb") as f:
    image_bytes = f.read()

add_user_message(messages, [
    {
        "image": {
            "format": "png",
            "source": {"bytes": image_bytes}
        }
    },
    {"text": "What do you see in this image?"}
])

多張圖像

您可以透過新增多個圖像部分,在單一訊息中傳送多張圖像。Claude 隨後可以分析圖像之間的關係、比較它們,或回答需要理解多個視覺輸入的問題。

提示技巧

關於 Claude 視覺能力最重要的一點是,所有相同的提示工程技巧都適用於圖像。您可以透過提供指引、分析步驟,或使用單次/多次範例,大幅提升 Claude 的視覺準確度。

例如,與其簡單地問「這張圖片中有多少顆彈珠?」,您可以提供一個結構化的方法:

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?

另一個有效的技巧是單次提示(one-shot prompting),即在要求 Claude 分析您的目標圖像之前,先提供一個帶有正確分析的範例圖像:

實際案例:火災風險評估

Claude 視覺能力的一個實際應用是為保險公司進行自動化火災風險評估。公司不需要派遣檢查員到每個物業,而是可以使用高解析度衛星影像,並要求 Claude 評估火災風險。

該系統可以分析幾個關鍵因素:

  • 住宅附近密集、緊密排列的樹木
  • 緊急車輛難以通行的道路
  • 懸垂在住宅上方的樹枝
  • 整體樹木密度與間距

以下是您可能如何構建此類分析:

python
with open('./images/prop7.png', 'rb') as f:
    image_bytes = f.read()

messages = []

add_user_message(messages, [
    {"image": {"format": "png", "source": {"bytes": image_bytes}}},
    {"text": prompt}
])

response = chat(messages)

成功進行這類複雜視覺分析的關鍵,在於提供詳細、結構化的提示,引導 Claude 完成特定的分析步驟,而不是要求進行簡單的評估。

請記住:在處理圖像時,不要陷入使用簡單提示的陷阱。請運用您在文字互動中學到的相同提示工程技巧,以大幅提升 Claude 的視覺分析準確度。