Claude 的視覺能力讓您可以在訊息中包含圖像,並要求 Claude 分析、比較、計算物件數量,或執行您能想到的幾乎任何視覺任務。這為從文件分析到自動化評估等各種應用開啟了強大的可能性。
圖像處理基礎
在 Claude 中使用圖像時,您需要了解幾個關鍵限制:
- 單次請求中所有訊息最多可包含 20 張圖像
- 最大大小為 3.75MB
- 最大高度/寬度為 8000px
- 每張圖像會計算為一定數量的 token:
tokens = ⌈width / 28⌉ × ⌈height / 28⌉

要包含圖像,您需要將其新增為另一種類型的訊息部分。對於您想要傳送的每張圖像,您需要在使用者訊息中包含一個圖像部分。其結構如下所示:
python
with open("image.png", "rb") as f:
image_bytes = f.read()
add_user_message(messages, [
{
"image": {
"format": "png",
"source": {"bytes": image_bytes}
}
},
{"text": "What do you see in this image?"}
])多張圖像
您可以透過新增多個圖像部分,在單一訊息中傳送多張圖像。Claude 隨後可以分析圖像之間的關係、比較它們,或回答需要理解多個視覺輸入的問題。

提示技巧
關於 Claude 視覺能力最重要的一點是,所有相同的提示工程技巧都適用於圖像。您可以透過提供指引、分析步驟,或使用單次/多次範例,大幅提升 Claude 的視覺準確度。

例如,與其簡單地問「這張圖片中有多少顆彈珠?」,您可以提供一個結構化的方法:
Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number as you identify it.
2. Verify your result by counting with a different method. Start from the bottom-left corner and work row by row, from left to right.
What is the exact, verified number of marbles in this image?
另一個有效的技巧是單次提示(one-shot prompting),即在要求 Claude 分析您的目標圖像之前,先提供一個帶有正確分析的範例圖像:

實際案例:火災風險評估
Claude 視覺能力的一個實際應用是為保險公司進行自動化火災風險評估。公司不需要派遣檢查員到每個物業,而是可以使用高解析度衛星影像,並要求 Claude 評估火災風險。

該系統可以分析幾個關鍵因素:
- 住宅附近密集、緊密排列的樹木
- 緊急車輛難以通行的道路
- 懸垂在住宅上方的樹枝
- 整體樹木密度與間距
以下是您可能如何構建此類分析:
python
with open('./images/prop7.png', 'rb') as f:
image_bytes = f.read()
messages = []
add_user_message(messages, [
{"image": {"format": "png", "source": {"bytes": image_bytes}}},
{"text": prompt}
])
response = chat(messages)成功進行這類複雜視覺分析的關鍵,在於提供詳細、結構化的提示,引導 Claude 完成特定的分析步驟,而不是要求進行簡單的評估。
請記住:在處理圖像時,不要陷入使用簡單提示的陷阱。請運用您在文字互動中學到的相同提示工程技巧,以大幅提升 Claude 的視覺分析準確度。