読み込み中

Anthropic教育レポート:AI活用力指標(AI Fluency Index)

AnthropicのAI活用力指標は、数千件のClaude.aiの会話にわたる11の観察可能な行動を測定し、 人々がどのようにAIとの協働スキルを発達させるかを理解するものです。

10 分

2026年2月23日に初版公開。

人々は、1年前には予測が難しかったであろうペースで、AIツールを日常生活に取り入れつつあります。しかし、採用が進んでいるという事実だけでは、これらのツールの影響についてはあまり多くを語ってくれません。さらに重要な問いは、AIが日常生活の一部となる中で、人々はそれをうまく使いこなすスキルを身につけているのか、ということです。

これまでのAnthropic教育レポートでは、大学生や教育者がClaudeをどのように使っているかを調査してきました。学生はレポート作成や実験結果の分析にClaudeを使い、教育者は授業教材の作成や定型業務の自動化に使っていることがわかりました。しかし、AIを使う人は誰であれ、自分の取り組んでいることが上達していく可能性が高いこともわかっています。私たちはこれをさらに掘り下げ、AIを使う人々が時間とともにこの技術に対する「活用力(fluency)」をどのように発達させていくのかを理解したいと考えました。

本レポートでは、この問いに答え始めます。私たちは、AI活用力を表すと考えられる行動の分類体系の有無を、匿名化された会話の大規模なサンプルにわたって追跡しました。

最近のEconomic Indexと同様に、AI活用力の最も一般的な表れ方は「補助的(augmentative)」なもの、つまり作業を完全に委任するのではなく、AIを思考のパートナーとして扱うものであることがわかりました。実際、こうした会話は、短いやり取りの会話と比べて、AI活用力の行動の数が2倍以上見られます。

しかし同時に、AIがアプリ、コード、ドキュメント、インタラクティブなツールなどのアーティファクトを生成する場合、ユーザーはその推論に疑問を呈したり(-3.1ポイント)、欠けている文脈を指摘したり(-5.2ポイント)する可能性が低くなることもわかりました。これは、コーディングスキルに関する最近の研究で観察された関連パターンと一致しています。

これらの初期の知見は、今後AI活用力の発達を経時的に研究するために使えるベースラインを私たちに提供してくれます。

AI活用力を測定する

AI活用力を定量化するために、私たちはRick Dakan教授とJoseph Feller教授がAnthropicと共同で開発した4D AI活用力フレームワークを使用しています。このフレームワークは、安全で効果的な人間とAIの協働を体現すると考えられる24の具体的な行動を定義するのに役立ちます。

これら24の行動のうち、11個(下のグラフに記載)は、人間がClaude.aiまたはClaude CodeでClaudeと対話する際に直接観察可能です。残りの13個(仕事におけるAIの役割について正直であることや、AIが生成した出力を共有することの結果を考慮することなど)は、Claude.aiのチャットインターフェースの外で起こるため、追跡がはるかに困難です。これらの観察不可能な行動は、AI活用力の中でも最も重要な側面のいくつかであると言えるため、今後の研究ではこれらを評価するために定性的な手法を用いる予定です。

本研究では、直接観察可能な11の行動に焦点を当てました。私たちはプライバシー保護分析ツールを使用して、2026年1月の7日間のウィンドウにおいてClaude.ai上でClaudeと複数回のやり取りを含む9,830件の会話を調査しました。1 その上で、11の行動の有無を測定しました。各会話は複数の行動の証拠を示す可能性があります。私たちは、結果が週の各曜日にわたって、またサンプル内のさまざまな言語にわたって一貫しているかを確認することで、サンプルの信頼性を評価しました(一貫していることがわかりました)。2 こうして最終的に、AI活用力指標(AI Fluency Index)が得られました。これは、人々が今日どのようにAIと協働しているかのベースライン測定であり、モデルが変化するにつれてこれらの行動がどのように進化していくかを追跡するための基盤です。

「行動指標の出現率」と題された横棒グラフ。9,830件のClaude.aiの会話のうち、11のAI活用力行動それぞれを示す割合を、多い順から少ない順に並べ、コンピテンシー(記述力、委任力、評価力)ごとに色分けして示している:反復と改善 85.7%;支援を求める前に目標を明確化 51.1%;良い例の提示 41.1%;必要な形式と構造の指定 30%;対話モードの設定 30%;トーンとスタイルの好みの伝達 22.7%;AIが文脈を欠いている可能性の指摘 20.3%;出力の対象読者の定義 17.6%;AIの推論が成り立たない場合の疑問提起 15.8%;実行前にアプローチについてAIに相談 10.1%;重要な事実や主張の確認 8.7%。

9,830件のClaude.aiの会話にわたる各AI活用力行動指標の出現率。多い順から少ない順に並べ、コンピテンシーごとに色分けしている。

結果

最初の研究で、私たちはClaudeの利用における2つの主要なパターンを発見しました。1つは、Claudeとのより長い会話を通じた反復と改善とAI活用力との間の強い関係であり、もう1つは、コーディングや他の出力物を構築する際のユーザーの活用力行動の変化です。

活用力は反復と改善を示す会話と強く関連している

データにおける最も強いパターンの1つは、反復と改善と他のすべてのAI活用力行動との関係です。サンプル中の85.7%の会話が反復と改善を示していました。これは、最初の応答を受け入れて新しいタスクに移るのではなく、以前のやり取りを踏まえてユーザーの作業を改善していくことを意味します。これらの会話は、下のグラフが示すように、他の活用力行動の出現率が大幅に高くなっていました。

「反復と改善」と題されたグループ化棒グラフ。反復のある会話とない会話における行動の出現率を比較している:目標の明確化 54.5% 対 30.9%(+23.6ポイント);例の提示 44.4% 対 21.8%(+22.6ポイント);欠けている文脈の指摘 22.8% 対 5.7%(+17.1ポイント);形式の指定 32.4% 対 16.1%(+16.3ポイント);推論への疑問提起 17.9% 対 3.2%(+14.7ポイント)。

ユーザーが反復と改善を行う会話(n=8,424)と、反復と改善を行わない会話(n=1,406)における行動指標の出現率。すべての行動が、反復と改善を伴う会話において大幅に高く出現している。

平均して、反復と改善を伴う会話では、追加で2.67個の活用力行動が見られます。これは、反復を伴わない会話の出現率1.33のおよそ2倍です。これは特に、Claudeの出力を評価することに関連する活用力行動において顕著です。反復と改善を伴う会話では、ユーザーがClaudeの推論に疑問を呈する可能性が5.6倍高く、欠けている文脈を指摘する可能性が4倍高くなっています。

出力物を作成する際、ユーザーはより指示的になるが、評価的ではなくなる

サンプル中の会話の12.3%は、コード、ドキュメント、インタラクティブなツール、その他の出力物を含むアーティファクトに関わるものでした。これらの会話では、人々はAIとかなり異なる形で協働していました。

具体的には、「記述力」と「委任力」というより広いテーマに含まれる行動の出現率が大幅に高いことがわかりました。例えば、これらの会話では、アーティファクトを伴わない会話と比較して、ユーザーが目標を明確化する(+14.7ポイント)、形式を指定する(+14.5ポイント)、例を提示する(+13.4ポイント)、反復する(+9.7ポイント)可能性が高くなっています。言い換えれば、作業の初めにAIをより多く指示しているということです。

しかし、この指示性の高さは、より高いレベルの評価や評価力とは対応していません。実際には、その逆です。アーティファクトが作成される会話では、ユーザーは欠けている文脈を指摘する(-5.2ポイント)、事実を確認する(-3.7ポイント)、モデルに根拠の説明を求めることで推論に疑問を呈する(-3.1ポイント)可能性が低くなります。 私たちのEconomic Indexは、当然のことながら、最も複雑なタスクこそClaudeが最も苦戦する領域であることを示しており、これは特に注目に値すると言えます。

「アーティファクト効果」と題されたグループ化棒グラフ。アーティファクトを伴う会話と伴わない会話における行動の出現率を比較している:改善と反復 94.1% 対 84.5%(+9.7ポイント);目標の明確化 64% 対 49.3%(+14.7ポイント);例の提示 52.9% 対 39.5%(+13.4ポイント);形式の指定 42.8% 対 28.3%(+14.5ポイント);事実確認 5.5% 対 9.2%(-3.7ポイント);推論への疑問提起 13% 対 16.2%(-3.1ポイント);欠けている文脈の指摘 15.8% 対 21%(-5.2ポイント)。

アーティファクトを伴う会話(n=1,209)と伴わない会話(n=8,621)における行動指標の出現率。記述力と委任力の行動はアーティファクトを伴う会話で増加する一方、3つの評価力行動はすべて減少している。

このパターンにはいくつかの考えられる説明があります。Claudeが洗練された、機能的に見える出力物を作成しているため、それ以上疑問を呈する必要がないように感じられるのかもしれません。つまり、作業が「完成しているように見える」場合、ユーザーはそれをそのまま受け入れてしまう可能性があります。しかし、アーティファクトに関する会話は、事実の正確さよりも美観や機能性が重要となるタスク(例えば、法的分析の執筆ではなくUIのデザインなど)を含んでいる可能性もあります。あるいは、ユーザーは私たちが観察できない経路、例えばコードを実行したり、アプリを別の場所でテストしたり、同僚に下書きを共有したりすることでアーティファクトを評価しており、その評価を同じ最初の会話の中で表現していないのかもしれません。

どのような説明であれ、このパターンは注目に値します。AIモデルが洗練された出力物を生成する能力をますます高めていく中で、直接の会話を通じてであれ、他の手段を通じてであれ、そうした出力物を批判的に評価する能力は、ますます価値を増していくでしょう。

自分自身のAI活用力を発達させる

あらゆるスキルと同様に、AI活用力も程度の問題です。私たちのほとんどにとって、自分の手法をさらに発展させる余地があります。データに見られるパターンに基づくと、多くのユーザーがスキルを向上させられると考えられる3つの領域があります。

会話を続けること。 反復と改善は、データにおいて他のすべての活用力行動と最も強く相関する単一の要素です。そのため、最初の応答を受け取ったら、それを単なる出発点として扱う価値があります。フォローアップの質問をし、しっくりこない部分には押し返し、求めているものを洗練させていきましょう。

洗練された出力物に疑問を呈すること。 AIモデルが「良さそうに見える」ものを生成したときこそ、立ち止まって問いかける絶好の機会です。これは正確か?何か欠けているものはないか?この推論は成り立っているか?上で述べたように、私たちのデータは、ユーザーが作業の初めにClaudeの作業をより多く指示する一方で、洗練された出力物は批判的評価の出現率の低下と同時に起こることを示しています。

協働の条件を設定すること。 会話のわずか30%でしか、ユーザーはClaudeに自分とどのように対話してほしいかを伝えていません。「私の前提が間違っていたら押し返してください」「答えを出す前に推論の過程を説明してください」「不確かな点を教えてください」といった指示を明示的に加えてみてください。こうした期待を事前に設定することで、その後の会話全体のダイナミクスを変えることができます。

限界

この研究には重要な留意点があります。

  • サンプルの限界: 私たちのサンプルは、2026年1月のある1週間に複数ターンの会話を行ったClaude.aiユーザーを反映しています。AIツールの普及はまだ比較的初期段階にあると考えられるため、これらのユーザーはすでにAIに慣れ親しんでいる早期採用者に偏っている可能性が高く、つまり、より広い母集団を代表していない可能性があります。私たちのサンプルは、この特定の母集団に対するベースラインを提供するものとして理解されるべきであり、普遍的なベンチマークとしてではありません。データが単一の週から得られたものであるため、季節的または経時的な影響を捉えることもできません。また、Claude.aiに焦点を当てているため、ユーザーが他のAIプラットフォームとどのように対話しているかは捉えられていません。
  • フレームワークの部分的なカバレッジ: 本研究では、24の行動指標のうち、Claude.ai上の会話で直接観察可能な11個のみを評価しました。AI出力の責任ある倫理的な使用に関連するすべての行動は、これらの会話の外で発生するため、捉えられていません。
  • 二値分類: サンプル内の各会話について、各行動を「あり」か「なし」のいずれかに分類しています。しかし、これはおそらく重要なニュアンス、例えば行動の議論の余地がある、または部分的な表れや、行動間の重複するシグナルなどを見逃している可能性があります。
  • 暗黙的な行動: ユーザーは、活用力行動を会話の中で表現することなく、頭の中で示している可能性があります(例えば、Claudeの主張を自分自身の知識と照らし合わせて事実確認するなど)。これは、アーティファクトに関する私たちのデータに特に関連していると思われます。ユーザーは、会話で可視化される行動を通じてではなく、テストや実用的な使用を通じてClaudeの出力を評価している可能性があります。
  • 相関関係に基づく知見: 私たちが特定した関係は相関関係です。ある行動が別の行動を「引き起こしている」のか、あるいは両方がタスクの複雑さやユーザーの好みといった何らかの共通の根本的要因を反映しているのかは、わかりません。

今後の展望

本研究は、AI活用力が時間とともにどのように変化しているかを評価するために使えるベースラインを提供します。AIの能力が進化し、採用が増加するにつれて、私たちはユーザーがより洗練された行動を発達させているのか、どのスキルが経験とともに自然に現れるのか、そしてどのスキルがより意図的な発達を必要とするのかを学びたいと考えています。

今後の研究では、いくつかの方向に分析を拡張する予定です。第一に、「コホート分析」を実施し、新規ユーザーと経験豊富なユーザーを比較することで、AIへの慣れ親しみが活用力の発達とどのように相関しているかを理解する予定です。第二に、Claude.aiの会話で直接観察できない行動を評価するために、定性的な研究手法を用いる予定です。そして第三に、この研究が提起する「因果関係」の問い、例えば反復的な会話を促すことがより高い批判的評価につながるのか、あるいはそれをより効果的に促進できる他の介入があるのか、を探求することを目指しています。

さらに、主にソフトウェア開発者が使用するプラットフォームであるClaude CodeにおけるAI活用力行動も探求したいと考えています。本研究の準備として、私たちは初期分析を行い、Claude Codeの会話とClaude.aiの会話との間に一貫性があることを発見しました。しかし、これはまだ予備的なものであり、Claude Codeの非常に異なるユーザー基盤と機能性を考えると、より本格的な研究が必要であることを示唆しています。

私たちは、AI活用力の性質が時間とともに大きく発展し、進化していくと予想しています。本研究および今後の研究を通じて、私たちはその発展を可視化し、測定可能にし、実行可能なものにすることを目指しています。

Bibtex

この投稿を引用したい場合は、以下のBibtexキーを使用できます。

text
@online{swanson2026aifluency,
author = {Kristen Swanson and Drew Bent and Zoe Ludwig and Rick Dakan and Joe Feller},
title = {Anthropic Education Report: The AI Fluency Index},
date = {2026-02-23},
year = {2026},
url = {https://academy.claude.com/tutorials/the-ai-fluency-index},
}

謝辞

Kristen Swansonが研究を設計し、分析を主導し、本レポートを執筆しました。Zoe LudwigとDrew Bentは、フレームワークの整合性、メッセージング、レビューに貢献しました。AI活用力のための4Dフレームワークは、Rick DakanとJoe Fellerによって開発されました。Zack Leeは技術サポートを提供しました。Hanah Hoはデータの可視化を支援しました。Keir Bradwell、Rebecca Hiscott、Ryan Donegan、Sarah Pollackは、コミュニケーションのレビューと指導を提供しました。

脚注

  1. 人々がAIモデルをどのように使用しているかを研究する際、ユーザーのプライバシーを保護することが最優先事項です。本プロジェクトでは、プライバシー保護分析ツールを使用しました。このツールは、ユーザーの会話を「コードのトラブルシューティング」や「経済概念の説明」といった高レベルの利用概要に蒸留することで、AI利用パターンのボトムアップ的な発見を可能にします。本分析では、行動分類にはClaude Sonnet 4を、言語検出にはClaude Haiku 3.5を使用し、11個の個別の二値分類器(行動指標ごとに1つ)を実行しました。つまり、1つの会話が複数のAI活用力行動指標を示す可能性があります。会話は、挨拶、単語のみのやり取り、テストメッセージ、純粋な雑談を除外するスクリーナーを使用して、複数回のやり取りを含む実質的なやり取りに絞り込まれました。スクリーニングで除外された200件のチャットを手動でレビューした結果、この種のチャットはいずれのAI活用力指標にも該当しないことが示されたため、スクリーナーが本研究で観察されたAI活用力行動の相対的な順位に影響を与えていないと確信しています。分析には個人を特定できる情報は一切含まれていません。
  2. 行動指標は、1週間のサンプル(2026年1月20日〜26日)にわたって算出され、日ごとに安定しており、ほとんどの行動は1〜5ポイントの範囲でしか変動しませんでした。土曜日は一部の行動でやや低い出現率を示しました(例えば、反復と改善は、平日のピークである87.9%に対し、土曜日は81.4%でした)。これは、カジュアルな利用と目的意識を持った利用との間にわずかな違いがあることを示唆していますが、構造的に意味のある逸脱を示す曜日はありませんでした。出現率は、6つの言語(英語、フランス語、スペイン語、中国語、日本語、ドイツ語)にわたっても一貫しており、ほとんどの行動は言語グループ間で3ポイント以下の変動しか示しませんでした。これらの知見を総合すると、ここで捉えられた行動パターンは、タイミング、曜日、言語的・文化的文脈の産物ではなく、人々がAIと関わる際の一貫した習慣を反映していることが示唆されます。