1. タスクを記述する
Claudeは原稿を解析しながら同時に生データに対して統計分析を実行できるため、研究手法を評価する方法への理解を深め、キャリアを通じて使える批判的読解スキルを身につけるのに役立ちます。
Claudeに論文を調べてもらい、すべての統計的主張を抽出し、提供されたデータファイルで各分析を再実行してもらいましょう。この実践的な検証により、何に注意すべきかを学び、研究の結論がそのデータによって裏付けられているかどうかを理解できます。
私の文献レビューの中心となるこの論文を読んでいて、広く引用する前にもっと深く理解したいと思っています。公開された原稿と、彼らの補足データファイルを持っています。
彼らの統計的主張を検証するのを手伝ってもらえますか？論文を体系的に確認し、報告されているすべてのp値、平均値、標準誤差、サンプルサイズ、検定結果を抽出してください。そして、実際のデータを使って各分析を自分で実行してください。
それぞれの統計的主張について、3つのことを示してください。論文が述べていること、あなたがデータから計算したこと、そしてこれらが一致するかどうかです。気づいた問題があればフラグを立ててください。データタイプに対して誤った検定を使用している、サンプルサイズが合わない、p値が数学的に疑わしいといったことです。
そして、私が完全な検証を確認できる詳細なExcelワークブックを作成してください。各分析について、計算過程を段階的に示す別々のシートを作成し、さらにこの作業に頼る前に理解しておくべき問題を強調するサマリーシートも作成してください。
スプレッドシートはよく設計され、ナビゲートしやすいものにしてください。プロフェッショナルな書式設定、固定されたヘッダー、フィルター付きの列、そして見つけたことを説明する明確な注記を含めてください。
2. Claudeにコンテキストを与える
公開された原稿とその基礎となる生データを提供し、Claudeがすべての統計的主張を検証し、分析が結論をどれだけ十分に裏付けているかを理解する手助けができるようにしましょう。
必要なコンテキスト
チャットバーの(+)ボタンをクリックしてファイルを参照するか、原稿と分析したい追加のデータファイルをチャットボックスエリアにドラッグ＆ドロップしてください。
3. Claudeが作成するもの
Claudeはすべての統計チェックを記録した包括的な監査ワークブックを作成し、何に注意すべきかを正確に示し、研究手法を批判的に評価する能力を育てます。
統計的再現性チェック完了
「C57BL/6マウスにおける慢性睡眠不足が空間記憶と不安様行動に与える影響」の統計的主張を実験データと照合して検証しました。以下が判明した内容です。
検証サマリー：
- 31件の統計的主張をチェック
- ✓ 22件は正しく検証済み
- ⚠ 3件の軽微な不一致
- ✗ 6件は要注意
理解すべき重大な問題：
1. サンプルサイズの不一致（原稿全体）
- 原稿の記載：各群n=12
- データが示す値：対照群でn=11
- 影響：これは対照群比較すべての統計的検出力と妥当性に影響します。論文は被験者の除外について説明すべきでした。
2. 単位変換エラー（オープンフィールド試験 - 総移動距離）
- 原稿の報告：2456 ± 234 cm（対照群）、1834 ± 187 cm（SD群）
- データが示す値：24.43 ± 1.8メートル（対照群）、18.38 ± 1.1メートル（SD群）
- 問題：値が100倍ずれている - データはメートルで保存されているが、センチメートルとして報告されている
- なぜ重要か：この種のエラーはデータチェックが不十分であることを示唆しており、他の結果についても疑問が生じます
3. 不適切な統計検定（コルチコステロン）
- 問題：同一マウスの前後測定に対して対応のないt検定を使用
- 使用すべき検定：ベースライン値を考慮した対応のあるt検定
- 原稿のp値：0.003
- 正しい対応のある検定：p<0.001
- 影響：効果は実際には報告されているよりも強いですが、この方法論的選択は統計的理解の限界を示しています
4. p値の精度エラー
- ターゲット象限滞在時間：p=0.004と報告、実際はp=0.0001
- 5日目の潜時：p=0.02と報告、実際はp=0.026
- なぜ重要か：正確なp値はメタ分析や効果の強さを理解する上で重要です
5. 方法記述の不整合
- 方法には「群間比較には対応のないt検定」と記載
- 問題：コルチコステロンデータは対応のあるサンプル（同一マウスのベースラインと最終値）
- これは不明瞭な記述か、自分たちの分析に対する誤解のいずれかを示唆しています
統計監査ワークブックを表示する
4. フォローアッププロンプト
Claudeとの会話を続けて、さらに洗練させたり、拡張したり、深く掘り下げたりしましょう。
数値だけでなく図も確認する
視覚的な表現が基礎となるデータと一致しているか検証しましょう。Claudeはグラフ、チャート、表を生データの値と比較し、誤った表現やエラーを見つけます。
図2のすべての棒グラフの高さ、誤差棒、データポイントが実際のデータ値と一致しているか確認してください。不一致があれば教えてください。
次回注意すべきことを学ぶ
Claudeは、生データにアクセスできない状態で論文を読む際に調査する価値のある警告サインを説明できます。方法論的な不整合、不自然に丸い数字、研究デザインと一致しない統計的選択などです。
ここで見つけたことをもとに、自分の分野の他の論文を読む際に注意すべき警告サインを教えてください。生データを検証できない場合でも、懐疑的になるべきパターンは何ですか？
査読コメントを作成する
統計的または方法論的な問題を建設的に表現し、著者が防御的にならずに何を修正すべきか理解できるようにしましょう。Claudeは具体性と励ましのバランスを取るのに役立ちます。
これらの統計的問題を、何を修正すべきか明確でありながら、修正方法について励みになるような役立つ査読コメントに変換してください。
5. コツ、ヒント、トラブルシューティング
すでに専門知識がある分野から始める
自分の分野の論文を検証することで、Claudeと作業する際のベストプラクティスをすぐに把握できます。専門知識があれば、何が妥当かを見極めるのに役立つからです。Claudeが問題を指摘したとき、あなたの専門知識は、それが本当のエラーなのか、分野特有の慣行に対する誤解なのかを判断するのに役立ちます。逆に、Claudeがすべて問題ないと言った場合も、正しい前提を検証したかどうかを評価できます。
実際のExcelファイルを開く
チャット内のプレビューは構造を示しますが、実際のワークブックには動作する数式、問題を強調する条件付き書式、結果を探索するためのドロップダウンフィルター、詳細な計算メモが含まれています。ファイルをダウンロードして開き、検証がどのように機能するかを確認し、他の論文をチェックする際に応用できるテクニックを学びましょう。
6. 自分で試す準備はできましたか？
補足データファイルを含む論文をアップロードし、なぜそれを調べているのか説明してください（「これを広く引用しようと考えています」や「この結果は驚くべきもので、もっとよく理解したい」など）。そして、Claudeに研究を強化する批判的分析スキルを身につける手助けをしてもらいましょう。