1. Décrire la tâche
La capacité de Claude à analyser des manuscrits tout en exécutant simultanément des analyses statistiques sur des données brutes vous aide à développer une compréhension plus approfondie de la manière d'évaluer les méthodes de recherche et à construire des compétences de lecture critique que vous utiliserez tout au long de votre carrière.
Demandez à Claude d'examiner un article en extrayant chaque affirmation statistique et en réexécutant chaque analyse sur les fichiers de données fournis. Cette vérification pratique vous apprend ce qu'il faut surveiller et vous aide à comprendre si les conclusions de l'étude sont étayées par ses données.
Je lis cet article qui est central pour ma revue de littérature, et je veux le comprendre plus en profondeur avant de le citer abondamment. J'ai le manuscrit publié et leurs fichiers de données supplémentaires.
Pouvez-vous m'aider à vérifier leurs affirmations statistiques ? Parcourez l'article systématiquement et extrayez chaque valeur p, moyenne, erreur standard, taille d'échantillon et résultat de test qu'ils rapportent. Ensuite, exécutez vous-même chaque analyse en utilisant leurs données réelles.
Pour chaque affirmation statistique, montrez-moi trois choses : ce que l'article indique, ce que vous avez calculé à partir de leurs données, et si ces éléments correspondent. Signalez tout problème que vous remarquez - des choses comme l'utilisation de tests inadaptés au type de données, des tailles d'échantillon qui ne concordent pas, ou des valeurs p qui semblent mathématiquement douteuses.
Ensuite, construisez-moi un classeur Excel détaillé où je peux voir votre vérification complète. Créez des feuilles séparées pour chaque analyse montrant vos calculs étape par étape, ainsi qu'une feuille de synthèse mettant en évidence tout problème que je devrais comprendre avant de me fier à ce travail.
Faites en sorte que la feuille de calcul soit bien conçue et facile à parcourir - mise en forme professionnelle, en-têtes figés, colonnes filtrées, et notes claires expliquant ce que vous avez trouvé.
2. Donner du contexte à Claude
Fournissez le manuscrit publié et ses données brutes sous-jacentes afin que Claude puisse vérifier chaque affirmation statistique et vous aider à comprendre dans quelle mesure l'analyse étaye les conclusions.
Contexte requis
Cliquez sur le bouton (+) dans la barre de chat pour parcourir vos fichiers ou, alternativement, faites glisser-déposer le manuscrit et tout fichier de données supplémentaire que vous souhaitez analyser dans la zone de la boîte de chat.
3. Ce que Claude crée
Claude crée un classeur d'audit complet documentant chaque vérification statistique, vous montrant exactement ce qu'il faut surveiller et renforçant votre capacité à évaluer de manière critique les méthodes de recherche.
Vérification de reproductibilité statistique terminée
J'ai vérifié les affirmations statistiques dans « Effects of Chronic Sleep Deprivation on Spatial Memory and Anxiety-like Behavior in C57BL/6 Mice » par rapport aux données expérimentales. Voici ce que j'ai trouvé :
Résumé de la vérification :
- 31 affirmations statistiques vérifiées
- ✓ 22 vérifiées correctement
- ⚠ 3 écarts mineurs
- ✗ 6 nécessitent une attention particulière
Problèmes critiques à comprendre :
1. Écart de taille d'échantillon (tout au long du manuscrit)
- Le manuscrit indique : n=12 par groupe
- Les données montrent : n=11 pour le groupe témoin
- Implication : Cela affecte la puissance statistique et la validité de toutes les comparaisons du groupe témoin. L'article aurait dû expliquer toute exclusion de sujets.
2. Erreur de conversion d'unité (Open Field - Distance totale)
- Le manuscrit rapporte : 2456 ± 234 cm (témoin), 1834 ± 187 cm (SD)
- Les données montrent : 24,43 ± 1,8 mètres (témoin), 18,38 ± 1,1 mètres (SD)
- Problème : Valeurs décalées d'un facteur 100 - données stockées en mètres mais rapportées en centimètres
- Pourquoi c'est important : Ce type d'erreur suggère une vérification des données inadéquate, ce qui soulève des questions sur d'autres résultats
3. Test statistique inapproprié (Corticostérone)
- Problème : Utilisation d'un test t non apparié pour des mesures avant/après provenant des mêmes souris
- Devrait utiliser : Un test t apparié tenant compte des valeurs de référence
- Valeur p du manuscrit : 0,003
- Test apparié correct : p<0,001
- Implication : L'effet est en réalité plus fort que rapporté, mais le choix méthodologique révèle une compréhension statistique limitée
4. Erreurs de précision des valeurs p
- Temps dans le quadrant cible : Rapporte p=0,004, p réel=0,0001
- Latence au jour 5 : Rapporte p=0,02, p réel=0,026
- Pourquoi c'est important : Les valeurs p exactes comptent pour les méta-analyses et la compréhension de la force de l'effet
5. Incohérence dans la description des méthodes
- Les méthodes indiquent « tests t non appariés pour les comparaisons entre groupes »
- Problème : Les données de corticostérone sont des échantillons appariés (référence et final provenant des mêmes souris)
- Cela suggère soit une rédaction peu claire, soit une incompréhension de leur propre analyse
Consultez votre classeur d'audit statistique
4. Invites de suivi
Poursuivez la conversation avec Claude pour affiner, développer ou explorer davantage.
Aller au-delà des chiffres et vérifier les figures
Vérifiez que les représentations visuelles correspondent aux données sous-jacentes. Claude compare les graphiques, diagrammes et tableaux aux valeurs de données brutes pour détecter les représentations erronées ou les erreurs.
Vérifiez que toutes les hauteurs de barres, barres d'erreur et points de données de la Figure 2 correspondent aux valeurs de données réelles. Montrez-moi tout écart.
Apprendre ce qu'il faut surveiller la prochaine fois
Claude peut expliquer quels signaux d'alerte méritent d'être examinés lorsque vous lisez des articles sans accès aux données brutes - comme les incohérences méthodologiques, les nombres suspicieusement ronds, ou les choix statistiques qui ne correspondent pas aux conceptions d'étude.
Sur la base de ce que nous avons trouvé ici, apprenez-moi quels signaux d'alerte je devrais rechercher en lisant d'autres articles dans mon domaine. Quels schémas suggèrent que je devrais être sceptique, même lorsque je ne peux pas vérifier les données brutes ?
Rédiger des commentaires d'évaluateur
Formulez les problèmes statistiques ou méthodologiques de manière constructive afin que les auteurs comprennent ce qui doit être corrigé sans se sentir sur la défensive. Claude peut aider à équilibrer précision et encouragement.
Transformez ces problèmes statistiques en commentaires d'évaluateur utiles, clairs sur ce qui doit être corrigé mais encourageants quant à la manière d'y remédier.
5. Astuces, conseils et dépannage
Commencez là où vous avez déjà une expertise du domaine
Vous saisirez rapidement les meilleures pratiques pour travailler avec Claude en vérifiant des articles dans votre domaine, car votre expertise vous aidera à discerner ce qui est plausible. Lorsque Claude signale un problème, votre connaissance du domaine vous aide à juger s'il s'agit d'une véritable erreur ou d'une incompréhension d'une pratique spécifique au domaine. Inversement, lorsque Claude indique que tout est correct, vous pouvez évaluer s'il a testé les bonnes hypothèses.
Ouvrez le fichier Excel réel
L'aperçu dans le chat montre la structure, mais le véritable classeur contient des formules fonctionnelles, une mise en forme conditionnelle qui met en évidence les problèmes, des filtres déroulants pour explorer les résultats, et des notes de calcul détaillées. Téléchargez et ouvrez le fichier pour voir comment fonctionne la vérification et pour apprendre des techniques que vous pourrez appliquer lors de la vérification d'autres articles.
6. Prêt à essayer par vous-même ?
Téléchargez n'importe quel article avec ses fichiers de données supplémentaires, décrivez pourquoi vous l'examinez (« J'envisage de le citer abondamment » ou « ces résultats semblent surprenants et je veux mieux les comprendre »), et laissez Claude vous aider à développer les compétences d'analyse critique qui renforcent votre recherche.