Claude Academy
Chargement

Connaissances

Leçon 625 min
Dans cette leçonÀ la fin, vous serez en mesure de
  • Expliquer comment les connaissances d'un modèle d'IA se forment pendant l'entraînement et pourquoi elles ont une date limite fixe
  • Prédire quels sujets se situent dans la zone de capacité (fréquents, récents dans l'entraînement, cohérents) par rapport à la marge (rares, postérieurs à la date limite, de niche, contestés)
  • Identifier l'obsolescence, la couverture inégale, les biais hérités et l'amnésie des sources comme des défaillances caractéristiques des connaissances
  • Reconnaître la recherche web, la récupération/RAG et l'utilisation d'outils comme les fonctionnalités produit qui répondent à cette limitation

Comprendre les lacunes de connaissances dans les modèles d'IA

Chargement

Connaissances · 5 min

RésuméTranscription

Le modèle sait ce à quoi il a été exposé pendant l'entraînement, et seulement cela. Pas de navigation en temps réel par défaut, pas d'expérience vécue, et un arrêt net à la date limite de connaissances. La question pratique n'est pas « l'IA sait-elle cela ? » mais « dans quelle mesure cela était-il bien représenté dans ce qu'elle a lu ? »

Ce que le modèle a lu, et quand il a arrêté de lire

Chargement

Points clés à retenir

  • Ce que l'IA générative sait provient entièrement des données d'entraînement et est figé à la date limite de connaissances. Sans outils, elle n'a accès à aucune information postérieure à cette date.
    • Zone de capacité : sujets qui sont apparus fréquemment, récemment (dans l'entraînement) et de manière cohérente dans les données d'entraînement.
    • Zone de limitation : sujets rares, postérieurs à la date limite, de niche, locaux ou contestés.
    • Défaillances caractéristiques : obsolescence, couverture inégale, biais hérités dans ce qui compte comme « par défaut » ou « normal », et incapacité à attribuer l'origine des connaissances.
    • La recherche web, la récupération (RAG/MCP) et l'utilisation d'outils existent spécifiquement pour combler ces lacunes en donnant au modèle accès à des informations sur lesquelles il n'a jamais été entraîné.
  • Connexion 4D : l'inégalité des connaissances est au cœur de la Délégation. Comprendre où le modèle est bien pourvu par rapport à là où il est limité vous indique quand déléguer, quand fournir le contexte vous-même, et quand aller voir ailleurs.

Exercices

Le test du regard extérieur

Pourquoi ? Vous savez que les connaissances du modèle sont vastes mais figées, façonnées par ce qui se trouvait dans ses données d'entraînement. Vous allez maintenant cartographier précisément où il est bien pourvu et où il est limité dans votre domaine spécifique.

Retournez à votre liste de tâches et sélectionnez une tâche. Par rapport à cette tâche, notez :

  • Deux sujets qui sont grand public, bien documentés et stables. Le genre de chose que tout collègue informé connaîtrait.
  • Deux sujets qui sont de niche, locaux, récents ou en évolution rapide. Du jargon spécifique à l'industrie, des réglementations régionales, quelque chose qui a changé au cours de la dernière année.
  • Une « hypothèse par défaut » que les personnes extérieures à votre domaine se trompent souvent. (Qui est le client typique. À quoi ressemble un cas « standard ». Quel outil les gens utilisent réellement par rapport à celui qui fait parler de lui.)

Maintenant, effectuez trois sondages :

  1. Sondage 1 : Couverture. Posez une question sur un sujet grand public et un sujet de niche de votre liste. Comparez la profondeur et l'exactitude. Faites attention à savoir si l'IA signale l'incertitude différemment entre les deux, ou si les deux réponses arrivent avec le même ton confiant.
  2. Sondage 2 : Obsolescence. Posez une question sur quelque chose que vous savez avoir changé récemment dans votre domaine : une mise à jour réglementaire, la sortie d'un outil, un changement de direction, une norme révisée. L'IA reconnaît-elle la date limite ? Présente-t-elle des informations obsolètes comme actuelles ? Refuse-t-elle de répondre ? Notez ce qui se passe.
  3. Sondage 3 : Hypothèses par défaut. Sans nommer directement votre hypothèse, posez une question qui révélerait si l'IA adopte par défaut le point de vue de l'étranger. Par exemple, si le client « standard » de votre domaine est différent de ce que la plupart des gens supposent, demandez à l'IA de décrire le client typique. Notez ce qu'elle considère comme normal.

Retournez à votre liste de tâches et ajoutez une seconde annotation : pour chaque tâche, indiquez si vous pouvez vous appuyer sur les connaissances du modèle, ou si vous devez apporter vous-même les connaissances via le contexte, des documents ou une recherche.

Objectif bonus : relancez le sondage sur l'obsolescence avec la recherche web activée. Comparez ce qui change. C'est la récupération en action.

Réflexion sur la leçon

  • Quel est un domaine de votre travail où vous réalisez maintenant que vous devez fournir le contexte plutôt que de supposer que le modèle le possède déjà ?
  • Le sondage sur les hypothèses par défaut a-t-il révélé quelque chose qui vous a surpris ?

Et ensuite

Les Connaissances couvrent ce que le modèle a absorbé pendant l'entraînement. La Mémoire de travail couvre ce à quoi il prête attention en ce moment : votre prompt, vos documents, votre conversation. Cette propriété a la limite la plus nette des quatre.