La génération augmentée par récupération (RAG) est une technique qui vous aide à travailler avec de grands documents en les découpant en plus petits morceaux et en ne fournissant à Claude que les extraits les plus pertinents pour chaque question. Plutôt que de submerger le modèle avec un rapport financier entier de 800 pages, le RAG vous permet d'extraire uniquement les sections qui comptent pour répondre à des requêtes spécifiques.
Le problème des grands documents
Lorsque vous avez un document volumineux et que vous souhaitez poser à Claude des questions spécifiques à son sujet, vous êtes confronté à un défi fondamental : comment transmettre les bonnes informations à Claude sans atteindre de limites ni dégrader les performances ?
Imaginez que vous posiez la question « Quels facteurs de risque cette entreprise présente-t-elle ? » à propos d'un long document financier. Le document contient la réponse, mais Claude a besoin d'accéder au contenu pertinent pour vous aider.
Option 1 : Tout inclure dans l'invite
L'approche la plus simple consiste à extraire tout le texte du document et à le faire entrer dans une seule invite :
Cette méthode présente de sérieuses limites :
- Les limites strictes de tokens signifient que les documents très longs ne rentreront simplement pas
- Claude devient moins efficace avec des invites extrêmement longues
- Des invites plus volumineuses coûtent plus cher et prennent plus de temps à traiter
- Les performances se dégradent lorsqu'il y a trop d'informations à parcourir
Option 2 : Découper les documents en extraits
Le RAG adopte une approche plus intelligente en prétraitant les documents en morceaux gérables, puis en ne récupérant que les extraits pertinents pour chaque question.
Voici comment cela fonctionne :
- Diviser le document en plus petits extraits (Perspectives stratégiques, Facteurs de risque, Bilan, etc.)
- Lorsqu'un utilisateur pose une question, analyser ce qu'il recherche
- Trouver les extraits les plus pertinents par rapport à sa question
- N'inclure que ces extraits pertinents dans l'invite envoyée à Claude
Pour une question sur les risques d'une entreprise, le système identifierait et récupérerait l'extrait « Facteurs de risque », donnant à Claude un contexte ciblé et pertinent plutôt que le document entier.
Avantages du RAG
- Claude peut se concentrer uniquement sur le contenu le plus pertinent
- S'adapte à de très grands documents et à plusieurs documents
- Fonctionne sur des collections de documents, pas seulement sur des fichiers uniques
- Des invites plus petites signifient un traitement plus rapide et des coûts réduits
Défis du RAG
Le RAG introduit une complexité que vous devez gérer :
- Nécessite une étape de prétraitement pour découper les documents
- Nécessite un mécanisme de recherche pour trouver les extraits pertinents
- Les extraits récupérés peuvent ne pas contenir tout le contexte nécessaire
- De nombreuses façons différentes de découper le texte - quelle approche fonctionne le mieux ?
Vous pouvez découper les documents en portions égales, par en-têtes et sections, par sens sémantique, ou selon d'autres stratégies. Chaque approche présente des compromis que vous devrez évaluer pour votre cas d'usage spécifique.
Quand utiliser le RAG
Le RAG excelle lorsque vous travaillez avec de grands documents ou des collections de documents où les utilisateurs posent des questions spécifiques qui ne nécessitent que des portions du contenu. La complexité du prétraitement en vaut la peine lorsque vous devez dépasser ce qui rentre dans une seule invite, lorsque vous souhaitez des réponses plus rapides, ou lorsque vous gérez les coûts sur de nombreuses requêtes.
L'essentiel est d'analyser si la charge technique liée à la mise en œuvre du découpage, de la recherche et de la récupération a du sens pour votre application particulière. Parfois, l'approche simple consistant à « tout déverser dans une invite » fonctionne bien - d'autres fois, le RAG devient essentiel pour rendre votre système pratique et performant.