La génération augmentée par récupération (Retrieval Augmented Generation, RAG) est une technique qui vous aide à travailler avec de grands documents trop volumineux pour être intégrés dans une seule invite. Plutôt que de tout entasser dans une invite massive, le RAG découpe les documents en fragments et n'inclut que les éléments les plus pertinents lors de la réponse aux questions.
Le problème des grands documents
Imaginez que vous disposiez d'un document financier de 800 pages et que vous souhaitiez poser à Claude des questions précises à son sujet, comme « Quels sont les facteurs de risque de cette entreprise ? ». Vous devez transmettre à Claude les informations pertinentes du document d'une manière ou d'une autre, mais il existe des limites quant à la quantité de texte que vous pouvez inclure dans une invite.
Option 1 : tout inclure dans l'invite
La première approche est simple : extraire tout le texte du document et l'intégrer dans votre invite avec la question de l'utilisateur. Votre invite pourrait ressembler à ceci :
Answer the user's question about the financial document.
<user_question>
{user_question}
</user_question>
<financial_document>
{financial_document}
</financial_document>
Cette approche présente de sérieuses limites :
- Il existe une limite stricte sur la longueur de l'invite - votre document pourrait être trop long
- Claude devient moins efficace avec des invites très longues
- Les invites plus volumineuses coûtent plus cher à traiter
- Les invites plus volumineuses prennent plus de temps à traiter
Option 2 : découper les documents en fragments
Le RAG adopte une approche plus intelligente. Tout d'abord, vous découpez le document en fragments plus petits lors d'une étape de prétraitement. Ensuite, lorsqu'un utilisateur pose une question, vous trouvez les fragments les plus pertinents par rapport à sa question et n'incluez que ceux-ci dans votre invite.
Voici comment cela fonctionne : si quelqu'un demande « Quels risques cette entreprise encourt-elle ? », vous rechercheriez dans vos fragments, trouveriez la section « Facteurs de risque », et n'incluriez que ce fragment pertinent dans votre invite.
Avantages du RAG
- Claude peut se concentrer uniquement sur le contenu le plus pertinent
- S'adapte à des documents très volumineux
- Fonctionne avec plusieurs documents
- Les invites plus petites coûtent moins cher et s'exécutent plus rapidement
Défis du RAG
- Nécessite une étape de prétraitement pour découper les documents
- Nécessite un mécanisme de recherche pour trouver les fragments « pertinents »
- Les fragments inclus peuvent ne pas contenir tout le contexte dont Claude a besoin
- Il existe de nombreuses façons de découper le texte - quelle approche est la meilleure ?
Par exemple, vous pourriez diviser les documents en portions de taille égale, ou vous pourriez créer des fragments basés sur la structure du document, comme les en-têtes et les sections. Chaque approche comporte des compromis que vous devrez évaluer pour votre cas d'usage spécifique.
Quand utiliser le RAG
Le RAG implique de nombreuses décisions techniques et nécessite plus de travail que le simple fait d'inclure tout dans une invite. Vous devrez analyser si les avantages l'emportent sur la complexité pour votre application particulière. C'est particulièrement précieux lorsque vous travaillez avec des documents très volumineux, plusieurs documents, ou lorsque vous devez optimiser les coûts et les performances.
L'idée clé est que le RAG échange la simplicité contre la scalabilité et l'efficacité. Bien qu'il nécessite plus de travail initial pour être mis en œuvre correctement, il vous permet de travailler avec des collections de documents qu'il serait impossible de gérer avec un simple remplissage d'invite.