Architecture de la couche de chat RAG

Définition

L'architecture de la couche de chat RAG est un modèle de conception pour les systèmes d'IA conversationnelle qui sépare la couche de récupération (extraction du contexte pertinent à partir d'API de recherche, de bases de données ou de magasins de documents) de la couche de génération (le LLM qui produit la réponse finale), avec une couche de chat gérant l'état de la conversation, le routage des outils et l'interaction utilisateur.

En profondeur

Construire une application de chat sur RAG implique trois couches distinctes. La couche de récupération gère l'accès aux données : recherche locale de documents, API de recherche web, requêtes de base de données. La couche de génération est le LLM qui synthétise le contexte récupéré en une réponse cohérente. La couche de chat se situe entre l'utilisateur et ces backends, gérant l'historique de la conversation, décidant quand une récupération est nécessaire, routant vers la source de récupération appropriée et présentant la réponse générée. Les frameworks open source comme Open WebUI, LibreChat et AnythingLLM implémentent cette architecture avec différents degrés de flexibilité. La décision architecturale clé est l'endroit où la recherche a lieu : certains systèmes intègrent la recherche dans la boucle d'appel d'outils du LLM (l'agent décide quand chercher), tandis que d'autres injectent les résultats de recherche dans chaque invite comme contexte pré-extraite. L'approche pilotée par l'agent est plus flexible mais plus difficile à contrôler ; l'approche de pré-extraite est plus prévisible mais peut gaspiller des crédits API sur des recherches inutiles.

Exemple d'utilisation

Plateformes

Architecture de la couche de chat RAG est pertinent sur les plateformes suivantes, toutes accessibles via l'API unifiée de Scavio :

• Google
• Reddit
• YouTube

Termes associés