Métrique de qualité de récupération RAG

Définition

Les métriques de qualité de récupération RAG quantifient l'efficacité avec laquelle l'étape de récupération fait remonter les documents pertinents, en utilisant recall@k (fraction des documents pertinents trouvés dans les k premiers résultats) et precision@k (fraction des k premiers résultats qui sont pertinents).

En profondeur

Pour un système RAG récupérant k=5 documents par requête : - Recall@5 : de tous les documents pertinents dans le corpus, quelle fraction est apparue dans les 5 premiers ? Plus c'est élevé, meilleure est la couverture. - Precision@5 : parmi les 5 documents récupérés, quelle fraction était réellement pertinente ? Plus c'est élevé, meilleure est la réduction du bruit injecté dans le contexte du LLM. La récupération vectorielle (basée sur les embeddings) excelle dans la similarité sémantique : trouver des documents qui signifient la même chose même avec des mots différents. La récupération par API de recherche excelle dans la précision des mots-clés et la récence : trouver des documents contenant des termes spécifiques publiés récemment. Pour les requêtes concernant des entités nommées (noms de produits, noms d'entreprises, noms de personnes), la récupération par API de recherche atteint généralement une precision@5 plus élevée car la correspondance de mots-clés est exacte. Pour les requêtes concernant des concepts ou sujets décrits avec un vocabulaire varié, la récupération vectorielle atteint généralement un recall@5 plus élevé. La récupération hybride — API de recherche pour l'ensemble initial de candidats, reclassement vectoriel pour l'ordre de pertinence — surpasse l'une ou l'autre seule sur les benchmarks RAG standards. Le compromis pratique à grande échelle : le reclassement vectoriel ajoute 50-150 ms et nécessite un modèle d'embedding. Pour la plupart des systèmes RAG de production traitant des requêtes factuelles et riches en entités, la récupération par API de recherche seule atteint une precision@5 suffisante (>70%) sans la surcharge de l'infrastructure d'embedding. Pour les requêtes abstraites et conceptuelles, la récupération hybride vaut la complexité ajoutée.

Exemple d'utilisation

Plateformes

Métrique de qualité de récupération RAG est pertinent sur les plateformes suivantes, toutes accessibles via l'API unifiée de Scavio :

• google

Termes associés