Métrica de calidad de recuperación de RAG

Definicion

Las métricas de calidad de recuperación de RAG cuantifican la eficacia con la que el paso de recuperación muestra documentos relevantes, utilizando recordar@k (fracción de documentos relevantes encontrados en los k resultados principales) y precision@k (fracción de los k resultados principales que son relevantes).

En profundidad

Para un sistema RAG que recupera k=5 documentos por consulta: - Recall@5: de todos los documentos relevantes del corpus, ¿qué fracción apareció entre los 5 primeros? Cuanto más alto es mejor para la cobertura. - Precisión@5: de los 5 documentos recuperados, ¿qué fracción fueron realmente relevantes? Cuanto más alto, mejor para reducir el ruido inyectado en el contexto del LLM. La recuperación de vectores (basada en incrustaciones) destaca en la similitud semántica: encontrar documentos que signifiquen lo mismo incluso con palabras diferentes. La recuperación de la API de búsqueda destaca por la precisión y actualidad de las palabras clave: encontrar documentos que contengan términos específicos publicados recientemente. Para consultas sobre entidades nombradas (nombres de productos, nombres de empresas, nombres de personas), la recuperación de la API de búsqueda generalmente logra una mayor precisión@5 porque la concordancia de palabras clave es exacta. Para consultas sobre conceptos o temas descritos en vocabulario variado, la recuperación de vectores generalmente logra una mayor recuperación@5. La recuperación híbrida (API de búsqueda para el conjunto de candidatos inicial, reclasificación de vectores para ordenación por relevancia) supera a cualquiera de las dos por sí sola en los puntos de referencia estándar de RAG. La compensación práctica a escala: la reclasificación de vectores agrega entre 50 y 150 ms y requiere un modelo de integración. Para la mayoría de los sistemas RAG de producción que manejan consultas fácticas y con muchas entidades, la recuperación de la API de búsqueda por sí sola logra suficiente precisión@5 (>70 %) sin la sobrecarga de infraestructura integrada. Para consultas conceptuales abstractas, la recuperación híbrida merece la complejidad añadida.

Uso de ejemplo

Plataformas

Métrica de calidad de recuperación de RAG es relevante en las siguientes plataformas, todas accesibles a través de la API unificada de Scavio:

• google

Terminos relacionados