RAG 검색 품질 지표

제품 FAQ RAG 시스템이 200개의 제품명 쿼리에 대해 검색 API 검색(precision@5: 0.78, recall@5: 0.61)과 벡터 검색(precision@5: 0.69, recall@5: 0.74)을 테스트했습니다. 검색 API가 정밀도에서 우세하여 환각률을 12%에서 5%로 줄였습니다.

RAG 검색 품질 지표은(는) google와 관련이 있습니다. Scavio는 이러한 모든 플랫폼의 데이터에 접근할 수 있는 통합 API를 제공합니다.

쿼리당 k=5개의 문서를 검색하는 RAG 시스템의 경우: - Recall@5: 코퍼스 내 모든 관련 문서 중 상위 5개에 나타난 비율은? 높을수록 커버리지에 좋습니다. - Precision@5: 검색된 5개 문서 중 실제로 관련된 문서의 비율은? 높을수록 LLM 컨텍스트에 주입되는 노이즈를 줄이는 데 좋습니다. 벡터 검색(임베딩 기반)은 의미적 유사성에 뛰어납니다: 다른 단어라도 같은 의미의 문서를 찾습니다. 검색 API 검색은 키워드 정밀도와 최신성에 뛰어납니다: 특정 용어를 포함하고 최근에 게시된 문서를 찾습니다. 명명된 개체(제품명, 회사명, 사람 이름)에 대한 쿼리의 경우 검색 API 검색이 일반적으로 더 높은 precision@5를 달성하는데, 이는 키워드 매칭이 정확하기 때문입니다. 다양한 어휘로 설명된 개념이나 주제에 대한 쿼리의 경우 벡터 검색이 일반적으로 더 높은 recall@5를 달성합니다. 하이브리드 검색 — 초기 후보 세트는 검색 API, 관련성 순서는 벡터 재순위 —는 표준 RAG 벤치마크에서 단독 방식보다 성능이 뛰어납니다. 규모에 따른 실용적 트레이드오프: 벡터 재순위는 50-150ms를 추가하고 임베딩 모델이 필요합니다. 사실적이고 개체가 많은 쿼리를 처리하는 대부분의 프로덕션 RAG 시스템의 경우 검색 API 검색만으로도 임베딩 인프라 오버헤드 없이 충분한 precision@5(>70%)를 달성합니다. 추상적이고 개념적인 쿼리의 경우 하이브리드 검색이 추가 복잡성만큼 가치가 있습니다.