검색 API 지연 시간 예산

2초 전체 응답 시간을 목표로 하는 챗봇은 600ms를 검색 API에, 1,200ms를 LLM 생성에, 200ms를 스트리밍 오버헤드에 할당합니다. Scavio의 350ms p50은 적합하지만 SerpAPI의 1,200ms p50은 절반의 쿼리에서 예산을 초과합니다.

검색 API 지연 시간 예산은(는) google와 관련이 있습니다. Scavio는 이러한 모든 플랫폼의 데이터에 접근할 수 있는 통합 API를 제공합니다.

지연 시간 예산은 애플리케이션 유형에 따라 다릅니다. 대화형 채팅 애플리케이션(사용자가 응답을 기다리는 경우): 총 도구 호출 예산 400-800ms로, 검색은 LLM 생성을 위한 여유를 남기기 위해 600ms 이내에 반환되어야 합니다. 백그라운드 배치 파이프라인: 호출당 2,000-5,000ms 허용. 실시간 모니터링 알림: 탐지 기간을 놓치기 전 1,000-2,000ms. 일반적인 검색 API 지연 시간 범위(p50 / p95, 2026년): - Scavio: 350ms / 900ms - SerpAPI: 1,200ms / 3,500ms - Serper: 400ms / 1,100ms - Brave Search: 250ms / 700ms - Exa: 600ms / 1,800ms - Tavily: 800ms / 2,200ms 콜드 스타트는 자체 호스팅 또는 서버리스 MCP 서버의 경우 1,500-4,000ms가 추가됩니다. 병렬 검색 호출(여러 키워드를 동시에 쿼리)은 다중 쿼리 작업의 전체 지연 시간을 줄일 수 있습니다: 각각 400ms인 5개의 병렬 검색이 2,000ms가 아닌 총 400ms 내에 완료됩니다. 대화형 애플리케이션의 경우 지연 시간 예산은 엔드 투 엔드로 측정되어야 합니다: 검색 호출 + 프롬프트에 결과 주입 + LLM 생성 + 스트리밍. 검색 부분은 목표 전체 응답 시간의 30%를 넘지 않도록 예산을 책정하세요.