에이전트 컨텍스트 드롭

15개의 쿼리를 검색하는 연구 에이전트가 9번째 쿼리에서 속도 제한에 도달했습니다. 10-15번 쿼리는 '검색 실패'를 컨텍스트로 사용하여 자체 출처 섹션과 모순되는 연구 브리핑을 생성했습니다 — 예외가 발생하지 않은 무음 오류입니다.

에이전트 컨텍스트 드롭은(는) google와 관련이 있습니다. Scavio는 이러한 모든 플랫폼의 데이터에 접근할 수 있는 통합 API를 제공합니다.

컨텍스트 드롭은 MCP에 노출된 검색 도구가 속도 제한으로 인해 HTTP 오류를 반환할 때 가장 흔하게 발생합니다. 에이전트의 검색 도구 호출이 429 또는 503을 반환하면, 대부분의 에이전트 프레임워크는 오류를 도구 결과로 LLM에 전달합니다. LLM은 이를 '검색 결과 없음'으로 해석하고 다른 접근 방식으로 진행할 수 있으며, 종종 성공적인 검색을 통해 구축된 이전 결론과 모순됩니다. 에이전트가 충돌한 것은 아니지만, 조용히 잘못된 결과를 내놓습니다. 메커니즘은 프레임워크에 따라 다릅니다. LangChain의 AgentExecutor에서 예외 문자열을 반환하는 도구는 에이전트가 해당 문자열을 컨텍스트로 계속 진행하도록 하여 후속 추론 단계를 오염시킬 수 있습니다. LlamaIndex의 ReActAgent도 도구 오류 후 계속 진행하여 오류 메시지를 관찰 데이터로 처리합니다. 명시적인 중단-오류 설정만이 순방향 오염을 방지합니다. 속도 제한이 있는 MCP 검색 도구가 주요 트리거인 이유는 간헐적으로 실패하기 때문입니다. 일부 호출은 성공하고 일부는 실패하여 부분적으로 구축된 컨텍스트를 생성합니다. 8번의 검색을 성공적으로 실행한 후 속도 제한에 도달한 세션은 8개의 실제 컨텍스트와 하나의 실패를 갖게 됩니다. 에이전트의 후속 추론은 실제 데이터와 부재 데이터가 혼합된 상태에서 진행됩니다. 방지 방법: MCP 도구 호출이 에이전트에 도달하기 전에 지수 백오프를 포함한 재시도 계층으로 래핑합니다. 모든 도구 결과(성공 및 실패)를 외부에 기록합니다. LLM 프롬프트에서 명시적으로 처리하는 구조화된 오류 반환을 사용합니다('TOOL_RATE_LIMITED를 보면 동일한 쿼리를 기다렸다가 재시도하세요').