定义
MCP 工具可靠性是 MCP 暴露的工具在代理会话中返回有效、可用响应的概率,考虑速率限制、冷启动和上下文丢失等因素。
深入了解
三种失败模式造成了生产环境中大部分 MCP 工具不可靠性。第一,速率限制错误:在紧密循环中调用搜索 MCP 工具的代理触及每分钟速率限制(SerpAPI:$25 计划 30 请求/分钟;Scavio:因计划而异),导致 MCP 服务器返回代理误解为空结果而非重试的错误。第二,冷启动延迟:自托管 MCP 服务器在调用间缩放到零;冷周期后的第一个请求可能需要 3-8 秒,超过某些代理框架的超时并导致工具调用静默失败。第三,上下文丢失:当工具调用在会话中失败且代理在未确认失败的情况下重试时,原始上下文(搜索什么、为什么)丢失,导致重复或偏离的搜索。 缓解需要三种并行方法:在 MCP 工具实现中(不仅在代理中)进行指数退避、代理可以区分空结果的显式错误返回类型,以及存储在代理上下文之外的会话状态(如工具调用和结果的简单 SQLite 日志)。托管 MCP 端点以延迟可预测性的代价消除冷启动问题。
用法示例
一个使用自托管搜索 MCP 的代理在 200 次查询批处理运行期间因速率限制导致 12% 的工具调用失败,造成 8 个研究任务产生不完整的结果且未向用户显示错误。
平台
MCP 工具可靠性在以下平台中相关,所有这些平台都可通过Scavio的统一API访问:
- amazon