定义
两层 Agent 检索是一种架构,AI Agent 使用低成本结构化搜索 API 进行初始发现,仅对通过相关性过滤的 URL 调用完整页面抓取器。
深入了解
成本数据很明显。像 Firecrawl 这样的抓取服务在 $83/10 万年度计划上每页成本 $0.0016。像 Scavio 这样的结构化 SERP API 每次查询 $0.005,但返回 10 个结果及标题、URL、摘要和元数据——大多数查询无需抓取。如果 Agent 能仅从 SERP 摘要数据回答 80% 的查询,每个已回答查询的有效成本从 $0.016(10 页抓取)降至 $0.005(1 次 SERP 调用)。 该架构有两个决策点。首先,Agent 调用搜索 API 并检查结构化结果数据。如果任何结果的摘要包含所需数据(价格、日期、定义),Agent 提取并停止。其次,仅当结构化数据不足时,Agent 才将前 1-2 个 URL 传给抓取器。这种双门方案在信息检索任务中通常减少 75-90% 的抓取器调用。 对于电商定价任务,SERP 结构化数据(来自 Google Shopping 结果的价格字段)在 60-70% 的时间内满足查询需求。对于完整文章内容或动态数据,始终需要抓取层。在选择层级之前分析你的 Agent 查询类型,可以避免过度设计。
用法示例
一个研究竞品产品价格的 Agent 对所有 100 个查询调用 SERP API($0.50),然后仅对摘要中没有价格的 22 个结果进行抓取($0.035),总成本 $0.535,而先抓取方案为 $1.60。
平台
两层 Agent 检索在以下平台中相关,所有这些平台都可通过Scavio的统一API访问:
- amazon