用结构化搜索API来做发现、抓取一切公开且已被索引的数据,只有当页面藏在登录之后、或必须靠真实浏览器才能渲染时,才动用爬虫。这是2026年搭建研究型智能体最省钱、最稳定的形态,而大多数团队都是吃了苦头才走到这一步。
这个模式反复出现。r/AI_Agents 上有个帖子说得很直白:"研究型智能体正在用爬虫把我的预算啃光。现在大家到底在用什么技术栈?"评论里描述的栈是这样的:一个编排器扇出三到五个搜索无人机(Brave、Tavily、DDG),然后用 Firecrawl 做抽取,网站反抗时再拿 Playwright 兜底。大家提到的痛点都一样:Cloudflare 的验证挑战,和住宅代理的账单。
先发现,后抽取
这两步之所以管用,道理并不绕。r/LocalLLM 上有人说得比我好:"一旦把发现和抽取拆开,一大堆奇怪的边界情况就自己消失了",还有"先搜索再抽取……跟一次性爬取相比,可靠性的差距大得离谱"。
原因在这。发现是个结构化数据的问题。你想要的是针对一条查询的、带排名的 URL、标题、摘要和相关问题列表。这些数据早已被索引,SERP API 直接以干净的 JSON 返回给你。不需要无头浏览器,不需要代理池,也不需要绕过 Cloudflare。抽取是另一回事:把智能体真正决定要读的那几页的正文全文取出来。这才是爬虫挣工资的地方。
当一个团队跳过发现、靠爬虫硬找 URL 时,它是在一件 SERP API 只要零头成本就能完成的事情上,烧掉金钱和可靠性。人们口中的"爬虫账单",很大一部分其实是乔装过的发现。
成本计算
算笔账。Firecrawl 每月 1,000 个额度内免费;往上 Hobby 套餐按年付费每月 16 美元,5,000 额度,5 个并发。它按每页 1 额度计费,Search 功能每 10 条结果 2 额度。Firecrawl 是个好用的抽取工具,但用它的 Search 去做发现,等于拿抽取额度去找链接。
Exa Search 每次请求 0.007 美元(每千次 7 美元)。Scavio 的 Google SERP 在轻量请求下是 1 额度,按每额度 0.005 美元算,就是每次请求 0.005 美元;带 light_request=false 的完整 SERP 是 2 额度(0.01 美元)。纯做发现,轻量请求几乎总是够用。
形态比单次价格更重要。如果你的智能体跑了一千次搜索,只抽取其中真正看起来相关的二十页,你为这一千次付 SERP 的价、为这二十页付抽取的价,而不是全部按爬虫价付钱、还一路和代理死磕。
用一次 Scavio SERP 调用做发现
它返回一个带排名的列表,智能体可以拿来排序、筛选,并有选择地抽取:
import os, requests
H = {"Authorization": f"Bearer {os.environ['SCAVIO_API_KEY']}", "Content-Type": "application/json"}
r = requests.post("https://api.scavio.dev/api/v1/google", headers=H,
json={"query": "best serp api", "light_request": False})
data = r.json()
for row in data["organic_results"]:
print(row["position"], row["title"], row["link"])你会拿到结构化 JSON 形式的 organic_results、people_also_ask、knowledge_graph 和 related_searches。没有代理池,没有和 Cloudflare 的缠斗。(Scavio 不返回 Google 的 AI Overviews,所以别在这上面搭东西。)同一把密钥还能从同一个额度池里覆盖 Reddit、YouTube、Amazon、Walmart 和 TikTok,这才是把发现走这里、而不是为每个平台接一个不同供应商的真正理由。
诚实的取舍
SERP API 替代不了爬虫。如果你的智能体需要登录之后的全文,或者一个要等大量 JavaScript 才渲染出来的页面,你还是得用 Firecrawl、Apify 或 Playwright。Scavio 只在公开、已索引的 SERP 与社交数据上替代爬虫。它不是面向任意页面的抽取引擎。
而如果你唯一的需求是用尽可能低的价格拿原始 Google SERP,Scavio 不是最便宜的。DataForSEO 大约每次请求 0.0006 美元,但要求 50 美元起的最低充值,而且它的 Standard 档会排队。Serper 大约每次请求 0.001 美元,但只支持 Google。只要你只要 Google、又愿意预存一笔钱,这两家在原始价格上都赢 Scavio。
还有一条正当的免费但要自己维护的路:自托管的 Firecrawl 加 SearxNG,能让你在没有按次账单的情况下同时拿到发现和抽取——前提是你愿意自己跑、自己盯这套基础设施。
Scavio 的优势不是单次最便宜。而是一把密钥、一个额度池下的多平台发现,真正的按用量付费、没有最低充值也没有月度门槛,以及结构化 JSON 加上托管在 https://mcp.scavio.dev/mcp 的 MCP。对于一个混用 Google、Reddit 和社交信号的研究型智能体来说,这通常是处理工作中发现那一半最省钱、也最清醒的做法。