발견과, 공개되어 이미 색인된 데이터에는 구조화된 검색 API를 쓰고, 로그인 뒤에 있거나 렌더링에 진짜 브라우저가 필요한 페이지에만 스크래퍼를 꺼낸다. 이것이 2026년에 리서치 에이전트를 짜는 가장 싸고 가장 안정적인 형태이며, 대부분의 팀은 호되게 당한 뒤에야 여기에 도달한다.
이 패턴은 여기저기서 반복해서 나타난다. r/AI_Agents의 한 글은 대놓고 이렇게 말했다. "리서치 에이전트가 스크래핑으로 내 예산을 작살내고 있다. 요즘 사람들은 대체 어떤 스택을 쓰나?" 댓글에서 묘사된 스택은 이랬다. 오케스트레이터가 검색 드론 3~5개(Brave, Tavily, DDG)로 부채꼴로 뿌리고, 그다음 추출에 Firecrawl, 사이트가 저항할 때 마지막 수단으로 Playwright. 다들 꼽은 고통은 똑같았다. Cloudflare 챌린지와 주거용 프록시 청구서.
먼저 발견, 그다음 추출
이 두 단계가 통하는 이유는 복잡하지 않다. r/LocalLLM의 누군가가 나보다 잘 표현했다. "발견과 추출을 분리하는 순간, 이상한 엣지 케이스 상당수가 그냥 사라진다", 그리고 "먼저 검색하고 그다음 추출하라… 일회성 스크래핑과 비교하면 안정성 차이가 미쳤다".
이유는 이렇다. 발견은 구조화된 데이터의 문제다. 한 쿼리에 대해 순위가 매겨진 URL, 제목, 스니펫, 관련 질문 목록이 필요하다. 그 데이터는 이미 색인되어 있고, SERP API가 깔끔한 JSON으로 돌려준다. 헤드리스 브라우저도, 프록시 풀도, Cloudflare 우회도 필요 없다. 추출은 다른 문제다. 에이전트가 실제로 읽기로 결정한 몇 페이지에서 본문 전체를 뽑아내는 일. 스크래퍼가 제 몫을 하는 곳이 바로 여기다.
팀이 발견을 건너뛰고 스크래핑으로 URL까지 도달하려 하면, SERP API라면 푼돈으로 끝낼 작업에 돈과 안정성을 태우게 된다. 사람들이 "스크래핑 청구서"라 부르는 것의 상당 부분은 모습을 바꾼 발견일 뿐이다.
비용 계산
값을 매겨 보자. Firecrawl은 월 1,000 크레딧까지 무료이고, 그 위 Hobby 요금제는 연간 결제로 월 16달러, 5,000 크레딧, 동시 실행 5개다. 페이지당 1 크레딧을 매기고, Search 기능은 결과 10건당 2 크레딧이다. Firecrawl은 좋은 추출 도구지만, 그 Search로 발견을 처리하면 링크를 찾는 데 추출용 크레딧을 쓰는 셈이다.
Exa Search는 요청당 0.007달러(1,000건에 7달러)다. Scavio의 Google SERP는 경량 요청에서 1 크레딧이고, 크레딧당 0.005달러이니 요청당 0.005달러다. light_request=false의 전체 SERP는 2 크레딧(0.01달러)이다. 순수 발견이라면 대개 경량 요청이면 충분하다.
호출당 숫자보다 형태가 더 중요하다. 에이전트가 천 번 검색하고 정말 관련 있어 보이는 스무 페이지만 추출한다면, 천 번에는 SERP 가격을, 스무 페이지에는 추출 가격을 낸다. 전부를 스크래퍼 가격으로 내고 끝까지 프록시와 싸우는 대신에.
Scavio SERP 호출로 발견하기
이것은 에이전트가 순위화하고 거르고 선택적으로 추출할 수 있는, 순위가 매겨진 목록을 돌려준다.
import os, requests
H = {"Authorization": f"Bearer {os.environ['SCAVIO_API_KEY']}", "Content-Type": "application/json"}
r = requests.post("https://api.scavio.dev/api/v1/google", headers=H,
json={"query": "best serp api", "light_request": False})
data = r.json()
for row in data["organic_results"]:
print(row["position"], row["title"], row["link"])organic_results, people_also_ask, knowledge_graph, related_searches가 구조화된 JSON으로 돌아온다. 프록시 풀도, Cloudflare와의 몸싸움도 없다. (Scavio는 Google의 AI Overviews를 돌려주지 않으니, 그 위에 무언가를 쌓지 마라.) 같은 키로 Reddit, YouTube, Amazon, Walmart, TikTok까지 하나의 크레딧 풀에서 다룬다. 플랫폼마다 다른 공급자를 배선하는 대신 발견을 여기로 보내는 진짜 이유가 이것이다.
솔직한 트레이드오프
SERP API는 스크래핑을 대체하지 않는다. 에이전트가 로그인 뒤의 본문 전체나, 무거운 JavaScript를 거쳐야 비로소 렌더링되는 페이지가 필요하다면 여전히 Firecrawl, Apify, Playwright가 있어야 한다. Scavio는 공개되어 색인된 SERP와 소셜 데이터에 한해서만 스크래핑을 대체한다. 임의 페이지를 위한 추출 엔진이 아니다.
그리고 가능한 한 낮은 가격의 원본 Google SERP만이 요건이라면, Scavio가 가장 싸지는 않다. DataForSEO는 요청당 약 0.0006달러지만 최소 50달러 입금을 요구하고 Standard 등급은 대기열에 들어간다. Serper는 요청당 약 0.001달러지만 Google 전용이다. Google만 원하고 입금을 감수한다면, 둘 다 원본 가격에서 Scavio를 이긴다.
무료지만 직접 운영해야 하는 정당한 길도 있다. 셀프호스트 Firecrawl에 SearxNG를 더하면 호출당 청구 없이 발견과 추출을 둘 다 얻는다. 그 인프라를 직접 돌리고 돌볼 의향이 있는 한 말이다.
Scavio의 강점은 호출당 최저가가 아니다. 하나의 키와 하나의 크레딧 풀에서의 멀티플랫폼 발견, 최소 입금도 월 하한도 없는 진짜 종량제, 그리고 구조화된 JSON에 https://mcp.scavio.dev/mcp에 호스팅된 MCP다. Google, Reddit, 소셜 시그널을 섞어 쓰는 리서치 에이전트에게는, 이것이 보통 작업의 발견 절반을 처리하는 가장 싸고 가장 합리적인 방법이다.