Use uma API de busca estruturada para descoberta e para qualquer dado publico ja indexado, e recorra ao scraper apenas quando a pagina esta atras de um login ou precisa de um navegador de verdade para renderizar. Essa divisao e a forma mais barata e confiavel de montar um agente de pesquisa em 2026, e a maioria dos times chega ate ela do jeito dificil.
O padrao aparece o tempo todo. Um topico no r/AI_Agents foi direto: "Agentes de pesquisa estao destruindo meu orcamento com scraping. Que stack o pessoal usa hoje em dia?" O stack descrito nos comentarios era assim: um orquestrador abrindo em leque tres a cinco drones de busca (Brave, Tavily, DDG), depois Firecrawl para extracao, e Playwright como ultimo recurso quando um site reagia. A dor citada era sempre a mesma: os desafios do Cloudflare e a conta dos proxies residenciais.
Primeiro descobrir, depois extrair
O motivo de esses dois passos funcionarem nao tem misterio. Alguem no r/LocalLLM disse melhor do que eu: "assim que voce separa descoberta de extracao, um monte de casos estranhos simplesmente some", e "busque primeiro e extraia depois... a diferenca de confiabilidade em relacao a um scraping de passada unica e absurda".
O porque e simples. Descoberta e um problema de dados estruturados. Voce quer uma lista ordenada de URLs, titulos, trechos e perguntas relacionadas para uma consulta. Esses dados ja estao indexados e uma API SERP os entrega em JSON limpo. Nao precisa de navegador headless, nem de pool de proxies, nem de contornar o Cloudflare. Extracao e outro problema: tirar o texto completo das poucas paginas que seu agente de fato decidiu ler. E ai que o scraper ganha o salario.
Quando um time pula a descoberta e chega as URLs na base do scraping, queima dinheiro e confiabilidade num trabalho que uma API SERP faz por uma fracao do custo. Boa parte do que as pessoas chamam de "conta de scraping" e descoberta disfarcada.
A conta
Vamos colocar preco. O Firecrawl e gratis ate 1.000 creditos por mes; depois o plano Hobby custa US$ 16/mes (cobrado anualmente) por 5.000 creditos e 5 processos simultaneos. Cobra 1 credito por pagina, e seu recurso Search custa 2 creditos por 10 resultados. O Firecrawl e uma boa ferramenta de extracao, mas usar o Search dele para fazer descoberta significa gastar creditos de extracao para encontrar links.
O Exa Search custa US$ 0,007 por requisicao (US$ 7 por 1.000). A SERP do Google na Scavio e 1 credito em requisicao leve, o que a US$ 0,005 por credito da US$ 0,005 por requisicao; a SERP completa com light_request=false sao 2 creditos (US$ 0,01). Para pura descoberta, a requisicao leve quase sempre basta.
A forma importa mais do que o numero por chamada. Se seu agente dispara mil buscas e so extrai as vinte paginas que realmente parecem relevantes, voce paga preco de SERP pelas mil e preco de extracao pelas vinte, em vez de pagar preco de scraper por tudo e brigar com proxies o caminho inteiro.
Descoberta com uma chamada SERP da Scavio
Isto devolve uma lista ordenada que seu agente pode priorizar, filtrar e extrair de forma seletiva:
import os, requests
H = {"Authorization": f"Bearer {os.environ['SCAVIO_API_KEY']}", "Content-Type": "application/json"}
r = requests.post("https://api.scavio.dev/api/v1/google", headers=H,
json={"query": "best serp api", "light_request": False})
data = r.json()
for row in data["organic_results"]:
print(row["position"], row["title"], row["link"])Voce recebe organic_results, people_also_ask, knowledge_graph e related_searches como JSON estruturado. Sem pool de proxies, sem briga com Cloudflare. (A Scavio nao devolve os AI Overviews do Google, entao nao construa nada em cima disso.) A mesma chave tambem cobre Reddit, YouTube, Amazon, Walmart e TikTok a partir de um unico pool de creditos, e essa e a real razao para fazer a descoberta por aqui em vez de ligar um provedor diferente por plataforma.
O trade-off honesto
Uma API SERP nao substitui o scraping. Se seu agente precisa do texto completo atras de um login, ou de uma pagina que so renderiza depois de muito JavaScript, voce ainda precisa de Firecrawl, Apify ou Playwright. A Scavio substitui o scraping apenas para dados publicos e indexados de SERP e redes sociais. Nao e um motor de extracao para paginas arbitrarias.
E se seu unico requisito e SERP do Google cru pelo menor preco possivel, a Scavio nao e a mais barata. O DataForSEO fica em torno de US$ 0,0006 por requisicao, embora exija um deposito minimo de US$ 50 e a tarifa Standard entre em fila. O Serper fica perto de US$ 0,001 por requisicao mas e so Google. Os dois batem a Scavio no preco cru se voce so quer Google e topa deixar um deposito.
Existe ainda um caminho legitimo de graca-mas-voce-mantem: Firecrawl auto-hospedado mais SearxNG dao descoberta e extracao sem conta por chamada, desde que voce esteja disposto a rodar e cuidar da infraestrutura.
A vantagem da Scavio nao e ser a mais barata por chamada. E a descoberta multiplataforma sob uma unica chave e um unico pool de creditos, um pague-conforme-o-uso de verdade sem deposito minimo e sem piso mensal, e JSON estruturado mais um MCP hospedado em https://mcp.scavio.dev/mcp. Para um agente de pesquisa que mistura Google, Reddit e sinal social, essa costuma ser a forma mais barata e mais sensata de resolver a metade de descoberta do trabalho.