Usa una API di ricerca strutturata per la scoperta e per qualsiasi dato pubblico gia indicizzato, e tira fuori lo scraper solo quando una pagina sta dietro un login o ha bisogno di un browser vero per renderizzarsi. Questa divisione e il modo piu economico e affidabile per costruire un agente di ricerca nel 2026, e quasi tutti i team ci arrivano per le brutte.
Lo schema torna di continuo. Un thread su r/AI_Agents lo diceva senza giri di parole: "Gli agenti di ricerca stanno massacrando il mio budget con lo scraping. Che stack usa la gente in questo momento?" Lo stack descritto nei commenti era questo: un orchestratore che apre a ventaglio tre o cinque droni di ricerca (Brave, Tavily, DDG), poi Firecrawl per l'estrazione, e Playwright come ultima spiaggia quando un sito faceva resistenza. Il dolore citato era sempre lo stesso: le sfide di Cloudflare e la bolletta dei proxy residenziali.
Prima scoprire, poi estrarre
Il motivo per cui questi due passaggi funzionano non e sottile. Qualcuno su r/LocalLLM l'ha detto meglio di me: "appena separi la scoperta dall'estrazione, un sacco di casi strani spariscono da soli", e "cerca prima ed estrai dopo... la differenza di affidabilita rispetto a uno scraping in un colpo solo e pazzesca".
Ecco perche. La scoperta e un problema di dati strutturati. Vuoi una lista ordinata di URL, titoli, frammenti e domande correlate per una query. Quei dati sono gia indicizzati e una API SERP te li serve in JSON pulito. Non ti serve un browser headless, ne un pool di proxy, ne aggirare Cloudflare. L'estrazione e un altro problema: tirare fuori il testo completo dalle poche pagine che il tuo agente ha davvero deciso di leggere. E li che lo scraper si guadagna lo stipendio.
Quando un team salta la scoperta e arriva agli URL a forza di scraping, brucia soldi e affidabilita su un lavoro che una API SERP fa per una frazione del costo. Buona parte di quella che la gente chiama "bolletta dello scraping" e in realta scoperta travestita.
I conti
Mettiamoci un prezzo. Firecrawl e gratis fino a 1.000 crediti al mese; poi il piano Hobby costa 16 $/mese (fatturato annuale) per 5.000 crediti e 5 processi in parallelo. Addebita 1 credito a pagina, e la sua funzione Search costa 2 crediti ogni 10 risultati. Firecrawl e un buon strumento di estrazione, ma usare la sua Search per la scoperta significa spendere crediti di estrazione per trovare link.
Exa Search costa 0,007 $ a richiesta (7 $ ogni 1.000). La SERP di Google su Scavio e 1 credito in richiesta leggera, che a 0,005 $ a credito fa 0,005 $ a richiesta; la SERP completa con light_request=false sono 2 crediti (0,01 $). Per la pura scoperta, la richiesta leggera quasi sempre basta.
La forma conta piu del numero per chiamata. Se il tuo agente lancia mille ricerche e ne estrae solo le venti pagine che sembrano davvero rilevanti, paghi prezzo SERP per le mille e prezzo di estrazione per le venti, invece di pagare prezzo da scraper per tutto e litigare con i proxy per tutto il tragitto.
Scoprire con una chiamata SERP di Scavio
Questo restituisce una lista ordinata che il tuo agente puo prioritizzare, filtrare ed estrarre in modo selettivo:
import os, requests
H = {"Authorization": f"Bearer {os.environ['SCAVIO_API_KEY']}", "Content-Type": "application/json"}
r = requests.post("https://api.scavio.dev/api/v1/google", headers=H,
json={"query": "best serp api", "light_request": False})
data = r.json()
for row in data["organic_results"]:
print(row["position"], row["title"], row["link"])Ricevi organic_results, people_also_ask, knowledge_graph e related_searches come JSON strutturato. Niente pool di proxy, niente rissa con Cloudflare. (Scavio non restituisce gli AI Overviews di Google, quindi non costruirci sopra.) La stessa chiave copre anche Reddit, YouTube, Amazon, Walmart e TikTok da un unico pool di crediti, ed e questa la vera ragione per far passare la scoperta da qui invece di cablare un fornitore diverso per ogni piattaforma.
Il compromesso onesto
Una API SERP non sostituisce lo scraping. Se il tuo agente ha bisogno del testo completo dietro un login, o di una pagina che si renderizza solo dopo tanto JavaScript, ti serve ancora Firecrawl, Apify o Playwright. Scavio sostituisce lo scraping solo per i dati pubblici e indicizzati di SERP e social. Non e un motore di estrazione per pagine qualsiasi.
E se il tuo unico requisito e la SERP di Google grezza al prezzo piu basso possibile, Scavio non e il piu economico. DataForSEO si aggira sui 0,0006 $ a richiesta, anche se pretende un deposito minimo di 50 $ e la sua fascia Standard mette in coda. Serper sta intorno ai 0,001 $ a richiesta ma e solo Google. Entrambi battono Scavio sul prezzo grezzo se vuoi solo Google e accetti di lasciare un deposito.
Esiste anche una via legittima gratis-ma-te-la-mantieni-tu: Firecrawl self-hosted piu SearxNG ti danno scoperta ed estrazione senza bolletta a chiamata, a patto che tu sia disposto a far girare e tenere d'occhio l'infrastruttura.
Il vantaggio di Scavio non e essere il piu economico per chiamata. E la scoperta multipiattaforma sotto un'unica chiave e un unico pool di crediti, un pay-as-you-go vero senza deposito minimo e senza soglia mensile, e JSON strutturato con un MCP ospitato su https://mcp.scavio.dev/mcp. Per un agente di ricerca che mescola Google, Reddit e segnale social, di solito e il modo piu economico e piu sensato di gestire la meta di scoperta del lavoro.