Oggi la maggior parte dei team usa uno stack diviso: scraper propri con proxy residenziali e browser headless stealth per tutto ciò che sta dietro un login o caricato a colpi di JavaScript, e API di ricerca/SERP ospitate per tutto ciò che è pubblico e già indicizzato. Nel 2026 non esiste un singolo strumento che faccia tutto bene, e un thread recente di r/dataengineering ("Fuori dallo scraping da qualche anno, ora cosa usate?", 60 voti) lo conferma. Una risposta: "Fare scraping di Google Search è davvero difficile... ti serve una SERP o devi battere gli ingegneri di Google." Un'altra: "Troppo fragile da gestire da solo, al lavoro usiamo servizi SERP." E una terza ha dato il motivo vero: "enorme aumento dell'anti-bot di Cloudflare per via dell'IA, nessuno vuole che i propri dati vengano presi gratis."
Quest'ultimo punto spiega tutto. Il costo dello scraping fatto in casa è salito. Cloudflare, DataDome e PerimeterX riconoscono meglio i browser headless tramite fingerprinting, perché la corsa all'oro dei dati di addestramento IA ha messo tutti sulla difensiva. Così la domanda non è più "quale libreria di scraping" ma "a quale livello dello stack appartiene questo target."
Livello 1: scraper propri + proxy residenziali
Ti serve ancora per i target dietro un login o resi interamente lato client. Pensa a una dashboard con sessione attiva, un report SaaS interno, una app React che consegna un <div id="root"> vuoto. Qui esegui Playwright o un fork stealth, ruoti proxy residenziali e accetti di doverlo sorvegliare. È il livello più flessibile e il più fragile. Ogni nuova revisione della sfida Cloudflare ti costa un pomeriggio. SearXNG sta qui vicino: gratis e self-hosted, ma si rompe quando i motori cambiano l'HTML e richiede i tuoi proxy a volume.
Livello 2: API di scraping / crawl ospitate
Quando ti serve il contenuto di siti qualsiasi ma non vuoi gestire i browser, una API di crawl vale il prezzo. Firecrawl è la scelta comune: 1.000 crediti/mese gratis, piano Hobby a 16 $/mese per ~3.000 crediti, con l'estrazione IA fatturata a 5 crediti per chiamata e crediti che non si accumulano. Il reader r.jina.ai di Jina AI restituisce testo pulito e offre 10M di token gratis per chiave per uso non commerciale. Convertono HTML disordinato in testo pronto per LLM. Non ti danno campi tipizzati come "prezzo" o "valutazione" se non paghi il passaggio di estrazione IA.
Livello 3: API di ricerca / SERP strutturate
È il livello che la maggior parte sottoutilizza. Se il target è pubblico e indicizzato — risultati Google, schede Amazon, thread di Reddit, YouTube — una API di ricerca ti consegna JSON strutturato e non combatte mai con Cloudflare, perché non stai scansionando il sito: interroghi una API che lo ha già fatto. Serper va da 1,00 $ per 1.000 crediti fino a 0,30 $/1k su scala, con 2.500 crediti gratis validi sei mesi. SerpApi dà 250 ricerche/mese gratis, poi 25 $/mese per 1.000. Scavio è a crediti a 0,005 $/credito; una SERP Google completa costa 2 crediti, una richiesta leggera 1, e una sola chiave copre Google, Reddit, YouTube, Amazon, Walmart e TikTok.
La regola decisionale
Il target è pubblico e indicizzato? Usa una API di ricerca e ottieni JSON tipizzato senza lotta anti-bot. È dietro un login o reso in JS? Sei di nuovo al Livello 1, lì nessuna API ti salva. Sia chiaro: una API SERP non sostituisce lo scraping per pagine autenticate o rese lato client. Sostituisce il lavoro specifico e doloroso di fare scraping di SERP pubbliche e schede marketplace — esattamente ciò che il thread di Reddit ha chiamato "davvero difficile."
Ecco una query Google completa contro Scavio che restituisce JSON strutturato:
import requests
resp = requests.post(
"https://api.scavio.dev/api/v1/google",
headers={"Authorization": "Bearer YOUR_API_KEY"},
json={"query": "best web scraping stack 2026", "light_request": False},
)
data = resp.json()
for result in data["organic"]:
print(result["position"], result["title"], result["link"])
# full_request restituisce anche people_also_ask, knowledge_graph, related_searches
for q in data.get("people_also_ask", []):
print("PAA:", q["question"])Niente browser headless, niente pool di proxy, niente Cloudflare. Per Google, Reddit, Amazon e YouTube è la risposta del 2026 su cui sono atterrati i più. Per la roba chiusa e pesante in JS, tieni caldo il tuo impianto Playwright.
Dove ciascuno perde
Nessuno strumento vince ovunque. Se interroghi Google solo poche centinaia di volte al mese, le 250 gratis di SerpApi o i 2.500 crediti gratis di Serper possono costarti zero e battere qualsiasi piano a pagamento. Se ti serve testo pulito da blog a caso, Firecrawl o Jina leggono pagine che una API SERP non è mai stata pensata per recuperare. E se tutti i tuoi target sono dietro un login, né il Livello 2 né il 3 aiutano: self-host e monta i proxy. Adatta il livello al target, non al clamore.