La mayoría de equipos hoy usa un stack dividido: scrapers propios con proxies residenciales y navegadores headless con sigilo para todo lo que esté tras un login o cargado con mucho JavaScript, y APIs de búsqueda/SERP alojadas para todo lo público y ya indexado. En 2026 no existe una sola herramienta que lo haga todo bien, y un hilo reciente de r/dataengineering ("Fuera del scraping unos años, ¿qué usa cada uno ahora?", 60 votos) lo confirma. Una respuesta: "Scrapear Google Search es muy difícil... necesitas SERP o ganarle a los ingenieros de Google." Otra: "Demasiado frágil para correrlo yo, en el trabajo usamos servicios SERP." Y una tercera dio el motivo real: "enorme aumento del anti-bot de Cloudflare por la IA, nadie quiere que se lleven sus datos gratis."
Ese último punto lo explica todo. El coste del scraping propio subió. Cloudflare, DataDome y PerimeterX mejoraron al detectar navegadores headless por fingerprinting, porque la fiebre del oro por datos de entrenamiento de IA puso a todos a la defensiva. Así la pregunta dejó de ser "qué librería de scraping" y pasó a ser "a qué capa del stack pertenece este objetivo."
Capa 1: scrapers propios + proxies residenciales
Sigues necesitando esto para objetivos tras un login o renderizados por completo en el cliente. Piensa en un panel con sesión iniciada, un informe interno de un SaaS, una app React que entrega un <div id="root"> vacío. Aquí corres Playwright o un fork con sigilo, rotas proxies residenciales y aceptas que tendrás que vigilarlo. Es la capa más flexible y la más frágil. Cada nueva versión del reto de Cloudflare te cuesta una tarde. SearXNG vive cerca: gratis y autoalojado, pero se rompe cuando los motores cambian su HTML y necesita tus proxies a volumen.
Capa 2: APIs de scraping / crawl alojadas
Cuando necesitas contenido de sitios arbitrarios pero no quieres correr los navegadores, una API de crawl vale su precio. Firecrawl es la opción común: 1.000 créditos/mes gratis, plan Hobby a 16 $/mes por unos 3.000 créditos, con la extracción por IA a 5 créditos por llamada y créditos que no se acumulan. El lector r.jina.ai de Jina AI devuelve texto limpio y ofrece 10M de tokens gratis por clave para uso no comercial. Convierten HTML caótico en texto listo para LLM. No te dan campos tipados como "precio" o "valoración" salvo que pagues la pasada de extracción por IA.
Capa 3: APIs de búsqueda / SERP estructuradas
Es la capa que más gente infrautiliza. Si el objetivo es público e indexado — resultados de Google, fichas de Amazon, hilos de Reddit, YouTube — una API de búsqueda te entrega JSON estructurado y nunca pelea con Cloudflare, porque no estás rastreando el sitio: consultas una API que ya lo hizo. Serper va de 1,00 $ por 1.000 créditos hasta 0,30 $/1k a escala, con 2.500 créditos gratis válidos seis meses. SerpApi da 250 búsquedas/mes gratis, luego 25 $/mes por 1.000. Scavio es por créditos a 0,005 $/crédito; una SERP de Google con todas las funciones cuesta 2 créditos, una petición ligera 1, y una sola clave cubre Google, Reddit, YouTube, Amazon, Walmart y TikTok.
La regla de decisión
¿El objetivo es público e indexado? Usa una API de búsqueda y obtén JSON tipado sin pelea anti-bot. ¿Está tras login o renderizado por JS? Vuelves a la Capa 1, ahí ninguna API te salva. Que quede claro: una API SERP no reemplaza al scraping en páginas autenticadas o renderizadas en cliente. Reemplaza el trabajo concreto y doloroso de scrapear SERPs públicas y fichas de marketplace — justo lo que el hilo de Reddit llamó "muy difícil."
Aquí una consulta de Google con todas las funciones contra Scavio devolviendo JSON estructurado:
import requests
resp = requests.post(
"https://api.scavio.dev/api/v1/google",
headers={"Authorization": "Bearer YOUR_API_KEY"},
json={"query": "best web scraping stack 2026", "light_request": False},
)
data = resp.json()
for result in data["organic"]:
print(result["position"], result["title"], result["link"])
# full_request también devuelve people_also_ask, knowledge_graph, related_searches
for q in data.get("people_also_ask", []):
print("PAA:", q["question"])Sin navegador headless, sin pool de proxies, sin Cloudflare. Para Google, Reddit, Amazon y YouTube, esa es la respuesta de 2026 a la que llegó la mayoría. Para lo cerrado y pesado en JS, mantén tu equipo de Playwright caliente.
Dónde pierde cada uno
Ninguna herramienta gana en todo. Si solo consultas Google unos cientos de veces al mes, las 250 gratis de SerpApi o los 2.500 créditos gratis de Serper pueden costarte cero y superar a cualquier plan de pago. Si necesitas texto limpio de blogs aleatorios, Firecrawl o Jina leen páginas que una API SERP nunca fue pensada para traer. Y si todos tus objetivos están tras un login, ni la Capa 2 ni la 3 ayudan: autoaloja y monta proxies. Ajusta la capa al objetivo, no al ruido.