El problema
Las herramientas de raspado sin código (Apify, Browse AI, Instant Data Scraper) fallan en sitios protegidos por Cloudflare. Se bloquean mediante la detección de bots, devuelven resultados vacíos o activan páginas de desafío. Los usuarios pasan horas ajustando los selectores y la configuración del proxy solo para que el raspador se rompa nuevamente cuando el sitio de destino actualiza su protección. Para los datos que están disponibles públicamente en los resultados de búsqueda, raspar el sitio directamente es un enfoque incorrecto.
La solucion de Scavio
Consulta la API de búsqueda de Scavio para obtener los datos que necesitas en lugar de raspar el sitio protegido. Si necesita precios de productos, busque en Amazon. Si necesita información comercial, busque en Google. Si necesita debates, busque en Reddit. La API maneja la detección de bots, los servidores proxy y el análisis internamente. Obtiene JSON estructurado sin siquiera tocar el sitio protegido.
Antes
Antes de cambiar a API, un pequeño equipo de comercio electrónico utilizó Browse AI para eliminar los precios de la competencia de tres sitios protegidos por Cloudflare. Los raspadores se rompían cada 2 o 3 semanas. Cada solución requirió de 2 a 4 horas de reconfiguración de selectores. Se perdieron una importante caída de precios de la competencia porque el raspador había estado fallando silenciosamente durante una semana.
Después
Después de cambiar a Scavio, el equipo consulta a Amazon y Google en busca de listados de productos de la competencia. La API devuelve datos de precios estructurados sin acceder a los sitios protegidos. Las horas de mantenimiento de las traíllas se redujeron a cero. Detectaron todos los cambios de precios de la competencia en 24 horas durante los últimos cuatro meses.
Para quien es
Usuarios de automatización sin código y equipos pequeños cuyos raspadores siguen fallando en sitios protegidos por Cloudflare, especialmente para precios de productos e inteligencia competitiva.
Beneficios clave
- Omita por completo la protección contra bots de Cloudflare al no realizar scraping directamente
- No hay selectores que mantener, ni configuración de proxy
- JSON estructurado reemplaza el frágil análisis HTML
- Funciona inmediatamente con herramientas sin código a través de nodos de solicitud HTTP
- Datos de productos de Amazon y Walmart disponibles a través de un punto final
Ejemplo en Python
import requests, os, json
H = {'x-api-key': os.environ['SCAVIO_API_KEY']}
def get_product_data(product: str, platform: str = 'amazon') -> list[dict]:
"""Get product data via API instead of scraping Cloudflare sites."""
r = requests.post('https://api.scavio.dev/api/v1/search', headers=H,
json={'platform': platform, 'query': product}, timeout=10).json()
products = []
for o in r.get('organic', [])[:5]:
products.append({
'title': o.get('title'), 'price': o.get('price'),
'url': o.get('link'), 'rating': o.get('rating')
})
return products
amazon = get_product_data('wireless noise canceling headphones')
walmart = get_product_data('wireless noise canceling headphones', 'walmart')
for p in amazon + walmart:
print(json.dumps(p))Ejemplo en JavaScript
const H = { 'x-api-key': process.env.SCAVIO_API_KEY, 'Content-Type': 'application/json' };
async function getProductData(product, platform = 'amazon') {
const r = await fetch('https://api.scavio.dev/api/v1/search', {
method: 'POST', headers: H,
body: JSON.stringify({ platform, query: product })
}).then(r => r.json());
return (r.organic || []).slice(0, 5).map(o => ({
title: o.title, price: o.price, url: o.link, rating: o.rating
}));
}
const [amazon, walmart] = await Promise.all([
getProductData('wireless noise canceling headphones'),
getProductData('wireless noise canceling headphones', 'walmart')
]);
console.log([...amazon, ...walmart]);Plataformas utilizadas
Búsqueda web con grafo de conocimiento, PAA y resúmenes de IA
Amazon
Búsqueda de productos con precios, calificaciones y reseñas
Walmart
Búsqueda de productos con precios y datos de cumplimiento