Una publicación de r/Rag preguntó qué raspador usar para ~10 millones de tokens. La forma más barata y confiable de contenido público indexado es la búsqueda como fuente. Esta es la receta.
Requisitos previos
- Clave API de Scavio
- Python o Nodo
- Tema con entre 200 y 500 candidatos de consulta inicial
- Tubería de incorporación
Guia paso a paso
Paso 1: Definir entre 200 y 500 consultas semilla
Amplitud tópica > profundidad.
Python
seeds = ['ai agent infrastructure 2026', 'agent memory patterns', 'tool use mcp', ...]Paso 2: Scavio Google SERP por semilla
Recopile URL de resultados_orgánicos.
Python
import requests, os
H = {'x-api-key': os.environ['SCAVIO_API_KEY']}
urls = set()
for q in seeds:
r = requests.post('https://api.scavio.dev/api/v1/search', headers=H, json={'query': q}).json()
for o in (r.get('organic_results') or [])[:10]:
urls.add(o['link'])Paso 3: Conjunto de URL deduplicadas
Muchas semillas emergen en las mismas páginas autorizadas.
Python
print(f'Unique URLs: {len(urls)}')Paso 4: Scavio /extract en las URL principales
Devuelve Markdown limpio.
Python
docs = []
for u in list(urls)[:2000]:
d = requests.post('https://api.scavio.dev/api/v1/extract', headers=H, json={'url': u}).json()
if d.get('text'): docs.append({'url': u, 'text': d['text']})Paso 5: Recorte del presupuesto simbólico
Deténgase en 10 millones de tokens.
Python
# Walk top-N until cumulative tokens hit 10M.Paso 6: Incrustar y enviar al almacén de vectores
Por tubería existente.
Python
# Voyage / OpenAI / Cohere → Pinecone / Qdrant / pgvector.Paso 7: Actualización trimestral
Volver a ejecutar + conjunto de URL de diferenciación.
Python
# Cron: quarterly. Embed only new/changed pages.Ejemplo en Python
Python
# Total cost: ~11K credits ≈ $50-90 within Project tier.Ejemplo en JavaScript
JavaScript
// Same shape in TS.Salida esperada
JSON
10M-token RAG corpus from indexed public content. ~5K unique URLs → ~2K extracted → 8M tokens of clean Markdown.