Pila de construcción de corpus RAG grande (10 millones de tokens)

El problema

Una publicación de r/Rag: ~10 millones de tokens de artículos tecnológicos + documentos + blogs + archivos PDF necesarios para una canalización de RAG. La elección ingenua es eliminarlo todo; en 2026, la forma más barata y confiable será la búsqueda como fuente de contenido público indexado.

La solucion de Scavio

Canal de búsqueda como fuente: 200-500 consultas iniciales → Scavio Google SERP → deduplicación de URL → Scavio /extract para las URL principales → exportación de Markdown con presupuesto de token. Reserve el scraping real solo para objetivos con mucha autenticación o JS.

Para quien es

Ingenieros de inteligencia artificial que construyen RAG, fundadores de RAG SaaS, laboratorios de investigación que construyen corpus de dominio en una escala de tokens de 1 a 10 millones.

Beneficios clave

• Evita la mayoría de los dolores de cabeza en el contenido público indexado
• JSON escrito dentro y fuera
• Costo predecible por tema
• 10 millones de tokens a $20-90 en Scavio + extracto
• Scraping reservado solo para autenticación posterior/JS pesado

Ejemplo en Python

import requests, os
H = {'x-api-key': os.environ['SCAVIO_API_KEY']}

def build_corpus(seeds, per_query=10):
    urls = set()
    for q in seeds:
        r = requests.post('https://api.scavio.dev/api/v1/search', headers=H, json={'query': q}).json()
        for o in (r.get('organic_results') or [])[:per_query]:
            urls.add(o['link'])
    docs = []
    for u in list(urls)[:2000]:
        d = requests.post('https://api.scavio.dev/api/v1/extract', headers=H, json={'url': u}).json()
        if d.get('text'): docs.append(d['text'])
    return docs

Ejemplo en JavaScript

// Same shape in TS — search per seed, dedupe, extract top-N.

Plataformas utilizadas