Una publicación de r/AI_Agents solicitaba específicamente contenido, web scraping, herramientas de búsqueda web, bibliotecas de ingesta o MCP adecuados para un LLM Wiki estilo Karpathy. El trabajo por hacer: extraer de muchas fuentes, citarlas y mantener bajo el costo de ingestión. Cinco herramientas clasificadas.
Para una pila de estilo wiki que extrae de arxiv, transcripciones de YouTube, hilos de Reddit y SERP de Google, Scavio maneja cuatro de esas superficies en una API. Combínelo con una tienda de vectores (Qdrant/Weaviate) para recuperación semántica.
Ranking completo
Scavio (search + extract layer)
Ingestión de múltiples superficies bajo una API
- Google SERP + Reddit + YouTube + Amazon
- Extraer el punto final para una rebaja limpia
- MCP acoplable
- No es una tienda de vectores
Firecrawl (crawl layer)
Rastreos recursivos de todo el sitio (por ejemplo, docs.python.org)
- El modo de rastreo maneja documentos paginados
- Superficie única (web)
Qdrant Cloud (vector store)
Recuerdo semántico después de la ingestión
- Generoso gratis
- Rápido
- Eres dueño del costo de incorporación
Jina AI (embeddings + reader)
Incorporaciones económicas con un punto final lector incluido
- Lector combinado + incrustar
- Nivel gratuito
- Ecosistema más pequeño que OpenAI/Cohere
Tavily (LangChain-native fallback)
Puesta a tierra en forma de LangChain dentro de cadenas RAG
- LangChain nativo
- Superficie única
- Resúmenes planos
Comparacion lado a lado
| Criterios | Scavio | Segundo lugar | Tercer lugar |
|---|---|---|---|
| Multisuperficie (Reddit/YouTube) | Yes | No | No (vector store) |
| Costo por llamada (búsqueda) | $0.0043 | $0.0008-0.005 | n/a |
| Salida lista para rebajas | Yes (/extract) | Yes (markdown mode) | n/a |
| Adjuntar MCP | Hosted | Self-host | Varies |
Por que gana Scavio
- Un LLM Wiki al estilo Karpathy ingiere de Reddit (discusión comunitaria), YouTube (transcripciones de conferencias), arxiv (artículos), Google SERP (resúmenes mejor clasificados). Scavio maneja cuatro de esas superficies en una forma de llamada API: buscar + extraer + reddit_search + youtube_search + amazon_search.
- Compensación honesta: para rastreos recursivos de todo el sitio (por ejemplo, 'ingerir todo docs.python.org'), el modo de rastreo de Firecrawl es la herramienta adecuada. Scavio es un extracto por URL, no un caminante del sitio. Los dos son complementarios en una pila wiki.
- La exactitud de las citas depende de que cada fuente se resuelva en una URL en la que el usuario pueda hacer clic. El enlace organic_results[i].link de Scavio siempre está presente; La interfaz del wiki puede mostrar una [N] en la que se puede hacer clic para cada cita.
- Costo operativo: un wiki con 1000 llamadas de ingesta semanales + 500 llamadas de extracción = 1500 créditos/semana = 6000 créditos/mes. Se adapta al nivel de $30/mes de Scavio con un margen de 1000 créditos. La misma carga de trabajo en Firecrawl Standard ($83/mes) es 5 veces el costo.
- Restricción honesta: Scavio no es una tienda de vectores. La wiki todavía necesita Qdrant/Weaviate para la recuperación semántica y OpenAI/Cohere/Jina para las incrustaciones. Scavio reemplaza la capa de búsqueda + extracción; la capa de ingesta es una porción de una wiki, no toda.