El proyecto LLM Wiki de Karpathy generó una discusión en r/AI_Agents sobre las tuberías de ingesta. La mayoría de los creadores de wikis utilizan herramientas independientes para los datos de Google, Reddit, YouTube y Amazon. Este tutorial los reemplaza todos con una única API que cubre múltiples plataformas, reduciendo la complejidad de la integración de 5 SDK a 1.
Requisitos previos
- Clave API de Scavio
- Python 3.8+
- Wiki basado en Markdown (repositorio git o sistema de archivos)
Guia paso a paso
Paso 1: Definir la función de investigación de temas wiki
Una función busca un tema en todas las plataformas.
Python
import requests, os
H = {'x-api-key': os.environ['SCAVIO_API_KEY']}
URL = 'https://api.scavio.dev/api/v1/search'
def research_topic(topic):
sources = {}
for platform in ['google', 'reddit', 'youtube']:
data = requests.post(URL, headers=H,
json={'platform': platform, 'query': topic}).json()
sources[platform] = data.get('results', []) or data.get('organic_results', [])
return sourcesPaso 2: Generar entrada wiki a partir de datos multiplataforma
Combine los resultados de la búsqueda en una página wiki estructurada.
Python
def generate_wiki_entry(topic, sources):
entry = f'# {topic}\n\n'
entry += '## Overview\n'
# Use top Google results for the overview
for r in sources.get('google', [])[:3]:
entry += f"- [{r.get('title', '')}]({r.get('link', '')}): {r.get('snippet', '')}\n"
entry += '\n## Community Discussion\n'
for r in sources.get('reddit', [])[:3]:
entry += f"- [{r.get('title', '')}]({r.get('url', '')})\n"
entry += '\n## Video Resources\n'
for r in sources.get('youtube', [])[:3]:
entry += f"- {r.get('title', '')}\n"
return entryPaso 3: Construya la wiki en lotes
Procese una lista de temas y guárdela como archivos de rebajas.
Python
import os
def build_wiki(topics, output_dir='wiki'):
os.makedirs(output_dir, exist_ok=True)
for topic in topics:
slug = topic.lower().replace(' ', '-')
sources = research_topic(topic)
entry = generate_wiki_entry(topic, sources)
with open(f'{output_dir}/{slug}.md', 'w') as f:
f.write(entry)
print(f'Built wiki page: {slug}.md')
topics = ['transformer architecture', 'RLHF training', 'RAG pipeline', 'MCP protocol']
build_wiki(topics)Paso 4: Agregar controles de frescura
Vuelva a investigar temas que tengan más de 7 días.
Python
import datetime
def needs_refresh(filepath, max_age_days=7):
if not os.path.exists(filepath):
return True
mtime = datetime.datetime.fromtimestamp(os.path.getmtime(filepath))
return (datetime.datetime.now() - mtime).days > max_age_days
def refresh_wiki(topics, output_dir='wiki'):
for topic in topics:
slug = topic.lower().replace(' ', '-')
path = f'{output_dir}/{slug}.md'
if needs_refresh(path):
sources = research_topic(topic)
entry = generate_wiki_entry(topic, sources)
with open(path, 'w') as f:
f.write(entry)
print(f'Refreshed: {slug}')Ejemplo en Python
Python
import os, requests
H = {'x-api-key': os.environ['SCAVIO_API_KEY']}
def wiki_page(topic):
data = {}
for p in ['google', 'reddit', 'youtube']:
r = requests.post('https://api.scavio.dev/api/v1/search', headers=H,
json={'platform': p, 'query': topic}).json()
data[p] = r.get('results', []) or r.get('organic_results', [])
return data
# 4 topics x 3 platforms = 12 queries = $0.06Ejemplo en JavaScript
JavaScript
const platforms = ['google', 'reddit', 'youtube'];
const sources = {};
for (const platform of platforms) {
const res = await fetch('https://api.scavio.dev/api/v1/search', {
method: 'POST',
headers: {'x-api-key': process.env.SCAVIO_API_KEY, 'Content-Type': 'application/json'},
body: JSON.stringify({platform, query: topic})
});
sources[platform] = await res.json();
}Salida esperada
JSON
Markdown wiki with multi-platform sources per topic. One API key replaces separate Google, Reddit, and YouTube ingestion tools. 3 queries per topic = $0.015.