El problema
Investigadores y científicos de datos pasan horas buscando en Google Dataset Search, Kaggle, HuggingFace y portales gubernamentales para encontrar datasets relevantes. Cada plataforma tiene su propia interfaz de búsqueda y no hay una API unificada. Los resultados están fragmentados y son difíciles de comparar.
La solucion de Scavio
Usa el servidor MCP o la API de búsqueda de Scavio para consultar datasets en múltiples plataformas. Busca en Google portales de datasets, cruza referencias con resultados de plataformas específicas y agrega los hallazgos en un pipeline de descubrimiento unificado. Una búsqueda cubre lo que antes requería 4 búsquedas en plataformas separadas.
Antes
El científico de datos busca en Kaggle, luego en Google Dataset Search, luego en HuggingFace, luego en data.gov. 3 horas para compilar una lista de 15 datasets relevantes.
Después
Un agente conectado por MCP busca en todas las fuentes a través de Scavio en 5 minutos. Devuelve 30 datasets relevantes con metadatos, enlaces y fechas de actualización.
Para quien es
Científicos de datos e investigadores que necesitan descubrir datasets relevantes en múltiples plataformas sin buscar manualmente en cada una.
Beneficios clave
- Una búsqueda cubre múltiples plataformas de datasets
- Integración MCP para descubrimiento impulsado por agentes
- Resultados estructurados con metadatos del dataset
- Deduplicación entre plataformas
- $0.005/búsqueda reemplaza horas de navegación manual
Ejemplo en Python
import requests, os, json
API_KEY = os.environ["SCAVIO_API_KEY"]
H = {"x-api-key": API_KEY, "Content-Type": "application/json"}
DATASET_SOURCES = [
"site:kaggle.com/datasets",
"site:huggingface.co/datasets",
"site:data.gov",
"site:datasetsearch.research.google.com",
]
def discover_datasets(topic: str) -> list:
"""Federated dataset discovery across platforms."""
all_datasets = []
for source in DATASET_SOURCES:
resp = requests.post(
"https://api.scavio.dev/api/v1/search",
headers=H,
json={"query": f"{topic} {source}", "country_code": "us"},
timeout=10,
)
data = resp.json()
for r in data.get("organic_results", []):
all_datasets.append({
"title": r.get("title", ""),
"url": r.get("link", ""),
"source": source.split("site:")[1].split("/")[0],
"snippet": r.get("snippet", ""),
})
# Deduplicate by URL
seen = set()
unique = []
for d in all_datasets:
if d["url"] not in seen:
seen.add(d["url"])
unique.append(d)
return unique
datasets = discover_datasets("climate change temperature")
for d in datasets[:10]:
print(f"[{d['source']}] {d['title']}: {d['url']}")Ejemplo en JavaScript
const H = {'x-api-key': process.env.SCAVIO_API_KEY, 'Content-Type': 'application/json'};
const SOURCES = ['site:kaggle.com/datasets','site:huggingface.co/datasets','site:data.gov','site:datasetsearch.research.google.com'];
async function discoverDatasets(topic) {
const all = [];
for (const source of SOURCES) {
const r = await fetch('https://api.scavio.dev/api/v1/search', {method:'POST', headers:H, body:JSON.stringify({query:topic+' '+source, country_code:'us'})});
const d = await r.json();
for (const o of d.organic_results||[]) {
all.push({title:o.title, url:o.link, source:source.split('site:')[1].split('/')[0], snippet:o.snippet});
}
}
const seen = new Set();
return all.filter(d=>{ if (seen.has(d.url)) return false; seen.add(d.url); return true; });
}
const datasets = await discoverDatasets('climate change temperature');
for (const d of datasets.slice(0,10)) console.log('['+d.source+'] '+d.title+': '+d.url);Plataformas utilizadas
Búsqueda web con grafo de conocimiento, PAA y resúmenes de IA