Construye un motor de busqueda vertical en dias

El problema

Construir un producto de busqueda vertical solia significar rastrear, indexar, rankear y experimentar con el ranking antes de lanzar algo. Solo la recoleccion de datos podia consumir un ano. Luego aun tenias que mantener el crawler, manejar el bloqueo anti-bot, y reconstruir el indice a medida que las fuentes evolucionaban. La mayoria de las ideas de busqueda vertical mueren en la fase de recoleccion de datos porque el costo de infraestructura supera el valor del producto. Un motor de busqueda de recetas, un buscador de documentos legales, una biblioteca curada de videos, un sitio especializado de comparacion de productos, todos empiezan igual y la mayoria nunca lo supera.

La solucion de Scavio

En lugar de rastrear e indexar, consulta fuentes en vivo bajo demanda a traves de Scavio y agrega tu ranking y UX encima. Un motor de recetas se convierte en una consulta de Google con un filtro de dominio y un ranker personalizado. Una biblioteca curada de videos se convierte en una consulta de YouTube con tu propio modelo de relevancia. Un buscador especializado de productos se convierte en consultas de Amazon mas Walmart con tu propia logica de puntuacion. Los datos siempre estan frescos porque siempre estan en vivo, y tu construyes la capa diferenciadora, no la infraestructura commodity.

Para quien es

Fundadores e ingenieros de producto prototipando productos de busqueda de nicho. Si tienes una idea para una mejor experiencia de busqueda dentro de un vertical especifico y no quieres pasar un ano construyendo un crawler, este es el atajo.

Beneficios clave

• Sin crawler ni indice que construir, operar o refrescar
• Datos de fuentes en vivo significa que los resultados siempre estan actualizados
• Filtros de dominio, geo y plataforma definen el alcance de tu vertical
• Enfoca la ingenieria en ranking y UX, no en infraestructura
• Lanza MVPs en dias en lugar de trimestres

Ejemplo en Python

import requests

API_KEY = "your_scavio_api_key"
ALLOWED = {"seriouseats.com", "bonappetit.com", "nytimes.com"}

def recipe_search(query: str):
    r = requests.post(
        "https://api.scavio.dev/api/v1/search",
        headers={"x-api-key": API_KEY},
        json={"platform": "google", "query": f"{query} recipe"},
        timeout=10,
    )
    hits = []
    for item in r.json().get("organic", []):
        host = item["link"].split("/")[2]
        if host.replace("www.", "") in ALLOWED:
            hits.append(item)
    return hits

for recipe in recipe_search("pasta alla gricia"):
    print(recipe["title"], recipe["link"])

Ejemplo en JavaScript

const API_KEY = "your_scavio_api_key";
const ALLOWED = new Set(["seriouseats.com", "bonappetit.com", "nytimes.com"]);

async function recipeSearch(query) {
  const r = await fetch("https://api.scavio.dev/api/v1/search", {
    method: "POST",
    headers: {
      "x-api-key": API_KEY,
      "content-type": "application/json",
    },
    body: JSON.stringify({ platform: "google", query: `${query} recipe` }),
  });
  const data = await r.json();
  return (data.organic ?? []).filter((item) => {
    const host = new URL(item.link).host.replace(/^www\./, "");
    return ALLOWED.has(host);
  });
}

for (const recipe of await recipeSearch("pasta alla gricia")) {
  console.log(recipe.title, recipe.link);
}

Plataformas utilizadas