Una publicación de r/webscraping quería crear un directorio nacional para un servicio que a menudo es un subprograma dentro de organizaciones más grandes (por lo que Google Maps omite la mayor parte). Esto sigue el enfoque de búsqueda tonta + extracción de LLM.
Requisitos previos
- Un objetivo vertical
- Clave API de Scavio
- Clave API de LLM
Guia paso a paso
Paso 1: Enumerar fuentes que ya agregan la cola larga
Asociaciones, gobierno, agregadores de nicho.
Text
// 3-7 sources cover 80% of long tail:
// - National association directory
// - State/regional reg databases
// - 1-2 niche aggregator sites
// - Reddit communities
// - .gov pages mentioning the program typePaso 2: Construye un conjunto de idiotas por fuente en Scavio
Cada fuente = forma de consulta diferente.
Text
// site:national-assoc.org programs (national)
// site:state.gov VERTICAL (per state)
// site:niche-aggregator.com (per niche)
// site:reddit.com/r/VERTICAL recommendation OR best 2026Paso 3: Ejecuta a Scavio a través del conjunto de idiotas según la geografía
Ciudad, estado o nivel postal.
Text
// Per state per source-set:
// Run dork → collect organic_results URLs → store source URL + snippetPaso 4: Extracto de LLM: 'encuentre todas las entidades que ofrecen SERVICIO en este fragmento'
Manejo de amplia variedad.
Text
// LLM: 'Extract every entity (org or program) offering SERVICE in CITY/STATE. Return JSON {name, address?, phone?, parent_org?, source_url}.'Paso 5: Desduplicar fuentes y llenar vacíos mediante la búsqueda de Scavio Local Pack
Enriquecimiento al mejor esfuerzo.
Text
// Dedup by hash(name + state). Optional Scavio Local Pack search to fetch address/phone if missing.Paso 6: Publicar (o pagar) el directorio
Foso = curación de la fuente.
Text
// Structured data on a Next.js site. Each entity = one page. Internal links across geography facets.Ejemplo en Python
Python
# Per-vertical-state: ~50-200 Scavio calls + LLM extraction ≈ $1-5 per state mapped.Ejemplo en JavaScript
JavaScript
// Same in TS.Salida esperada
JSON
A comprehensive national directory of fragmented-vertical programs/orgs. Catches sub-program listings Maps misses. Becomes a moat for content sites or niche SaaS.