El problema
Una publicación de r/webscraping: el clipper de YouTube del lado del navegador en Supabase alcanzó bloqueos de firewall a nivel de IP. Las IP de los proveedores de la nube se marcan de forma rutinaria.
La solucion de Scavio
Divida la arquitectura por tipo de datos. Metadatos + transcripciones: punto final de Scavio YouTube (escrito JSON, sin lucha contra el firewall). Bytes de vídeo (solo cuando realmente sean necesarios): trabajador perimetral + rotación de proxy residencial. La primera experiencia de usuario local se conserva al reproducir la fuente en un iframe y exportar momentos del clip en lugar de bytes descargados.
Antes
Las recuperaciones del servidor Supabase están bloqueadas. La migración a un proxy administrado agrega costos. La ambición de dar prioridad a lo local se ve socavada por la detección de IP del servidor.
Después
La canalización de metadatos nunca toca las IP bloqueadas; Scavio se encarga de ello. Rutas de recuperación de bytes (cuando sea necesario) a través de servidores proxy residenciales únicamente bajo demanda. El costo de los metadatos por video es predecible.
Para quien es
Creadores de herramientas de vídeo independientes, productos de recorte de navegador, aplicaciones de clips de podcast, nuevas empresas de búsqueda de transcripciones que se enfrentan a bloqueos anti-bot de YouTube.
Beneficios clave
- El punto final Scavio YouTube evita por completo el problema del firewall
- La elección de la arquitectura depende de si necesita bytes o metadatos
- Trabajador perimetral + proxy residencial reservado solo para recuperación de bytes
- Primera experiencia de usuario local conservada mediante reproducción basada en iframe
- Costo por llamada predecible en la ruta de metadatos
Ejemplo en Python
import requests, os
H = {'x-api-key': os.environ['SCAVIO_API_KEY']}
def yt_meta(video_url):
return requests.post('https://api.scavio.dev/api/v1/search', headers=H, json={'platform': 'youtube', 'url': video_url, 'include_transcript': True}).json()Ejemplo en JavaScript
// Same shape in TS — POST to Scavio YouTube endpoint with the video URL.Plataformas utilizadas
YouTube
Búsqueda de videos con transcripciones y metadatos