Aperçu
Saut avant LLM qui convertit les URLs en markdown via Scavio /extract avant que le LLM ne les voie. Réduit les tokens d'entrée d'environ 10x pour les tâches lourdes en HTML.
Déclencheur
Traitement par URL dans toute boucle d'agent
Planification
Par tâche
Étapes du workflow
1
Recevoir la liste d'URLs
Depuis les résultats SERP ou une saisie utilisateur.
2
Scavio /extract par URL
POST avec {url, format: 'markdown'}.
3
Cache optionnel
Si le markdown a été extrait dans les dernières 24h, renvoyer le cache.
4
Transmettre le markdown au LLM
Le contexte du LLM passe d'environ 30K tokens à ~3K tokens par page.
5
Le LLM produit une sortie
Résumé, classification, extraction ou toute autre tâche.
6
Extraction optionnelle de second passage
Si le markdown est trop long, ré-extraire avec le mode résumé ou par morceaux.
Implémentation Python
Python
import os, requests
H = {'x-api-key': os.environ['SCAVIO_API_KEY']}
def extract(url):
return requests.post('https://api.scavio.dev/api/v1/extract', headers=H, json={'url': url, 'format': 'markdown'}).json().get('markdown', '')Implémentation JavaScript
JavaScript
const H = { 'x-api-key': process.env.SCAVIO_API_KEY, 'Content-Type': 'application/json' };
async function extract(url) {
const r = await fetch('https://api.scavio.dev/api/v1/extract', { method:'POST', headers:H, body: JSON.stringify({ url, format: 'markdown' }) }).then(r => r.json());
return r.markdown || '';
}Plateformes utilisées
Recherche web avec graphe de connaissances, PAA et aperçus IA