Le problème
Les utilisateurs n8n qui tentent du scraping web rencontrent des échecs constants : CAPTCHAs, blocages IP, changements HTML cassant les analyseurs, et limitation de débit. Le nœud HTTP Request fonctionne parfaitement pour les API, mais le scraping nécessite une infrastructure supplémentaire (proxies, navigateurs sans tête) que la plupart des configurations n8n n'ont pas.
La solution Scavio
Remplacez le scraping web direct dans n8n par des appels d'API de recherche structurés. Le nœud HTTP Request envoie un POST à l'API de recherche et reçoit du JSON structuré en retour. Pas de gestion de proxies, pas de maintenance d'analyseurs, pas de résolution de CAPTCHA.
Avant
Avant le changement, un utilisateur n8n a essayé de scraper Google directement avec le nœud HTTP Request. Taux de réussite : ~40% (CAPTCHAs, blocages). A utilisé SerpAPI mais a eu du mal avec les recherches spécifiques à un site. A passé 6 heures à déboguer les flux de scraping n8n.
Après
Après être passé à une API de recherche, le même workflow n8n a un taux de réussite de 99%+. Le nœud HTTP Request envoie une charge utile JSON et reçoit des résultats structurés. Les recherches spécifiques à un site fonctionnent via l'opérateur site: dans la requête. Temps de configuration : 15 minutes.
À qui cela s'adresse
Utilisateurs n8n, constructeurs d'automatisation sans code et petites équipes qui ont besoin de données web fiables dans leurs workflows n8n sans infrastructure de scraping.
Avantages clés
- Le nœud HTTP Request fonctionne directement avec l'API de recherche
- Taux de réussite de 99%+ contre 40% avec le scraping direct
- Le JSON structuré élimine l'analyse HTML dans n8n
- Recherches spécifiques à un site via l'opérateur site: dans la requête
- Niveau gratuit (250/mois) couvre le prototypage n8n
Exemple Python
import requests, os
H = {'x-api-key': os.environ['SCAVIO_API_KEY']}
# n8n HTTP Request node equivalent
def n8n_search(query, site=None):
q = f'site:{site} {query}' if site else query
r = requests.post('https://api.scavio.dev/api/v1/search', headers=H,
json={'platform': 'google', 'query': q}, timeout=10).json()
return [{'title': r.get('title', ''), 'url': r.get('link', ''),
'snippet': r.get('snippet', '')}
for r in r.get('organic_results', [])[:5]]
# Site-specific search (fixes the common SerpAPI confusion)
results = n8n_search('STM32 ADC configuration', site='community.st.com')
for r in results:
print(f"{r['title'][:50]} - {r['url']}")Exemple JavaScript
const H = {'x-api-key': process.env.SCAVIO_API_KEY, 'Content-Type': 'application/json'};
async function n8nSearch(query, site) {
const q = site ? `site:${site} ${query}` : query;
const r = await fetch('https://api.scavio.dev/api/v1/search', {
method: 'POST', headers: H,
body: JSON.stringify({platform: 'google', query: q})
}).then(r => r.json());
return (r.organic_results || []).slice(0, 5).map(r => ({
title: r.title, url: r.link, snippet: r.snippet
}));
}
n8nSearch('STM32 ADC', 'community.st.com').then(r => r.forEach(i => console.log(i.title)));Plateformes utilisées
Recherche web avec graphe de connaissances, PAA et aperçus IA
Communauté, publications et commentaires imbriqués de n'importe quel subreddit