Défi Cloudflare contre les bots IA (Partenariat GoDaddy)

Le pipeline RAG d'une équipe de recherche récupérait des pages web directement pour ancrer les réponses du LLM. Après le déploiement du partenariat Cloudflare-GoDaddy, 35 % de leurs récupérations ont commencé à retourner des pages de défi. Ils ont remplacé la récupération directe par des appels à l'API de recherche Scavio, qui renvoient des extraits structurés de contenu indexé, éliminant complètement les blocages Cloudflare.

Défi Cloudflare contre les bots IA (Partenariat GoDaddy) est pertinent pour Google, Amazon, Reddit. Scavio fournit une API unifiée pour accéder aux données de toutes ces plateformes.

Début 2026, Cloudflare a étendu sa fonctionnalité de blocage des bots IA et s'est associé à GoDaddy pour l'activer par défaut sur les domaines hébergés par GoDaddy. Comme GoDaddy héberge environ 80 millions de domaines et que Cloudflare sert de proxy pour une part significative du trafic web, ce partenariat a effectivement placé un mur anti-bots IA devant environ 20 % du web accessible. Les scrapers qui fonctionnaient auparavant de manière fiable se heurtent désormais à des pages de défi Cloudflare renvoyant 403 ou exigeant une preuve de travail JavaScript. Cela brise les pipelines de scraping traditionnels, les configurations de navigateur sans tête et les agents IA qui récupèrent directement les pages web. L'impact est particulièrement grave pour les pipelines RAG et les agents IA qui récupèrent du contenu web en temps réel. Les API de recherche comme Scavio contournent cela entièrement car elles renvoient des données d'index de recherche, pas le HTML des pages individuelles. Lorsque votre agent a besoin de faits du web, il interroge un index de recherche (déjà exploré et indexé) plutôt que de tenter de récupérer des pages via la couche de défi de Cloudflare. La distinction est importante : les données d'index de recherche sont prétraitées, structurées et toujours disponibles indépendamment des protections anti-bots par site.