定义
Cloudflare与GoDaddy合作将AI机器人质询功能扩展到数百万个GoDaddy托管的网站,使这些网站自动获得AI爬虫防护而无需网站所有者单独配置。
深入了解
Cloudflare与GoDaddy的合作使AI机器人防护从企业级功能变为普惠功能。GoDaddy托管了数百万个中小企业网站,其所有者通常缺乏技术能力配置反爬保护。此合作自动为这些网站启用AI机器人检测。 合作范围:GoDaddy托管的网站自动集成Cloudflare的AI机器人检测层,网站所有者可以选择允许或阻止AI训练爬虫(opt-in/opt-out控制),保护覆盖了数百万个之前完全无防护的网站。 对数据获取生态的影响:可被直接爬取的网站数量显著减少,需要绕过保护的技术复杂性增加,结构化API相对于直接爬取的优势进一步扩大。对于AI代理开发者,这意味着更多依赖合法数据源(搜索API、公开数据集)而非直接爬取。长期来看,这推动了搜索付费墙趋势——高质量网页数据越来越多地只能通过付费API获取。
用法示例
一个中小企业的GoDaddy托管网站在合作启用后,自动获得了Cloudflare的AI机器人检测。之前被AI训练爬虫大量抓取的产品页面现在有了保护。同时,通过合法搜索API路径获取该网站公开信息仍然正常工作。
平台
Cloudflare AI机器人质询(GoDaddy合作)在以下平台中相关,所有这些平台都可通过Scavio的统一API访问:
- Amazon