关于此工具
为网站生成 robots.txt 文件，配置爬虫访问规则和 sitemap 位置。
免费工具
Robots.txt Generator
为你的网站生成 robots.txt 文件。为不同 user agent 配置规则、禁止路径和添加 sitemap 引用。
常见问题
robots.txt 是放在网站根目录的文件，告诉搜索引擎爬虫哪些页面可以或不可以爬取。
不能。robots.txt 阻止爬取但不阻止索引。要阻止索引应使用 noindex meta 标签。
通常禁止管理后台、私密内容、重复内容和无价值页面（如搜索结果页）。