robots.txt生成器
在线免费robots.txt生成器，可视化设置抓取规则，单独控制GPTBot、ClaudeBot等AI爬虫，一键下载，浏览器本地生成。
默认策略
对未单独设置的爬虫生效：允许=可抓全站，禁止=屏蔽全站
AI 爬虫控制
单独控制 GPTBot、ClaudeBot、PerplexityBot 等大模型爬虫
规则与杂项
秒，0 为不设置
robots.txt
User-agent: * Disallow: /wp-admin/ Sitemap: https://www.jd5x.com/sitemap.xml
行数: 4
💡 将文件上传到网站根目录，通过 https://域名/robots.txt 访问
💡 robots 协议是约定俗成的规范，恶意爬虫可能不遵守
常见问题
为什么要单独控制AI爬虫？
GPTBot、ClaudeBot、Google-Extended 等会抓取网站内容用于大模型训练，生成 robots.txt 时可以对它们单独允许或禁止，保护原创内容或主动投喂 AI 搜索。
生成后怎么用？
下载 robots.txt 上传到网站根目录，保证 https://你的域名/robots.txt 能直接访问即可，一般一两天内生效。
Crawl-delay 是什么？
抓取间隔秒数，用来限制爬虫抓取频率减轻服务器压力，Google 已忽略该字段，主要对 Bing 等生效。