免费 Robots.txt 生成器
Robots.txt 生成器
免费 Robots.txt 生成器：允许、禁止和 AI 爬虫 | We.Inc
免费生成 robots.txt：允许或阻止所有爬虫、禁止访问文件夹、添加站点地图，并选择 AI 爬虫（如 GPTBot）是否可以读取网站。
一分钟内生成正确的 robots.txt 文件：为所有爬虫选择默认规则，列出要屏蔽的文件夹，添加站点地图，并决定 AI 爬虫能否读取您的内容。复制结果或下载为文件。
- 为所有爬虫选择默认规则：允许访问所有内容（适用于大多数网站），或全部禁止（适用于测试网站）。
- 逐行添加要禁止爬虫访问的文件夹，例如 /admin/ 或 /cart/。
- 粘贴站点地图网址，帮助搜索引擎找到每个页面。
- 也可以选择阻止 AI 训练爬虫。然后复制或下载 robots.txt，并上传到域名根目录。
- robots.txt 必须准确放在 yourdomain.com/robots.txt。放在其他位置会被忽略。
- 在 robots.txt 中屏蔽页面，并不会将页面从 Google 移除。要让页面不出现在搜索结果中，请使用 noindex 标签并允许爬虫访问。
- 不要屏蔽 CSS 或 JavaScript 文件夹；Google 需要它们才能正确查看页面。
- 上传后，在浏览器中打开线上文件进行检查。
常见问题
robots.txt 有什么作用？
它会告诉守规矩的爬虫可以请求网站的哪些部分。这只是请求，不是锁：它不能保护私人内容，恶意机器人也会忽略它。
我需要 robots.txt 文件吗？
严格来说不需要。没有该文件时，爬虫会认为可以访问所有内容。仍然建议使用该文件指向站点地图，并阻止爬虫访问购物车和管理页面等位置。
我应该屏蔽 AI 爬虫吗？
这是业务上的选择。屏蔽 GPTBot、ClaudeBot、Google-Extended 等爬虫，可以请求它们不要将您的内容用于训练，但也可能让 AI 助手更不了解您的业务。许多小型企业会允许这些爬虫访问，以便 AI 答案能够推荐他们。
更改多久生效？
Google 通常会在一天内重新读取 robots.txt。您可以在 Google Search Console 的 robots.txt 报告中请求刷新。
如何测试某个网址是否被 robots.txt 屏蔽？
使用本页面的测试工具。粘贴您的 robots.txt（或使用刚刚生成的版本），输入网址和爬虫名称（例如 Googlebot），系统会显示【允许】或【已屏蔽】，并指出作出判断的具体规则。该工具在浏览器中应用 Google 的匹配规则，不会获取您的实时文件，因此请粘贴 yourdomain.com/robots.txt 的最新版本。
如果 Allow 和 Disallow 规则同时匹配，哪条优先？
对于 Google 而言，路径更长的规则优先，因为它更具体。如果两条路径长度相同，Allow 优先。其他爬虫处理冲突的方式可能不同，因此应避免依赖平局情况。
robots.txt 规则的读取方式
- robots.txt 文件由规则组构成。每组以一条或多条 User-agent 行开头，用来指定爬虫（或用 * 表示所有爬虫），后面跟着含有网址路径的 Allow 和 Disallow 行。爬虫会采用指定自己的最具体规则组；在同一组内，匹配路径最长的规则优先。
- "Disallow: /"会阻止所有访问。空的"Disallow:"表示允许全部访问。"Disallow: /admin/"会阻止所有以 /admin/ 开头的网址。路径区分大小写。
适用于小型企业网站的合理默认设置
- 允许所有访问，屏蔽平台使用的管理、购物车、结账或账户文件夹，并列出站点地图。大多数网站只需要这些设置。不要用 robots.txt 向 Google 隐藏感谢页面或重复页面；应使用 noindex 标签完成这项工作。
- We.Inc 发布的网站已经自动提供 robots.txt 和站点地图，因此只有托管在其他地方的网站才需要使用此生成器。
上传前测试网址
- robots.txt 中的一个小错误就可能屏蔽整个网站区块，因此在上传前请测试重要网址：首页、产品或服务页面、博客文章，以及任何您希望屏蔽的内容。用您关注的爬虫（通常是 Googlebot）在测试工具中逐一输入，确认结果和判断规则符合预期。
- 通配符最容易出现意外。"Disallow: /*?sort="会屏蔽所有包含 ?sort= 的网址，"Disallow: /*.pdf$"会屏蔽以 .pdf 结尾的网址，但不会屏蔽 /file.pdf?download=1。此外，在专属规则组中被指定的爬虫（例如 Googlebot-Image）会完全忽略 * 规则组，因此为所有人编写的规则对它不适用。
免费开始 · 无需信用卡
Product
Who It's For
Features
Resources
Company
View Sitemap