AI 机器人的 robots.txt：该放行谁，该屏蔽谁

一份实用指南，介绍小企业网站会遇到的 AI 爬虫、其所有者所说的各自用途，以及能让您留在 AI 搜索回答中、同时可按需退出训练的 robots.txt 规则。

AI 公司现在会派出好几种不同的爬虫，各有各的任务。有的收集训练数据；有的建立搜索索引，回答会链接回您的网站；有的则因为某个用户提问才去获取单个页面。用一行规则把它们全部屏蔽看似稳妥，却可能悄悄地把企业从那些能带来真实客户的 AI 搜索回答中移除。

robots.txt 如何运作

robots.txt 是放在域名根目录下的纯文本文件。每一组规则以一行 User-agent 开头，指明某个爬虫，后面跟着 Allow 或 Disallow 规则。它的格式在 RFC 9309 中被标准化。它是一个请求，而不是一把锁：正规的爬虫会遵守它，但它保护不了私密内容；Google 的文档也指出，仅仅阻止抓取，并不能把页面从索引中移除。

主要的 AI 爬虫，以及其所有者所说的用途

OAI-SearchBot（OpenAI）：用于在 ChatGPT 搜索结果中展示网站。OpenAI 的爬虫文档说，屏蔽它的网站不会出现在 ChatGPT 的搜索回答中，但仍可能以普通导航链接的形式出现。
GPTBot（OpenAI）：收集可能用于训练 OpenAI 模型的内容。屏蔽它是 OpenAI 官方说明的退出训练方式，并且与 OAI-SearchBot 互不影响。
ChatGPT-User（OpenAI）：在某个人的请求需要时获取页面。OpenAI 指出，robots.txt 规则可能不适用于这类由用户发起的访问。
Google-Extended（Google）：它不是独立的爬虫，而是一个产品标记。禁止它，就是告诉 Google 不要用您的内容训练未来的 Gemini 模型，也不要在其他一些 AI 系统中将其用作依据。Google 搜索中心说，它不影响在 Google 搜索中的收录或排名，AI 概览由 Googlebot 和常规的摘要控制设置管理。
PerplexityBot（Perplexity）：为 Perplexity 的回答索引页面，根据 Perplexity 的文档，不用于模型训练。Perplexity-User 代表用户获取页面，通常会忽略 robots.txt。
Bingbot（微软）：为 Bing 提供数据，而 Bing 是 Microsoft Copilot 的回答依据。屏蔽它，您会同时从两者中消失。
ClaudeBot 和 Claude-SearchBot（Anthropic）：Anthropic 分别为训练和搜索设置了不同的代理，并表示它们会遵守 robots.txt。
Applebot 和 Applebot-Extended（Apple）：Applebot 支撑聚焦搜索、Siri 和 Safari 中的搜索功能；Applebot-Extended 让您可以选择不让 Apple 使用您的内容训练其基础模型，且不影响搜索。

适合本地企业的合理设置

大多数小企业都希望被找到，并在回答中被提及。一种常见且平衡的设置是放行搜索爬虫，再单独决定是否参与训练。例如，要留在 ChatGPT 搜索和 Perplexity 中，同时退出 OpenAI 和 Google 的训练：

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

是否退出训练是一个商业决定。出现在训练数据中，可能让模型更熟悉您的名字；退出则能让您的文字不进入未来的模型版本。两种选择都不影响 Google 搜索排名。

机器人被屏蔽的其他地方

除了 robots.txt，还要检查您的 CDN 和安全设置。一些主机防火墙和机器人管理功能默认屏蔽 AI 爬虫，这会覆盖开放的 robots.txt。如果您在使用这类功能，找到 AI 爬虫相关设置，确认您想要的搜索代理已被放行。

测试您的文件

在浏览器中打开 yoursite.com/robots.txt，确认它能正常加载。Google Search Console 有一份 robots.txt 报告，显示 Google 获取的版本和任何错误。Bing Webmaster Tools 提供 robots.txt 测试工具。更换主机或安装安全插件后，请重新检查。

一旦合适的机器人能访问到您，它们还需要值得一读的页面，这正是 SEO God Mode 在 We.Inc 网站上的作用：根据您自己的服务每周建议主题，并起草由您批准的文章。

常见问题

如果我屏蔽了 GPTBot，会从 ChatGPT 搜索中消失吗？

根据 OpenAI 的说法，不会。GPTBot 是训练爬虫；ChatGPT 搜索使用的是 OAI-SearchBot。放行一个、屏蔽另一个是可以的。

屏蔽 Google-Extended 会让我从 AI 概览中消失吗？

不会。Google 表示，Google-Extended 控制的是内容是否用于 Gemini 训练，不影响 Google 搜索，包括使用 Googlebot 的 AI 概览。

robots.txt 足以让内容保持私密吗？

不够。它只是守规矩的爬虫会遵守的请求。真正私密的内容需要登录或密码保护，而要让页面不出现在搜索结果中，应使用 noindex。