免费AI爬虫检查器

检查您的网站是否屏蔽了 GPTBot、ClaudeBot 和 Google-Extended 等AI爬虫。我们将即时分析您的 robots.txt、meta 标签和头部信息。

无需注册即时扫描即时结果

什么是AI爬虫？

AI爬虫是 OpenAI、Anthropic 和 Google 等公司用来为其AI模型索引内容的网络机器人。当这些爬虫被屏蔽时，您的品牌对AI助手来说就变得不可见——它们无法引用它们读不到的内容。

为什么 robots.txt 很重要

  • 控制哪些机器人可以访问您的网站内容
  • 屏蔽AI爬虫是导致AI不可见的首要原因
  • 许多网站在不知情的情况下通过通配符规则屏蔽了AI机器人

我们检查什么

  • 针对 11 个 AI 爬虫 user agent 的 robots.txt 规则
  • Meta robots 标签（noindex、noai、noimageai）
  • X-Robots-Tag HTTP 头部

常见问题

AI 爬虫是 AI 公司用来抓取网页的机器人——有的用于训练模型，有的用于构建助手回答背后的索引，有的在用户提问的当下即时打开链接。如果 robots.txt 屏蔽了负责回答的那几个，无论内容多好，它都不会出现在 ChatGPT、Claude、Gemini 或 Perplexity 的回答里。这是品牌在 AI 回答中缺席的最常见原因。

您的 robots.txt 文件控制哪些机器人可以访问您的网站。许多网站在不知情的情况下屏蔽了 GPTBot、ClaudeBot 和 Google-Extended 等AI爬虫，无论是通过特定的 Disallow 规则还是广泛的通配符屏蔽。这意味着AI助手无法读取您的内容，永远不会引用或推荐您的品牌。

共 11 个 user agent。OpenAI：GPTBot（训练）、OAI-SearchBot（ChatGPT 搜索索引）、ChatGPT-User（用户触发的抓取）。Anthropic：ClaudeBot（训练）、Claude-SearchBot（搜索索引）、Claude-User（用户触发的抓取），以及旧文件中仍常见的遗留标识 anthropic-ai。此外还有 Google-Extended（Gemini 的引用与训练）、PerplexityBot、Bytespider（字节跳动）和 CCBot（Common Crawl）。它们各自独立控制，因此可以只允许会引用你的那些，同时拒绝用于训练的那些。

除了 robots.txt 之外，页面还可以通过 HTML 中的 <meta name="robots"> 标签和 X-Robots-Tag HTTP 头部来限制爬虫访问。noindex、nofollow、noai 和 noimageai 等指令告诉爬虫不要索引或使用您的内容。我们的工具检查所有三层爬虫访问控制。

是的。GeoVector 的AI爬虫检查器完全免费，无需注册。您可以扫描任何URL并即时获取结果，显示您的 robots.txt AI爬虫状态、meta robots 标签和 X-Robots-Tag 头部。如需更深入的全站审计和持续监测，GeoVector 提供付费方案。

本工具检查的 AI 爬虫

11 个 user agent，按运营方分组。关键在于它们彼此独立：允许回答引擎、同时拒绝训练爬虫，是一种受支持的配置，并不矛盾。

CrawlerOperatorUsed forIf you disallow it
GPTBotOpenAICrawling content that may be used to train OpenAI foundation models.Your pages are excluded from that training data.
OAI-SearchBotOpenAIBuilding the index behind ChatGPT's search answers.You drop out of ChatGPT search answers, though you can still appear as a navigational link.
ChatGPT-UserOpenAIFetching a page when a ChatGPT user or tool opens a link.ChatGPT can't open your pages on request during a conversation.
ClaudeBotAnthropicCollecting web content that may contribute to model training.Future material is signalled as out of scope for training.
Claude-SearchBotAnthropicIndexing pages to improve Claude's search results.Your content stops being indexed for Claude search.
Claude-UserAnthropicRetrieving a page when a Claude user asks about it.Claude can't pull your content into a user-directed answer.
anthropic-aiAnthropicA legacy token that still appears in older robots.txt files; Anthropic no longer lists it among its active agents.No effect on the three current agents. Harmless to leave in place.
Google-ExtendedGoogleControlling whether your content is used for Gemini grounding and training.You are removed from Gemini grounding. Google Search crawling, indexing, and ranking are unaffected.
PerplexityBotPerplexityIndexing pages so Perplexity can surface and cite them.Perplexity stops citing your pages.
BytespiderByteDanceCrawling for ByteDance's models and products.Your content is excluded from ByteDance's collection.
CCBotCommon CrawlBuilding the open Common Crawl corpus that many model builders train on.You are excluded from a dataset used well beyond any single vendor.

三种 robots.txt 写法

按你的策略选一种复制。robots.txt 位于每个主机的根目录，每个子域名都需要各自的一份。

对回答引擎全部开放
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://example.com/sitemap.xml
可以回答，不能训练
# Answer questions about us
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# But do not train on us
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

当法务要求退出训练、市场又想要被引用时，多数团队真正需要的就是这种拆分。它只在运营方区分了这两种角色时才有效：OpenAI、Anthropic 和 Google 都区分了。PerplexityBot 和 CCBot 没有，因此对它们只能整体二选一。

悄悄屏蔽一切的写法
User-agent: *
Disallow: /

User-agent: GPTBot
Allow: /

按照 RFC 9309，爬虫只遵守与自身名称匹配的最具体的那一组规则，并忽略其他所有组。因此这里的 GPTBot 只读自己那一组，是被允许的；而所有没有专属分组的爬虫——包括 OAI-SearchBot 和 Claude-SearchBot——都落入通配符组，被全部屏蔽。测试环境的 robots.txt 上线后没被替换，出的就是这个问题。

页面级控制：meta robots 与 X-Robots-Tag

robots.txt 管的是页面能不能被抓取，这两者管的是抓取之后能拿它做什么。所以一个页面完全可抓取，却仍然不出现在结果里。

写在 HTML head 中
<meta name="robots" content="noindex, nofollow">
作为 HTTP 响应头，用于 PDF 等非 HTML 文件
X-Robots-Tag: noindex

你还会看到 noai 和 noimageai。它们出自图片托管平台，并不属于任何规范；上面列出的爬虫也都没有声明支持。我们仍然报告它们，是因为它们记录了你的意图，而不是因为它们真的能拦住什么。

来源与规范

本页所有内容都以下列一手文档为准。厂商一旦改规则，最先反映在那里。

最后审阅于 。每当厂商更新规范，我们都会重新核对本页内容。

免费AI爬虫检查器 | GeoVector