免費 AI 爬蟲檢查器

檢查您的網站是否封鎖了 GPTBot、ClaudeBot 和 Google-Extended 等 AI 爬蟲。我們會即時分析您的 robots.txt、meta 標籤和標頭。

無需註冊即時掃描即時結果

什麼是 AI 爬蟲？

AI 爬蟲是 OpenAI、Anthropic 和 Google 等公司用來為其 AI 模型索引內容的網絡機器人。當這些爬蟲被封鎖時，您的品牌將對 AI 助理不可見——它們無法引用它們讀不到的內容。

為什麼 robots.txt 很重要

  • 控制哪些機器人可以存取您的網站內容
  • 封鎖 AI 爬蟲是導致 AI 不可見的首要原因
  • 許多網站在不知情的情況下以萬用字元規則封鎖了 AI 機器人

我們檢查什麼

  • 針對 11 個 AI 爬蟲 user agent 的 robots.txt 規則
  • Meta robots 標籤（noindex、noai、noimageai）
  • X-Robots-Tag HTTP 標頭

常見問題

AI 爬蟲是 AI 公司用來抓取網頁的機器人——有些用於訓練模型，有些用於建立助理回答背後的索引，有些則在使用者提問的當下即時開啟連結。如果 robots.txt 擋掉了負責回答的那幾個，內容再好也不會出現在 ChatGPT、Claude、Gemini 或 Perplexity 的回答裡。這是品牌在 AI 回答中缺席最常見的原因。

您的 robots.txt 檔案控制哪些機器人可以存取您的網站。許多網站在不知情的情況下透過特定的 Disallow 規則或廣泛的萬用字元封鎖了 GPTBot、ClaudeBot 和 Google-Extended 等 AI 爬蟲。這意味著 AI 助理無法讀取您的內容，永遠不會引用或推薦您的品牌。

共 11 個 user agent。OpenAI：GPTBot（訓練）、OAI-SearchBot（ChatGPT 搜尋索引）、ChatGPT-User（使用者觸發的抓取）。Anthropic：ClaudeBot（訓練）、Claude-SearchBot（搜尋索引）、Claude-User（使用者觸發的抓取），以及舊檔案中仍常見的舊識別字 anthropic-ai。此外還有 Google-Extended（Gemini 的引用與訓練）、PerplexityBot、Bytespider（字節跳動）與 CCBot（Common Crawl）。它們各自獨立控制，因此可以只允許會引用你的那些，同時拒絕拿去訓練的那些。

除了 robots.txt，頁面還可以透過 HTML 中的 <meta name="robots"> 標籤和 X-Robots-Tag HTTP 標頭來限制爬蟲存取。noindex、nofollow、noai 和 noimageai 等指令告訴爬蟲不要索引或使用您的內容。我們的工具會檢查這三層爬蟲存取控制。

是的。GeoVector 的 AI 爬蟲檢查器完全免費，無需註冊。您可以掃描任何 URL 並即時獲取 robots.txt AI 爬蟲狀態、meta robots 標籤和 X-Robots-Tag 標頭的結果。如需更深入的全站稽核和持續監控，GeoVector 提供進階方案。

本工具檢查的 AI 爬蟲

11 個 user agent，依營運方分組。重點在於它們彼此獨立：允許回答引擎、同時拒絕訓練爬蟲，是受支援的設定，並不互相矛盾。

CrawlerOperatorUsed forIf you disallow it
GPTBotOpenAICrawling content that may be used to train OpenAI foundation models.Your pages are excluded from that training data.
OAI-SearchBotOpenAIBuilding the index behind ChatGPT's search answers.You drop out of ChatGPT search answers, though you can still appear as a navigational link.
ChatGPT-UserOpenAIFetching a page when a ChatGPT user or tool opens a link.ChatGPT can't open your pages on request during a conversation.
ClaudeBotAnthropicCollecting web content that may contribute to model training.Future material is signalled as out of scope for training.
Claude-SearchBotAnthropicIndexing pages to improve Claude's search results.Your content stops being indexed for Claude search.
Claude-UserAnthropicRetrieving a page when a Claude user asks about it.Claude can't pull your content into a user-directed answer.
anthropic-aiAnthropicA legacy token that still appears in older robots.txt files; Anthropic no longer lists it among its active agents.No effect on the three current agents. Harmless to leave in place.
Google-ExtendedGoogleControlling whether your content is used for Gemini grounding and training.You are removed from Gemini grounding. Google Search crawling, indexing, and ranking are unaffected.
PerplexityBotPerplexityIndexing pages so Perplexity can surface and cite them.Perplexity stops citing your pages.
BytespiderByteDanceCrawling for ByteDance's models and products.Your content is excluded from ByteDance's collection.
CCBotCommon CrawlBuilding the open Common Crawl corpus that many model builders train on.You are excluded from a dataset used well beyond any single vendor.

三種 robots.txt 寫法

依你的政策挑一種複製。robots.txt 位於每個主機的根目錄，每個子網域都需要各自一份。

對回答引擎全面開放
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://example.com/sitemap.xml
可以回答，不能訓練
# Answer questions about us
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# But do not train on us
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

當法務要求退出訓練、行銷又想要被引用時，多數團隊真正需要的就是這種拆分。它只在營運方區分了這兩種角色時才有效：OpenAI、Anthropic 與 Google 都有區分。PerplexityBot 與 CCBot 沒有，所以對它們只能整體二選一。

會悄悄擋掉一切的寫法
User-agent: *
Disallow: /

User-agent: GPTBot
Allow: /

依照 RFC 9309，爬蟲只遵守與自身名稱相符、最具體的那一組規則，並忽略其他所有組。所以這裡的 GPTBot 只讀自己那一組，是被允許的；而所有沒有專屬分組的爬蟲——包括 OAI-SearchBot 與 Claude-SearchBot——都落入通配符組，全被擋下。測試環境的 robots.txt 上線後沒換掉，出的就是這個問題。

頁面層級控制：meta robots 與 X-Robots-Tag

robots.txt 管的是頁面能不能被抓取，這兩者管的是抓到之後能拿它做什麼。所以一個頁面完全可抓取，卻仍然不會出現在結果裡。

寫在 HTML head 中
<meta name="robots" content="noindex, nofollow">
作為 HTTP 回應標頭，用於 PDF 等非 HTML 檔案
X-Robots-Tag: noindex

你還會看到 noai 與 noimageai。它們出自圖片託管平台，不屬於任何規範；上面列出的爬蟲也都沒有聲明支援。我們仍然回報它們，是因為它們記錄了你的意圖，而不是因為它們真的擋得住什麼。

來源與規範

本頁所有內容都以下列第一手文件為準。廠商一旦改動規則，最先反映在那裡。

最後審閱於 。每當廠商更新規範，我們都會重新核對本頁內容。

免費 AI 爬蟲檢查器 | GeoVector