無料AIクローラーチェッカー

ウェブサイトがGPTBot、ClaudeBot、Google-ExtendedなどのAIクローラーをブロックしていないか確認します。robots.txt、メタタグ、ヘッダーを即座に分析します。

登録不要即時スキャン即時結果

AIクローラーとは？

AIクローラーは、OpenAI、Anthropic、GoogleなどのAI企業がAIモデル向けにコンテンツをインデックスするために使用するウェブボットです。これらのクローラーがブロックされると、AIアシスタントからブランドが見えなくなります — 読めないものは引用できません。

robots.txtが重要な理由

  • どのボットがサイトコンテンツにアクセスできるかを制御
  • AIクローラーのブロックはAI不可視性の最大の原因
  • 多くのサイトがワイルドカードルールで知らずにAIボットをブロック

チェック内容

  • 11のAIクローラー user agent に対する robots.txt のルール
  • Meta robotsタグ（noindex、noai、noimageai）
  • X-Robots-Tag HTTPヘッダー

よくある質問

AIクローラーとは、AI企業がWebページを取得するために使うボットです。モデルの学習に使うもの、アシスタントの回答を支えるインデックスを作るもの、ユーザーが尋ねたその場でリンクを開くものがあります。robots.txt で回答側のクローラーを止めていると、内容がどれほど良くても ChatGPT、Claude、Gemini、Perplexity の回答には現れません。ブランドがAIの回答に出てこない最も多い原因がこれです。

robots.txtファイルは、どのボットがウェブサイトにアクセスできるかを制御します。多くのサイトが、特定のDisallowルールや広範なワイルドカードブロックにより、GPTBot、ClaudeBot、Google-ExtendedなどのAIクローラーを知らずにブロックしています。これはAIアシスタントがコンテンツを読めず、ブランドを引用・推奨することがないことを意味します。

合計11の user agent です。OpenAI: GPTBot（学習）、OAI-SearchBot（ChatGPT の検索インデックス）、ChatGPT-User（ユーザー起点の取得）。Anthropic: ClaudeBot（学習）、Claude-SearchBot（検索インデックス）、Claude-User（ユーザー起点の取得）、および古いファイルに残る旧トークン anthropic-ai。さらに Google-Extended（Gemini のグラウンディングと学習）、PerplexityBot、Bytespider（ByteDance）、CCBot（Common Crawl）。これらは個別に制御できるため、引用してくれるものだけを許可し、学習に使うものを拒否できます。

robots.txt以外にも、ページはHTML内の<meta name="robots">タグやX-Robots-Tag HTTPヘッダーを通じてクローラーアクセスを制限できます。noindex、nofollow、noai、noimageaiなどのディレクティブは、クローラーにコンテンツをインデックスまたは使用しないよう指示します。当ツールはクローラーアクセス制御の3つのレイヤーすべてをチェックします。

はい。GeoVectorのAIクローラーチェッカーは完全無料で、登録不要です。任意のURLをスキャンして、robots.txtのAIクローラー状態、meta robotsタグ、X-Robots-Tagヘッダーの結果を即座に取得できます。より詳細なサイト全体の監査と継続的なモニタリングには、GeoVectorのプレミアムプランをご利用ください。

このツールがチェックするAIクローラー

運営元ごとに分類した11の user agent。重要なのは、これらが互いに独立している点です。回答エンジンを許可しつつ学習クローラーを拒否する設定は矛盾ではなく、正式にサポートされています。

CrawlerOperatorUsed forIf you disallow it
GPTBotOpenAICrawling content that may be used to train OpenAI foundation models.Your pages are excluded from that training data.
OAI-SearchBotOpenAIBuilding the index behind ChatGPT's search answers.You drop out of ChatGPT search answers, though you can still appear as a navigational link.
ChatGPT-UserOpenAIFetching a page when a ChatGPT user or tool opens a link.ChatGPT can't open your pages on request during a conversation.
ClaudeBotAnthropicCollecting web content that may contribute to model training.Future material is signalled as out of scope for training.
Claude-SearchBotAnthropicIndexing pages to improve Claude's search results.Your content stops being indexed for Claude search.
Claude-UserAnthropicRetrieving a page when a Claude user asks about it.Claude can't pull your content into a user-directed answer.
anthropic-aiAnthropicA legacy token that still appears in older robots.txt files; Anthropic no longer lists it among its active agents.No effect on the three current agents. Harmless to leave in place.
Google-ExtendedGoogleControlling whether your content is used for Gemini grounding and training.You are removed from Gemini grounding. Google Search crawling, indexing, and ranking are unaffected.
PerplexityBotPerplexityIndexing pages so Perplexity can surface and cite them.Perplexity stops citing your pages.
BytespiderByteDanceCrawling for ByteDance's models and products.Your content is excluded from ByteDance's collection.
CCBotCommon CrawlBuilding the open Common Crawl corpus that many model builders train on.You are excluded from a dataset used well beyond any single vendor.

robots.txt の3つの書き方

方針に合うものをコピーしてください。robots.txt は各ホストのルートに置き、サブドメインごとに個別のファイルが必要です。

回答エンジンに全面的に開く
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://example.com/sitemap.xml
回答は可、学習は不可
# Answer questions about us
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# But do not train on us
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

法務が学習からのオプトアウトを求め、マーケティングが引用を求めるとき、多くのチームが実際に必要としているのはこの切り分けです。ただし運営元がこの2つの役割を分けている場合にのみ機能します。OpenAI、Anthropic、Google は分けています。PerplexityBot と CCBot は分けていないため、こちらは全体で許可か拒否かの二択になります。

気づかないうちにすべてを止める書き方
User-agent: *
Disallow: /

User-agent: GPTBot
Allow: /

RFC 9309 では、クローラーは自身の名前に一致する最も具体的なグループだけに従い、他のグループはすべて無視します。したがってここでの GPTBot は自分のグループだけを読み、許可されます。一方、専用グループを持たないクローラー（OAI-SearchBot や Claude-SearchBot を含む）はワイルドカードのグループに落ち、まとめてブロックされます。ステージング用の robots.txt が公開後もそのまま残ると、まさにこの形で失敗します。

ページ単位の制御: meta robots と X-Robots-Tag

robots.txt はページを取得してよいかを決め、この2つは取得した後に何をしてよいかを決めます。だからこそ、完全にクロール可能なページが結果に出てこないという状態が起こります。

HTML の head 内に書く
<meta name="robots" content="noindex, nofollow">
HTTPレスポンスヘッダーとして。PDF など HTML 以外のファイル向け
X-Robots-Tag: noindex

noai や noimageai も見かけます。これらは画像ホスティングのプラットフォーム発祥で、どの仕様にも含まれておらず、上記のクローラーはいずれも対応を明言していません。それでも報告するのは、ブロックできるからではなく、意思表示として記録されているからです。

出典と仕様

このページの内容はすべて、以下の一次資料に照らして確認しています。ベンダーがルールを変更したときは、まずそこに現れます。

最終確認日: 。ベンダーが仕様を更新するたびに、このページを原典と突き合わせて見直しています。

無料AIクローラーチェッカー | GeoVector