AIクローラーのUser-Agent一覧とrobots.txtの書き方【2026年9月版】

AIクローラーをrobots.txtで扱うときは、User-Agentを「学習」「検索・インデックス」「ユーザー起点の取得」の3つに分け、学習だけ止めたいなら学習用のトークンだけを Disallow するのが基本です。ユーザーの質問を受けてページを取りに来るタイプは、OpenAI・Perplexity・Google・Meta・Amazonが「robots.txtが適用されないことがある」と公式に書いており、robots.txtだけでは止まりません。

この記事は、各社の公式ページ(2026年9月14日に閲覧)で確認できたUser-Agentだけを一覧にし、方針別のrobots.txt例、robots.txtが効かないケース、Cloudflareでの制御までをまとめたものです。4社のクローラーとllms.txtの関係を検証したllms.txtの設置と検証の姉妹編で、こちらは網羅的な一覧と書き方に絞りました。公式ページが見つからなかったものは「公式ページ未確認」と書きます。

先に結論

用途別のUser-Agent一覧(公式ページで確認できたもの)

「robots.txt」列は公式ページの記述の要約、「IP範囲・検証」列は公開されている確認手段です。IP範囲のJSONのうち、OpenAI 3種・Anthropic・Perplexity 2種・Common Crawl・Googleの共通クローラー・Apple・Bingは2026年9月14日にcurlで取得し、HTTP 200を確認しました。それ以外は公式ページに記載されたURLです。

学習・モデル改善に使われうるもの

検索・インデックス用

ユーザー起点の取得

その他(広告・リンクプレビュー・公式ページ未確認)

アクセスログでUAを探すときは、公式ページに載っている次の文字列が目印になります。OpenAIはバージョン番号が変わりうると注記しています。AnthropicのページにはUA文字列の例がありませんでした。

GPTBot/1.4           OAI-SearchBot/1.4     ChatGPT-User/1.0     OAI-AdsBot/1.0
PerplexityBot/1.0    Perplexity-User/1.0
Googlebot/2.1        Google-Agent          Applebot/0.1
Amazonbot/0.1        Amzn-SearchBot/0.1    Amzn-User/0.1
meta-externalagent/1.1   meta-webindexer/1.1   meta-externalfetcher/1.1
CCBot/2.0            bingbot/2.0

robots.txt以外の公式の制御手段もいくつかあります。Appleは nosnippet メタタグで、AI回答の追加コンテキストとして使われないようにできると案内しています。Amazonはページの noarchive をモデル学習に使わない指示として扱います。Bingは2023年の公式ブログで、NOCACHE と NOARCHIVE のメタタグにより当時のBing Chatの回答と学習での使われ方を制御できると告知していました(現在のCopilotでの扱いは本記事では未確認)。

方針別のrobots.txt例

書き始める前に、RFC 9309のグループの規則を押さえます。

• クローラーは自分のトークンに一致するグループのルールだけに従う。一致するグループが複数あれば結合する
• 一致するグループがない場合に限って、User-agent: * のグループに従う
• 1つのグループに User-agent: 行を複数並べられる

つまり User-agent: GPTBot のグループを作ると、GPTBotは * に書いた Disallow を読みません。名前を書いたグループには、除外したいパスを書き直す必要があります。

A. 検索には出たいが、学習には使わせない

AEO(AI検索に引用されること)を狙うサイトで一番よく使う形です。検索用のトークンは書かず、* の許可に任せます。

# 学習・モデル改善に使われうるトークンだけを拒否
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

# 検索用(OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot など)は * に従う
User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

• Google-Extendedの拒否は学習だけでなく、GeminiアプリとVertex AIでのグラウンディングにも及びます(公式の説明の範囲)。Google検索への掲載と順位は変わりません。
• Applebot-Extendedの拒否は学習だけが対象です。SiriやSearchの広い知識の回答で使われたくない場合、Appleは nosnippet を案内しています。
• meta-externalagentは学習以外(直接インデックスによる製品改善)にも、Amazonbotは製品・サービスの改善にも使われます。Alexaの検索に出たい場合はAmzn-SearchBotを拒否しないでください。
• ユーザー起点の取得(ChatGPT-Userなど)は学習用ではないので、この方針では書きません。

B. すべて許可する

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

* だけで全クローラーに許可が伝わるので、個別のグループは不要です。方針を読み手に示すためにAIクローラーを列挙する場合は、Disallow: /admin/ のような除外を各グループにも書きます。

C. AI関連の取得をすべて拒否する(検索エンジンは残す)

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

GooglebotとbingbotはAIの一覧に入れていないので、Google検索とBing検索には残ります。一方で、OpenAIはOAI-SearchBotを拒否したサイトはChatGPT検索の回答に表示されないと書き、AnthropicはClaude-SearchBotの拒否で検索での可視性が下がりうると説明し、Perplexityは検索結果に出るにはPerplexityBotの許可を推奨しています。ChatGPT-User・Perplexity-User・meta-externalfetcher・Amzn-Userは書いても従わないことがあり、Bytespiderは効くかどうかを一次情報で確認できません。検索エンジンも含めて完全に拒否するなら User-agent: * に Disallow: / の2行です。

robots.txtが効かないケース

ほかにも、設定しても期待通りにならない場面があります。

• 反映に時間がかかる。 下の数値の間は、以前の設定で取得されえます。
• 拒否は今後の取得への合図。 AnthropicはClaudeBotの制限を「今後の資料を学習データから除く合図」と説明し、Bingの2023年のブログもNOCACHE / NOARCHIVEの扱いを今後の学習について書いています。すでに取得されたデータの扱いは、本記事で扱った公式ページでは確認できませんでした。
• IPでブロックすると逆効果になりうる。 Anthropicは、IPアドレスでのブロックはrobots.txtを読めなくするため、オプトアウトとして確実に機能しない可能性があるとしています。
• ホスト・サブドメインごとに必要。 Anthropicはサブドメインごとの設定を求め、Amazonもホスト単位でrobots.txtを読むと説明しています。

CDN側で制御する:Cloudflareの場合

robots.txtを「お願い」から「強制」に変える手段として、Cloudflareの公式ドキュメントで確認できた機能は3つです。Cloudflare以外のCDNの機能は本記事では確認していません。

1. AI Crawl Control(旧AI Audit) — 全プランで利用できます。どのAIサービスがアクセスしているかの可視化、クローラーごとの許可・ブロック、robots.txtに従っていないクローラーの追跡と強制ルールの作成、クロールごとの課金(プライベートベータ)が含まれます。
2. マネージドrobots.txt — オンにすると、既存のrobots.txt(HTTP 200で返るもの)の前にCloudflare管理の内容を追記し、ファイルが無ければ新規に配信します。ドキュメントの例では、Content Signalsの行に加え、Amazonbot・Applebot-Extended・Bytespider・CCBot・ClaudeBot・Google-Extended・GPTBot・meta-externalagentに Disallow: / が入ります。Search ConsoleがContent Signalsを「Syntax not understood」と報告することがあるものの、クロールやSEOへの影響は観測していない、とCloudflareは書いています。
3. AIボットのポリシー — Search / Agent / Trainingの3分類ごとに「全ページでブロック」「広告のあるページでブロック」「許可」を選べます。2026年9月15日から新規ドメインの既定値が変わり、TrainingとAgentは広告のあるページでブロック、Searchは許可になります。検索と学習を兼ねるクローラーは学習ブロックの対象で、従来の「Block AI bots」は同日に廃止予定です。

# マネージドrobots.txtが追記する Content Signals の例(Cloudflare Docs より)
User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /

Content Signalsの search は検索インデックスと検索結果(AIによる検索要約は含まない)、ai-input はRAGやグラウンディングなど回答時の入力、ai-train は学習・ファインチューニングを指します。PerplexityのドキュメントにはCloudflare WAFとAWS WAFで、UAとIP範囲を組み合わせて自社ボットを許可する手順も載っています。

codeagent.jpのrobots.txtを公式一覧と照合する

本番の robots.txt を2026年9月14日にcurlで取得したところ、リポジトリの public/robots.txt と同じ内容で、Cloudflareのマネージドrobots.txtによる追記はありませんでした。構造は次の形です。

User-agent: *
Allow: /
Disallow: /pagefind/

User-agent: GPTBot
Allow: /

# 以下、ChatGPT-User / OAI-SearchBot / ClaudeBot / Claude-Web / anthropic-ai /
# PerplexityBot / Perplexity-User / Google-Extended / Applebot-Extended も
# それぞれ Allow: / だけのグループ

公式一覧と比べて、4つの点が分かりました(ファイルはこの記事では編集していません)。

1. Claude-Web と anthropic-ai はAnthropicの現行ページに載っていない。 現行の3つのうち Claude-SearchBot と Claude-User は明示されていません(* で許可はされています)。
2. 明示した10グループには /pagefind/ の除外が効いていない。 RFC 9309の規則では、GPTBotなどは自分の名前のグループ(Allow: / のみ)に従い、* の Disallow: /pagefind/ を読みません。全クローラーで /pagefind/ を除外したい意図なら、各グループにも同じ行が要ります。
3. Google-Extended と Applebot-Extended の Allow は意思表示として意味がある。 どちらもクロールしないトークンなので、アクセスの許可ではなく、学習(Google-Extendedはグラウンディングも)への利用を認めるという表明になります。
4. OAI-AdsBot、Meta・Amazonの各UA、CCBotは明示なし。 いずれも * の許可に従います。

AEO完全ガイドで「robots.txtの半年放置は機会損失」と書きましたが、実際に照合するとUA名の入れ替わりとグループ規則の2種類のずれが見つかりました。

まとめ

• AIクローラーは「学習」「検索・インデックス」「ユーザー起点の取得」に分かれ、多くの事業者が用途ごとに別トークンを用意している
• GPTBotを拒否してもOAI-SearchBotを許可すればChatGPT検索には出られる。Google-ExtendedとApplebot-Extendedは検索に影響しない制御用トークン
• ChatGPT-User、Perplexity-User、meta-externalfetcher、Amzn-User、Googleのユーザー起点フェッチャーはrobots.txtが効かないことがあると公式に明記。Anthropicは3ボットとも尊重と記載
• 名前を書いたグループは * のルールを引き継がない(RFC 9309)。除外パスは各グループに書き直す
• robots.txtは任意の取り決め。強制するならCloudflareのAI Crawl Controlなど、CDN側で制御する
• BytespiderはByteDanceの公式ページを確認できなかった

robots.txtのUA一覧は、各社がトークンを増やしたり分けたりするたびに古くなります。書くときは用途で分け、半年に1回は公式ページと突き合わせる——それが一覧を信頼できる状態に保つ唯一の方法です。

関連記事

• AI検索向けのサイト点検：取得・本文・根拠と、流入が少ない原因の切り分け
• llms.txtの書き方と設置
• AEOチェッカー