サイトに来る AI は、検索・学習・エージェント（人の代わりに動くもの）の3つに分けて扱われ始めた。OpenAI と Google は、学習に使うかどうかを検索とは別に robots.txt で止められるようにしていて、Cloudflare は3つを別々に許可・ブロックできる設定を無料プランにも出した。運営者が選べる手段と、その強さを表にした。
- サイトに来る AI の巡回プログラム（クローラー）やエージェントを、Cloudflare は検索・学習・エージェントの3つの使い方に分けて扱い、それぞれを別々に許可・ブロックできる設定を、無料プランを含む全ての利用者に出した（2026年7月1日）
- OpenAI は学習用の GPTBot と検索用の OAI-SearchBot を別々に止められる。Google は Google-Extended を止めると Gemini の学習などに使われなくなり、Google 検索の登録や順位には影響しないとしている
- robots.txt に書くのは運営者の「好み」の表明で、相手が従うことが前提になる。Cloudflare も、robots.txt の信号は好みを示すもので、直接ブロックするものではないとしている
- OpenAI は、学習に使ってよいかを複数の AI 事業者にまとめて伝える robots.txt の共通の信号を今後数か月以内に実装するとしている（2026年10月30日）。Google も2027年初めに対応する予定だとしている
1. サイトに来る AI の3つの使い方（Cloudflare の分け方）
| 使い方 | 何をするか | 運営者にとって |
|---|---|---|
| 検索 | サイトの内容を集めて索引を作り、あとで質問に答えるのに使う | 訪問者が送られてくる見込みがある |
| エージェント | 人の指示で、その場でサイトを見たり操作したりする（ChatGPT-User、ブラウザを動かす Gemini や Claude など） | 向こうに人が待っていることが多い |
| 学習 | 内容を取り込んで、AI のモデルの学習に使う | 内容がモデルの中に取り込まれる |
Cloudflare は、2026年9月15日から新しく加えるドメインでは、広告のあるページで学習とエージェントをブロックし、検索は許可するのを決まりの設定にした。
2. 会社ごとの巡回プログラム（各社の説明のページから）
| 会社 | robots.txt に書く名前 | 使い道 | 止めると |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT の検索の機能にサイトを出す | ChatGPT の検索の回答に出なくなる（案内のリンクとしては出ることがある）。robots.txt を変えてから反映まで約24時間 |
| OpenAI | GPTBot | 生成 AI の基盤モデルの学習に使う内容を集める | 内容を学習に使わないでほしい、という意思表示になる |
| OpenAI | ChatGPT-User | 利用者の質問を受けて、ChatGPT がページを見に行く | 利用者の操作で動くので、robots.txt の規則が当てはまらないことがある。自動の巡回には使わず、検索に出すかどうかの判断にも使わない |
| OpenAI | OAI-AdsBot | ChatGPT の広告に出したページが決まりに合うかを確かめる | 広告に出したページだけを見に行く。集めた内容は学習に使わない |
| Googlebot | Google 検索（Discover・画像・ニュースなどを含む） | Google 検索やその関連の機能に出なくなる | |
| Google-Extended | 次世代の Gemini モデルの学習と、Gemini アプリ・Vertex AI で検索の内容を答えの裏付けに使うこと（グラウンディング） | 学習などに使われなくなる。Google 検索の登録や順位には影響しない。専用の巡回はせず、robots.txt の名前としてだけ使う | |
| Google-CloudVertexBot | サイトの持ち主が Vertex AI のエージェントを作るために頼んだ巡回 | Google 検索などには影響しない | |
| GoogleOther | 各製品のチームが使う汎用の巡回（研究開発のための1回限りの巡回など） | 特定の製品には影響しない |
OpenAI は4つとも、使う IP アドレスの一覧を公開している。Google は、自動の巡回では常に robots.txt に従うとしている。
3. 運営者が選べる手段
| 手段 | 何を選べるか | 強さ | 資料 |
|---|---|---|---|
| robots.txt に会社ごとの名前を書く | 巡回プログラムごとに、許可・不許可 | 意思表示（相手が従う前提） | OpenAI |
robots.txt の Content Signals（例：search=yes,ai-train=no） |
使い道ごとに、検索はよい・学習はだめ、など。7月からは再利用の範囲（use=immediate・reference・full）を足す試験もしている |
意思表示 | Cloudflare |
| 学習の可否の共通の信号（IETF に出された案） | 参加する事業者にまとめて、学習の可否をページの場所（パス）ごとに。OpenAI は数か月以内、Google は2027年初めに対応する予定 | 意思表示。案の段階 | IETF、OpenAI、Google |
| Cloudflare の「AI Crawler and Agent access policies」 | 検索・学習・エージェントを別々に、許可・広告のあるページでブロック・ブロック。無料プランでも使える | 遮断 | Cloudflare |
| 個人用エージェントごとの設定 | 対応する個人用エージェント1つずつに、許可・広告のあるページでブロック・ブロック（2026年11月4日から） | 遮断 | Cloudflare |
| Cloudflare の分析画面「Personal Assistants」 | どのエージェントが来ていて、どれだけ要求しているかを見る | 見るだけ | Cloudflare |
- IETF に出された案は、robots.txt の User-Agent の行に使い道を表す名前（例：
__usage_ai-training）を書き、ふだんの robots.txt と同じ書き方で学習の可否を示す方法 - Anthropic の担当者による個人の案で、IETF が認めた標準ではないと文書に書かれている
- OpenAI は、共通の信号を入れても、いまの巡回プログラムごとの制御はそのまま尊重するとしている
4. 選ぶときに知っておきたいこと
| 場面 | 資料に書かれていること |
|---|---|
| 学習は止めたいが、検索には出たい | OpenAI は、検索に出るには OAI-SearchBot を許可するよう勧めている。OAI-SearchBot と GPTBot の設定は互いに独立している。Google は、Google-Extended を止めても Google 検索には影響しないとしている |
| 検索と学習を同じ巡回プログラムでするもの | Cloudflare は、Googlebot・Applebot・BingBot を検索と学習の両方に使うものとして扱う。2026年9月15日からは、Cloudflare で学習をブロックする設定にしていると、これらもブロックされる（9月15日より前なら、設定で外せた）。Google は、学習に使うかどうかは Google-Extended で別に選べるとしている |
| 人の指示で来るエージェント | OpenAI は ChatGPT-User に robots.txt が当てはまらないことがあるとしている。止めたいときは、Cloudflare のエージェントの設定のような遮断の手段になる |
| 広告で収入を得ているページ | Cloudflare は、広告は人に見てもらうためのページだという印だとして、そうしたページでは学習とエージェントをブロックするのを決まりにした |
| 正直に名乗らない巡回プログラム | Cloudflare は、信号を守らない巡回プログラムを見つけたら「Verified」（確認済み）の扱いを外すとしている。確認済みでない巡回プログラムは、決まりの設定でブロックされる |
| 名乗りが本物か | Google は、巡回プログラムの名乗り（ユーザーエージェント）はなりすましができるとして、送信元の IP アドレスや、その逆引きのホスト名で確かめる方法を示している |
確かめた一次資料
- Your site, your rules: new AI traffic options for all customers ↗
- See the agents, set the terms: new visibility and control for personal agents ↗
- Overview of OpenAI Crawlers ↗
- Google の一般的なクローラー ↗
- Making it easier for websites to express AI training preferences ↗
- Machine-Readable Training Preference Signal（draft-kelley-aipref-training-preference-signal-00） ↗
この記事は、上の一次資料の原文を読んで書いています。数字は原文のとおりで、計算した値はそう書いています。