Cloudflare と OpenAI が2026年7月から進めていた共同の実証実験で、Cloudflare のネットワークの信号を使い、OpenAI の検索の仕組みがこれまで見つけていなかった数億ページを新たに取り込んだと公表した。
- Cloudflare と OpenAI が2026年10月15日（米国時間）、2026年7月から進めていた共同の実証実験の最初の結果を公表した。Cloudflare のネットワークが持つ信号を使えば、ChatGPT の検索の仕組み（OpenAI のクローラー）が、これまで見つけていなかったページを効率よく見つけられるかを調べる狙いだとしている
- Cloudflare 全体のネットワークのうち約1%のサイトが参加した実証実験で、OpenAI の検索の対象に数億ページ規模の新しいページを取り込めたとしている。仕組みは、Cloudflare がページの信号を提供し、OpenAI がその情報をもとに関連性や役に立つかどうかを独自に判断して並べ方を決めるという役割分担
- 存在しないファイルを何度も求めてくる自動のアクセス、ほぼ全てのアドレスをトップページへ転送するサイト、同じ内容の複製ページなど、無駄になりやすいパターンを見分けることで、クローラーが無駄にページを取りに行く手間を減らせるとしている
- 正規のサイトの中の1ページだけが改ざんされている場合（攻撃者が仕込んだ偽のログイン画面など）を見分け、サイト全体ではなくその1ページだけを検索の対象から外す信号も試しているとしている。初期の結果では、検索の対象から外すべきページを見分けるのに役立っているとしている
- 変わっていないページを何度も取りに行く無駄を減らす「変化を知らせる信号」も試しており、Cloudflare を使うサイトにとっては不要な負荷が減り、OpenAI にとっては検索の仕組みの手間を役に立つ情報に使えるとしている
- ページについての信号があることは、そのページへのアクセスを許可したことにはならないとしている。この実証実験で使うのは検索・発見のためのウェブのメタデータで、モデルの学習のためにページの内容を共有するものではないと明記している
- 次の段階では、取り込むページの選び方の改善、より速く確かな変化の信号のテスト、ページが見つかったあとに何が起きるかの計測に取り組むとしている。サイトの持ち主は、Cloudflare の「AI Crawl Control」で AI のクローラーのアクセスを管理できるとしている
確かめた一次資料
この記事は、上の一次資料の原文を読んで書いています。数字は原文のとおりで、計算した値はそう書いています。