本文へ移動

Cloudflare が判断に絞ったモデル「Clef」を公開 重みは Apache License 2.0 で配り、中位の応答は209.3ミリ秒

カテゴリ共通のイメージ画像

Cloudflare が2026年10月1日、分類と判断に絞った自社学習のモデル「Clef」「Clef-flash」を公開した。重みは Apache License 2.0 で配り、Workers AI でも動かす。画像も入力でき、文脈の窓は6万4000トークン。あわせて Clef を顧客のデータで微調整する強化学習のサービスも始める。

  • Cloudflare が2026年10月1日(米国時間)、自社で学習させた「判断モデル(decision model)」の「Clef」と「Clef-flash」を公開した。入力に対して型の決まった答えと確率を返すもので、文章を作らずに分類や判断だけを担う。Workers AI で動かすほか、重みを Hugging Face で Apache License 2.0 のもとに公開したとしている
  • 同社は、Typesafe AI の「Jev System One」が広めた判断モデルという考え方に対して、Clef は画像を扱う視覚エンコーダを持ち、文脈の窓が6万4000トークン(Jev は3万2000トークン)である点が違うと説明している。API は Jev と互換で、入れ替えやすいとしている
  • 社内の実例として、脅威情報のチームがドメインの分類に使っていると挙げた。あるドメインを「95%の確率でファッションのサイト、85%で電子商取引、1%未満でフィッシング」のように返し、ページの取得・描画・分類に2.2秒かかったという。同社でいちばん速い汎用のモデル gpt-oss-120b では同じ流れに4.7秒かかり、返ってきた分類は2つだけだったとしている
  • 応答の速さの比較も出した。Clef の中位は209.3ミリ秒、95パーセンタイルは238.6ミリ秒、Clef-flash は中位38.8ミリ秒・95パーセンタイル122.4ミリ秒で、Jev の中位524.1ミリ秒より速いとしている。同社は、43のベンチマークを通して、Laya を除く他の判断モデルより速かったとしている
  • 作り方は、Qwen を土台にして判断の用途に後から学習させたもの。Clef は Qwen3.8-27B、Clef-flash は Qwen3.5-9B を凍結し、ランク256の低ランクアダプタと振り分けの層を一緒に最適化したと説明している。推論では文章を1語ずつ作らず、決められた形式に沿った選択肢を並列に採点するため、自己回帰のモデルより大幅に速いという。あわせて、顧客が自分のデータで Clef を微調整する強化学習のサービスも始める。料金は発表には無い

判断のベンチマーク(Cloudflare の発表。Jev Decision Index の定義による)

ベンチマーク(何を測るか) Clef Clef-flash Jev DiffusionGemma Jev Kev 9B Laya
BFCL(道具の呼び出し、完全一致) 98.47 98.76 95.75 96.52 94.51 38.13
ToolRet(道具の検索、nDCG@10) 69.19 66.43 65.28 61.21 64.26 12.69
API-Bank(API の操作、正答率) 91.93 93.11 88.19 83.66 56.30 11.41
Home appliances(家電の指示、完全一致) 82.95 97.73 52.27 42.05 25.00 0.00
When2Call(いつ呼ぶか、正答率) 72.37 65.58 80.97 75.44 49.62 11.94
BANKING77(問い合わせの分類、macro-F1) 94.20 90.93 79.74 74.28 84.83 14.29
CLINC150+OOS(意図の分類、macro-F1) 97.43 66.77 89.27 83.49 79.03 3.19
BRIGHT(調べ物の検索、nDCG@10) 45.91 39.26 47.52 42.94 38.53 19.90
Amazon ESCI(商品の検索、macro-F1) 57.48 57.39 55.21 53.37 49.22 24.40
PhishNChips(フィッシングの判定、正答率) 79.60 75.05 62.55 85.35 50.75 50.15

Cloudflare が自社で測った数字。同社は Clef が Jev Decision Index の評価で首位だとしている。

Typesafe AI 自身の評価の一式でも、4つの領域のうち3つで Jev を上回ったとしている。請求書の処理で Clef が64.7・Jev が61.8、顧客対応で Clef が76.3・Jev が76.0、セキュリティの事案で Clef が62.9・Jev が61.7、エージェントの記録の観測で Clef が68.5・Jev が71.6だったという。

確かめた一次資料

この記事は、上の一次資料の原文を読んで書いています。数字は原文のとおりで、計算した値はそう書いています。