Ai2（Allen Institute for AI）が、文書の中で変数などの状態が書き換わっていくのを言語モデルが追えるかを、難しさの違う4段階で測る基準「StateBench」を公開した。最も難しい段階で入力が長くなると、評価した最新の4モデルは正答率が13%以下まで下がったとしている。
- Ai2（Allen Institute for AI）が2026年11月3日（米国時間）、長い文書の中で対象の状態が書き換わっていくのを言語モデルが追えるかを測る基準「StateBench」を公開した。技術報告・データ・コードも公開している
- 難しさは変数への代入に例えた4段階。値が変わらない（R-trivial）、最新の値を探す上書き（aperiodic）、現在の値に足すなど自分自身を使った更新（soluble）、別の変数の現在の値を取り込む代入（general finite）。4段階とも変数の数・値の数・代入が出てくる位置は同じで、代入の種類だけを変えて比べる
- 公開されている事前学習済みのモデルでは、Olmo 3（transformer）と、Gated DeltaNet の層を加えた Olmo Hybrid（どちらも70億パラメータ）、2億7500万・27億パラメータの小型モデルを試した。どれも同じデータで事前学習し、学習時に6万4000トークンを超える長さは見ていない
- ほとんどのモデルは、R-trivial の問題ではよく解き、aperiodic では入力が長くなるほど精度が落ち、general finite では偶然の水準（chance）にとどまった
- Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Luna の4モデルは、R-trivial と aperiodic ではよく解いた。soluble と general finite では入力が長くなると精度が大きく落ち、最も長い general finite の問題では13%以下になった
- 2億7500万パラメータのモデルを問題で直接訓練した比較では、訓練に使った代入は最大256件、試験は最大6万4000件で、Ai2 はこれを訓練の最大の長さの250倍だとしている。Gated DeltaNet と hybrid のモデルは、R-trivial・aperiodic・soluble で数万件の代入まで、ほぼ完全に一般化したという
- transformer は易しい段階は学んだが、長くなると精度が落ち、general finite は学べなかった。最難関の段階では、記憶の更新の自由度が高い Gated DeltaNet が、訓練時の最長のおよそ10倍の長さまで、ほぼ完全な精度を保ったとしている
- この基準は変数の数が固定で、長い会話のように途中で新しい人物や物が出てくる場面は、いまの枠組みでは扱えないとしている
確かめた一次資料
この記事は、上の一次資料の原文を読んで書いています。数字は原文のとおりで、計算した値はそう書いています。