Ai2（Allen Institute for AI）が、採用・融資・医療などの判断で AI モデルが見せる公平性を測る新しい基準「FairStress」を公開した。どちらが正しいかだけでなく、説得する主張を受けたときにどちらへ判断を変えやすいかまで測ることで、従来の基準では見えなかった偏りを見つけたとしている。
- Ai2（Allen Institute for AI）が2026年10月20日、採用・融資・医療・教育・住宅など29分野にわたる300の判断の場面を使い、AI モデルの公平性を測る新しい基準「FairStress」を公開した。属性（人種・性別など）を入れ替えても同じ候補を選ぶかだけでなく、説得する主張（「上司がB候補を推している」など）を受けたときに、どちらの属性に有利な主張のほうが判断を変えさせやすいかまで測る点が特徴だとしている
- 属性の情報が無い場面では、モデルの判断はほぼ対称だった。一方、属性が明示されるほど対称性が崩れ、少数派とされる属性の候補に有利になる方向にだけ判断を変えやすい傾向が見られたとしている（Ai2 はこれを「反ステレオタイプの過剰補正」と呼んでいる）
- 評価した15モデルの全体では、判断を変えた割合の差（多数派・少数派どちらに有利な主張で変えやすいかの差）は、属性を遠回しに示した場合で平均6.9ポイント、明示した場合で平均9.3ポイントだったとしている
- 縮小版「FairStress-Core」では、Claude Opus 5 や GPT-5.5 を含む評価で、優劣の付かない場面では少数派とされる候補を60〜65%程度選んだ。説得する主張を受けたときに少数派側へ判断を変える割合は、多数派側へ変える割合より8.8〜42.4ポイント高かった（12のモデル・実行条件での比較）
- 既存の公平性の基準「BBQ」と比べ読み方を調べたところ、固定の選択肢の確率を採点する従来のやり方ではステレオタイプに沿う答えが多く出たのに対し、モデル自身に答えを作らせる FairStress のやり方では少数派に有利な答えが多く出た。4モデルで、チャットの型・質問の言い回し・採点のしかた（固定の選択肢の確率か、答えを作らせるか）を変えた5通りを試した結果から、測られる偏りの向きは、その基準が質問をどう尋ね、答えをどう採点するかに一部左右されるという見方を示している
- 自社のモデル「Olmo 3」の学習パイプラインを調べた。指示への追従を学ばせるデータには、拒否の学習用データセット2つから採った例が約9万9000件含まれる
- これとは別に、指示への追従データと好み（選好）の学習データを合わせた2万8000の話題のまとまりのうち、属性に基づかず実力だけで判断する例を含むものはわずか9件で、しかもその9件すべてが「拒否」の例だったとしている
- 少数派とされる属性の集団には擁護的・好意的な描写が多く、白人とシスジェンダーの人々には擁護する描写が少なく否定的な描写が続いていたという偏りもあったとしている
確かめた一次資料
この記事は、上の一次資料の原文を読んで書いています。数字は原文のとおりで、計算した値はそう書いています。