Ai2（Allen Institute for AI）が、混合専門家（MoE）型の大規模モデルを学習させるための基盤「Olmo-core 3」を公開した。専門家の数を8から128に増やしても学習の処理量の落ちは5%未満で、1兆パラメータ超の構成でも測ったとしている。
- Ai2（Allen Institute for AI）が2026年10月1日、混合専門家（MoE）型の大規模モデルを学習させるための基盤「Olmo-core 3」を公開した。次の世代の Olmo を動かす中核の仕組みで、誰でも使えるよう公開するとしている
- ある測定では、1トークンあたりに選ぶ専門家を4つに保ったまま専門家の数を8から128に増やし、1トークンあたりの有効パラメータを約32億に固定したまま、全体のパラメータ容量を46億から470億へ増やした。このとき学習の処理量の落ちは5%未満だったとしている
- 前の実装は FSDP（完全分割データ並列）で小さなバッチごとに重みを集め直していたが、今回は DDP（分散データ並列）に変え、専門家を GPU に置いたままデータを送る形にした。NVIDIA B300 を8枚使った予備の測定では、470億パラメータの MoE が1 GPU あたり毎秒52,000トークンで、前の実装の19,400から約2.7倍になったとしている
- NVIDIA B300 を512枚使い、1トークンあたり583.6億パラメータが動く1.2兆パラメータのモデルも測り、最も高いときで1 GPU あたり858 TFLOP/s だった。別の通信方式を試した構成では合計2.38兆パラメータに届いたが、短時間の容量の確認で、継続的な学習の性能ではないと書いている
- 低い精度の数値形式 MXFP8 にも対応した。NVIDIA B300 を4枚使った条件をそろえた測定で、BF16 と比べて学習の処理量が約21%高く、使用メモリの最大値は103GiB から95GiB に下がったとしている
- 料金の話は発表には無い（研究者や開発者が自分の MoE を学習させるのに使えるとしている）。ライセンスの種類も発表の文章には書かれておらず、「完全に公開されている」「GitHub で公開している」という説明にとどまる。技術報告書には、専門家ごとの学習率を下げても結果は良くならなかったなど、うまくいかなかった試みも載せたとしている
確かめた一次資料
この記事は、上の一次資料の原文を読んで書いています。数字は原文のとおりで、計算した値はそう書いています。