NVIDIA が、CMR Surgical 社の手術支援ロボット「Versius」で記録した実際の胆のう摘出手術の映像と器具の動きを学習させた生成 AI「Cosmos3-H-Dreams」を公開した。器具の操作に応じて手術の様子の映像をその場で作り続けるシミュレーターで、研究目的の段階にある。
- NVIDIA が2026年10月20日、手術支援ロボットの操作コマンドに応じて、手術中の内視鏡映像をその場で作り続ける生成 AI「Cosmos3-H-Dreams」を Hugging Face と GitHub で公開した
- CMR Surgical 社の手術支援ロボット「Versius」で記録した、実際の胆のう摘出手術の映像とロボットの動きのデータを学習させている。自社の知る限り、臨床の胆のう摘出手術の記録を学習させ、リアルタイムの動きの制御に対応した生成シミュレーターは初めてだとしている
- 土台は、160億パラメータの基盤モデル「Cosmos3-H-Embodied-Nano」。これを胆のう摘出手術のデータで特化させたうえで、時間をかけて作る「教師」モデルから、少ない手順で速く生成できる「生徒」モデル（4ステップ版・2ステップ版の2種類）を蒸留して作った
- NVIDIA の実機テストでは、GPU 1枚（RTX PRO 6000 Workstation Edition）で、4ステップ版は毎秒30.0フレーム、2ステップ版は毎秒43.2フレームで動いた。ステップ数を減らすほど速くなるが、映像の質は下がるとしている
- VR ヘッドセットで記録した器具の動きを与えて、同じ最初の1枚から違う場面を生成する例も示している。同社は、こうした生成の結果から、器具が操作どおりに動くか、組織が触れた動きに無理なく応じるか、解剖の構造と器具の見え方が時間を通して保たれるかを調べられるとしている
- モデルの重みとコードを、NVIDIA Open Model License Agreement のもとで公開した。商用・非商用のどちらでも使えるライセンスだとしている。土台のモデルを訓練した学習データ「Open-H-Embodiment」も Hugging Face で以前から公開されている
- **これらは研究の方向性であり、確立された臨床の能力ではない。**Cosmos3-H-Dreams は研究用のシミュレーターであり、患者の治療に使う検証済みのシステムではないと明記している
確かめた一次資料
- NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation ↗
- nvidia/Cosmos3-H-Dreams（モデルカード） ↗
この記事は、上の一次資料の原文を読んで書いています。数字は原文のとおりで、計算した値はそう書いています。