スタンフォード大学とカルテックの研究チームが、人型ロボット「Unitree G1」にOpenAIの「GPT-6 Astra」を直結させ、初めて見るキッチンを自律的に片付けさせる実験に成功した。開発したシステム「HomeBody」は、ロボット制御に使われてきた専用の中間AIを排除し、汎用のビジョン言語モデル（VLM、画像と言語を同時に扱うAIモデル）がロボットの動作スキルを直接指揮する点が特徴だ。

3段構えの制御を1段に圧縮

これまでの人型ロボットの自律制御は、状況を理解する「System 2」のVLMが計画を立て、それを動作計画に変換する「System 1」の専用モデルが受け取り、さらに関節を細かく動かす「System 0」の制御器が実行するという3段構えが一般的だった。HomeBodyはこの中間層を取り払い、GPT-6 Astraが「移動する」「つかむ」「引き出しを開ける」といった再利用可能な動作スキルのライブラリに、観測結果と実行結果を受け取りながら直接指示を出す構成にした。

この仕組みにより、ロボットは事前に用意された台本なしで、目の前の環境に応じた判断を都度下せる。研究チームは位置推定に「Super Odometry」、物体追跡に「SAM 2.1」、深度推定に「Fast-FoundationStereo」を組み合わせ、全身の動作制御には「AMO」を採用している。

見えない場所のものも記憶して探し出す

HomeBodyのもう一つの核心は空間記憶だ。ロボットはまず部屋を探索し、SLAM（自己位置推定と地図作成を同時に行う技術）による幾何情報や関節の状態を集めて、Nvidiaの「Isaac Sim」上にキッチンのデジタルツインを構築する。この記憶があるため、視野に入っていない引き出しの中身や物の位置についても推論して行動できる。

実験では、コーヒー豆を島（キッチンカウンター）に集めながら期限切れの飲料を廃棄する複数手順のタスクや、視野外の引き出しから医薬品を取り出しつつ悪くなった飲料も処分するというタスクを実演した。後者では両手を使い分けるスキルの切り替えも確認されている。

実用化にはまだ壁がある

一方で研究チームは、動作の遅延やサーボモーターの過熱、クラウド上のGPT-6 Astraを呼び出すことによる計算コストの高さを課題として挙げている。安全面でも、VLMの判断次第では予期しない動きにつながる可能性が指摘されており、すぐに一般家庭に持ち込める段階ではない。

それでもOpenAIはすでに個人向けロボット開発への参入を表明しており、フロンティアモデルを制御の中核に据えるHomeBodyのアプローチは、汎用AIモデルが物理世界の作業をどこまで肩代わりできるかを占う試金石になりそうだ。ソースコードはGitHubで公開されており、他の研究グループが同様の検証を追試できる状態にある。