Fei-Fei Li氏のWorld Labs、数枚の写真から3D世界を生成する統合モデルAtlasを発表
World Labsが新モデルAtlasを公開。テキスト・画像・動画・3Dデータを一体で扱う「オムニモデル」で、数枚の写真から現実世界のシーンを再構築し、カメラ視点を自在に操作した動画を生成できる。
「空間インテリジェンス」の実現を掲げるスタートアップWorld Labsが、新モデル「Atlas」を発表した。テキスト・画像・動画・3Dデータをすべて同じモデルで処理する「オムニモデル」で、わずか数枚の写真から現実世界のシーンを再構築し、任意のカメラ視点で動かせる動画を生成できる。World LabsはAI研究者のFei-Fei Li氏が共同創業した企業だ。
カメラを自在に操作できる動画生成
Atlasの中核機能の一つが、参照画像から任意のカメラ位置・角度で新しい視点の映像を生成する「カメラ制御生成」だ。最長1分間、1440p解像度の動画出力に対応し、カメラの位置や角度を幾何学的な入力として直接与えられる「pixel-perfect camera control」により、正確なカメラジオメトリを保った映像を生成する。人間による評価では、競合のMiniMax H3に対して75%、Seedance 2.5に対して94%の割合で優位という結果が出ている。
数枚の写真から3D空間を再構築
もう一つの柱が空間再構築機能で、1枚から数十枚の入力画像をもとに現実世界のシーンを3Dガウシアンスプラットやポイントクラウド形式で再構築する。スパースな入力、つまりわずか2〜3枚の画像からでも高忠実度の結果を得られるとしている。3D再構築の精度を示す中央値誤差は25.3で、比較対象のPi3X(28.7)やVGGT-Ω 1B(36.4)を上回った。
このほか、動画から空間・時間の構造を学習し、VFX向けの「bullet time」的な視点再構成や、ロボット工学向けに現実世界をシミュレーション空間へ変換する「Real-to-Sim」機能も備える。テキストプロンプトからの画像生成や360度パノラマ生成も可能で、複雑なプロンプトやテキストレンダリングにも対応する。
テキストと動画モデルの発想を融合したアーキテクチャ
Atlasはマルチモーダル自己回帰拡散トランスフォーマーを採用し、あらゆる入力を3D空間にグラウンディングした「空間コンテクスト」として処理する。World Labsは、この設計により大規模言語モデルと動画生成モデルそれぞれの技術的な発想を統合したと説明している。対応する入力形式はテキスト、画像、動画、カメラポーズ、3D深度マップと幅広い。開発過程では複数の規模のモデルを訓練し、計算リソースの増加に伴って性能が向上するスケーリング特性も確認したという。
専門特化モデルの必要性を問い直す動き
これまで3Dシーン再構築、動画生成、カメラ制御はそれぞれ専門特化型のモデルが担ってきた領域だが、Atlasは単一モデルでこれらを横断的にカバーする。THE DECODERの分析でも、専門特化モデルを不要にする可能性があり、ロボティクス・建築・ゲーム開発など3D関連産業に影響を及ぼしうると指摘されている。
現時点では一般提供ではなく、選定されたパートナー向けの早期アクセスプログラムでの提供にとどまる。World Labsは今年前半に10億ドル規模の資金調達を実施しており、動画から3D空間を生成する前作「Marble」に続く同社の主力製品として、Atlasの実運用での評価が今後の焦点になる。