RAYNOVA: Ray 空間でスケールと時間変化を統合する自己回帰ワールドモデリング

ワールドモデルの本質は、単に動画を生成することにあるのではありません。世界がどのように変化していくのかを理解し、シミュレーションすることにあります。現実世界は本質的に 4D です。つまり、複数のカメラが、時間とともに連続的に変化する共通の 3D 世界を観測しているということです。車両は移動し、自車両は回転しながら位置を変え、カメラ設定もフリートによって異なります。実用的なワールドモデルに求められるのは、特定のセンサー構成や幾何学的な前提に左右されず、こうした要素すべてを横断的に推論する能力です。

本ブログでは、純粋な自己回帰フレームワークを用いて、空間と時間を単一の表現へと統合する 4D ワールド基盤モデルである RAYNOVA を紹介します。RAYNOVA は、空間推論と時間モデリングを分離せず、その両方の次元を同時に自己回帰的に学習します。これにより、3D シーンを明示的に再構成することなく、多様なカメラ設定のもとでマルチビューの長期動画生成を可能にする、大規模化に対応した柔軟なモデルとなっています。

なぜワールドモデルが重要なのか

従来の動画生成モデルが重視してきたのは、視覚的にリアルなシーケンスを生成することでした。多くの場合、固定されたカメラ設定、わずかな動きにとどまる単一視点、そしてカメラごとの強い時間的連続性を前提としています。こうしたアプローチは印象的な動画を生み出す一方で、必ずしも汎用化可能な世界モデルを学習しているとは限りません。これに対し、ワールド基盤モデルはより野心的な目標を掲げています。それは、多様なカメラ モーション、変化する視点、複数の入力条件のもとで、物理的にもっともらしいマルチビュー シーンをシミュレーションすることです。これは、テキストから動画を生成する技術とは根本的に異なるアプローチです。

これを実現するには、空間モデリングと時間モデリングを切り離して考えるだけでは不十分です。世界は「まず空間があり、その後に時間が進む」という形で変化するのではなく、分離できない連続的な 4D 空間の中で変化しています。だからこそ、空間と時間を別々のモジュールとして扱うのではなく、両者を一体として捉える統合的な時空間表現が求められます。

明示的な 3D 幾何の前提を超えた、幾何の再考

既存のワールドモデルの多くは、点群グリード(Occupancy grid)、潜在ボリューム、3D ガウシアンなどの明示的な 3D 表現を構築することで、時空間の一貫性を担保しています。こうしたアプローチには、強い幾何学的な帰納バイアスが組み込まれます。制約された領域では有効である一方、特定のカメラ間の重なりに依存することが多く、補助的な教師信号 (depth、flow、Lidar) を必要とし、学習分布を超えた汎化にも限界があります。

RAYNOVA は、これとは異なるアプローチを採用しています。特定の 3D 構造を強制せず、トークンの位置を カメラ Ray 空間 で表現することで、3D シーングラフを明示的に構築することなく、スケール、ビュー、フレームを自然につなぎます。これにより、モデルは以下に対応できます。

• 未知のカメラ構成への汎化
• 任意のカメラ回転および位置変化への対応
• 異種の学習データへの対応
• 幾何学的制約に縛られない、データ駆動型の性質の維持

Ray レベルの 4D 相対位置埋め込み法

ビューと時間をまたいで推論するには、トークン同士の空間的、時間的な関係をモデルが把握している必要があります。RAYNOVA はグローバル座標系を使わず、その代わりに カメラ Ray 空間における相対位置 を用います。手作業で設計された幾何学的バイアスを最小限に抑えながら、ビュー、フレーム、スケールをまたぐトークン同士の関係を符号化することで、絶対位置に依存せず、特定の世界レイアウトを記憶しない設計になっています。その結果、RAYNOVA は異種の学習データ、未知のカメラ構成、学習範囲を超えた外挿に対応する、大規模運用に対応したデータ駆動型フレームワークとなっています。

デュアル因果自己回帰法

RAYNOVA は、拡散モジュールを一切用いない、離散トークンベースの純粋な自己回帰アーキテクチャを採用しています。スケールと時間という 2 つの次元に沿って、同時に自己回帰を行います。

RAYNOVA は、画像をトークン単位ではなく、スケール単位で生成します。まず粗い構造を捉え、そこから細かなディテールを重ねていく流れです。この階層的な「次スケール予測」戦略により、モデルは最初に全体構造を把握し、ディテールを段階的に追加していきます。同時に、フレーム間でも自己回帰を適用。重要なのは、各カメラが独立して変化するとは仮定せず、カメラ間の隣接制約も課さない点です。その代わり、現在のフレームは、過去フレームのすべてのビューを条件として生成されます。これにより、マルチビュー入力を横断する統合的な時間推論プロセスが成立します。

この 2 つを組み合わせることで、RAYNOVA は 4D 世界全体にわたるトポロジカル順序 を形成し、単一の Transformer アーキテクチャの中でマルチビューの一貫性を保ちながら、フレームごとに粗い構造から細かな構造へと生成していきます。この設計によって、柔軟なフレームレートでの効率的な長期動画生成が可能になります。

生成結果

RAYNOVA は、自動運転シナリオにおける既存のワールドモデルと比べてレイテンシを大幅に改善しながら、マルチビュー動画生成で最先端の性能を発揮します。生成される合成マルチビュー画像と動画は、テキスト、オブジェクト、地図などの入力条件に高い忠実度で対応し、複数の制御信号を通じて多様な合成データの生成をサポートします。

柔軟な Ray レベルの相対位置埋め込みにより、RAYNOVA はカメラの位置変化、回転、視野角が異なる新規ビューを合成できます。さらに、学習データには含まれていない新しいカメラ構成のシーンにも対応します。

詳細は、プロジェクトサイト および論文 をご覧ください。また、CVPR 2026 で予定されている我々の発表でも紹介する予定です。