ワールド ファウンデーション モデルを研究から実装へ：Applied Intuition のアプローチ

ワールド ファウンデーション モデル (WFM) は、開発者によるフィジカル AI システムの構築と検証のあり方を再定義しつつあります。これらのモデルは、フォトリアルなセンサー データを生成し、新たな軌道や世界状態を予測し、物理的な相互作用を推論できます。こうした機能はすべて、あらゆる自動運転プログラムの開発パイプラインに欠かせないものです。一方で、これらのモデルを量産環境で効果的に活用するには、プロンプティングと実験管理、GPU オーケストレーション、ファイン チューニングと推論パイプライン、リアリズム指標と品質指標、現実世界のシナリオに基づく形式表現でモデルを条件付ける機能など、広範なツールとインフラが求められます。

Applied Intuition は、最先端のシミュレーション ツールを構築してきた 10 年にわたるフィジカル AI 領域の専門知識を結集し、最新のデータとシミュレーションのフライホイールに組み込める、WFM 向けの量産レベルのソリューションを形にしています。

なぜ ワールド ファウンデーション モデル (WFM) なのか

エンド ツー エンドの自動運転ソフトウェアには、フリート データセットをキュレーションし、トレーニングと検証に活用できるラベル付きセグメントへ変換するデータ フライホイールが欠かせません。しかし、現実世界でのデータ収集だけでは、自動運転ソフトウェアの厳格な評価と検証に必要な、幅広い環境条件や安全上重要なエッジケースを網羅しきれません。だからこそ、高忠実度のセンサー シミュレーションは、量産向け自動運転プログラムに不可欠な機能となります。

既存のセンサー シミュレーション手法には、それぞれ限界があります。PBR (Physics-Based Rendering)はシーンを精密に制御できる一方、ドメイン ギャップを縮小するには、3D コンテンツとセンサー モデルの反復的なチューニングが求められます。また、ニューラル再構成 (例: 3D/4D ガウシアン スプラッティング) は、フリートがすでに走行したルートに限られ、照明、天候、形状のバリエーションに対する汎化性が十分ではありません。WFM は、大規模なインターネット事前学習と、各フィジカル AI ドメイン向けのファイン チューニングを活用することで、こうした 2 つのギャップに対応します。さまざまな ODDs (Operational Design Domains)、天候、照明条件にわたり、ドメインに即した多様なセンサー データを生成できることから、WFM は PBR やニューラル シミュレーションを自然に補完し、Applied Intuition の既存のシミュレーション ツールチェーンを拡張することで、自動運転システムとフィジカル AI の開発を加速させます。

本ブログでは、NVIDIA Cosmos Transfer 2.5/auto/multiview を使用し、現実世界の走行ログと、現実世界の走行データから抽出したシナリオ バリエーションを新たなセンサー データセットへ変換するワークフローに焦点を当て、以降のセクションで、量産向け自動運転パイプラインで WFM を活用するために必要な主要機能を取り上げます。

WFM を量産段階へ、Applied Intuition のアプローチ

キュレーション済みのラベル付きフリート データセット

このパイプラインの最初のステップは、WFM 推論を条件付けるために必要なラベルの作成です。Applied Intuition は、包括的なシミュレーションおよびデータ エンジンを構築しており、収集した生のフリート データを、下流タスクに使用できるキュレーション済みのラベル付きセグメントへ変換することができます。

シナリオ、マップ、センサー構成の抽出

このパイプラインの次のステップでは、抽出したマップに基づき、シーン内のすべての静的および動的なアクターを記述する、形式化されたシナリオ表現を抽出していきます。マップは、OSM (OpenStreetMap) や、地理座標に紐づく独自のマップ形式から生成できるほか、センサー データから推定することも可能です。この段階ではさらに、特定の車両フリートに求められるレイアウトに合わせて、センサー構成の調整とマッチングを行います。

世界基盤モデル推論に向けた条件付け

WFM を条件付けるために、Applied Intuition の車両フリートに自動ラベル付けパイプラインを適用して生成したラベルを基に、対象のセンサー構成に合わせたオブジェクト レベルの表現を画像平面上にレンダリングしました。

ポスト トレーニングと WFM 推論

WFM における主な課題の 1 つは、未知のセンサー構成で条件付けしたうえでモデル推論を実行すると、幾何学的な不整合や、対象となるセンサー設定とのミスアライメントが生じることです。自動運転プログラムごとにセンサー構成は異なるため、量産用途での活用には、このミスマッチへの対応が欠かせません。

この課題を解決するため、Applied Intuition は Data Engine を活用しています。Data Engine は、フリート ログを取り込み、フィルタリング、自動ラベル付け、キュレーションを行ったうえで、ポスト トレーニングに使用できるデータセットを生成します。このパイプラインの検証では、社内の自動運転システム フリートから取得したキュレーション済みのクリップとキャプションのコーパスを使用したうえで、カスタム センサー構成に合わせて NVIDIA Cosmos Transfer 2.5B multiview モデルをポスト トレーニングしました。その結果、幾何学的に一貫し、適切にアライメントされたマルチビュー出力が得られることを、視覚的な確認と評価ハーネスの両方で検証しています。このステップは、モデルが将来的に新たなセンサー構成や新たな ODD 分布へ汎化できるようにするうえで不可欠であり、さまざまな領域のフィジカル AI 開発者による、量産用途での基盤モデル活用を可能にします。

ユーザー体験をシンプルにするため、Applied Intuition は、自然言語プロンプトを起点に、プロンプト生成、パラメーター値の選択、計算インスタンスの起動、モデル推論の実行までを一貫して行うエージェント型ワークフローを構築しました。このワークフローでは、オブジェクトおよびレーン レベルの条件付けに基づいてモデル推論を実行し、新たなセンサー データセットを生成します。ジョブ スケジューリング、GPU 割り当て、スケーリングはシームレスに処理されるため、開発者は計算リソース管理に煩わされることなく、ファイン チューニングの実行や大規模な推論ワークロードの起動に集中できます。

開発者は自然言語プロンプトを使って、天候、照明、シーン内容の新たなバリエーションを指定し、モデルに生成させることができます。NVIDIA Cosmos モデルはインターネット規模の事前学習を活用しているため、多様な条件の生成にも適しています。

目的特化型の評価による検証

データを生成するだけでは十分ではありません。合成データをトレーニングまたは検証パイプラインに投入する前に、そのデータが下流モデルの性能向上に寄与するかを見極める必要があります。Applied Intuition は、レンダリングされたセンサー データに対して、知覚的および幾何学的な一貫性指標を算出する評価ハーネスを構築しています。ただし、品質指標だけでは十分ではないため、モデルが条件付け入力にどの程度沿っているかも測定する必要があります。

さらに、Applied Intuition は NVIDIA のオープンソース Cosmos Evaluator をパイプラインに統合し、生成されたデータの各バッチに対して、自動運転に特化したチェックを自動実行できるようにしました。これには、障害物対応チェックやハルシネーション検出チェックなどが含まれます。

シミュレーションにおけるシナリオ拡張

もう 1 つの重要な拡張手法が、挙動の拡張です。Applied Intuition のツールにより、開発者は抽出した現実世界のシナリオを拡張し、車両の割り込み、歩行者の横断、道路上の未知の障害物といった新たなイベントを追加できます。元の走行ログから抽出したオブジェクト レベルのシナリオを変更することで、WFM 推論に使用する新たな条件付けデータが生成され、新しいセンサー データセットの作成につながります。その結果、1 つの現実世界の走行ログを関連シナリオ群へと展開でき、フリート データセットの価値が大きく高まります。

WFM を活用したフィジカル AI 開発の包括的パイプライン

フィジカル AI の開発と検証に新たなアプローチをもたらす WFM。Applied Intuition は、WFM を実運用で活用するために必要なフィジカル AI 領域の専門知識と包括的なツールチェーンを、量産対応プラットフォームに統合しています。対象となるのは、データ パイプライン、シミュレーション ツール、ファイン チューニング インフラ、GPU オーケストレーション、エージェント型インタラクション レイヤー、指標ベースの検証です。

強力なモデルと量産対応ワークフローの間には大きなギャップがあり、多くのチームがそこで足踏みしがちです。Applied Intuition では、そのギャップを埋めるための取り組みを進めており、NVIDIA と連携しながら、フィジカル AI システム向けツールの次なるフロンティアを切り拓いています。世界基盤モデルを研究から実装へとつなげることで、開発者が安全かつ迅速に量産自動運転へ移行できるよう支援していきます。

Applied Intuition が皆さまの自動運転開発プログラムをどのように加速できるか、詳しくご紹介します。 Applied Intuition チームまでぜひお問い合わせください。