월드 파운데이션 모델, 연구를 넘어 현실로: Applied Intuition의 접근 방식

월드 파운데이션 모델(WFM)은 피지컬 AI 시스템을 개발하고 검증하는 방식을 새롭게 정의하고 있습니다. 이 모델은 실사 수준의 센서 데이터를 생성하고, 새로운 궤적과 환경 상태를 예측하며, 물리적 상호작용을 추론할 수 있습니다. 이는 모든 자율주행 개발 조직이 개발 파이프라인에서 필요로 하는 핵심 역량입니다.하지만 이러한 모델을 실제 운영 환경에서 효과적으로 활용하기 위해서는 프롬프트 관리 및 실험 추적부터 GPU 오케스트레이션, 파인튜닝 및 추론 파이프라인, 현실성 및 품질 평가 지표, 그리고 실제 환경 시나리오에 기반한 정형화된 표현을 활용해 모델을 조건화할 수 있는 기능에 이르기까지 다양한 툴과 인프라가 뒷받침되어야 합니다. Applied Intuition은 최첨단 시뮬레이션 툴을 개발하며 축적한 10년 이상의 피지컬 AI 전문성을 바탕으로, 현대적인 데이터 및 시뮬레이션 플라이휠 안에서 월드 파운데이션 모델을 실제 운영 환경에 적용할 수 있는 상용 수준의 솔루션을 제공합니다.

왜 월드 파운데이션 모델 (WFM) 인가?

현대 엔드투엔드 자율주행 스택은 플릿 데이터를 학습과 검증에 활용할 수 있도록 선별 및 라벨링된 데이터 세그먼트로 전환하기 위해서 데이터 플라이휠을 필요로 합니다.하지만 실제 도로에서 수집한 데이터만으로는 자율주행 스택을 엄격하게 평가하고 검증하는 데 필요한 다양한 환경 조건 및 안전과 직결되는 엣지케이스를 충분히 포괄할 수 없습니다.이 때문에 고충실도 센서 시뮬레이션은 상용 자율주행 개발 프로그램에 반드시 필요한 핵심 역량으로 자리 잡고 있습니다.

기존 센서 시뮬레이션 방식에는 각각 한계가 있습니다. 물리 기반 렌더링(Physics-Based Rendering)은 장면을 정밀하게 제어할 수 있지만, 실제 환경과 시뮬레이션 간의 차이를 줄이기 위해 3D 콘텐츠와 센서 모델을 반복적으로 조정해야 합니다. 한편, 신경망 기반 재구성 기법 (예: 3D/4D 가우시안 스플래팅)은 플릿이 실제로 주행한 경로를 기반으로 하기 때문에 다양한 광환경·기상 조건·기하학적 변화에 대한 일반화 능력이 제한적입니다.월드 파운데이션 모델은 이러한 한계들을 모두 보완합니다. 대규모 인터넷 데이터 사전학습과 각 피지컬 AI 도메인에 특화된 파인튜닝을 통해 다양한 운행설계영역(Operational Design Domains)과 기상·광환경 조건에 걸쳐 도메인 특성을 반영한 풍부한 센서 데이터를 생성할 수 있기 때문입니다.또한 월드 파운데이션 모델은 PBR 및 뉴럴망 기반 시뮬레이션과 상호 보완적으로 활용될 수 있으며, Applied Intuition의 기존 시뮬레이션 툴체인에 통합하여 자율주행 시스템과 피지컬 AI 개발을 더욱 빠르게 가속화하고 있습니다.

이 블로그에서는 NVIDIA Cosmos Transfer 2.5/auto/multiview 를 활용해 실제 주행 로그와 실제 주행 데이터에서 추출한 다양한 시나리오를 새로운 센서 데이터셋으로 생성하는 워크플로우를 살펴봅니다. 이어지는 섹션에서는 월드 파운데이션 모델을 상용 자율주행 개발 파이프라인에서 효과적으로 활용하기 위해 필요한 핵심 역량들을 소개합니다.

월드 파운데이션 모델을 상용화로 연결하는 Applied Intuition만의 전략

선별 및 라벨링된 플릿 데이터 셋

파이프라인의 첫 단계는 월드 파운데이션 모델 추론 과정에서 활용할 조건 정보를 생성하는 것입니다. Applied Intuition은 원시 플릿 데이터를 선별 및 라벨링된 데이터 세그먼트로 변환할 수 있는 통합 시뮬레이션 및 데이터 엔진을 구축했습니다. 이렇게 생성된 데이터는 다양한 후속 작업에 활용될 수 있습니다.

시나리오, 지도 및 센서 구성 정보 추출

파이프라인의 다음 단계에서는 추출된 지도를 기반으로 장면 내 모든 정적·동적 객체를 설명하는 정형화된 시나리오 표현을 생성하는 작업이 이루어집니다.지도는 OpenStreetMap(OSM)이나 지리 좌표와 연계된 독자적인 지도 형식에서 생성할 수 있으며, 센서 데이터를 바탕으로 추론할 수도 있습니다.또한 이 단계에서는 특정 차량 플릿에 맞는 센서 구성 정보를 조정하고 최적화하는 작업도 함께 수행됩니다.

월드 파운데이션 모델 추론을 위한 조건 설정

Applied Intuition 차량 플릿의 자동 라벨링 파이프라인이 생성한 라벨을 바탕으로, 원하는 센서 구성에 맞는 객체 단위 장면 정보를 렌더링해 월드 파운데이션 모델의 추론 조건을 설정했습니다.

후속 학습 및 월드 파운데이션 모델 추론

월드 파운데이션 모델의 핵심 과제는 학습에 사용되지 않은 새로운 센서 구성에 대해 조건을 설정하고 추론을 수행할 경우, 생성 결과에 기하학적 불일치가 발생하거나 목표 센서 구성과 맞지 않는 결과가 나타날 수 있다는 점입니다.

자율주행 개발 조직마다 고유한 센서 구성을 사용하기 때문에, 월드 파운데이션 모델을 실제 개발 환경에 적용하려면 이러한 불일치 문제를 반드시 해결해야 합니다.

Applied Intuition은 Data Engine을 통해 이 문제를 해결합니다. Data Engine은 플릿 로그를 수집·정제하고 자동 라벨링을 수행해 후속학습에 활용할 수 있는 데이터셋으로 구축합니다.Applied Intuition은 파이프라인을 검증하기 위해 내부 자율주행 차량(AV) 플릿에서 수집한 선별된 클립과 캡션 데이터셋을 활용했습니다. 또한 NVIDIA Cosmos Transfer 2.5B 멀티뷰 모델을 특정 센서 구성에 맞게 후속 학습하여 기하학적으로 일관되고 센서 구성과 정밀하게 정렬된 멀티뷰 출력 결과를 확보했으며, 이는 시각적 검토와 자체 평가 프레임워크를 통해 검증되었습니다.이 과정은 모델이 새로운 센서 구성뿐 아니라 향후 새로운 ODD 환경에도 일반화할 수 있도록 하는 핵심 단계입니다. 이를 통해 다양한 분야의 피지컬 AI 개발자들이 월드 파운데이션 모델을 상용 환경에 적용할 수 있는 기반이 마련됩니다.

Applied Intuition은 사용자 경험을 단순화하기 위해 에이전트 기반 워크플로우를 구축했습니다. 이 워크플로우는 자연어 입력만으로 프롬프트 생성, 매개변수 선택, 컴퓨팅 인스턴스 생성, 객체 및 차선 단위 조건 정보를 활용한 모델 추론을 수행해 새로운 센서 데이터셋을 생성합니다.또한 작업 스케줄링, GPU 할당 및 확장 작업이 자동으로 처리되므로 개발자는 컴퓨팅 인프라를 직접 관리하는 부담 없이 후속 학습 작업을 실행하고 대규모 추론 워크로드를 손쉽게 수행할 수 있습니다.

개발자는 자연어 프롬프트만으로 날씨, 광환경, 장면 구성의 다양한 변형을 생성할 수 있습니다. 또한 대규모 인터넷 데이터를 통해 사전학습된 NVIDIA Cosmos 모델을 활용해 다양한 조건의 데이터를 손쉽게 생성할 수 있습니다.

전용 평가 체계를 활용한 검증

데이터를 생성하는 것은 문제의 절반에 불과합니다. 생성형 데이터가 학습이나 검증 파이프라인에 활용되기 전에, 해당 데이터가 실제로 후속 모델의 성능 향상에 기여할 수 있는지에 대한 신뢰가 확보되어야 합니다.이를 위해 Applied Intuition은 렌더링된 센서 데이터의 지각적 품질과 기하학적 일관성을 평가하는 전용 평가 체계를 구축했습니다. 그러나 품질지표 만으로는 충분하지 않습니다. 모델이 조건 입력을 얼마나 충실하게 반영했는지 또한 함께 측정해야 합니다.

Applied Intuition은 NVIDIA의 오픈소스 Cosmos Evaluator 를 파이프라인에 통합해, 생성된 데이터의 모든 배치에 대해 자율주행에 특화된 검사를 자동으로 수행하도록 했습니다. 여기에는 생성된 데이터의 장애물 정보가 원본 데이터와 일치하는지 확인하는 장애물 대응 검증(obstacle-correspondence check)과 실제로 존재하지 않는 객체가 생성되었는지를 확인하는 환각 탐지 검증(hallucination-detection check)이 포함됩니다.

시뮬레이션 기반 시나리오 증강

행동 기반 시나리오 증강은 또 다른 중요한 증강 방식입니다. Applied Intuition의 툴은 추출된 실제 주행 시나리오를 확장해 끼어들기 차량, 무단횡단 보행자, 도로 위의 새로운 장애물과 같은 이벤트를 추가할 수 있도록 지원합니다.또한 원본 주행 로그에서 추출한 객체 단위 시나리오를 수정함으로써, 월드 파운데이션 모델 추론에 활용할 새로운 조건 데이터를 생성하고 이를 바탕으로 새로운 센서 데이터셋을 만들 수 있습니다.이를 통해 하나의 실제 주행 로그를 여러 연관 시나리오로 확장할 수 있으며, 결과적으로 플릿 데이터셋의 활용 가치를 크게 높일 수 있습니다.

월드 파운데이션 모델을 피지컬 AI 개발에 적용하기 위한 통합 파이프라인

월드 파운데이션 모델은 피지컬 AI의 개발과 검증 방식을 새롭게 정의하고 있습니다. Applied Intuition은 월드 파운데이션 모델을 실제 개발 환경에 적용하는 데 필요한 피지컬 AI 전문성과 통합 플랫폼을 제공합니다. 데이터 파이프라인, 시뮬레이션 툴, 후속 학습 인프라, GPU 오케스트레이션, 에이전트 기반 워크플로우, 그리고 지표 기반 검증 체계까지 모든 기능을 하나의 플랫폼에서 제공합니다.

강력한 모델과 실제 개발 환경에 적용 가능한 워크플로우 사이의 간극은 많은 개발 조직이 넘어야 할 과제이며, Applied Intuition은 그 간극을 해소하고 있습니다.Applied Intuition은 NVIDIA와 함께 피지컬 AI 시스템을 위한 차세대 개발 툴을 구축하게 되어 기쁘게 생각합니다. 월드 파운데이션 모델을 연구 단계에서 실제 활용 단계로 연결하고, 개발자들이 보다 안전하고 효율적으로 자율주행 시스템의 상용화를 향해 나아갈 수 있도록 지원합니다.

Applied Intuition이 자율주행 개발을 어떻게 가속화할 수 있는지에 대해 더 궁금하신 점이 있으신가요? Applied Intuition 팀에 문의해 보세요.