Applied Intuition의 NeuralSim: 엔드투엔드 SDS 평가를 주도하다

대규모 센서 시뮬레이션은 자율주행차(AV) 및 첨단 운전자 보조 시스템(ADAS) 개발의 핵심 과제입니다. 수동 재생 및 수작업으로 구축된 가상 세계는 차세대 자율주행 시스템을 검증하는 데 필요한 현실감과 처리량을 갖추지 못해, 팀들은 수백만 개의 실제 시나리오에서 시스템을 효율적으로 테스트하는 데 어려움을 겪고 있습니다.

Neural Sim은 차량 주행 로그를 동적이며 사진처럼 사실적인 3D 환경으로 변환하여 확장 가능한 폐쇄 루프 센서 (closed-loop sensor) 시뮬레이션을 구현합니다. 이를 통해 엔드투엔드 자율주행 프로그램과 기존 자율주행 프로그램 모두에 대한 강력한 평가를 제공합니다.

이번 블로그에서는 Neural Sim이 툴 및 제품으로 진화해 온 과정, 기술적 기반, 그리고 Applied Intuition의 검증 및 안전 관행에 미친 영향을 상세히 설명합니다.

위: 원본 주행 기록(전면 카메라) vs. Neural Sim 재구성

도전 과제

현대 자율 주행 스택은 수백만 개의 센서 수준 시나리오에 걸친 검증이 필요하지만, 기존 시뮬레이션 툴은 이러한 규모를 제공할 수 없습니다.

기존 솔루션—원시 로그 재생이든 수동 장면 구축이든—확장 가능한 폐쇄 루프 시뮬레이션을 생성하지 못합니다. 엔드투엔드 스택은 센서에서 제어까지의 동시 평가를 요구하므로, 대량 생산된 객체 수준 시나리오만으로는 포괄적인 테스트에 더 이상 충분하지 않습니다.

NeuralSim의 진화

NeuralSim의 지속적인 개발을 통해 해당 제품은 일련의 유망한 기술 데모에서 Applied Intuition의 검증된 핵심 시뮬레이션 기반 위에 구축된 정교한 플랫폼으로 발전했습니다.

초기 실험은 원시 로그로부터의 장면 재구성과 기본적인 행위자 재생 등 가능성의 단면을 보여주었지만, 진정한 시장 공백은 엔지니어링 팀이 생산성 평가 워크플로우에 신뢰할 수 있는 확장 가능하고 자동화되며 견고한 툴의 부재였습니다.

NeuralSim은 아래와 같은 방식을 통해 이러한 요구를 해결했습니다:

• 기반 및 플랫폼 성숙도: Neural Sim은 독립적인 솔루션이 아닌 Applied Intuition의 모듈형 시뮬레이션 툴링 생태계 위에 구축되었습니다. 이를 통해 데이터 관리, 시나리오 생성, 센서 정밀도 시뮬레이션에 대한 통합 워크플로우를 온프레미스와 클라우드 환경 모두에서 구현합니다.
• 동적 장면 재구성: Neural Sim은 모든 주행 로그 세트로부터 상세하고 다양한 행위자가 존재하는 3D 환경을 재구성합니다. 정적 배경 요소(예: 나무, 건물)를 모델링할 뿐만 아니라 차량, 자전거 이용자, 보행자 등 동적 행위자를 추적 및 애니메이션 처리하며, 관측된 원래 행동을 보존합니다. 방사도 필드(radiance fields) 및 가우시안 스플래팅(Gaussian Splatting)과 같은 최첨단 머신러닝 기술이 렌더링의 사실감을 구현하며, 센서 시뮬레이션은 실제와 동일한 카메라, 라이다, 레이더 데이터를 반영합니다.
• Applied Intuition  엔진과의 통합: Neural Sim은 Applied Intuition의 데이터 엔진을 활용하여 원시 차량 데이터를 수십만 개의 실제 극한 사례를 아우르는 선별된 시나리오로 변환합니다. 차량이 수집한 모든 주행 기록은 즉시 재구성이 가능하며, 차량이 매일 주행하는 운영 설계 영역(ODD)에 걸쳐 센서 수준의 시나리오 라이브러리를 신속하게 생성합니다.
• 확장성: 기존 워크플로우에서 수동 시나리오 구축이 병목 현상이었던 반면, Neural Sim의 자동화 파이프라인은 새로 수집된 주행 로그를 독특하고 다양한 센서 및 객체 수준 시나리오로 일상적으로 변환합니다. 엔지니어는 과거 로그 전체 데이터셋을 대기열에 등록하고, 불과 1년 전만 해도 불가능했던 규모의 극한 사례를 시뮬레이션할 수 있습니다.
• 현실성 평가 프레임워크: 엔지니어는 이제 뉴럴 재구성 정확도를 평가할 수 있는 정성적 및 정량적 도구를 보유합니다. Neural Sim은 장면 재구성 정확도, 조명 일관성, 동적 에이전트 현실성에 대한 지표를 생성합니다. 이러한 지표는 반복적 개발과 규제 요건을 모두 지원하는 방식으로 자동 계산 및 보고됩니다.
• 원활한 검증 및 확인(V&V) 통합: Neural Sim의 출력은 Applied Intuition의 검증 및 확인(V&V) 환경에 직접 연결되어 팀이 시뮬레이션 작업에서 공식 테스트 커버리지 분석, 장애 분류, 규정 준수 문서화로 쉽게 진행할 수 있습니다.
• 사용자 경험 및 워크플로: UI/UX에 대한 상당한 투자를 통해 뉴럴 렌더링 전문가뿐만 아니라 엔지니어링 및 QA 조직 전반에 걸쳐 광범위하게 배포될 수 있도록 설계된 제품이 탄생했습니다. 시각적 워크플로를 통해 재구성의 직관적인 검토 및 필터링, 시나리오 대 로그 비교, 하류 검증 단계로의 원활한 인계가 가능합니다.

내부 SDS 사용 사례

Neural Sim의 수직적 통합—차량 운영 및 시나리오 선별부터 시뮬레이션까지—은 Applied Intuition의 자율주행 시스템(SDS) 프로그램이 L2++부터 L4 영역에 걸쳐 매일 실제 환경에서 검증될 수 있도록 합니다.

Applied Intuition의 엔지니어링 팀은 NeuralSim을 활용해 수천 건의 주행 로그 이벤트를 다양한 센서 레벨 시나리오 배치로 재구성했습니다. 이러한 시나리오는 대규모 SDS 성능 평가를 위한 시뮬레이션에 사용되며, 매일 수천 건의 뉴럴 시뮬레이션이 실행됩니다.

NeuralSim은 SDS 프로그램에 혁신적인 이점을 제공합니다:

• 가속화된 내부 검증: 느리고 단편적인 도로 테스트 대신, 시뮬레이션을 통해 버그와 성능 격차가 수개월 앞서 발견되어 신속한 루프 폐쇄와 강력한 회귀 분석이 가능해집니다. 이는 신규 기능 및 모델 개선 사항이 배포될 때 특히 유용합니다.
• 효율적인 워크플로우: 자동화된 시나리오 추출을 통해 시뮬레이션이 더 이상 수동 기술 아티스트 작업이나 단편화된 툴체인의 병목 현상에 걸리지 않습니다. 엔지니어는 배치 시나리오 생성을 트리거하고, 커버리지 또는 위험 프로필에 따라 출력을 분류한 후 결과를 모듈식 검증 파이프라인에 직접 공급합니다.
• 외부 사용자를 위한 신뢰성: 이처럼 폭넓고 깊이 있는 지속적인 문서화된 사용 사례는 Neural Sim을 까다로운 안전 핵심 프로그램에 신뢰받는 플랫폼으로 자리매김하게 하며, 글로벌 OEM의 규제, 생산 및 규정 준수 요구사항을 뒷받침하는 핵심 기반이 됩니다.

현실성 평가 분야의 선도적 기술

Neural Sim은 시뮬레이션이 실제 주행 기록 및 행동을 얼마나 충실히 재현하는지 측정하는 일관된 상류 및 하류 지표 12개를 기반으로 구축되었습니다.

• 상류 재구성 지표는 각 가상 환경이 원본 주행 기록과 얼마나 잘 일치하는지 정량화합니다: 픽셀 단위 장면 중첩도, 행위자 의미론적 정확도, 조명 및 도로 세부 사항 등입니다. Neural Sim은 동적 상호작용 장면을 재구성하여 환경과 행동 양측에 대한 의미 있는 평가를 가능하게 합니다.
• 개방 루프 다운스트림 지표는 시나리오 발전과 무관하게 원본 로그 행동에서 변경되지 않은 재구성을 통합 스택이 어떻게 처리하는지 측정합니다. 객체 탐지를 위한 교집합 대비 합집합(IoU), 인식 정밀도, 재현율, 주행 정책 일치도 같은 표준 지표는 빠르고 반복 가능한 선별 및 벤치마킹을 제공합니다.
• 폐쇄 루프 다운스트림 지표는 시뮬레이션 중 스택 동작에 대한 행위자 및 시나리오의 적응도를 측정하므로 평가의 골드 스탠다드를 나타냅니다. 차량군 기반 시나리오는 폐쇄 루프 테스트가 실제 행동을 정확히 재현하도록 보장하여 실제 주행 데이터와의 직접 비교 및 강력한 결과 기반 검증을 가능하게 합니다.

평가 분야의 산업 표준 설정

Neural Sim은 산업계가 현실감과 안전성을 측정하는 방식을 재정의하고 있습니다. 시뮬레이션 및 재구성에 대한 재현 가능한 지표를 제공함으로써, Neural Sim은 프로그램과 ODD 전반에 걸쳐 확장 가능한 규제 등급 검증 기반을 제공합니다.

자동 추출된 액터 라이브러리, 다중 통과 장면 재구성, 확장된 센서 모달리티 등 향후 출시될 기능들은 폐쇄 루프 검증 역량을 더욱 강화할 것입니다. 이러한 혁신을 통해 Neural Sim은 자동차, 트럭, 방위 산업 분야의 자율주행 애플리케이션을 아우르는 확장 가능한 데이터 기반 안전 기술의 선두 주자로 자리매김할 것입니다.

자율주행 프로그램의 안전하고 확장 가능한 자율주행 개발을 가속화하는 Neural Sim의 활용 방안을 알아보려면 Applied Intuition에 문의하십시오.