NoRD: 추론 없이 주행하는 데이터 효율적 비전-언어-행동 모델

현재 자율주행용 비전-언어-행동(Vision-Language-Action, VLA) 모델은 두 가지 요소에 크게 의존하고 있습니다. 하나는 대규모 데이터셋 수집이며, 다른 하나는 밀도 높은 추론 주석 데이터입니다. 이러한 모델은 높은 성능을 달성할 수 있지만, 상당한 데이터 구축 비용과 계산 오버헤드, 높은 추론 지연 시간을 수반하기 때문에 실제 환경에 적용하기에는 한계가 있습니다.본 연구에서는 NoRD(No Reasoning for Driving)를 통해 이러한 두 가지 전제에 도전합니다. 우리는 데이터 효율적인 비추론 모델의 성능 격차가 추론 능력의 부족이나 데이터 부족 때문이 아니라, 난이도 편향(Difficulty Bias)에서 비롯된다는 점을 밝혔습니다.이러한 편향은 희소한 주행 보상만 주어지는 환경에서 성능이 아직 충분히 검증되지 않은 정책을 강화학습으로 최적화하는 과정에서 발생합니다. 이 과정에서 모델은 복잡하고 어려운 주행 기동보다 상대적으로 학습이 쉬운 샘플에 집중하게 되며, 결과적으로 어려운 상황에 대한 학습은 충분히 이루어지지 않습니다.NoRD는 Dr. GRPO를 활용해 이러한 난이도 편향을 완화함으로써, 추론 중심 기준 모델 대비 3배 적은 토큰과 60% 적은 데이터만으로도 Waymo 및 NAVSIM 벤치마크에서 경쟁력 있는 성능을 달성했습니다.NoRD는 VLA 최적화 단계에서 비교적 단순한 개선만으로도, 훨씬 적은 학습 데이터와 추론 오버헤드 없이 높은 성능을 구현할 수 있음을 보여줍니다. 이는 보다 효율적인 자율주행 시스템 개발이 가능하다는 점을 시사합니다.

자율주행 차량은 잘 운전하기 위해 ‘생각을 말로’ 풀어내야 할까?

비전-언어-행동(Vision-Language-Action, VLA) 모델은 특히 자율주행의 ‘롱테일(long-tail)’ 시나리오를 해결하는 데 있어 유망한 접근 방식으로 주목받고 있습니다. 이러한 모델은 일반적으로 장면을 추론한 뒤, 행동을 결정하기 전에 내부 추론 텍스트를 생성합니다.

그러나 이러한 ‘생각을 말로’ 풀어내는 방식은 두 가지 주요 병목을 초래합니다:

1. 높은 추론 지연 시간: 수백 개의 추론 토큰을 자기회귀 방식으로 생성하는 데 필요한 시간은 지연 시간이 매우 중요한 자율주행 시스템의 실제 적용에 큰 걸림돌이 됩니다.
2. 높은 주석 구축 비용: 이러한 모델을 학습시키기 위해서는 방대한 주행 데이터와 이에 대응하는 추론 주석 데이터를 함께 구축해야 하며, 이는 비용이 많이 들고 확장도 쉽지 않습니다

이러한 문제를 해결하기 위해 우리는 NoRD(No Reasoning for Driving)를 제안합니다. NoRD는 중간 추론 텍스트 생성 단계를 완전히 생략하고, 입력을 직접 행동으로 매핑합니다. 또한 추론 토큰 생성에 따른 ‘자기회귀적 처리 비용(Autoregressive Tax)’ 없이도 VLM의 시공간적 사전 지식을 활용함으로써, 높은 수준의 장면 이해 능력을 유지하면서도 지연 시간을 1초 미만 수준으로 줄일 수 있습니다.

기존 VLA 파이프라인 vs. NoRD

최고 수준의 성능을 달성하기 위해 기존 VLA 파이프라인은 복잡하고 데이터 의존도가 높은 구조에 의존합니다. 이러한 전통적인 접근 방식은 여러 자원 집약적인 단계를 거칩니다:

• 대규모 데이터 수집: 학습의 기반이 되는 방대한 주행 데이터셋을 확보합니다.
• 교사 모델 기반 추론 생성: 수집된 데이터를 GPT-4o와 같은 고성능 교사 LLM에 입력해 이에 대응하는 ‘추론 데이터셋’을 생성합니다.
• 지도학습 기반 파인튜닝(Supervised fine-tuning, SFT): 모델은 이러한 추론 주석 데이터를 활용한 SFT를 통해, 행동하기 전에 ‘생각을 말로’ 전환하는 방법을 학습합니다.
• 강화학습(Reinforcement learning, RL): 마지막으로 RL 파인튜닝을 수행해 주행 성능 지표에 맞도록 정책을 최적화합니다.

이 방식은 효과적이지만, 고가의 교사 모델과 방대한 주행 데이터에 의존하기 때문에 확장성과 비용 측면에서 구조적인 한계를 가집니다.

반면, NoRD는 보다 단순하고 효율적인 대안을 제시합니다. 데이터 요구량을 줄이고 중간 추론 단계를 제거함으로써 전체 과정을 크게 간소화했습니다.

• 낮은 데이터 요구량: NoRD는 비교적 작은 규모의 주행 데이터셋만으로도 효과적으로 주행 행동을 학습할 수 있습니다.
• 궤적 데이터 기반 SFT: NoRD는 추론 데이터 대신 원시 궤적 데이터에 직접 SFT를 수행합니다.
• 강화학습 파인튜닝: 이후 RL을 통해 모델을 추가학습 시키며, 추론 토큰 없이도 더 빠른 추론 속도로 주행 정책을 최적화합니다.

NoRD는 추론 오버헤드를 제거함으로써 높은 성능의 자율주행 모델을 위한 새로운 접근 방식을 제시합니다. 이는 학습 비용을 줄일 뿐만 아니라 개발 및 배포 속도까지 향상시킵니다.

표준 GRPO의 한계: 비추론 VLA 기본 정책 성능 개선 실패

기존의 추론 기반 VLA 모델 대부분은 강화학습 파인튜닝 과정에서 GRPO(Group Relative Policy Optimization)를 활용합니다. 그러나 우리는 데이터 효율적인 비추론 SFT 기본 정책에 GRPO를 적용했을 때, 성능 향상 폭이 0.67%에 불과하다는 사실을 확인했습니다.이는 대규모 데이터셋과 명시적인 추론 과정을 활용한 기존 연구(예: AutoVLA)에서 보고된 약 9%의 성능 향상과는 대조적인 결과입니다.우리는 이러한 성능 개선 실패를 단순히 성능이 아직 충분히 검증되지 않은 정책 자체의 한계로 보지 않았습니다. 대신, 기존 RL 최적화 방식이 비추론·데이터 효율 모델을 학습시키는 데 근본적으로 적합하지 않을 수 있다는 가설을 세웠습니다.이러한 문제의식은 성능 향상을 가로막는 주요 병목으로서 난이도 편향을 탐구하게 된 계기가 되었습니다.

최적화 실패의 원인: 난이도 편향

성능 저하의 원인이 모델 자체의 한계가 아니라 최적화 과정에 있다는 가설을 검증하기 위해, 우리는 NAVSIM 데이터셋 전반에서 성능이 아직 충분히 검증되지 않은 기본 정책이 생성한 평균 PDM(Predictive Driver Model)점수의 분포를 분석했습니다. 그 결과, 두 가지 뚜렷한 구간이 존재함을 확인할 수 있었습니다.

• 분산이 낮은 ‘쉬운’ 시나리오: 일반적인 상황(예: 직진 주행)은 최대 점수 부근에 높은 밀도로 분포합니다. 이러한 시나리오는 점수 분산이 낮기 때문에 GRPO 목적 함수의 정규화 분모가 작게 유지됩니다. 그 결과, 비교적 단순한 작업에서 발생하는 학습 신호는 과도하게 크게 유지됩니다.
• 분산이 높은 ‘어려운’ 시나리오: 핵심적인 롱테일 상황은 점수가 낮고 분산은 높은 경향을 보입니다. 이러한 복잡한 시나리오에서는 높은 분산으로 인해 정규화 분모가 커지며, 결과적으로 학습 신호가 약화됩니다. 이로 인해 모델은 이러한 롱테일 과제를 효과적으로 최적화하지 못하게 됩니다.

기존 GRPO에서는 그래디언트가 그룹 단위로 평균화됩니다. 그 결과 모델은 이미 충분히 학습한 쉬운 시나리오에 학습 자원을 계속 투입하는 반면, 어려운 시나리오에서 발생하는 약한 학습 신호는 정책 개선으로 이어지지 못합니다. 우리는 이러한 현상을 GRPO에서 나타나는 난이도 편향의 한 형태로 해석합니다.

난이도 편향 완화를 위한 GRPO의 대안: Dr. GRPO

기존 RL 방식의 한계를 극복하기 위해, 우리는 성능이 아직 충분히 검증되지 않은 기본 정책의 파인튜닝 과정에서 Dr. GRPO를 GRPO의 대체 기법으로 적용했습니다. Dr. GRPO는 그룹 내 분산의 영향에 덜 민감하도록 최적화 과정을 재조정함으로써, 모델이 복잡한 보상 구조에서도 효과적으로 최적화될 수 있도록 합니다.그 결과, 기존 GRPO 적용 시 0.67%에 불과했던 성능 향상 폭이 11.68%까지 증가했으며, 최적화 과정 역시 높은 성능 구간으로 더욱 안정적으로 수렴하는 모습을 확인할 수 있었습니다.이를 통해 NoRD는 기존 GRPO만으로는 학습하기 어려웠던 복잡한 주행 기동까지 효과적으로 학습할 수 있게 되었습니다.

롱테일 시나리오에서의 정성적 평가 결과

NoRD는 다양한 롱테일 시나리오에서 강력한 시공간 이해 능력을 바탕으로 복잡한 주행 기동을 안정적으로 수행합니다.

WaymoE2E

NAVSIM

효율성 평과 결과

NoRD는 중간 추론 토큰 생성 단계를 생략함으로써 큰 폭의 효율성 향상을 달성했습니다. 그 결과, 추론 기반 VLA 모델 대비 토큰 사용량과 실행 시간을 크게 줄일 수 있었습니다.

한계 사례

NoRD는 다양한 교통 상황에서 효과적으로 주행할 수 있지만, 모든 상황을 완벽하게 처리하는 것은 아닙니다. 모델 성능을 분석한 결과, 과도하게 공격적인 주행이나 후방 교통 상황에 대한 인식 부족과 같은 한계 사례가 확인되었습니다. 이러한 결과는 향후 모델 개선을 위한 중요한 방향성을 제시합니다.

@inproceedings{rawal2026nord,
  title={NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning},
  author={Rawal, Ishaan and Gupta, Shubh and Hu, Yihan and Zhan, Wei},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2026}
}