Learning to Drive is a Free Gift: 라벨 없이 자연 환경에서 수집된 영상을 활용한 대규모 자율주행 사전 학습

오늘날 자율주행 차량을 학습시키려면 방대한 양의 전문적인 데이터가 필요합니다. 여기에는 보정된 다중 센서 시스템, 수백만 마일의 주행 데이터, 그리고 많은 시간과 노력이 필요한 라벨링 작업이 모두 요구됩니다. 이러한 과정은 비용이 많이 들 뿐만 아니라, 새로운 도시나 주행 환경으로 확장하기도 어렵습니다.

반면 인터넷에는 전 세계 다양한 주행 환경에서 수집된 수백만 시간 분량의 대시캠 영상이 공개되어 있습니다. 사람이 실제 운전을 시작하기 훨씬 전부터 도로 환경에 대한 감각을 익히듯이, 이러한 영상에는 도로의 모습과 객체의 움직임, 그리고 장면의 전개에 대한 풍부한 정보를 확인할 수 있습니다. 하지만 이러한 영상에는 라벨이 전혀 없기 때문에 지금까지는 거의 활용하지 못했습니다.

LFG(Learning to Drive is a Free Gift)라는 이름의 이 연구는 이러한 한계를 해결합니다. 기존 AI 모델들을 선생님처럼 활용해, 각 모델이 라벨이 없는 대시캠 영상의 서로 다른 측면에 라벨을 부여하도록 하고, 이를 바탕으로 현재 장면을 복원하고 다음에 일어날 일을 예측하는 새로운 모델을 학습시킵니다. 이렇게 학습된 단일 전방 카메라 모델은 주행 태스크에 맞게 미세 조정했을 때, 훨씬 더 풍부한 센서 구성을 사용하는 시스템보다 뛰어난 성능을 보였습니다. 이 연구를 바탕으로 작성된 논문은 CVPR 2026에 채택되었습니다.

데이터 병목과 수백만 시간의 미활용 영상

오늘날 자율주행 시스템을 구축하려면 비용이 많이 드는 라벨링 데이터가 방대한 양으로 필요합니다. 여기에는 3D LiDAR 스캔, 고정밀 지도, 수작업으로 어노테이션한 바운딩 박스, 그리고 숙련된 운전자의 주행 궤적 등이 포함됩니다. 이러한 데이터를 수집하는 과정은 시간이 오래 걸리고 비용이 많이 들며, 다양한 지역과 주행 환경으로 확장하기도 어렵습니다.

반면 인터넷에는 대시캠 영상이 넘쳐납니다. 매년 수백만 시간 분량의 대시캠 영상이 업로드되며, 전 세계의 다양한 도로와 날씨, 교통 상황, 그리고 운전 방식이 담겨 있습니다. 이러한 데이터는 무료로 이용할 수 있고 풍부하며, 실제 주행 환경의 복잡성을 그대로 담고 있습니다. 하지만 라벨은 전혀 없습니다. 깊이도, 자세도, 의미도 없습니다. 오로지 원시 픽셀 데이터만 있을 뿐입니다.

라벨이 없는 데이터를 활용한 대규모 사전 학습은 이미 자연어 처리와 컴퓨터 비전 분야를 크게 변화시켰습니다. 그렇다면 자율주행도 마찬가지일까요? LFG는 이렇게 묻습니다. 정해지지 않은 자연 환경 영상으로부터 기하 구조와 움직임, 장면 이해를 학습하고, 그 지식을 활용해 더 나은 자율주행을 구현할 수 있을까요?

모델은 어떻게 라벨 없는 영상으로 학습할까요?

LFG는 연속된 여러 개의 대시캠 프레임을 입력으로 받아, 현재 시점과 이후 시점에 대한 다양한 출력을 생성합니다.

• 3D 구조: 각 시점에서 재구성한 고밀도 3D 장면
• 카메라 모션: 차량의 진행 방향과 움직임
• 장면 의미 정보: 장면을 구성하는 요소(도로, 차량, 보행자, 하늘, 건물 등)
• 신뢰도: 각 예측의 신뢰 수준
• 모션 마스크: 장면에서 독립적으로 움직이는 객체(다른 차량, 보행자)와 정적인 배경을 구분하는 마스크

이 과정에는 Ground Truth 라벨이 전혀 필요하지 않습니다. 대신 시스템은 ‘교사-학생(teacher-student)’ 학습 방식을 사용합니다. 특정 작업에 강점을 가진 여러 기존 모델이 라벨이 없는 영상에 의사 지도를 제공하는 역할을 합니다. 하나의 교사 모델은 3D 기하 구조를, 다른 교사 모델은 장면 의미 정보를, 또 다른 교사 모델은 움직이는 객체를 탐지하고 추적하는 정보를 제공합니다. 학생 모델은 각 영상 클립의 처음 몇 개 프레임만 보는 반면, 교사 모델은 전체 시퀀스를 모두 봅니다. 이를 통해 모델은 다음에 일어날 일을 예측하도록 학습하게 만듭니다.

전체 시스템은 다양한 도로와 주행 환경, 교통 상황을 담은 공개 주행 영상에서 추출한 약 200만 개의 영상 클립으로 학습되었습니다.

미래를 더 잘 이해하기

• 미래를 내다보기: LFG는 앞으로 몇 개 프레임에 걸쳐 장면이 어떻게 변화하는지를 예측하도록 학습합니다. 의미론적 분할에서는 미래 프레임에서도 교사 모델보다 더 뛰어난 성능을 보입니다. 교사 모델은 실제 이미지를 입력받았지만, LFG는 이를 보지 않고 예측해야 했음에도 불구하고 이러한 결과를 달성했습니다. 깊이 추정에서도 미래 프레임을 예측한 경우를 포함해 교사 모델과 거의 동일한 성능을 보였습니다.

• 모션 이해하기: LFG는 움직이는 객체와 정적인 배경을 구분하도록 학습합니다. 이는 안전한 자율주행을 위한 핵심역량 입니다. 또한 자동 라벨링 파이프라인이 잘못 판단하는 경우에도 움직이는 차량과 보행자를 정확하게 식별합니다.

• 적은 라벨로 더 나은 계획 수립하기: 주행 표현의 진정한 가치는 차량이 안전한 주행 궤적을 계획하는 데 얼마나 도움이 되는지로 판단할 수 있습니다. NAVSIM 계획 챌린지에서 LFG는 라벨링 데이터의 10%(81.4 PDMS)만 사용하고도 다른 사전 학습 인코더가 전체 데이터셋으로 달성한 성능과 동등한 수준을 보였습니다. 모든 라벨을 사용했을 때는 PDMS 85.2를 기록했으며, 단일 전방 카메라만 사용했음에도 UniAD와 Hydra-MDP 같은 다중 카메라 및 LiDAR 기반 시스템보다 더 뛰어난 성능을 보였습니다.

LFG는 라벨이 없는 원시 주행 영상을 활용한 대규모 사전 학습만으로도 더 뛰어난 성능과 높은 데이터 효율성을 갖춘 자율주행 시스템을 구현할 수 있음을 보여줍니다. 인터넷에 공개된 주행 영상을 학습에 활용함으로써, 기존 접근법의 가장 큰 제약이었던 데이터 병목 문제를 피할 수 있습니다.

본 문서는 정보 제공만을 목적으로 작성되었습니다. 본 문서의 어떠한 내용도 온라인에서 제공되는 영상 또는 기타 콘텐츠 (본 문서에서 언급되거나 예시로 사용된 영상을 포함)에 대한 사용 라이선스, 권리 또는 허가를 Applied Intuition, Inc. (이하 “Applied”)가 승인, 부여 또는 표명하는 것으로 해석되어서는 안 됩니다. 해당 영상을 사용하려는 모든 사람은 적용되는 라이선스 조건을 직접 확인하고, 적절한 권리 소유자로부터 필요한 모든 권리, 허가 및 승인을 직접 취득할 책임이 있습니다. Applied는 이러한 영상의 사용 또는 본 문서의 내용에 대한 의존으로 인해 발생하는 모든 책임을 명시적으로 부인합니다.