자율주행 시스템의 미래를 이끌 3가지 AI 연구 분야

자동차 산업은 AI를 자율주행 기술에 접목하며 빠르게 발전하고 있습니다. 이를 통해 자율주행 시스템의 확장성, 일반화 성능, 그리고 안정성이 크게 향상되고 있습니다. 또한 자율주행 기술이 고도화될수록, 다양한 주행 환경에서 시스템을 효과적으로 학습·시험·검증할 수 있는 새로운 접근 방식에 대한 요구도 더욱 커지고 있습니다.

최근 생성형 AI와 머신러닝 기술의 발전은 자율주행 산업 전반에 새로운 패러다임 전환을 이끌고 있습니다. 이러한 변화는 차량에 탑재되는 자율주행 소프트웨어 스택뿐만 아니라, 데이터 수집·학습·검증으로 이어지는 개발 파이프라인 전반에도 영향을 미치고 있습니다. 대규모 데이터와 첨단 컴퓨팅 기술을 기반으로 한 이러한 혁신은 개발 효율을 높이고 자율주행 시스템의 성능과 활용 범위를 한층 확장할 것으로 기대됩니다.

이번 글에서는 자율주행 기술의 미래를 이끌 핵심 연구 분야 세 가지를 살펴보겠습니다.

미분 가능 자율 주행 스택을 위한 멀티 모달 파운데이션 모델

자율주행 스택은 기존의 인지(Perception), 예측(Prediction), 계획(Planning) 모듈을 통합하며, 점차 데이터 중심의 엔드투엔드(end-to-end) 학습 방식과 미분 가능한 아키텍처로 발전하고 있습니다. 그러나 이러한 미분 가능 스택이 인터넷 규모의 방대한 데이터를 효과적으로 활용하면서도, 다양한 환경에 대한 일반화 성능을 높이고 주행 의사결정의 근본적인 이유를 설명할 수 있도록 만드는 것은 여전히 중요한 과제로 남아 있습니다.

이러한 과제를 해결할 수 있는 유망한 접근법으로 언어 모달리티를 활용한 다중모달 기초 모델(MMFM)이 주목받고 있습니다. MMFM은 시각 정보와 언어를 비롯한 다양한 모달리티를 통합해 대규모 인터넷 데이터와 주행 데이터를 학습함으로써, 기존 시스템이 어려움을 겪던 예외적 상황에 보다 효과적으로 대응할 수 있습니다. 또한 인간의 사고 과정과 유사한 방식으로 의사결정을 수행할 수 있어, 자율주행 시스템의 해석 가능성과 신뢰성을 높이는 데 기여합니다.

결과적으로 MMFM은 미분 가능 스택의 강점을 유지하면서도 일반화 성능과 의사결정 능력을 한층 향상시킬 수 있는 기술로, 차세대 자율주행 시스템의 핵심 요소로 주목받고 있습니다.

생성형 AI를 활용한 폐쇄 루프 시뮬레이션 및 데이터 엔진

미분 가능한 자율주행 스택을 효과적으로 학습하고 검증하기 위해서는 폐쇄 루프(closed-loop) 환경에서 높은 수준의 시각적 현실감과 행동 현실감을 제공하는 시뮬레이션 툴체인이 필수적입니다. 이러한 툴체인은 주변 도로 이용자의 반응형 행동을 생성하고, 다양하면서도 현실적인 주행 시나리오를 생성·수정하며, 다중모달 센서 데이터를 합성하는 기능까지 지원해야 합니다.

이러한 요구를 확장 가능하고 자동화된 방식으로 충족하기 위해, 생성형 AI와 3D 재구성 기술이 시뮬레이션 환경에 빠르게 도입되고 있습니다. 이를 통해 시뮬레이션 콘텐츠 생성은 기존의 수작업 중심 방식에서 데이터 기반·AI 중심 방식으로 전환되고 있으며, 보다 풍부하고 현실적인 가상 환경을 효율적으로 구축할 수 있게 되었습니다.

또한 이러한 반응형 데이터 생성 기술과 결합된 멀티모달 파운데이션 모델(MMFM)은 실제 주행 데이터의 선별, 분석, 활용 과정에서도 높은 잠재력을 보여주고 있습니다. 이는 데이터 엔진과 시뮬레이션 툴체인의 구축을 더욱 자동화하고 효율화하여, 자율주행 시스템 개발의 속도와 확장성을 크게 향상시킬 것으로 기대됩니다.

폐쇄 루프 환경에서 자율 주행 스택의 강화 및 정렬

미분 가능한 자율주행 스택을 위한 모방 학습(Imitation Learning) 기반의 사전 학습은 실제 주행 데이터와 운전자 행동 시연을 포함한 대규모 데이터셋을 효과적으로 활용할 수 있습니다. 그러나 학습 데이터에 포함되지 않은 새로운 상황(out-of-distribution case)에 대응하고, 충분한 시연 데이터가 존재하지 않는 다양한 주행 요구사항까지 충족할 수 있도록 시스템을 더욱 견고하고 정교하게 발전시키는 것은 여전히 중요한 과제로 남아 있습니다.

이러한 한계를 극복하기 위한 유망한 접근법으로 폐쇄 루프(closed-loop) 환경에서의 강화학습이 주목받고 있습니다. 강화학습은 기존에 수집된 데이터를 넘어 새로운 경험을 통해 자율주행 스택의 성능을 지속적으로 향상시킬 수 있는 가능성을 제공합니다. 동시에 인간의 선호와 실제 운전 행동에 부합하는 보상 체계를 설계하는 것 역시 중요한 연구 과제로 떠오르고 있습니다.

최근에는 명시적으로 정의된 보상 함수에 의존하지 않고, AI가 시행착오를 통해 스스로 학습할 수 있도록 하는 새로운 접근법도 활발히 연구되고 있습니다. 이러한 기술은 자율주행 시스템의 적응력과 일반화 성능을 높이는 동시에, 보다 자연스럽고 인간 중심적인 주행 의사결정을 가능하게 할 것으로 기대됩니다.

Applied Intuition의 접근 방식

Applied Intuition은 업계를 선도하는 파트너들과 협력하며 자율주행 스택, 차량 소프트웨어, 그리고 자율주행 개발 플랫폼의 혁신을 이끌고 있습니다. 또한 고객에게 최고의 제품과 솔루션을 제공하기 위해 AI 기술 발전에 지속적으로 투자하고 있습니다.

자율주행 시스템의 미래를 이끌 차세대 AI 연구를 가속화하기 위해 Applied Intuition은 최근 Chief Scientist로 합류한 Wei Zhan을 비롯해 세계적 수준의 AI 연구팀을 구축하고 있습니다. Wei Zhan은 현재 Berkeley DeepDrive의 공동 디렉터도 맡고 있으며, 연구팀은 다양한 출처에서 수집되는 대규모 데이터를 활용해 견고하고 양산 가능한 자율주행 솔루션을 개발하고 있습니다. 특히 언어, 비전, 그리고 다양한 모달리티를 통합하는 멀티모달 파운데이션 모델(MMFM)과 확장 가능한 미분 가능한 자율주행 스택 구축에 집중하고 있습니다.

또한 Applied Intuition의 업계 최고 수준 시뮬레이션 툴체인에 최첨단 3D 재구성 기술과 생성형 AI를 결합하여, 높은 정확도와 사용 편의성, 확장성, 제어성을 갖춘 차세대 폐쇄 루프(closed-loop) 시뮬레이션 및 데이터 엔진을 개발하고 있습니다.

실제 도로 환경에서 안전하게 작동하는 완전 자율주행 시스템을 구현하기 위해서는 지속적인 기술 혁신과 다양한 기술의 유기적인 통합이 필수적입니다. Applied Intuition은 폐쇄 루프 시뮬레이션과 언어 통합 자율주행 스택에 대한 연구를 통해 이러한 비전을 현실로 만들어가고 있습니다.

Wei Zhan은 다음과 같이 말했습니다.

“자율주행 기술 발전의 핵심은 현실 세계와 AI 시스템 전반에서 생성되는 방대한 멀티모달 데이터를 효과적으로 활용하는 데 있습니다. 현재 우리의 연구는 이러한 데이터를 생성하고, 이를 차세대 확장 가능하고 안전한 자율 시스템을 위한 실질적인 자산과 실행 가능한 인사이트로 전환하는 데 초점을 맞추고 있습니다.”

Applied Intuition의 AI 연구팀과 함께 자율주행의 미래를 만들어갈 기회에 관심이 있다면, 채용 페이지 에서 현재 모집 중인 포지션을 확인해 보시기 바랍니다.