자율 주행 덤프트럭의 ‘눈’은 무엇인가? Applied Intuition SDS의 센서 스택

자율 주행 운반 트럭이 건설 현장이나 채석장을 주행하는 환경은 일반 도로와는 매우 다릅니다. 차선도 없고, 도로 경계를 구분하는 연석도 없으며, 참고할 수 있는 교통 표지판도 존재하지 않습니다. 대신 흙둑과 끊임없이 변화하는 적재·하역 구역, 정비되지 않은 운반 도로, 그리고 크기와 형태, 재질이 모두 다른 다양한 장애물이 주변을 둘러싸고 있습니다.

이처럼 복잡하고 비정형적인 환경에서 운반 트럭을 안전하게 주행시키기 위해서는 결국 ‘지각(Perception)’이 핵심 과제가 됩니다. 현장마다 지형과 운영 방식, 환경 조건이 모두 다르기 때문에 모든 상황에 적용할 수 있는 단일 센서 구성은 존재하지 않습니다. 이러한 이유로 많은 기존 시스템은 이 문제를 근본적으로 해결하기보다, 실제 환경을 인식하는 온보드 지각 기능 대신 GPS 기반의 단순 웨이포인트 추종 방식에 의존해 왔습니다.

운전자는 운전석에서 전방의 주행 경로와 측면의 흙둑, 먼지 속에서 희미하게 보이는 운반 도로의 흔적 등을 직관적으로 인식합니다. 반면 첨단 센서를 탑재한 자율 주행 트럭은 그 이상의 정보를 활용합니다. 센티미터 수준의 정밀한 위치 정보, 비나 야간 환경에서도 안정적으로 작동하는 360도 포인트 클라우드 데이터, 그리고 초당 수백 회 업데이트되는 관성 측정 데이터(IMU) 등을 통해 주변 환경을 더욱 정확하게 이해합니다.

Applied Intuition의 센서 스택은 이러한 정보를 바탕으로 주변 환경을 인식하고 차량의 안전한 주행을 지원합니다.

단일 센서만으로는 불충분

Applied Intuition의 인식 스택은 라이더(LiDAR), 카메라, 레이더 등 세 가지 센서 모달리티를 병렬로 활용합니다. 각각의 센서는 고유한 강점과 한계를 가지고 있으며, 어느 하나만으로는 광산이나 건설 현장과 같은 복잡한 환경을 안정적으로 인식하기 어렵습니다. 하지만 이들을 함께 활용하면 각 센서의 약점을 상호 보완하며 더욱 견고한 인식 성능을 구현할 수 있습니다.

라이더는 인식 시스템의 핵심적인 기반이 되는 센서입니다. 차량 주변을 360도로 고해상도 스캔하며, 각 반사 신호에는 물체의 반사 특성을 나타내는 강도 정보가 포함됩니다. 경로 상에 있는 운반 트럭이나 굴착기와 같은 대형 장비는 일반적으로 강한 반사 신호를 생성합니다. 그러나 일부 소재는 입사된 빛을 반사하기보다 흡수하는 특성을 가지기 때문에, 반사 신호가 매우 약하거나 아예 검출되지 않을 수 있습니다. 이 경우 시스템이 해당 물체를 장애물로 인식하지 못할 가능성이 존재합니다.

카메라는 이러한 한계를 보완하는 역할을 합니다. 카메라가 수집한 시각 정보는 인식 스택에 입력되어, 라이더의 거리 및 강도 정보만으로는 얻기 어려운 풍부한 환경 정보를 제공합니다. 이는 모든 장애물이 동일한 위험도를 가지지 않기 때문에 특히 중요합니다. 예를 들어 사람과 충돌하는 경우와 바위에 충돌하는 경우는 결과와 대응 방식이 본질적으로 다릅니다. 객체의 종류를 구분하지 못하는 시스템은 모든 상황을 최악의 시나리오로 가정할 수밖에 없으며, 이는 불필요하게 보수적인 주행으로 이어질 수 있습니다. 물론 카메라 역시 저조도 환경이나 악천후 상황에서 성능이 저하될 수 있습니다. 따라서 라이더와 카메라를 함께 사용함으로써 각 센서의 사각지대를 효과적으로 보완할 수 있습니다.

레이더는 라이더와 카메라가 상대적으로 취약한 영역인 동적 장애물의 감지와 추적을 담당합니다. 레이더는 도플러 효과를 활용해 물체의 방사속도를 직접 측정할 수 있으며, 이를 통해 시스템은 주변 객체가 차량과 충돌 경로를 형성하고 있는지 판단하는 데 필요한 정보를 확보합니다. 현재 레이더 하드웨어는 다수의 광산용 차량에 이미 적용되고 있지만, 레이더 데이터를 인식 모델에 효과적으로 융합하는 소프트웨어 기술은 아직 라이더 및 카메라 기반 인식 수준만큼 성숙하지 않은 상태입니다. 따라서 레이더의 완전한 통합은 여러 자율 주행 프로그램에서 앞으로 해결해야 할 과제로 남아 있습니다.

물론 레이더 역시 한계를 가지고 있습니다. 레이더 단면적(RCS)이 작거나 특정 형상을 가진 물체는 신호를 약하게 반사하거나 불안정한 반사 특성을 보일 수 있습니다. 그럼에도 불구하고 이동하는 객체의 속도를 직접 측정할 수 있다는 점은 레이더만의 독보적인 장점입니다. 인식 스택 내 다른 센서들은 객체의 속도를 추정할 수는 있지만, 레이더처럼 이를 직접 측정하지는 못합니다. 따라서 레이더는 자율 주행 시스템의 안전성과 상황 인지 능력을 한층 강화하는 중요한 역할을 수행합니다.

이러한 센서 구성을 완성하는 것은 차량의 위치와 움직임을 측정하는 위치 추정 센서들입니다. 대표적으로 GNSS/INS, 관성측정장치(IMU), 휠 엔코더 등이 있습니다. 이들 센서는 주변 장애물을 직접 감지하지는 않지만, 차량이 감지한 모든 객체의 위치를 차량 기준 좌표계에서 정확하게 해석할 수 있도록 지원합니다. 다시 말해, 차량이 현재 어디에 있으며 어떻게 움직이고 있는지를 시스템에 알려주는 역할을 담당합니다.

최고의 센서로 시작한 뒤 최적화

Applied Intuition의 개발 철학은 가장 신뢰할 수 있는 고성능 센서를 기준점으로 삼는 것에서 출발합니다. 초기 개발 단계에서 최고 수준의 센서 데이터를 활용하면 알고리즘 성능을 평가할 때 센서 자체가 변수로 작용하는 문제를 배제할 수 있기 때문입니다.

이를 통해 위치 추정, 인식, 경로 계획, 제어 알고리즘을 개발하는 엔지니어들은 정확하고 일관된 입력 데이터를 기반으로 개발에 집중할 수 있습니다. 이후 알고리즘의 성능이 충분히 검증되면, 실제 적용 환경의 요구사항에 맞춰 하드웨어 구성을 최적화하고 비용 효율성을 높입니다.

이러한 접근 방식은 라이더 선정뿐 아니라 위치 추정 장비에도 동일하게 적용됩니다. 우선 가장 정밀한 측정 장비를 사용해 알고리즘을 완성한 뒤, 실제 애플리케이션이 요구하는 성능 수준을 충족하면서도 비용을 절감할 수 있는 하드웨어 구성을 검토하는 것입니다.

궁극적인 목표는 적응형 경로 계획

기존의 많은 자율 주행 시스템은 불확실성이 발생하면 정지하는 방식으로 대응합니다. 인식 시스템의 신뢰도가 일정 수준 이하로 떨어지면 가장 보수적인 선택인 정지를 수행하는 것입니다.

Applied Intuition의 접근 방식은 다릅니다. 이 시스템은 불확실성을 단순히 ‘인식 성공’ 또는 ‘인식 실패’로 구분하지 않습니다. 대신 다양한 실제 환경 데이터를 기반으로 학습된 모델을 활용해 주변 상황과 가능한 행동에 대한 확률적 해석을 수행합니다.

여러 센서 모달리티에서 수집된 데이터를 융합한 뒤 머신러닝 추론 파이프라인을 거치면, 경로 계획기는 수천 개의 후보 궤적을 동시에 평가할 수 있습니다. 이 과정에서는 안전성, 작업 진행성, 차량의 동적 제약 조건 등을 종합적으로 고려하는 학습 기반 비용 함수(cost function)가 활용됩니다. 그 결과 시스템은 단순히 장애물 앞에서 정지하는 대신, 안전하게 우회할 수 있는 경로를 찾아 주행을 지속할 수 있습니다.

이러한 접근 방식은 뛰어난 일반화 성능으로 이어집니다. 충분한 수의 극한 상황을 학습한 모델은 운영 환경에서 처음 마주하는 상황에 대해서도 적절하게 대응할 수 있으며, 불확실성이 발생할 때마다 정지하는 방식에 의존하지 않습니다.

궁극적으로 Applied Intuition이 추구하는 목표는 실제 운영 환경에서 발생하는 시나리오의 99%를 자율적으로 처리하는 것입니다. 그리고 나머지 1%에 대해서는 현재의 센서와 모델이 신뢰성 있게 대응할 수 있는 범위를 넘어서는 상황으로 정의하고, 이를 위한 명확한 완화 전략을 마련하는 데 있습니다.