주어진 ODD에서 도메인 커버리지를 사용하여 자율 주행 시스템의 성능 측정
2020-06-04
성능 범위 측정은 자율 주행 시스템(ADS)의 준비 상태를 이해하는 데 중요합니다. 그러나 준비 상태의 관련 지표를 정확하게 정의하고 측정하는 것은 어렵습니다. 또한 자율 주행 차량 스택이 L4/5 자율성으로 성숙함에 따라 많은 시나리오로 인해 측정 지표 및 방법론을 조정해야 할 수 있습니다. 이 게시물에서 Applied Intuition 팀은 현재 사용되는 커버리지 메트릭, 일반적인 문제 및 도움이 될 수 있는 ODD 기반 도메인 커버리지 접근 방식에 대한 통찰력을 공유합니다.
ADS는 실제 환경에서 수많은 상황에 직면 할 수 있는 엄청난 차이를 안전하게 탐색해야 하기 때문에 완전히 상업적으로 준비된 시스템을 구축하는 것은 어려운 작업입니다. "적용 범위"는 ADS의 개발 진행 상황을 나타내기 위해 광범위하게 사용되며 "언제 안전 드라이버를 제거 할 수 있습니까?" 또는 "소프트웨어 업데이트 후 ADS는 어떻게 작동합니까?"와 같은 질문을 해결합니다. 업계 전반에 걸쳐 기업들은 도메인 커버리지 또는 커버리지 목표를 향한 진행 속도를 정량화 할 수 없는 경우 구축에서 얼마나 멀리 떨어져 있는지 정확히 알기 어렵기에 예상되는 자율 주행 차량 구축 일정을 조정하고 있습니다. 그렇기에 이 주제에 대한 공유 산업 지식이 긴급히 필요합니다.
일반적으로 허용되는 "커버리지"의 정의가 없기 때문에 적용 범위를 수량화하는 것은 어려운 일입니다. 적용 범위는 안전, 유용성, 상황 유형 및 교통 참가자 유형과 같은 다양한 차원을 포함해야 합니다. 더 많은 ADS 개발 회사들이 자율 시스템의 상업적 준비 상태를 평가하기 위해 VSSA (Voluntary Safety Self-Assessments)를 게시하고 있습니다. 그러나 FMVSS와 같은 연방 표준은 발전하고 있는 레벨 4+ 자율 기술을 반영하도록 업데이트되지 않았습니다. 그 결과, 산업 전반에 걸친 커버리지를 측정하기 위한 현재의 방법론이 점점 더 다양해지고 있습니다. 또한 정의는 어플리케이션 도메인(예: 장거리 자율 주행 트럭 대 인도 배달 로봇) 및 자율 주행 차량 스택의 성숙도(예: 울타리가 없는 지역에서 초기 실제 테스트 또는 비즈니스 구역에서 보호되지 않은 좌회전 완성)에 따라 다릅니다.
소프트웨어 엔지니어링에서 커버리지는 일반적으로 일련의 자동화된 단위 또는 통합 테스트에 의해 프로그램의 소스 코드가 실행되는 정도로 이해되고 정의됩니다. 개발자가 회귀에 대해 얼마나 철저히 보호하고 있는지를 정량화하는 내부 측정입니다.
요구 사항 범위는 ADS가 충족하는 기능 및 성능 요구 사항의 수를 측정합니다. 올바른 도구를 사용하면 프로그램에서 요구 사항이 테스트로 변환되는 방식을 추적 할 수 있는 핵심 메트릭입니다. 이러한 요구 사항을 추적하고 테스트하기 위해 전통적으로 많은 도구가 업계에서 사용되었습니다. 여기서 가장 큰 가정은 사용자가 ISO 26262와 같은 기능 안전 표준을 준수하기 위한 올바른 요구 사항 집합을 포착했으며 모든 상황에서 미리 시스템 기능을 정확하게 정의했다는 것입니다.
시나리오 범위는 자율 시스템이 탐색 할 수 있는 사전 정의 된 시나리오의 수를 측정합니다. 이러한 유형의 적용 범위에는 지도, 어플리케이션 및 특정 소프트웨어 버전 목표와 같은 다양한 고려 사항이 포함될 수 있습니다. 시나리오 범위는 요구 사항 범위와 유사하게 비교적 쉽게 배치할 수 있지만, 올바른 항목이 테스트되고 있다고 가정하는 점이 다릅니다. 시나리오(매개 변수 변형 포함)를 표현하고 조합 공간을 탐색 할 수 있는 적절한 도구를 사용하면 시나리오 적용 범위가 ADS 소프트웨어 품질 향상을 위한 강력한 원인이 될 수 있습니다.
그러나 잘못 사용하면 요구 사항 및 시나리오 커버리지 메트릭이 잘못된 보안 감각을 만들 수 있습니다. 고려해야 할 요구 사항이 수없이 많다는 점과 시나리오와 실제 세계와 ADS의 복잡성이 문제가 될 수 있습니다. 자율 시스템의 동작에 대한 다른 트래픽 참가자의 반응은 처리해야 하는 변수 조합이 어마어마하게 많아지게 합니다. ADS가 고립된 시나리오(예: 빈 도로에서 무단 횡단 보행자 앞에서 감속)에서 잘 작동하더라도 시나리오에서 에이전트 간의 상호 작용으로 인해 발생할 수 있는 잠재 코너 케이스 수는 엄청납니다.
이를 설명하기 위해 좌회전 시나리오의 구체적인 예를 살펴 보겠습니다. 이 시스템은 도로를 건너는 보행자 앞에서 회전 각도, 속도 및 제동과 같은 다양한 차량 매개 변수 변화에 대해 평가할 수 있습니다. ADS 앞에 있을 수 있는 다양한 유형의 보행자 및 기타 VRU (취약한 도로 사용자)도 있습니다. 시스템은 VRU의 다양한 유형, 숫자 및 반응 동작을 처리해야 합니다. ADS가 각 VRU를 인식하는 시기도 새로운 코너 케이스를 도입할 수 있기 때문에 중요합니다. 무엇보다 맵의 각 교차점은 서로 다른 지오메트리를 가지며 구성 가능한 매개 변수를 기반으로 변수를 테스트해야 합니다. 변수의 예는 그림 1에 나와 있습니다.
이러한 가능한 시나리오의 폭발적 수는 기존 수학에서 '차원의 저주'로 잘 알려져 있습니다. 각각의 새로운 매개 변수가 공간을 완전히 샘플링하기 위해 실행해야 하는 총 테스트 수를 대략적으로 기하급수적으로 증가시키기 때문입니다. 이를 해결하기 위한 몇 가지 접근 방식이 있지만 일반적으로 ADS에 직접 적용되지는 않습니다. 연속 현상에 대한 일반적인 접근 방식 중 하나는 전체 도메인의 작은 하위 섹션을 샘플링하여 시스템의 목표 속성을 이해하는 것입니다. 그러나 ADS 실패는 본질적으로 비연속적이며 적용 범위에 대한 수학적 증거가 없습니다. 또 다른 접근 방식은 파생된 수학적 관계를 통해 차원 수를 줄이는 것이지만 ADS 시나리오에서 대부분의 매개 변수는 서로 독립적입니다. 결과적으로, 매개 변수 변동을 효과적으로 샘플링하는 모범 사례는 현재까지 존재하지 않습니다.
복잡성에 더해, 이전에 예상하지 못했던 요구 사항을 기존 테스트세트와 통합해야 하므로 변형의 수가 더욱 늘어납니다. 다양한 운전 상황은 요구 사항과 상호 작용하는 행동의 조합입니다. SOTIF 기능 안전 표준은 광범위한 위험 평가를 통해 이러한 문제를 해결하려고 시도하지만 커버리지 측정을 위해서는 보다 체계적인 접근 방식이 필요합니다. 이러한 모든 문제로 인해 ADS 적용 범위에 대한 공통 메트릭에 대한 합의가 이루어지지 않았습니다.
공통 적용 범위 정의의 필요성과 현재 접근 방식의 한계를 감안할 때 도메인 적용 범위라고 하는 보다 포괄적인 접근 방식을 업계에서 사용할 수 있어야 합니다. 도메인 커버리지는 기본 운영 설계 도메인(ODD)에서 직접 측정됩니다. 주요 맹점은 ODD를 진화하는 요구 사항 및 테스트 시나리오 정의에 연결하여 ADS가 해당 도메인에 배포 할 준비가 되었는지 프로그램이 측정 할 수 있도록 하는 것입니다. 이러한 요구 사항 중 일부는 글로벌(예: 보행자를 치지 않음), 특정 시나리오 세트(특히 회귀 테스트 또는 AV 하위 시스템의 코너 케이스 발견)에 적용됩니다. 이러한 요구 사항과 시나리오는 ODD에 의해 제한되지 않는 한 지도의 특정 위치 (예 : 교차로) 또는 특정 도시와 독립적이어야 합니다. 마지막으로 측정에는 실제 및 시뮬레이션 테스트의 결과가 모두 포함되어야 하며 자동화 된 방식으로 가능한 한 빨리 메트릭 및 테스트에 연결되어야 합니다.
도메인 커버리지는 ODD에서 시스템의 목적을 기반으로 한 맞춤형 '운전 테스트'로 생각할 수 있습니다. ODD의 특정 속성에 대해 업계 참여자와 규제 기관은 더 정확한 요구 사항과 테스트 시나리오를 정의할 수 있습니다. 필요한 범위는 운영 설계 범위의 모든 개별 요소의 합계입니다.
이 접근 방식은 의미있는 커버리지 측정을 표준화하는데 도움이 되지만 몇 가지 과제가 남아 있습니다.
일반적으로 사용되는 잠재적인 새로운 접근 방식의 한계에도 불구하고 현재 도구는 ADS 개발자가 알려진 공간이 얼마나 많이 샘플링되었는지 이해하는 데 여전히 상당한 영향을 미칠 수 있습니다. 특히, 시나리오 테스트 스위트를 기반으로 도메인 커버리지를 설명하려면 기능 안전 요구 사항을 시나리오 커버리지에 연결하는 것이 중요합니다. 샘플은 그림 2에 나와 있으며 시나리오 범위는 다양한 요구 사항 차원에서 볼 수 있습니다. Applied Intuition은 업계 파트너와 협력하여 개발자가 자율성 목표를 향한 범위 및 진행 상황을 측정할 수 있도록 지원하는 강력한 분석 및 시각화 도구를 구축했습니다.
자율 산업은 기술을 배포할 준비가 되었는지 여부를 평가하기 위해 적용 범위를 측정하는 방법이 긴급히 필요하지만 현재 접근 방식으로는 충분하지 않습니다. ODD 기본에 기반한 접근 방식이 이상적이지만 기술적 인 문제가 남아 있습니다. 그 동안 올바른 도구를 사용하면 개발자가 다음 초점 영역을 식별하여 자율 목표에 더 빨리 도달할 수 있습니다. Applied Intuition은 도메인 전문 지식과 실제 자율 개발에서 수년 간의 경험을 바탕으로 구축된 도구와 인프라를 제공하여 전 세계 ADS 팀을 위한 주요 워크 플로우를 지원합니다.
.webp)
.webp)
