자율주행 차량 개발 향상: 효율적인 테스트 및 검증을 위한 로그 기반 합성 시뮬레이션의 역할

자율주행차(AV) 기술의 빠른 속도로 업계 관계자들은 비용과 시간의 제약을 준수하면서 다양한 실제 조건에서 포괄적이고 신뢰할 수 있는 AV 시스템 검증을 보장해야 하는 복잡한 과제를 안고 있습니다. 이에 따라 합성 및 로그 기반 시뮬레이션 기술 통합이 필수적인 것으로 입증되고 있습니다. 시뮬레이션을 사용하면 다양하고 통제된 가상 환경에서 AV 시스템을 면밀하게 테스트할 수 있어 도로에 출시하기 전, 기술의 예측 가능성과 안전성을 높일 수 있습니다. 로그 기반 테스트는 통제된 시뮬레이션 환경 내에서 실제 데이터를 사용하여 AV 시스템을 엄격하게 검증할 수 있으므로 배포 전에 이러한 기술의 신뢰성과 안전성을 향상시킬 수 있습니다.

이러한 위험성이 높은 환경에서는 자율주행 기술에 대한 대중의 신뢰를 저해할 수 있는 잠재적인 지연, 과도한 비용, 안전 문제를 피하면서 일상적인 주행의 예측 불가능성을 탐색할 수 있는 효과적인 검증 솔루션이 필요합니다. 실제 주행 데이터를 상세한 시뮬레이션으로 변환하는 로그 추출은 이 과정에서 중요한 역할을 합니다. 합성 프레임워크 내에서 실제 시나리오를 복제하여 보다 역동적이고 효율적인 테스트 주기를 구현할 수 있습니다.

이 블로그 게시물에서는 실제 데이터의 물리적 정확성과 합성 시뮬레이션의 확장성을 결합하여 테스트 프로세스의 효율성과 철저함을 모두 향상시키는 강력한 검증 접근 방식을 살펴봅니다.

AV 개발에서 로그 추출의 역할

시뮬레이션은 자율 시스템을 개발하는 데 중요한 도구입니다. 그러나 시뮬레이터를 프로덕션에 효과적으로 사용하려면 시나리오에 대한 설명과 함께 매개변수를 설정해야 합니다. 자율주행 개발자는 로봇 시스템에서 수집한 실제 데이터(로그)에 액세스할 수 있는 경우가 많습니다. 이러한 로그는 주로 로그 재시뮬레이션(개발 중 스택을 테스트하기 위해 로그된 데이터를 재생하는 것)과 시나리오 추출에 사용되어 시뮬레이션 테스트의 실제 충실도를 높이고 사용자가 실제 데이터에서 시나리오를 파라미터화할 수 있게 해줍니다. 로그 추출은 실제 데이터에서 합성 시뮬레이션 환경으로 전환하는 데 중추적인 역할을 합니다. 이 프로세스에는 시뮬레이션으로 드라이브 로그 데이터를 상세하게 추출한 다음 AV 개발 초기 단계에서 시뮬레이션 프레임워크에 통합하는 작업이 포함됩니다. 이를 통해 팀은 데이터를 수정하고 보강하여 롱테일 조건을 효과적으로 해결할 수 있습니다. 

로그 추출의 주요 이점

로그 추출을 시나리오 생성에 통합하면 상당한 이점을 얻을 수 있습니다:

• 테스트 형식의 표준화: 자율주행 소프트웨어가 발전함에 따라 다양한 로그 형식 간에 호환성을 유지하는 것이 어려워지고 있습니다. 실측 시나리오 설명을 기반으로 시뮬레이션하면 여러 소프트웨어 세대에 걸쳐 로그를 사용할 수 있어 장기적인 사용성을 향상시킬 수 있습니다.
• 하드웨어 변경 적응성: 센서 기술이 발전함에 따라 기업은 종종 새로운 센서로 업그레이드하거나 기존 센서를 재배치하는데, 이로 인해 과거 로그의 관련성이 떨어지거나 호환되지 않을 수 있습니다. 로그 추출 프로세스에 유연성을 통합하여 하드웨어 구성의 변화를 수용하면 여러 세대의 하드웨어에서 로그를 유용하게 사용할 수 있으므로 일관된 테스트 관련성을 보장하고 빈번한 재보정의 필요성을 줄일 수 있습니다.
• 향상된 사실감: 실제 장면을 추출하면 시뮬레이션이 실제 주행 조건을 반영하여 합성 시뮬레이션을 괴롭히는 도메인 간 격차 해소에 도움됩니다.
• 비용 효율성: 로그 추출은 광범위한 데이터 수집과 수동 시나리오 생성의 필요성을 줄임으로써 개발자가 수집한 데이터를 최대한 활용 가능하여 테스트 및 개발 관련 비용을 크게 낮춥니다. 또한 로그 추출은 합성 시나리오를 수동으로 생성하는 것에 비해 시간을 절약할 수 있습니다.
• 로그 증강을 통한 유연성: 추출된 로그는 다른 합성 시나리오와 마찬가지로 수정할 수 있으므로 수집된 단일 로그를 새롭고 효과적인 테스트 또는 교육 사례의 소스로 전환할 수 있습니다. 개발자는 추출된 합성 시나리오의 매개변수를 제어하여 테스트 사례를 퍼즈화하여 현실 세계에서는 볼 수 없는 무한한 에지 케이스에서 데이터를 생성할 수 있습니다. 

‍

‍

로그 추출에 대한 Applied Intuition의 고유한 접근 방식

Applied Intuition은 AV 개발에 대한 데이터 우선 접근 방식을 통해 로그 추출 프로세스를 재정의했습니다. 추출된 액터 동작을 부드럽게 처리하고, 로그를 표준 시나리오 형식으로 변환하고, 훈련 및 테스트를 위한 완전 합성 3D 환경을 추출 및 파라미터화하는 알고리즘을 개발함으로써 Applied Intuition은 시뮬레이션의 확장성과 현실감을 모두 보장합니다. 팀은 Log Sim을 활용하여 실제 데이터에서 매우 정확한 로그 재시뮬레이션 및 로그 추출을 수행할 수 있습니다. Object Sim, Sensor Sim , Synthetic Datasets를 사용하여 이러한 로그에서 새로운 오브젝트 및 센서 수준 시뮬레이션을 생성하여 새로운 시나리오를 테스트하고 교육하며 엣지 케이스를 다룰 수 있습니다. 사용자는 Data Explorer를 사용하여 드라이브 로그에서 수집한 관심 있는 3D 데이터를 시각화하고 추가로 분류할 수 있습니다. 또한 Data Explorer에 내장된 개방형 어휘 인식 모델과 함께 Applied Intuition Copilot을 활용하여 실제 로그에서 주요 이벤트를 식별한 다음 자동으로 추출할 수 있습니다.

‍

‍

이러한 접근 방식의 주요 특징은 다음과 같습니다:

• 사용자 지정 추출 설정: 사용자는 LogSim을 사용하여 객체 수준 시나리오, 센서 수준 세부 정보 또는 타사 형식 등 특정 검증 목표를 충족하도록 추출 설정을 조정할 수 있습니다. 사용자는 합성 시나리오에 추출할 액터, 객체 동작 및 행동 인텔리전스를 매개변수화하는 방법, 합성 시나리오에 최종적으로 포함할 데이터를 세밀하게 제어할 수 있습니다.
• 고급 소음 감소: 데이터 노이즈를 줄이기 위해 설계된 알고리즘은 효과적인 테스트에 중요한 더 깨끗하고 정확한 시뮬레이션 생성을 지원합니다. 
• 3D 세계 재현: 로그를 사용하여 3D 디지털 트윈을 추출한 다음, 고충실도 센서 시뮬레이션을 위한 Sensor Sim 또는 훈련 데이터 생성을 위한 합성 데이터 세트에서 사용할 수 있습니다.

‍

‍

사례 연구 및 적용 사례

방대한 양의 주행 데이터에서 시나리오를 추출하여 자율주행 프로그램이 다양한 개발 단계에서 재사용할 수 있는 독점적인 시나리오 라이브러리를 개발할 수 있도록 도와주는 Applied Intuition. 이 방법론은 검증 프로세스를 간소화할 뿐만 아니라 훈련을 통해 차량의 전반적인 안전성과 신뢰성을 향상시킬 수 있습니다.

최근 저희 팀이 진행한 연구에서는 자율주행차 기술에 필수적인 라이더 세분화에서 희귀한 클래스의 감지를 향상시키는 주요 발전 사항을 강조합니다. 이 연구는 목표 영역 적응과 합성 데이터 생성을 활용하여 자전거 타는 사람과 같이 흔하지 않은 도로 물체의 식별을 개선했습니다. 이 연구의 핵심은 실제 주행 데이터를 꼼꼼하게 추출하고 수정하여 매우 상세한 시나리오별 합성 데이터 세트를 생성하는 로그 추출 기법을 사용한 것입니다. 이 사례 연구에서는 우리 팀

• 실제 세계 데이터 세트인 nuScenes에서 정확한 3D 월드와 합성 시나리오를 추출했습니다.
• 추출된 시나리오에서 실사 기반 레이블이 지정된 합성 데이터를 생성하고 실제 씬과 합성 씬을 일치시켜 합성 데이터의 충실도를 반복적으로 개선했습니다.
• 추출된 합성 시나리오를 편집하고 퍼징하여 실제 데이터에서 취약한 도로 사용자(VRU)의 클래스 분포 불균형을 해결했습니다.
• 생성된 합성 데이터를 사용하여 기준 인식 모델을 재훈련하여 목표 계층에 대한 개선 사항을 연구합니다.

결과: 18% 개선이 방법론은 모델의 자전거 감지 능력을 18% 향상시켰고, 당시 이 클래스에 대한 nuScenes-lidarseg 벤치마크에서 가장 높은 점수를 기록했습니다. 또한 이 접근 방식은 이물질 감지 및 라이더 물체 감지와 같은 다른 드문 클래스와 작업에도 일반화할 수 있는 가능성을 보여주었습니다.이 연구는 로그 추출과 합성 데이터가 자율 주행 차량 기술의 특정 과제, 특히 희귀 클래스의 탐지를 향상시키는 데 어떻게 활용될 수 있는지를 보여주었습니다. 이러한 기능은 차량의 안전과 신뢰성을 향상시키는 데 매우 중요합니다. 또한 로그 추출을 사용하여 대규모 합성 데이터 세트를 생성하면 광범위한 실제 데이터 수집에 대한 의존도를 낮출 수 있어 개발 프로세스의 속도를 높이고 비용을 절감할 수 있습니다.이러한 기술이 실제로 작동하는 모습을 보려면 Applied Intuition에 연락하여 데모를 예약하고 Applied Intuition의 로그 추출 도구가 AV 개발 프로세스를 혁신하는 방법에 대해 자세히 알아보세요.