시뮬레이션은 여러 산업에서 엔지니어링 개발을 가속화하는 데 필수적인 도구입니다. 자율 주행 차량 시스템의 경우 시뮬레이션은 전통적으로 모션 계획 및 제어 알고리즘 테스트에 사용되었습니다. 재시뮬레이션은 도로 센서 데이터가 기록되고 다른 버전의 소프트웨어 스택에 대해 재생되어 성능을 테스트하는 인식 시스템 개발에 사용되었습니다. 그러나 이러한 시뮬레이션은 대부분 실제 드라이브에서 발생하는 시나리오로 제한되었습니다.
점점 더 중요해지고 있는 또 다른 유형의 시뮬레이션은 실제 도로 데이터를 거의 나타내는 고품질 합성 센서 데이터를 생성하는 것입니다. 온로드 데이터만 사용하는 문제는 ODD (Operational Design Domains) 전체에서 인식 모듈의 기능 가장자리에 도달하기 위해 막대한 양의 데이터를 수집하고 레이블을 지정해야 한다는 것입니다. 또한 인식 알고리즘은 사용 가능하고 기록 된 환경 및 조건 외부에서 실패하는 데이터에 적합합니다. 대조적으로, 합성 데이터는 빠르고 저렴하게 생성될 수 있으며, 시뮬레이션 환경의 기본 지식을 사용하여 주석이 자동으로 생성됩니다.
합성 인식 데이터 생성의 과제
처음에는 합성 센서 시뮬레이션이 명백해 보이지만 매우 어려운 작업입니다. 전 세계에 사실적인 합성 환경 (예: 샌프란시스코 또는 도쿄)을 만드는 것 외에도 각 센서 유형을 시뮬레이션하려면 기본 물리학에 대한 자세한 지식과 업계에서 사용하는 다양한 센서의 특성이 필요합니다. 시뮬레이션은 때때로 다른 애플리케이션의 경우 실시간보다 훨씬 느리게 실행될 수 있지만 자율 주행 차량 알고리즘은 거의 실시간 성능을 필요로 합니다. 이로 인해 다양한 사용 사례를 지원하기 위한 다중 충실도 시뮬레이션이 필요합니다.
각 센서를 모델링하기 위한 최선의 노력에도 불구하고 가까운 시일 내에 실제 데이터와 합성 데이터 사이에 도메인 갭이 있을 것으로 예상됩니다. 실제 센서 데이터에 대해 훈련되고 합성 센서 데이터 (실제-합성) 또는 그 반대(합성-실제)에서 테스트되는 인식 알고리즘은 실제-실제 또는 합성-합성 교육 및 테스트와는 다르게 수행됩니다. 이 도메인 차이는 시뮬레이션된 데이터에만 국한되지 않습니다. 캘리포니아 도로에서 하나의 센서 세트를 사용하여 훈련된 인식 알고리즘은 일반적으로 센서 세트가 다른 동일한 도로에서 제대로 작동하지 않습니다. 캘리포니아 도로에서 동일한 센서 세트를 사용하여 훈련된 알고리즘은 세계 다른 지역의 도로에서 테스트 할 때 성능이 저하될 수도 있습니다.
합성 3D 환경 만들기
엔터테인먼트 산업에서 수십 년간의 작업을 통해 환경 생성을 위한 많은 접근 방식이 개발되었습니다. 그러나 AV와 엔터테인먼트 환경에는 몇 가지 주요 차이점이 있습니다. 둘 다 일반적으로 포토 리얼리즘이 필요하지만 AV 환경은 저렴하고 며칠 만에(엔터테인먼트용으로 몇 달이 아닌) 생성해야 하고, 극도로 현실적이어야하고(인간 눈과 센서 모두) 런타임에 변화할 수 있어야 하며, 많은 테스트를 지원할 수 있을 만큼 충분히 커야 합니다.
전통적으로 이러한 환경은 3D 아티스트가 여러 자산을 만들어 세계에 배치하는 수작업으로 제작되었습니다. 이 방법을 사용하면 사실적인 결과를 얻을 수 있으며 훌륭한 데모를 만들 수 있습니다. 그러나 이 프로세스의 수동적 특성으로 인해 전 세계의 프로덕션 위치로 확장되거나 AV 테스트에 필요한 환경의 크기와 수를 산출하지 못합니다. 이는 시뮬레이션된 환경의 유용성이 일반적으로 제한되는 곳입니다.
또 다른 접근 방식은 실제 데이터와 일대일 일치를 보장하는 실제 세계 스캔을 사용하는 것입니다. 이 접근 방식의 단점은 사용되는 실제 데이터에 많은 결함이 있다는 것입니다. 조명이 뜨거워지고 표면에 실제 재료가 없기 때문에 카메라와 Lidar 리턴이 기껏해야 근사치가 됩니다. 또한 제거해야 하는 환경에 구멍, 잘못된 주석 및 움직이는 에이전트가 있을 수 있습니다. 또한 매우 스토리지 및 컴퓨팅 집약적이며 실제 생활에서 접하는 영역만 생성할 수 있습니다.
비교적 새로운 접근 방식은 단계적 파이프 라인을 기반으로 세계를 만드는 것입니다. 이 접근 방식에서는 다양한 유형의 입력을 사용하여 대규모 환경과 도시를 빠르게 생성할 수 있으며 결과적으로 세계가 수학적으로 생성될 수 있습니다(그림 2). 또한 과도한 적합(overfitting)을 방지하기 위해 환경에 다양한 변형을 해볼 수 있습니다. 시간이나 날씨와 같은 매개 변수는 픽셀과 정확한 주석을 유지하면서 변경될 수 있습니다. 전반적으로 손으로 만드는 데 걸리는 시간보다 빨리 새 지도를 만들 수 있습니다. 이 접근 방식의 과제는 수동 조정 없이 실제 기능을 강력하게 생성하는 것입니다.
정확한 센서 모델링
합성 데이터 생성은 기본 센서 모델에 대한 입력으로 첫 번째 단계에서 생성된 환경을 활용합니다. 이러한 센서 모델은 레이더의 깊이 추정기, 레이더의 DBF (Digital Beam Forming) 특성 및 카메라의 노이즈 소스와 같은 세부 프로세스를 복제 할 수 있어야 하며, 지연 시간이 낮은 HIL 또는 데이터를 많이 사용하는 교육 어플리케이션에 충분한 성능을 제공해야 합니다.
센서가 취할 수있는 수백 또는 수천 개의 변형/토폴로지가 존재한다는 것을 고려하는 점은 어려워 보일 수 있지만, 모두 궁극적으로 에너지 전달 및 정보 이론의 동일한 기본 원칙을 준수해야 합니다. 신중하게 설계된 센서 모델링 프레임 워크는 다양한 변수에 맞출 수있는 유연한 구조를 생성할 수 있습니다. 이 기본 철학은 전자 광학 및 신호 처리 시스템 설계 도구를 센서 설계 세계에서 인식 시뮬레이션 공간으로 가져오려는 목표에서 비롯되었습니다.
이론적으로 잘 정의된 시스템을 사용하더라도 모델의 가치는 실제 대응물을 캡처할 수있는 능력까지만 나타납니다. 실제와 합성 간의 상관 관계는 사용 사례에 따라 크게 달라집니다. 간단한 사용 사례에는 데이터 시트로 충분할 수 있지만 다른 경우에는 다양한 내장 함수의 통계적 정량화가 필요할 수 있습니다. 이는 일반적으로 특정 센서 속성을 결정하기 위한 통제된 실험실 및 현장 데이터 수집 실험의 조합으로 구성됩니다. 간단히 말해, 센서 모델링 (및 충실도)은 완벽한 것을 취하고 매우 의도적으로 악화시키는 과학으로 생각할 수 있습니다.
합성 데이터의 성능 및 반복성
합성 데이터의 기본적인 사용성을 제한하는 두 가지 추가 영역은 성능과 반복성입니다. 여러 면에서 자율 어플리케이션을 위한 센서 모델링의 가장 큰 과제는 실시간 처리의 한계 내에서 달성할 수있는 충실도입니다. 또한 충실도와 성능은 합성 센서 생성 확장성과 밀접하게 결합됩니다. 확장 가능한 솔루션을 용이하게 하기 위해 병렬 리소스 활용의 사용이 점점 더 중요해지고 있습니다.
이러한 여러 리소스의 조정은 자연스럽게 반복성 문제로 이어집니다. 병렬화 노력이 성공하기 위해서는 동시 시뮬레이션과 비동시 시뮬레이션 사이에 패리티가 있어야합니다. 결정론은 인지 엔지니어가 변형 시뮬레이션이 제공하는 것을 활용하면서 독립적으로 알고리즘의 변경 사항을 테스트할 수 있도록 하는 핵심 구성 요소입니다.
센서 시뮬레이션: 개별 사례에 맞게 조정
환경과 센서를 개발하기 위한 방법이 생성되면 다음 과제는 생성된 합성 데이터가 사용 사례에 충분한지 평가하는 것입니다. 인지 소프트웨어의 성숙도에 따라 사용 사례는 합성 데이터를 사용하여 센서 배치를 확인하는 것부터 배포를 위한 최종 프로덕션 시스템 테스트에 이르기까지 다양 할 수 있습니다.
각 사용 사례마다 서로 다른 수준의 모델 충실도가 필요하며, 이는 검증 및 검증 프로세스를 주도합니다. 검증에서는 시뮬레이션 모델이 원래 설계 사양에 부합하는지(우리가 의도한 바를 구축했는지?) 여부를 판단하는 프로세스를 기술합니다 이는 또한 결정론과 관련이 있습니다(모델에 의해 생성된 결과는 매번 동일한 조건에서 반복 가능한지?) 이와는 대조적으로, 검증은 최종 사용자의 요구 사항을 검토하여 모델이 어플리케이션의 요구 사항을 충족하는지 여부를 결정합니다. 어떤 경우에는 합성 센서 모델이 기초 물리학의 대략적인 근사치가 될 수 있습니다. 그러나 생산 시험 사용 사례에서는 정확한 불확실성 수준을 충족하기 위해 실내 및 실외 실험실 환경 모두에서 광범위하게 시험하는 합성 센서 모델이 필요합니다.
센서 모델의 평가는 센서 출력 수준에서의 비교보다 더 광범위합니다. 이는 인지 중심의 자율 주행 어플리케이션에 적용되지만 최종 사용자는 합성 데이터와 실제 데이터에 대한 인지 모델 메트릭의 성능에도 관심이 있습니다. 이러한 모델은 컴퓨터 비전 기반이거나 다른 머신 러닝 및 딥러닝 방법론을 사용하여 구축될 수 있습니다. 합성 센서 모델에 대한 신뢰가 충분히 확립되지 않은 경우 불확실성의 원인을 알 수 없습니다.
Applied Intuition의 접근 방식
Applied Intuition은 위 기사에 설명된 문제를 해결하는 인지 시스템을 시뮬레이션하기 위한 도구를 처음부터 개발했습니다. 여기에는 대규모 환경 생성, 다중 충실도 센서 개발을 위한 워크 플로우, 사용 사례 기반 검증을 위한 효과적인 프로세스가 포함됩니다. 환경 생성은 지리적 도메인, 자율 어플리케이션 및 데이터 입력 소스에 걸쳐 유연한 고유한 프로세스 파이프라인을 통해 수행됩니다. 이러한 기능은 다양한 인지 어플리케이션에서 전 세계 최고의 AV 개발자와 협력하여 개발되었습니다. 저희는 이 기술에 계속해서 막대한 투자를 하여 합성 인지 시뮬레이션으로 가능성의 한계를 더욱 넓힐 것입니다.
.webp)
.webp)
