지난 10년 동안 자율주행차(AV) 인식 시스템은 실험 및 연구 중심에서 완성차에 사용되는 방식으로 전환되었습니다. 대부분의 경우 시뮬레이션이 이러한 최첨단 노력의 근간을 형성하기 때문에 동일한 생산 수준의 시뮬레이션이 요구됩니다. 생산 시스템은 트레이닝 또는 테스트가 필요한 다양한 이벤트를 다루기 위해 여러 유형의 시뮬레이션이 요구됩니다. 이 게시물의 1부에서는 인식 시뮬레이션에 대한 여러 가지 접근 방식과 여러 접근 방식을 같이 사용할 수 있는 방법을 소개합니다. 2부에서는 이러한 시뮬레이션 방법의 주요 요구 조건을 다루고자 합니다.
확립된 인식 시뮬레이션 접근 방식
인식 시뮬레이션은 다양한 형태로 제공되며 각 접근 방식에는 고유의 트레이드오프가 존재합니다. Applied Intuition는 실제 데이터를 활용 가능한 범위까지 사용할 수 있는 강력한 하이브리드 솔루션을 만들었으며 합성 시뮬레이션 도구가 롱테일로 확장 가능하다는 것을 검증했습니다. 저희는 인식 시뮬레이션을 세 가지 영역으로 나누었으나 이러한 방법을 혼합한 하이브리드가 존재할 수 있습니다.
로그 재시뮬레이션
로그재생 또는 재시뮬레이션은 실제 운전 데이터를 검증하고 예상치 못한 오류 또는 '현재 알 수 없는 항목'을 테스트하는 데 매우 유용할 수 있습니다. 예를 들어 고속도로에서 차량이 떨어져 있는 매트리스와 같은 예기치 않은 물체를 만나 매트리스를 피하기 위해 안전하지만 갑작스럽게 인접한 차선으로 변경하게 되는 상황이 있습니다. 이 상황에서 재시뮬레이션을 통해 차량의 움직임을 개선할 수 있습니다(예: 차량의 인식 시스템이 장거리 측정을 더 잘 통합하여 더 부드럽게 다른 차선으로 변경합니다). 재시뮬레이션을 통해 일반적인 이벤트와 실세계의 일부 롱테일 이벤트를 모두 캡처할 수 있습니다. 이러한 접근 방식은 매우 빠르게 설정할 수 있지만 실제 문제는 수집 가능한 데이터양을 확장하는 데 필요한 물류 및 비용입니다. 유용성은 보유하고 있는 데이터 세트의 다양성에 따라 달라지고 차량에서 볼 수 있는 위치 및 경험으로 제한됩니다. 세계의 위치, 환경 조건 및 개체 유형과 같은 변수는 변경이 불가능합니다. 또한 인식 스택 또는 센서가 개선됨에 따라 기존 오래된 운전 데이터가 더 이상 생산 시스템에 사용할 수 없는 경우도 발생합니다.
부분 합성 시뮬레이션
추가 합성 데이터로 보강된 실제 운전 기록을 사용하는 것은 실제 발생하는 시나리오에 대한 추가 시나리오를 테스트하는 또 다른 방법입니다. 이 접근 방식은 실제 데이터에서 개체를 이동, 추가 또는 삭제할 수 있는 합성 데이터를 통해 로그스트리밍을 효과적으로 보강합니다. 대부분의 실제 장면의 센서 데이터를 유지하면서 다양한 잠재적 장면(Scene) 변형이 가능합니다. 이 방법은 Applied Intuition의 재시뮬레이션 도구 중 하나인 "액터 패칭(Actor Patching)"으로 운전 데이터에서 액터를 추가하거나 제거하는 데 사용할 수 있습니다. 이전 섹션의 매트리스 예시의 경우 매트리스의 위치를 수정하여 스택이 자동 운전 해제 시나리오 변수를 처리하는 방식을 테스트할 수 있습니다(그림 1). 행동 계획을 위한 객체 재배치는 흔한 반면 센서 데이터에서 객체를 재배치하는 것은 비교적 새로운 방법입니다. 다만 데이터 신뢰성을 확보하기 위한 분기(divergence)의 양에는 제한이 있습니다.
운전 기록에 액터를 올바르게 삽입하거나 제거하는 것은 간단하지 않습니다. 카메라, 레이더 및 라이다와 같은 일반적인 자율 센서의 경우 각 센서마다 고유의 문제가 존재합니다. 카메라의 경우 물리적으로 정확한 조명 속성을 가진 액터를 삽입하는 것은 현재 진행 중인 연구 영역입니다. 라이다 및 레이더의 경우 상호 작용할 환경이 없이 다중 경로와 같은 복잡한 상호 작용을 간단한 방법으로 정밀하게 시뮬레이션 할 수 없습니다. 따라서 반사가 부정확하고 대상의 조명 및 실제 데이터와 합성 데이터 사이의 경계를 자연스럽게 유지하기 하는 것은 복잡합니다. 복잡한 맞물림(occlusion)이 존재하는 경우 특히 문제가 될 수 있으며 실제 데이터 장면에 대한 정밀하고 깊이 있는 정보가 요구됩니다. 이러한 문제를 해결하기 위해 저희는 최첨단 딥러닝 및 GAN(생산적 대립 신경망, Generative Adversarial Network) 방법을 연구하는 중에 있으나 이러한 방법을 생산 환경에 도입하기에는 아직 부족합니다. 저희는 이러한 방법을 생산 가능하며 성능과 확장성 면에서 고객을 만족시킬 수 있는 수준으로 발전시켜 시스템에 도입하기 위해 최선을 다하고 있습니다.
완전 합성 시뮬레이션
재시뮬레이션과 달리 완전 합성 시뮬레이션은 가능한 모든 롱테일 이벤트를 생성할 수 있습니다. 수천 개의 다양한 개체를 도로 한가운데에 배치하여 밤에 비가 오는 조건에서 동일한 낙하 매트리스 시나리오를 시뮬레이션 할 수 있습니다. 롱테일은 끝없이 확장 및 테스트 가능합니다. 이는 논리적인 솔루션처럼 보이지만 합성으로 생성된 것과 실제 환경 및 센서 사이에는 도메인 갭이 존재합니다. 이 부분에 대해서는 2부에서 자세히 설명하도록 하겠습니다.
물리적으로 정확한 합성 데이터는 인식 알고리즘의 트레이닝 및 테스트에 사용될 수 있습니다. 대규모 기반 시나리오 세트를 생성하거나 운전 기록 데이터에서 합성 장면을 재생성하는 기존 접근 방식을 출발점으로 삼을 수 있습니다. 환경은 다양한 형태의 지도 데이터로부터 빠르게 생성됩니다. 또한 최대한 많은 변형을 주기 위해 다양한 자산(asset)이 절차적으로 생성됩니다. 여기에 구조화된 도메인 무작위화 또는 전체 도메인 무작위화와 같은 기술을 활용하여 실세계에 일반적으로 존재하는 것(예: 더 다양한 자동차 페인트)을 넘어서는 변수를 추가하여 알고리즘의 견고성을 높일 수 있습니다.
또는 특정 희귀 이벤트 처리에 개발을 집중할 수 있습니다. 이러한 희귀 이벤트는 보통 특정 오류 모드를 대상으로 하며 완전 합성 시뮬레이션은 실제 데이터를 사용할 수 없는 테스트 계획의 공백을 채울 수 있습니다. 예를 들어 근접한 오토바이, 도로에 전복된 차량 또는 드물게 볼 수 있는 차량 등이 포함될 수 있습니다(그림 2). 수집하기에 너무 위험하거나 희귀한 데이터 역시 쉽게 생성 가능합니다.
구현에 따라 완전 합성 시뮬레이션은 엄청난 노력이 요구될 수 있습니다. 위에서 설명한 기능은 현재 상태 이전의 온라인 리소스 및 렌더링 기술에서는 불가능했습니다. 검증된 재료 및 절차적 기하 구조 생성과 결합된 실시간 광선 추적(ray-tracing)을 통해 보다 작은 팀에서 물리적으로 정확하고 다양한 시뮬레이션을 생성할 수 있게 되었습니다. 이러한 합성 시뮬레이션은 알고리즘이 실패할 수 있는 위치와 이유에 대한 정확한 경계를 찾는 데 유용하며 필수적이라고 전 세계 자동차 제조업체에서 입증되었습니다.
생산 자율성에 필요한 다변수 접근 방식
이러한 각 방법을 활용하여 자율 인식 시스템을 테스트하기 위해 필요한 전체 도메인 잠재적 시나리오 및 변수를 다룰 수 있습니다. 주어진 AV 시스템과 특히 운전 기록에 대한 접근에 따라 도구를 다르게 활용할 수 있습니다. 그림 3은 두 시스템의 예를 보여줍니다. 왼쪽은 시뮬레이션에 더 많이 의존하는 시스템(예: 극단적인 경우에 집중)이며 오른쪽은 운전에 더 집중하는 시스템(예: 대규모로 배치된 차량 활용)입니다.
결론
인식 알고리즘과 시뮬레이션은 연구 영역을 벗어나 제품 생산에 직접적으로 기여하고 있습니다. 최첨단 개발에서 사용되는 몇 가지 접근 방식과 이러한 인식 알고리즘과 함께 사용되는 시뮬레이션의 핵심 요구 조건에 대해 설명했습니다. 이 분야는 지속적으로 발전하고 있으며 시간이 지남에 따라 설명된 일부 시뮬레이션 방법과 혼합된 새로운 방법이 나타날 수 있으나 이러한 기능을 구축하기 위한 대부분의 노력은 생산에 있습니다.
Applied Intuition의 제안
Applied Intuition의 인식 시뮬레이션 제품(재시뮬레이션 및 완전 합성 시뮬레이션 제품)은 이 분야의 모든 향후 개발을 지원할 수 있는 좋은 위치에 있습니다. 저희는 수년간 이러한 접근 방식을 연구하고 개발했습니다. 이러한 형태의 시뮬레이션 사용에 관심이 있으신 경우 Applied Intuition의 엔지니어 팀으로 문의하시기 바랍니다 (applied.co/kr/contact-us).
.webp)
.webp)
