우리는 NIST(National Institute of Standards and Technology)에서 주최한 온로드 자율주행차를 위한 표준 및 성능 지표 워크숍에서 인공 지능 패널에 참여하게 된 것을 영광으로 생각합니다. 패널은 정부, 학계 및 산업 전문가로 구성되었으며 미시시피 주립대학교, 캘리포니아 어바인 대학교, 로봇 연구 기관, 도요타 연구소, 크루즈 및 어플라이드 인튜이션으로 구성되었습니다. 주요 이해 관계자(Key stakeholders)들은 온로드 자율주행차(AV)를 위한 인공 지능(AI)과 AV 기술에 대한 신뢰를 구축하는 방법에 대해 논의했습니다.
이 패널은 표준화되고 상호 운용 가능한 테스트 메트릭의 필요성에 대한 통찰력을 공유하고, 보안 및 복원력이 AV에 미치는 영향에 대해 논의했으며, 현재의 테스트 관행과 격차에 대해 논의했습니다. 다음 요약은 AV에 대한 표준 및 테스트 방법에 대한 패널 토론을 요약한 것입니다.
NIST 워크숍에서 얻은 교훈
시나리오의 빈도와 심각도에 따라 테스트 우선 순위 지정
크루즈의 로봇 공학 책임자인 Hussein Mehanna에 따르면 AV 프로그램이 100% 테스트 범위를 위해 노력하는 것은 비현실적입니다. Mehanna는 AV 프로그램이 현실 세계에서 발생할 수 있는 모든 단일 시나리오에 실질적으로 초점을 맞출 수 없으며 가장 심각한 시나리오의 대부분은 가능성이 매우 낮다고 말했습니다. 따라서 AV 프로그램은 가장 빈번한 이벤트와 가장 심각한 이벤트의 조합을 탐색해야 합니다.
패널들은 또한 AV 프로그램이 특히 복잡도가 높은 환경에서 작동할 때, 평균을 볼 것이 아니라 모든 개별 오류를 분석해야 한다고 지적했습니다.
롱테일을 테스트하기 위해 다양한 접근 방식 사용
Applied Intuition의 제품 책임자인 Vijay Patnaik은 AV 프로그램이 빈도는 낮지만 심각도가 높을 수 있는 시나리오를 테스트하는 데 사용할 수 있는 다양한 기술에 대해 설명했습니다. 첫 번째 기술은 FMEA (고장 모드 및 영향 분석)와 같은 위험 분석 방법을 포함하는 전통적인 접근 방식입니다.
두 번째 기술은 가상 테스트입니다. 가상 테스트를 통해 AV 프로그램은 공공 도로 테스트에서 볼 수 없는 시나리오의 롱테일을 가져와 시뮬레이션에서 재현합니다(예: 고속도로의 잔해). 그런 다음 프로그램은 시뮬레이션을 사용하여 이러한 시나리오에서 AV 시스템을 테스트할 수 있습니다.
세 번째 기술을 사용하면 AV 프로그램이 개인 테스트 트랙에서 AV 시스템을 테스트하고 이러한 테스트를 기반으로 충돌 방지 시나리오를 다시 만들 수 있습니다. 개별 AV는 이러한 모든 시나리오를 처리할 수 없으며 일정 수준의 위험이 남아 있습니다. 따라서 AV 프로그램은 어떤 시나리오가 있는지, 어떤 위험이 관련되어 있는지, 이러한 위험을 완화하는 방법, AV의 성능이 동일한 상황에 직면했을 때 인간이 수행할 수 있는 작업과 어떻게 비교되는지 신중하게 분석해야 합니다.
AV 시스템의 안전성과 대안 시스템의 안전성 비교
Robotic Research의 CEO인 Alberto Lacaze는 AV 프로그램이 AV 시스템이 안전한지 아니면 그 시스템이 대안보다 안전한지 조사해야 하는지 여부에 대해 질문했습니다.
“안전에는 한계가 있으며 자율 시스템이 할 수 있는 일에 대한 좋은 지침이 됩니다. 그러나 그 이상으로 프로그램은 그 시스템이 포괄적인 측정에서 평균적인 인간보다 나은지 여부를 살펴볼 필요가 있습니다.”
이 접근 방식에는 평균 사례뿐만 아니라 특이 상황도 포함되어야 합니다. NIST와 같은 조직과 AV 커뮤니티 간의 토론은 AV 프로그램이 이 복잡한 분석을 탐색하는 데 도움이 될 수 있습니다.
Applied Intuition의 접근법
Applied Intuition에서는 자율 시스템을 안전하게 개발, 테스트 및 배포하는 데 지속적인 데이터 기반 검정 및 검증(V&V)이 중요하다고 믿습니다. AV 프로그램은 요구 사항 및 테스트 사례 관리, 확장 가능한 테스트 생성, 안전 사례 보고 및 분석을 위해 Validation Toolset*와 같은 제품을 활용할 수 있습니다(그림 1).
당사 제품이 위험을 완화하고 안전한 AV 시스템 개발을 촉진하는 데 어떻게 도움이 되는지 알아보려면 Validation Toolset 팀에 문의하십시오.
.webp)
.webp)
