로그 데이터 관리는 모든 자율 프로그램이 마스터해야 하는 가장 중요한 작업 중 하나입니다. 테스트 차량은 차량당 하루 평균 4 테라바이트의 로그 데이터를 수집하는 반면, 프로덕션 차량(즉, 개별 소비자가 구입한 차량)은 하루에 수백만 건의 이벤트를 생성할 수 있습니다. 이러한 방대한 데이터는 자율주행 프로그램의 개발 노력에 힘을 실어줄 엄청난 잠재력을 가지고 있습니다.
실제 테스트에 수반되는 비용 및 위험 때문에, 자율주행 프로그램은 로그 데이터를 효과적으로 수집하고 관리하는 것이 중요합니다. 예를 들어, 테스트 차량을 운영하기 위해 자율주행 프로그램은 차량과 센서를 구입 및 유지 보수해야 하며, 안전 운영자 팀에 비용을 지불해야 합니다. 또한 실제 테스트 중 단 한 번의 중대한 실수로 인해 사람의 목숨이 위험에 처할 수도 있습니다. 따라서 자율주행 프로그램은 데이터 수집을 효율적으로 확장하고, 효과적인 로그 데이터 처리를 위한 파이프라인을 만들고, 수집된 모든 데이터에서 최대 가치를 추출하는 확장 가능한 워크플로우를 구축하는 방법을 구현해야 합니다.
어플라이드 인튜이션의 로그 관리 핸드북은 광범위한 로그 관리 프로세스의 기술적 구성 요소, 이상적인 워크플로우 및 비용 관리 전략에 대해 설명합니다. 이 블로그 게시물은 이러한 주제에 대한 간략한 소개를 제공하는 3부작 시리즈 중 첫 번째 게시물입니다. 전체 핸드북은 아래에서 다운로드할 수 있습니다.
어플라이드 로그 관리 핸드북 소개
로그 데이터의 정의
자율주행 시스템 개발에서 로그 데이터는 자율주행 작업을 수행하는 시스템에서 수집된 실제 데이터입니다. 자율주행 차량의 경우, 로그 데이터는 주행 중 수집되며 원시 센서 입력부터 페달 또는 휠 작동 명령까지 다양합니다.
누가 이 핸드북을 읽어야 합니까?
로그 관리 핸드북에 나와 있는 개념, 원칙 및 접근 방식은 모든 규모와 산업 전반의 자율주행 프로그램에 적용됩니다. 대부분의 메트릭과 예제는 자동차의 SAE 레벨 2-4 시스템과 관한 것이지만, 핸드북의 내용은 창고 로봇, 무인 항공 시스템 및 기타 유형의 자율주행 시스템뿐만 아니라 자율주행 트럭 운송, 건설, 광업 및 농업과도 동등하게 관련이 있습니다.
로그 관리 라이프사이클
본 핸드북은 로그 파일의 시작부터 장기 저장까지의 여정을 따릅니다(그림 1). 먼저 자율주행 시스템이 로그 파일을 수집합니다. 다음으로, 데이터 처리 파이프라인이 로그 파일을 배포하고, 각 팀들이 특정 사용 사례에 따라 로그 파일을 탐색합니다. 마지막으로 로그 파일은 장기 저장소에 저장됩니다. 핸드북에서는 이러한 각 단계에 대해 자세히 설명합니다.
로그 데이터를 활용한 다양한 워크플로우
로그 데이터는 자율주행 시스템 개발 내의 여러 팀에 대한 다양한 워크플로우를 지원합니다. 본 핸드북은 다음 워크플로우를 다룹니다.
- 데이터 사이언스: 데이터 마이닝, 분석 실행 및 플릿 데이터에서 메트릭 추출을 위한 플랫폼 구축합니다.
- 문제 진단: 실제 테스트에서 문제를 효과적으로 분류하고 개발 팀이 해결할 문제를 할당합니다.
- 모듈 개발: 인식, 예측, 모션 플래닝 및 로컬라이제이션 모듈의 개발을 비용 효율적인 방식으로 확장합니다.
- 레이블이 지정된 데이터 세트 큐레이션: 관심 이벤트 감지 및 머신 러닝(ML) 트레이닝용 레이블을 생성합니다.
- 시뮬레이션: 로그 데이터로부터 시뮬레이션을 생성하여, 개발 및 로그 분류를 강화합니다.
- 승인 테스트: 새 소프트웨어 버전의 릴리스가 추가로 사용할 준비가 되었는지 확인합니다.
- 공급업체 솔루션 검증: Tier 1 또는 Tier 2 공급업체에서 제공하는 시스템이 필요한 사양을 충족하는지 확인합니다.
- 회귀 테스트: 이전에 해결된 문제가 다시 나타나지 않는지 확인합니다.
결론
로그 데이터는 자율주행 시스템 개발의 가장 필수적인 구성 요소 중 하나입니다. 우리의 로그 관리 핸드북은 일반적인 로그 데이터 관리 문제를 설명하고, 산업 전반의 자율주행 프로그램에 대한 권장 사례를 제시합니다. 이 블로그 게시물 시리즈의 다음 부분에서는, 로그 관리 라이프사이클의 중요한 단계인 로그 탐색에 대한 핸드북의 핵심 통찰력을 요약할 것입니다. 다음 블로그 게시물을 통해 확인 하시거나 혹은 오늘 전체 핸드북을 다운로드하십시오.
이 핸드북에 대한 질문이 있으신 경우, 어플라이드 팀에 문의하거나 당사 웹사이트에서 Applied Intuition의 로그 관리 솔루션에 대해 자세히 알아보십시오.
.webp)
.webp)
