このブログ記事は、Applied Intuition の自動運転システム開発のための「ログデータ活用ハンドブック」からさまざまなトピックを取り上げた3部構成の2作目です。パート1では、ログデータ活用のライフサイクルと、ログデータを利用したさまざまなワークフローを紹介しました。第2部では、ログ探索のベストプラクティスを、特に興味深い事象を浮上させることに重点を置いて説明します。このトピックの詳細については、引き続きお読みいただくか、以下のハンドブックの全文にアクセスしてください。
ログデータ探索とは？
ログデータ探索は、ログデータ活用のライフサイクルの重要な部分です。自律プログラムがログ・ファイルを収集した後、データ処理パイプラインがこれらのファイルを使用可能な形式に変換し、異なるチームが特定のユースケースに従ってそれらを探索します。
ログデータから価値を引き出すためには、収集した大量のデータを処理し（図1）、より高速なデータ検索を可能にするインデックスを構築する必要があります。さらに、オフラインのアルゴリズムでデータを充実化し、興味深いイベントを抽出し、データを可視化し、システム性能と運用設計領域（ODD）範囲を分析することができます。ログデータ活用ハンドブックでは、これらの各ステップについて詳しく説明していますが、このブログでは、興味深いイベントの表面に焦点を当てます。
レビューのために興味深いイベントを表面化させる
トリアージ・オペレーション・チーム、アルゴリズム・エンジニア、その他のログデータの利用者の仕事には、ログデータ内の関連イベントを特定し、それらのイベントをレビューして自律システムのパフォーマンスを評価することが含まれます。今日のSAEレベル2（L2）およびL3自律システムは、ハードブレーキ、加速、およびジャークなどのイベントをすでに記録しています。以下のセクションでは、自律走行プログラムが記録すべき他のタイプのイベントと、検証、動作計画、および知覚の各チームがこれらのイベントを記録する最適な方法について説明します。
オペレータの離脱やシステムのエスカレーションを表面化させる。
自動運転システムの作動中に発生するすべての介入は、レビューのために表面化されるべきである。介入には、オペレーターの解除（セーフティオペレーターがL4自律システムの自動運転モードを解除するために介入する状況）およびシステムのエスカレーション（セーフティオペレーターまたは車両オーナーがL2またはL3自律システムの制御を行うために介入する状況）が含まれます。利用可能な場合、表面化したイベントには関連するセーフティオペレーターコメントを含める必要があります。セーフティオペレータのコメントは、システム障害によって引き起こされた可能性のある事象をチームが迅速にレビューし、根本原因を特定するのに役立ちます。表面化したイベントには、自動運転システムの意図した操作、近くのアクターの行動、およびチームがイベントを自動運転システムのODDの内側または外側で発生したものとして分類するのに役立つ地図情報などの情報も含まれる場合があります。
検証・プランナー開発チーム: シナリオタグ
シナリオタグは、検証チームやプランナー開発チームが自動運転システムの性能を評価する際に役立ちます。検証チームは、シナリオタグを使用して、特定の状況に一致するシナリオを見つけることができます。シナリオタグは、行動アノテーション、地図・地理情報、およびODDデータを組み合わせることが多々あります。例えば、シナリオタグは、「高速道路での車線変更」や「雨天時のアクターカットイン」などのシナリオを表示するのに役立ちます。検証チームは、同じタグを持つシナリオの集計分析を行い、特定の状況下で自律システムがどのように動作する傾向があるかを理解することができます。
プランナー開発チームは、シナリオタグを組み合わせて、特に難しい状況の人間的な説明を作成することができます。例えば「駐車場から出る車両」と「隣接する自転車」でフィルタリングすると、すべての動作計画チームに関連するエッジケースが表示されます。
パーセプション開発チーム: 自動エラー検出
自動運転システムの開発には、ラベル付けされていない生データが大量に含まれます。残念ながら、高品質なラベルを得るにはコストがかかることが多く、また、標準的な高速道路の運転のような一般的なシナリオのラベル付けは、パーセプションモデルの性能に対する収穫が少なくなってしまいます。したがって、パーセプションモデルは、以前のバージョンのモデルで間違って分類されたデータでトレーニングされる必要があります（図2）。パーセプション開発チームは、ログに記録されたデータからこのようなケースを自動的に識別するプロセスを導入することができます。
潜在的なエラーを自動的に発見するために、パーセプション開発チームは車載モデルの出力と、より強力なオフラインの知覚モデルの出力を比較し、2つのモデルが一致しないケースを見つけることができます。このような不一致は、車載認識スタックのエラーを示す可能性が高いため、チームメンバーに送り、手動でレビューとラベリングを行う必要があります。
異常の表面化
特定の事前定義されたイベントを見つけるだけでなく、自動運転プログラムでは通常、ログデータ内の予測されていない異常を抽出して手動でレビューすることが有用であると考えられています。異常には、事前に選択された次元（例えば、最も攻撃的なカットイン）の予期しないメトリックを持つ既知のシナリオと、機械学習（ML）を通じて表面化した未知のエッジケースが含まれることがあります。一般的なMLベースの異常検出技術は、教師なし学習を活用して予期しないデータを検出します。チームは、ログデータ内の最も関連性の高いチャネルのサブセットでMLモデルを学習し、過去のデータのウィンドウに基づいて次のタイムスタンプを予測します。このモデルは、ログ上で実行され、最大の予測ギャップを持つイベントを表面化させます。これらは、自動運転システムが既存のデータに従って最も予期せぬ振る舞いをした場合や、サブシステムが予測できない振る舞いをした場合です。自動的な異常検知は現在進行中の研究分野です。しかし、ペタバイト級のログデータを調べると自動化の限界に直面するような自律運転プログラムでは、ますます重要度が増しています。
結論
興味深い事象を表面化して検討することは、すべての自動運転プログラムのログ探索プロセスにおいて不可欠なステップです。チームはさまざまな手法を活用して、オペレーターの離脱、システムのエスカレーション、異常、および検証、プランナー開発、パーセプション開発チームが自動運転システムを評価するのに役立つその他の事象を表面化することができます。データ処理、充実化、可視化、分析など、ログ探索プロセスの他のステップについては、以下のハンドブックをダウンロードし、ブログシリーズの3番目と最終回をお楽しみください。
このハンドブックに関するご質問はApplied Intuition にお問い合わせください。また、Applied Intuition のログデータ活用ソリューションの詳細については、弊社ウェブサイトをご覧ください。
.webp)
.webp)
