ドメインカバレッジを使用して、特定の ODD で自動運転システムのパフォーマンスを測定する

自動運転システムの進捗状況を理解するには、パフォーマンスカバレッジの測定が重要です。ただし、進捗に関連する指標を正確に定義して測定することは困難です。さらに、自動運転システムがレベル 4、及びレベル5 へ発展するにつれて、多数のシナリオに対応できるように、測定指標とアプローチを調整する必要がある場合があります。この投稿では、Applied Intuition チームが、現在使用されているカバレッジ指標、一般的な課題、ODD に基づくドメインカバレッジのアプローチについての洞察を共有しています。

自動運転システムは、現実世界で無数の状況に遭遇する可能性があり、この膨大な数のシーンを安全に操作する必要があるため、商用可能なシステムの開発は困難な作業です。 「カバレッジ」は、自動運転システムの開発の進捗状況を示すために広く使用され、「セーフティドライバーをいつ外す事ができるか」や「ソフトウェアの更新後、自動運転システムがどのように機能するか」などの質問に対処します。ドメインカバレッジやカバレッジの目標に向けた進捗速度を定量化できないと、商用展開からどれだけ離れているかを正確に把握することが難しいため、業界全体で、予測される展開スケジュールが常に調整されています。そのため、このトピックに関する業界の知識を共有することが急務です。

「カバレッジ」の定義は一般に受け入れられていないため、定量化が困難です。カバレッジは、安全性、有用性、状況のタイプ、交通参加者のタイプなど、多くの側面を網羅する必要があります。 自動運転システムを開発するより多くの企業が、自主システムの商業的進捗状況を評価するための自主的な安全性自己評価（VSSA）を発行しています。しかし、FMVSS などの連邦規格は、レベル4 以上の自動運転技術を反映するように更新されていません。その結果、業界全体のカバレッジを測定するための現在のアプローチはますます多様化しています。さらに、定義はアプリケーションドメイン（長距離自動運転型トラック、歩道配送ロボット、など）や自動運転システムの成熟度（フェンスで区切られたエリアでの最初の実際のテスト、ビジネス地区で保護されていない左折の完成、など）によって異なります。

コード、要件、シナリオカバレッジ

ソフトウェアエンジニアリングでは、カバレッジは、「プログラムのソースコードが一連の自動化された単体テストまたは統合テストによってどれだけ実行されるか」と一般的に定義・理解されています。これは、開発者が自動的にレグレッションをどの程度完全にガードしているかを定量化する、内向きの指標です。

Requirements (要件) カバレッジは、自動運転システムが満たす機能要件とパフォーマンス要件の数を測定します。これは、適切なツールを使用して、要件をテストに変換する方法をプログラムが追跡できるようにする主要なメトリックです。これらの要件を追跡、およびテストするために、業界では伝統的に多くのツールが使用されてきました。ここでの最大の前提は、ユーザーが ISO 26262 などの機能安全規格に準拠するための適切な要件のセットを取得し、事前にすべての状況でシステム機能を正確に定義していることです。

Scenario (シナリオ) カバレッジは、自動運転システムによって操作できる事前に定義されたシナリオの数を測定します。このタイプのカバレッジには、マップ、アプリケーション、特定のソフトウェアバージョンの目標など、さまざまな考慮事項を組み込むことができます。Requirements カバレッジと同様に、scenario カバレッジは比較的簡単に設定できますが、適切なものがテストされていると想定しています。シナリオ（パラメーターのバリエーションを含む）を表現し、組み合わせを試すための適切なツールを使用すると、scenario カバレッジは、自動運転システムの品質向上の強力な原動力となります。

Requirements カバレッジ、及び scenario カバレッジの課題

ただし、誤って使用すると、requirements カバレッジ、及びscenario カバレッジは、誤った安心感を生み出す可能性があります。問題は、考慮する必要のある膨大な数の要件とシナリオ、および現実世界と自動運転システムの複雑さから生じます。自動運転システムのアクションに対する交通参加者の反応は多数で、膨大な組み合わせを引き起こします。 自動運転システムが孤立されたシナリオ（たとえば、空いてる道路上で、歩行者の前での減速する）で良好に機能できる場合でも、シナリオ内のエージェント間の相互作用から生じる潜在的なコーナーケースの数は膨大です。

この点を説明するために、左折シナリオの特定の例を考えてみましょう。このシステムは、左折角度、速度、横断する歩行者の前でのブレークを踏むなど、さまざまなパラメーターの変動で評価できます。また、自動運転車両の前にいる歩行者やその他の道路利用者（VRU）にはさまざまな種類があります。自動運転システムは、VRU のさまざまなタイプ、数、および反応動作を処理する必要があります。各 VRU が自動運転システムによって認識されるタイミングも重要です（新しいコーナーケースが発生する可能性があるため）。さらに、マップ内の各交差点には異なるジオメトリがあり、設定可能なパラメーターに基づいてバリエーションをテストする必要があります。バリエーションの例を図1 に示します。

この可能性のあるシナリオの急増は、従来の数学の「次元の呪い」としてよく知られています。これは、新しいパラメーターごとに、空間を完全にサンプリングするために実行する必要のあるテストの総数がおおよそ指数関数的に増加するためです。これを解決するためのアプローチはいくつかありますが、それらは通常、自動運転システムに直接適用されません。連続現象の一般的なアプローチの 1つは、システム全体の対象となる属性を理解するために、ドメイン全体の小さなサブセクションをサンプリングすることです。ただし、自動運転システムの障害は本質的に不連続であり、カバレッジを数学的に証明するものはありません。別のアプローチは、導出された数学的関係を通じて次元数を減らすことですが、自動運転システムのシナリオのほとんどのパラメーターは、互いに独立しています。その結果、パラメーターのバリエーションをサンプリングするためのベストプラクティスは、現在存在しません。

複雑さに加えて、これまで予期されなかった要件を既存のテストと統合する必要があり、バリエーションの数がさらに増えます。多くの運転状況は、要件と相互作用する行動の組み合わせです。 SOTIF 機能安全規格は、より広範なリスク評価を通じてこれらの課題に対処しようとしていますが、カバレッジ測定にはより体系的なアプローチが必要です。これらの課題のすべてが相まって、カバレッジの一般的な指標に関するコンセンサスの欠如につながっています。

ドメインカバレッジへの移行

共通のカバレッジ定義の必要性と現在のアプローチの制限を考えると、業界では 「ドメインカバレッジ」と呼ばれるより包括的なアプローチを利用できるはずです。ドメインカバレッジは、基本的な operational design domain（ODD）で直接測定されます。主な焦点は、ODD を進化する要件とテストシナリオの定義にリンクし、自動運転プログラムが特定のドメインに展開する準備ができているかどうかを測定できるようにすることです。これらの要件の一部はグローバル（たとえば、歩行者に当たらない）ですが、その他は、特定のシナリオの範囲（特に、回帰テストまたは自動運転サブシステムのコーナーケースの発見）を対象としています。これらの要件とシナリオは、ODD による制約を受けない限り、マップ内の特定の場所（交差点など）または特定の都市から独立している必要があります。最後に、測定には、実際のテストとシミュレーションされたテストの両方の結果が含まれ、自動化された方法で可能な限り迅速にメトリックとテストに関連付けられる必要があります。

ドメインカバレッジは、ODD でのシステムの目的に基づいて調整された「運転テスト」と考えることができます。 ODD の特定の属性について、業界のプレーヤーと規制当局は、より正確な要件とテストシナリオを定義できます。必要なカバレッジは、運用設計カバレッジの個々の要素すべての合計になります。

このアプローチはカバレッジ測定の標準化に役立ちますが、いくつかの課題が残っています。

• このアプローチでは、ODD に自動的にマッピングするのが難しいシミュレーションとドライブデータパフォーマンスの両方を統合する必要があります。
• さまざまな業界ドメインおよび地域にわたる ODD パラメーターを正確に定義する必要があります。現在、このプロセスを誰が推進するのかは不明です。
• 各テストの合否条件は、抽象度の高いレベルで要件を表す必要があります（たとえば、自動運転車両と別のエージェントの間の最小距離を表現する指標、など）。
• ソフトウェアおよび構成の変更の規模にわたって測定を扱いやすく保つために、さまざまな方法とツールが必要です。
  

ツールを使用して実際のカバレッジを理解する

いくつか制限がありますが、それでも既存のツールは既知のスペースがどれだけサンプリングされたが理解するために便利です。具体的には、機能安全要件を scenario カバレッジにリンクすることが、シナリオテストスイートに基づくドメインカバレッジを説明するために重要です。サンプルビューを図2 に示します。Scenario カバレッジは、さまざまな要件のディメンションにわたって見られます。 Applied Intuition は、業界のパートナーと協力して、カバレッジの測定と自動運転システムの目標に対する進捗状況を測定する分析およびグラフ化するツールを提供しています。

最後に

自動運転業界は、テクノロジーを展開する進捗ができているかどうかを評価するためにカバレッジを測定する方法を緊急に必要としていますが、現在のアプローチでは十分ではありません。 ODD の基本に基づくアプローチが理想的ですが、技術的な課題が残っています。それまでの間、適切なツールを使用することで、開発者は次の重点分野を特定し、自動運転の目標にすばやく到達できます。 Applied Intuition は、専門知識と自動運転の開発における長年の経験で構築されたツールとインフラを提供することにより、世界中の自動運転開発チームの主要なワークフローをサポートします。