自動運転車両開発の強化: 効率的なテストと検証におけるログベースの合成シミュレーションの役割

June 20, 2024

自動運転車両 (AV) 技術の急速な進展は、業界関係者に複雑な課題を突きつけています。業界関係者は、コストと時間の制約を守りつつ、多数の実環境にわたって包括的で信頼性の高い AV システムの検証を確実に行う必要があります。このよう課題に対応するため、合成シミュレーション技術とログベースシミュレーション技術の統合が不可欠となっています。シミュレーションでは、多様で、コントロールされた仮想環境で AV システムを徹底的にテストすることができ、道路を走行する前にこれらのテクノロジーの予測可能性と安全性を高めることができます。ログベースのテストでは、コントロールされたシミュレーション環境内で実世界のデータを使用して AV システムの厳格な検証を行うことができるため、デプロイ前にこれらの技術の信頼性と安全性を高めることができます。

このような大きなリスクを伴う環境では、自動運転技術に対する社会的信頼を損ないかねない潜在的な遅延、過剰なコスト、安全性の問題を回避し、日常的な運転の予測不可能性をナビゲートできる効果的な検証ソリューションが求められます。実走行データを詳細なシミュレーションに変換するログ抽出は、このプロセスにおいて重要な役割を果たします。合成フレームワーク内で実世界のシナリオを再現することで、よりダイナミックで効率的なテストサイクルが可能になります。

本ブログでは、実世界データの物理的精度と合成シミュレーションのスケーラビリティを融合させ、テストプロセスの効率と徹底性の両方を向上させる、ロバストな検証アプローチについて説明します。

AV 開発におけるログ抽出の役割

シミュレーションは、自動運転システムの開発において重要なツールです。しかし、シミュレータを実運用で効果的に使用するためには、シナリオの記述をパラメータ化する必要があります。自動運転システムの開発者は、しばしばロボットシステムから収集した実世界のデータ (ログ) にアクセスできることが可能です。これらのログは、主にログの再シミュレーション(開発中にログデータをテストスタックに再生すること)や、シナリオ抽出(シミュレーション テストにおける実世界の忠実度を高め、実データからシナリオをパラメータ化すること)に使用されます。ログ抽出は、実データから合成シミュレーション環境への移行において極めて重要な役割を果たします。このプロセスでは、ドライブのログデータを詳細に抽出してシミュレーションに取り込み、AV 開発の初期段階でシミュレーション フレームワークに統合します。これにより、チームはデータを修正・補強してロングテール条件に効果的に対処できるようになります。

ログ抽出の主な利点

ログ抽出をシナリオ作成に統合することで、大きなメリットが得られます。:

  • 試験形式の標準化: 自動運転ソフトウェアが進化するにつれて、様々なログフォーマット間の互換性を維持することが困難になります。グランドトゥルースのシナリオ記述からシミュレーションを行うことで、異なる世代のソフトウェア間でログを使用することができ、長期的な使いやすさが向上します。
  • ハードウェアの変更への適応性: センサー技術の進歩に伴い、企業は新しいセンサーにアップグレードしたり、既存のセンサーの配置を変更したりすることが多く、その結果、過去のログの関連性が低下したり、互換性がなくなることがあります。ハードウェア構成の変更に対応する柔軟性をログ抽出プロセスに組み込むことで、ログは異なる世代のハードウェア間で有用性を維持し、一貫したテストの妥当性を確保し、頻繁な再キャリブレーションの必要性を低減することができます。
  • リアリズムの強化: 実世界のシーンを抽出することで、シミュレーションが実際の運転状況を反映するようになり、合成シミュレーションをしばしば悩ませるドメインギャップを埋めるのに役立ちます。
  • 費用対効果: 大規模なデータ収集と手作業によるシナリオ作成の必要性を減らすことにより、開発者は収集データを最大限に活用できるようになり、その結果、ログ抽出により、テストと開発に関連するコストが大幅に削減されます。また、ログ抽出は、合成シナリオを手作業で作成する場合に比べて時間を節約します。
  • ログ拡張による柔軟性: 抽出されたログは、すべての合成シナリオと同じように変更することができるため、収集された1つのログを、斬新で効果的なテストケースやトレーニングケースのソースに変えることができます。抽出された合成シナリオのパラメータを制御することで、開発者はテストケースをファジングし、現実世界では見られない無限のエッジケースからデータを生成することができます。

図1:フィールドテストと合成シミュレーションを比較すると、高性能なソフトウェアシステムを開発するには、どちらか一方だけでは不十分であることがわかります。

Applied Intuitionのログ抽出への独自のアプローチ

Applied Intuition は、AV 開発におけるデータファーストのアプローチでログ抽出プロセスを再定義しました。抽出されたアクターの行動を滑らかにし、ログを標準のシナリオ形式に変換し、トレーニングやテスト用の完全な合成3D 環境を抽出してパラメータ化するアルゴリズムを開発することで、Applied Intuition はシミュレーションの拡張性と現実性を保証します。チームは Log Sim を利用して、高精度のログ再シミュレーションや実データからのログ抽出を行うことができます。Object SimSensor SimSynthetic Datasets を使用して、これらのログから新しいオブジェクトやセンサーレベルのシミュレーションを作成し、新しいシナリオのテストやトレーニング、エッジケースのカバーができます。ユーザーは、Data Explorer を使用して、ドライブログから収集した関心のある 3D データを視覚化し、さらにトリアージすることができます。さらに、オープンボキャブラリーの認識モデルを内蔵した Applied Intuition Copilot (Data Explorer 上) を使用して、実世界のログから重要なイベントを特定し、自動的に抽出することができます。

図2:ドライブログの例(左)、Applied Intuition のシミュレータで抽出したシナリオ(右)

当社のアプローチの主な特徴は以下の通りです。

  • カスタマイズ可能な抽出設定: ユーザは、LogSim を使用して、オブジェクトレベルのシナリオ、センサレベルの詳細、またはサードパーティ形式など、特定の検証目的に合わせて抽出設定を調整できます。ユーザは、合成シナリオに抽出するアクタ、オブジェクトの動作と動作インテリジェンスのパラメータ化方法、合成シナリオに最終的に含めるデータをきめ細かく制御できます。
  • 高度なノイズリダクション:データのノイズを低減するように設計されたアルゴリズムは、よりクリーンで正確なシミュレーションを生成するのに役立ちます。
  • 3D世界の再現: ログは、3D デジタルツインを抽出するために使用することができ、その後、高忠実度のセンサーシミュレーションのためのSensor Sim またはトレーニングデータを生成するための Synthetic Datasets で使用することができます。

Screen Recording 2024-06-20 at 10.24.04 AM.mov [optimize output image]
図3:実際のドライブセッションの例(左)、Applied Intuition のシミュレータで「デジタルツイン」を作成するために抽出されたセンサーシミュレーション(右)

ケーススタディと実践的応用

Applied Intuitionは、膨大なドライブデータからシナリオを抽出することで、自動運転プログラムにおいて、さまざまな開発段階で再利用できる独自のシナリオライブラリの構築を支援します。この方法論は検証プロセスを合理化するだけでなく、トレーニングを通じて車両の全体的な安全性と信頼性を高めるます。

当社のチームによる最近の研究では、自動運転車両技術にとって重要な、ライダーセグメンテーションにおけるレアクラス検出を強化する重要な進歩が明らかになりました。本研究では、ターゲットドメイン適応と合成データ生成を利用して、自転車のような一般的でない道路物体の認識を改善しました。この研究の中心はログ抽出技術の利用であり、実世界の走行データを綿密に抽出・修正して、非常に詳細でシナリオに特化した合成データセットを作成しました。このケーススタディにおいて、当社のチームは以下を実施しました。

  • 実世界のデータセットであるnuScenes から、正確な 3D 世界と合成シナリオを抽出
  • 抽出されたシナリオからグランド トゥルースのラベル付き合成データを生成し、実世界のシーンと合成シーンをマッチングさせることで、合成データの忠実度を検証
  • 抽出した合成シナリオを編集し、実世界データにおける交通弱者 (VRUs) のクラス分布の不均衡に対処するためにファジングを実施
  • 生成された合成データを用いてベースライン認識モデルを再トレーニングし、対象となるクラスに関する改善を調査

結果:18%の改善この手法により、モデルの自転車検出性能は18%向上し、nuScenes-lidarseg ベンチマークでクラス最高スコアを記録しました。また、このアプローチはデブリ検出やライダー物体検出など、他のレアクラスやタスクへの一般化にも効果が確認できました。本研究は、ログ抽出と合成データがレアクラスの検出の強化など、自動運転車両技術の課題に活用できる事を実証しました。この成果は、車両の安全性と信頼性を向上させるために極めて重要です。さらに、ログ抽出を使用してより大規模な合成データセットを生成することで、実世界での大規模なデータ収集への依存を減らすことができ、開発プロセスを迅速化し、コストを削減に繋がります。Applied Intuitionのログ抽出ツールがAV 開発プロセスにどのような革命をもたらすか実際見て確認するためにはデモの日程や詳細についてApplied Intuitionまでお問い合わせください。