正確で堅牢な認識モデルは、あらゆる先進運転支援システム（ADAS）および自動運転（AD）システムのバックボーンです。プランニング/コントロールモジュールは、エージェントの周囲の世界を見て、情報を十分理解できる場合にのみ、車を安全にナビゲートできます。ディープラーニングベースの認識システムでは、開発時には大量の多様なトレーニングデータが必要であり、検証時には広範なテストが必要です。3Dワールドは、開発者がリスクを伴わずに複雑な、珍しい、危険な状況を含む幅広い運転シナリオを作成できるシミュレート環境を提供します。
センサーシミュレーションは、実世界でセンサーがどのように見えるかを模倣できるプラットフォームを開発することで、認識エンジニアに役立ちます。このブログでは、Applied Intuitionのセンサーモデルが合成データを作成するための3Dワールドに焦点を当てます。
合成センサーの詳細については、 センサーモデルの背後にあるアルゴリズムと、合成データが認識モデルのパフォーマンスに与える影響に関する以前のブログをご覧ください。
3Dワールドの構成要素
3D ワールドには、ベースマップを構築するための以下の要素を含む複数の構成要素があります。
- 路面、歩道、車道
- 車線やデカールなどの道路標示
- 地形、すなわち地面、周囲の道路、その他の人為的な表面を表すデータ
- 亀裂、汚れ、ポットホールなどの局所的な路面の変化
- 静的アセット、すなわち樹木、街灯、ゴミ箱、フェンス、芝生などの道路にはないが世界に存在するオブジェクト
これらの3Dワールドに必要な要素が揃っても、3Dワールドのクオリティには大きなばらつきがあります。 次のセクションでは、良い 3Dワールドと悪い3D ワールドの違いを探ります。
良い3Dワールドとは？
合成環境のクオリティは、「リアリズム」という一点だけです。しかし、どうすればリアリズムを測定できるのでしょうか。
道路ジオメトリ
合成環境では、プランニングとコントロールモジュールを効果的にシミュレートするために、正確で現実的な道路特性が必要です。このような現実的な詳細情報がなければ、これらの道路に忠実度の高い車両ダイナミクスモデルを適用しても、実際の道路上での実際の車両の挙動を正確に反映することはできません。
例えば、現実世界の道路は、降水の流出を助け、ライダーの快適性を向上させるためのキャンバーが付いていることが多いです。 しかし、ほとんどの地図データ表現はこの要素を考慮しておらず、代わりに道路を平面オブジェクトとして扱います。 実際の道路は完全な平面ではなく、ポットホール、スピードバンプ、亀裂、排水溝、その他のアーチファクトがあり、車両の走行に影響を与えます。 リアルな3Dワールドは、これらの要素をモデル化し、正確で有用な車両ダイナミクスシミュレーションに不可欠です。 同様に、浅い角度では、これらの擾乱はライダーシステムからの戻りレンジに大きな影響を与えます。
アセット素材
3Dアセットとは、樹木、乗り物、建物など、3Dワールドに存在するオブジェクトのことです。 これらは、形状を定義するメッシュと、光と表面の相互作用、つまり外観を定義する材料によって定義されます。 電磁波が様々なオブジェクトとどのように相互作用するかを正確にシミュレートしようとする物理ベースレンダリング（PBR）システムにとって、オブジェクトの材料特性のクオリティは、忠実度の高いシミュレーションのために不可欠です。 材料特性は、特定の波長の光がどのように散乱するかを周波数の関数として定義するもので、多くの場合、双方向散乱分布関数（BSDF）の形で定義されます。
これらの機能を正確に特性化することは大きな投資となりうるが、その結果、実際に有用なカメラ、ライダー、レーダーの出力が得られます。
アセット配置
高品質のアセットがあるとして、シーンのリアリズムはアセットの配置の正確さによって決まります。多種多様な大規模な 3D ワールドを作成する場合、個々のアセットを手作業で配置するのは現実的ではありません。この課題には、ある種のプロシージャル法、つまりルールやアルゴリズムに基づいてコンテンツを作成するプログラム的な方法が必要です。 プロシージャルな編集を行う場合、モジュールのプランニングに役立つデータを作成するためには、アセット配置のリアリズムが重要です。
例えば、道路の真ん中にベンチやゴミ箱などのランダムなオブジェクトを配置しても、現実世界の道路がどのようなものであるかは反映されません。 これはシミュレーションの質を低下させ、結果として得られるデータは役に立たないことが多いです。
3D ワールドの作り方
3D ワールドを作成するには複数の方法があり、それぞれに長所と短所があります。
手作りのデジタルツイン
従来、3Dワールドでは、テクニカルアーティストが手作業で世界を再現し、その世界を既製のアセットで埋めるのにかなりの時間が必要です。
デジタルツインは、様々な入力、参照画像、ライダースキャンを使用します。このブログで取り上げたすべての手法の中で、デジタルツインは世界で最も忠実なデジタルレクリエーションを生み出します。組み込み済みの車両、歩行者またその他の物がないため、各オブジェクトのグラウンドトゥルースデータが含まれていることで、カスタマイズが可能です。
残念ながら、ゼロからデジタルツインの3Dワールドを作成するには金銭と時間がかかり、数ヶ月または数年の作業が必要となります。また、バーチャル世界を更新するには数週間かかる場合があるため、現実世界の最新状態を保つのも困難です。デジタルツインの更新にはアーティストのリソースも必要で、大規模なオンサイトアクセスが必要となります。
プロシージャル編集
プロシージャル技術を使うと、手作りのデジタルワールドにかかる時間を削減しつつ、リアルな 3D ワールドを実現できます。
アーティストのチームが、3D ワールド全体に無数のライト、木、その他のオブジェクトを手作業で配置する必要はありません。プロシージャル編集は正確で、ベースマップ、ライダー点群、フォトグラメトリ、OpenStreetMaps、USGS デジタル標高データなど、様々な入力を使用できます。
プロシージャル法により、従来のワークフローで1つの3Dワールドを作成するのにかかる時間の何分の一かの時間で、複数のバージョンの3Dワールドを生成することができます。 これらの各バージョンは、ADAS または AD スタックのトレーニングとテストに役立ちます。この技術により、チームは地図データが入手できない新しい地域や運用設計領域 (ODD) に拡大することができます。生成された 3D ワールドには、各オブジェクトの正確なグラウンドトゥルースデータがあり、車や歩行者が組み込まれないです。
トレードオフとして、プロシージャルに生成された 3D ワールドでは、ある程度の特異性に欠けます。プロシージャル法では地形学的な場所は生成されますが、現実世界の特定の場所を正確に再現することはできません。デジタルツインのハイパーリアリズムに妥協して、同じ世界の多くの異なるバージョンを提供することで、テスト時に信頼性と柔軟性を与えます。
Applied Intuitionは、プロシージャルツールと限定的な手作りアセットを組み合わせて、忠実度、正しいアノテーション、正確さ、精度を保証します。 当社のシミュレーションツールは、デフォルトの3Dワールドを生成すると同時に、開発チームにユースケースに合わない自動生成パーツを修正する柔軟性を提供します。
フォトグラメトリとスキャン
フォトグラメトリは、3D ワールドをすばやく構築するもう 1 つの方法です。シーンの正確な表現を再構築するには、オブジェクトの複数の画像を様々な角度から撮影する必要があります。
ただし、フォトグラメトリにはいくつかの制限があります。シーン内のオブジェクトを明確に分離することができません。例えば木や茂みなどのアセットが融合して 1 つのブロブになります。フォトグラメトリにはストレージ要件と計算の複雑さがあるため、コストがかかることもあります。スキャンが不完全だと、生成されたワールドに穴や隙間ができてしまう可能性があります。適切なラベルを付けなくてもアセットが組み込まれてしまうことがあります。
ニューラルラディアンスフィールド (NERF)
NeRFsは、カメラ画像入力を使用して様々角度から3Dワールドをレンダリングする機械学習（ML）技術を活用したのより先進なスキャンです。新しい技術であるため、ドライブデータの再生など特定の領域に貴重なユースケースがありますが、3D ワールドをパフォーマンスよく再現するのには最適ではありません。
NeRFsの主な利点は、フォトグラメトリキャンによくある穴や「不良データ」を生成しなく、カメラ入力を使用して標的世界を正確に再現できることです。
一方、NeRFsは生成と再生のために大量のデータ、コンピューティング、ストレージを必要とします。また、サンフランシスコ市の雪などのような分布外の特徴を表現するのは難しいです。
一般的に、NeRFsによって作成された3Dワールドは柔軟性に欠け、レーダー、ライダー、超音波センサーなどの他のセンサーモダリティには汎用することができません。場合によっては、生成された画像がぼやけたり、オブジェクトがまとまってブロブになったように見えたりすることがあります。ワールドにあるすべてのアセットは組み込まれますが、通常は自動的にラベル付けされません。
NeRFsには限界がありますが、Applied Intuitionがワールド生成システムへの統合の可能性を探っています。NeRFsの強みを正確な手作りアセットと組み合わせたハイブリッドなアプローチによって、特徴的な建物などのユニークなアセットをよりよく再現できると考えています。
Applied Intuitionの3Dワールドへのアプローチ
Applied Intuitionでは、ユーザーフレンドリーなプロシージャルワールド生成システムを開発しました。ADAS と AD の開発チームにとって、あらゆる気象条件に対応するフル機能のマップを生成できます。Applied Intuition の環境編集ツールMap Toolset*を使用して、プロシージャルゾーン、実行ごとのアセットランダム化、および大規模なドメインランダム化ツールで 3D ワールドをカスタマイズできます。当社のプロシージャルなワールド生成システムを使用することで、センサーシミュレーションや合成データ生成のための環境作成にかかる時間とコストを削減するメリットがあります。
ランダム化ツールにより、開発者は同じ 3D ワールドの多くのバージョンをテストすることもできます。特定の日付と一致する特定のバージョンのマップでテストを実行できるだけでなく、例えば「あの木がなかったらどうなるか」、「代わりに交差点の角に障害物があったらどうなるか？」などの質問も調査できます。
Applied Intuitionの3Dワールドツールの作り方
Applied Intuitionのテクニカルアーティストチームは、よりリアルなルールセットを作成し、ほこり、錆、ウェザリング、天候の影響、その他のバリエーションを含むアセットを自動的に変化させることで、3Dワールド生成の単調さと繰り返しの問題を解決します。
例えば、簡単なルールでは 30 メートルごとに街灯を設置できます。一見すると、この手法はうまく機能しているように見えますが、街灯が均等に分布しすぎて現実的ではなくなり、幅の広い道路ではパフォーマンスが低下する可能性があります。より複雑な手順としては、端に円を配置して空間を埋めることで、道路エリアが均等に照らされるようにする方法もあります。これにより、より現実的な光の分布が生成され、高さの高い高速道路のライトや郊外の小さなライトなど、状況に応じて適切な照明が自動的に使用されます。
良いルールはよりリアルな世界を作られします。Applied Intuitionのツールを使うと、3Dワールドのルールや設定をカスタマイズすることができます。 この柔軟性により、開発チームは3D環境を完全にコントロールできます。
アンリアルエンジン
Applied Intuitionは、アンリアルエンジン 5 からセンサーレンダリングエンジンを派生させます。ソースコードにアクセスできるため、例えば様々な照明スペクトルを追加したり、ライダー、レーダー、およびカメラセンサー用のカスタムVulkan Linuxベースレイトレーシングを統合したりするなど、ベースエンジンを強化することができます。 また、再帰反射サーフェスや赤外線再帰反射 (IR) プロパティなど、必要に応じてアセットの材料プロパティを拡張しました。アンリアルエンジン 5 は、ライティングの忠実度において業界をリードしており、広大なシーンや非常に詳細なワールドに対して最高のサポートを提供しています。
ADAS および AD シミュレーションのためのベストインクラスの 3D 環境構築に関する詳細については、 Applied Intuitionまでお問い合わせください。
*注：Map Toolsetは以前はMeridianと呼ばれていました。
.webp)
.webp)
