0. 背景
カーサラウンドビューは一般的な運転支援技術であり、魚眼カメラを車両の前部、駐車スペース、左右のバックミラーに設置し、アルゴリズムによって計算することで、ドライバーに周囲の環境を観察するための豊かな視点を提供し、運転を改善します。安全運転。一方、自動/アシスト運転技術の人気と継続的な普及により、サラウンド ビューは重要なデータ ソースであり、移動物体の検出や A 自動駐車などの高度な運転アルゴリズムの実装基盤でもあります。下の図は、インターネットで見られる一般的なルックアラウンド アルゴリズムの表示効果です。
1.機能
ここでは、カーサラウンドビュー機能を、主機能、補助機能、高度機能の 3 つのカテゴリに分類します。
1つ目は主な機能で、主に各種シングルビュー、2D俯瞰ビュー、3Dサラウンドビュー、補助線反転など。
2 つ目は補助機能で、主な機能に加えて 2D/3D の車種表示、レーダー リマインダー表示、車両状態表示 (ドア スイッチ、方向指示器など) が主です。
最後に、色の一貫性（サラウンドビューカメラの入力画像の明るさ/色の不一致を減らし、ステッチされた画像に「色の違い」を引き起こす）、車体の透明度（下部領域を画像履歴情報で埋める）などの高度な機能があります。 ）、動的キャリブレーション（サラウンドキャリブレーションの運転中に実現）など。
最初の 2 種類の機能は非常に一般的で、多くのモデルで成熟しています。最後の高度な機能は、製品の差別化を具現化し、ユーザー エクスペリエンスを向上させることができます。
2. 技術的な解決策
ハードウェアは主にサラウンド ビュー カメラ (通常は魚眼カメラ) の選択とコンピューティング プラットフォームとデータへのアクセスです. ここでは主にソフトウェア関連のソリューションについて説明します. 次の図は単純化されたシステム フレームワークです.
サラウンド ビュー アルゴリズムのコア操作は、4 台のカメラからの画像をつなぎ合わせて鳥瞰図または 3D サラウンド ビューを取得することですが、つなぎ合わせる前に、キャリブレーションによって各カメラのパラメーターを取得する必要があります。カメラ パラメータには、内部パラメータと外部パラメータがあります. 前者には、光学中心座標、焦点距離、および歪みパラメータが含まれます. 後者は、カメラ座標系と車両座標系の間の変換関係を記述するために使用されます. フロントマウント サラウンド ビューのキャリブレーションは、通常、生産ラインで完了します。
上記のキャリブレーションによって得られたパラメータは、画像ピクセル座標系-カメラ座標系-車座標系の間のマッピング関係の計算を提供しました.次に行うことは、画像補間とスプライシングです.技術的な観点から,それはグリッドです.画像の補間演算. SIMD やマルチスレッド技術を介して CPU を使用するか、GPU を直接使用することで効率的に実現できます。2D 鳥瞰図と 3D サラウンド ビューの実装プロセスはほぼ同じですが、接合メッシュ モデルの確立に違いがあります。さらに、OpenGLES の特性により、3D サラウンド ビュー スティッチングのアプリケーションに特に適しています。カメラのキャリブレーションと画像の変換については、以前のブログで言及されているので、参考にしてください。
単一ビューの操作は、主に元の入力画像の歪みをトリミングまたは修正することであり、これは依然として本質的に画像グリッド補間操作であり、2D 車モデルの表示は画像データの混合重ね合わせであり、3D 車の表示です。モデルは通常、OpenGLES によってレンダリングされます。
車両に接続された他の信号 (車両のホイールベースやその他のパラメーターと組み合わせたステアリング ホイール角度など) を使用して車線軌道を計算する; レーダー信号を使用してレーダー標識の表示を制御する; 車両の車輪速度を鳥瞰図のステッチングと組み合わせて使用する車体の透明性などの機能を実現。
3. 機能実現
現在、比較的完全な自動車サラウンド ビュー アルゴリズムが実現されており、その機能には、サラウンド ビュー キャリブレーション、2D 鳥瞰図、3D サラウンド ビュー、シングル ビュー、レーダー マーキング、動的運転補助線、透明な車体、一貫した色などがあります。具体的な効果を下図に示します。このアルゴリズムは、プラットフォーム GPU を使用して OpenGLES を介してレンダリングし、1080P@25FPS の実行速度を達成できます。
