Exchange グループ | 「センサーグループ/スケートボードシャーシグループ」を入力し、WeChat ID: xsh041388 を追加してください

Exchange グループ | 「Automotive Basic Software Group」に入り、WeChat アカウントを追加してください: Faye_chloe

備考：グループ名＋本名、会社名、役職

著者 | Xi Shaohua

車に搭載されるLiDARの数が増えるにつれ、LiDARをいかに使いこなすかが最優先事項となり、LiDARを使いこなすためのポイントの1つは、点群データをうまく処理することです。

レーザーポイントクラウドとは、3D レーザーレーダー装置によってスキャンされた空間ポイントのデータセットを指します. 各ポイントクラウドには、3D 座標 (XYZ) とレーザー反射強度 (強度) が含まれます. 強度情報は、表面の素材と粗さ、レーザーに関連しますレーザーレーダーの入射角、レーザー波長、エネルギー密度が関係しています。

点群をさらに明確に説明するために、著者は点群の関連するパラメーターと特性を整理します。

表: LIDAR ポイントクラウドの関連パラメータ

表: 点群の特徴

点群の収集原理の観点から、ToF ルートのレーザーレーダーを例にとると、レーザー点群は、車載レーザースキャニングシステムがレーザー信号を周囲に放出し、収集することによって取得されます。発射から帰還までの時間などの情報からターゲットの距離情報を計測し、IMU、走行距離計、GNSS などの情報と組み合わせて、ターゲットの 3 次元座標情報と距離情報を計算します。正面。

さらに、点群の収集と分析の過程で、認識アルゴリズム担当者は、角度分解能や視野などの関連パラメータと組み合わせて、車載ライダーの特性と動作原理に基づいて点群をより有効に活用する必要があります。ライダーの。

では、車内のライダーポイントクラウドの処理における具体的な処理手順と方法は何ですか? そして、どのように最適化するのですか？

その後、これらの問題を検証するために、Tudatong アルゴリズムの責任者である Xu Jian 博士、システムとアプリケーションの責任者である Leon、SAIC の上級管理者である Yin Wei、Tang Qiang に順次インタビューしました。、Zongmu Technologyの知覚アルゴリズムエンジニア、およびHesai Technologyの専門家。ここで、著者はあらゆる分野の専門家から与えられたサポートに感謝し、読者が参照できるように次の一連の記事を整理します。

以下は、レーザー点群処理に関する一連の記事の最初の記事です。

LIDAR点群処理の具体的なプロセス

点群とは何か、その特徴について説明した後、続いて自動運転におけるライダー点群の処理フローを分析します。その前に、説明が必要な点が 2 つあります。

まず、LIDAR ポイントクラウドを認識とポジショニングに使用する場合、ポイントクラウドはまず前処理を完了し、次にさまざまな目的に応じてさまざまな処理を実行し、ポイントクラウドのアプリケーションの詳細も異なります。

Tang Qiang 氏は次のように述べています。通常の路面の反射率は異なり、レーザーレーダーはこのように路面情報のデータを取得します.レーザーレーダーを知覚に使用する場合、ROI範囲を決定する前処理プロセスがあり、次に、この領域のポイントクラウドデータを使用して、追跡検出を完了します。」

第二に、点群の特定の適用プロセスでは、各企業は、それぞれの技術ソリューションと適用シナリオに従って、処理プロセスに多少の違いがありますが、ほとんどの処理プロセスは同じです。

点群の処理フローをより詳細に説明するために、著者は専門家インタビューの内容と公開情報を組み合わせて、自動運転アプリケーションにおけるライダー点群の一般的なプロセスを整理します。

図：レーザー点群の処理フロー

0 1

点群前処理レベル

1.1 元の点群データの受信と分析

(1) 点群データの受信

LIDAR の元の点群データは、データパケット (pcap) に格納されますが、このとき、データパケット内のデータは一連のバイトシンボルであり、直接使用することはできません。

Velodyne の 16 ライン LIDAR を例にとると、元の点群データは、主に UDP (User Datagram Protocol) の形式でネットワークにデータを送信することによって受信されます。具体的には、ライダーのWeb側またはコマンドラインで設定した後、技術者はライダーのIPアドレスを受信側の独自のUDPポート番号と照合して、元の点群データを受信できるようにします。

データの内容から判断すると、このタイプの LIDAR は垂直方向 (-15° から +15°) に 16 ラインのレーザービームを持ち、各フレームのデータ長は 1248 バイトに固定されています。 42 バイトの最初のデータパケット ID、データパケットの 12 グループ、タイムスタンプの 4 バイト、およびレーダーモデルパラメータの最後の 2 バイト。

図: Velodyne-16 LIDAR の各フレームの点群データ

(データソース: 「Velodyne VLP-16 LIDAR データ形式分析」)

各データパケットのデータには、レーザービームの回転角度、距離値、および反射強度に関する情報が含まれています。たとえば、「B6 07」はライダーの検出距離、「2A」はレーザーの反射強度を表しますが、これらの情報は 2 バイトで表現されており、これらのデータのさらなる解析が必要です。

図: Velodyne-16 ライダーデータパケットの一部

(データソース: 「Velodyne VLP-16 LIDAR データ形式分析」)

(2) 点群データ（pcd）の解析

データパケット (pcap) の生データは、知覚技術者が使用できる pcd 形式のデータセットにさらに変換する必要があります。

点群データの PCD 形式ファイルは、レーザー点群の保存形式です. PCD ファイルは、主にデカルト座標 (x, y, z) と強度値 i で構成されるリストです. つまり、各点群には固有の値があります. 3D 座標系とエネルギー反射強度。

この座標系では、x 軸は車の前方を指し、y 軸は車の左側を指します。この座標系は右手の法則を使用するため、座標系の z 軸は車の上を指します。

図: 点群の pcd 座標

（データソース：「スタディノート：点群ライブラリPCL入門」）

点群データの分析プロセスを説明するために、著者は上記の Velodyne-16 ライダーの点群データパッケージの特定のフレームを例として取り上げ、公開情報に基づいて次のように分類します。

最初のステップは、レーザーラインの回転角度値を計算することです。

たとえば、上記のパケットの最初の部分の最初の行の回転角度は 0xE0、0x63 です。

a) 2 バイトを反転して 16 進数 63 E0

b) 63 E0 を 25568 として符号なし 10 進数に変換します。

c) 25568 を 100 で割って 255.68 を取得すると、得られた値 255.68 が現在の回転角度値になります。

2 番目のステップは、16 本のレーザーラインによってそれぞれ測定された距離を計算することです。

たとえば、上の図のデータパケットの最初の部分にある最初のレーザーラインの距離は、「B6 07 2A」の値を持ちます。ここで、「B6 07」は距離、「2A」は反射強度です。

a) 2 つの距離バイト「B6 07」を逆にして、「07 B6」に変換します。

b) 「07 B6」を 1974 年の符号なし 10 進数に変更

c) このタイプの LIDAR の分解能は 2.0mm であるため、レーザービームで測定されたターゲット距離は 1974*2=3948mm です。

d) 3948mm をメートル測定の単位、つまり 3.948m に変換します。

3 番目のステップは、フレームのタイムスタンプと LIDAR モデルのパラメーターを取得することです。

たとえば、上図のデータパケットの最後の部分にあるデータ「6D 69 94 0F 37 22」の最後の 6 バイト。

a) データの最初の 4 バイト「6D 69 94 0F」はフレームのタイムスタンプであり、シーケンス「0F 94 69 6D」を逆にします。

b) "0F 94 69 6D" を 261384557 マイクロ秒 (μs) の 10 進数値に変換します。

c) 261384557 を 1000000 で割り、現在の時刻を取得します。これは 261.384557 秒 (秒) です。

d) 最後の 2 バイト「37 22」は、レーダーのモデルとパラメータを示します。

4 番目のステップは、角度と距離の情報を 3 次元座標 XYZ 値に変換することです。

三次元座標 XYZ 値は、回転角度 α (最初のステップで取得済み)、垂直角 ω (各レーザーラインに対応する固定値)、および距離値 R (2 番目のステップで取得済み) によって総合的に計算できます。 step) 具体的な座標変換を下図に示します。

図：対象点群の三次元座標計算

(データソース: 「Velodyne VLP-16 LIDAR データ形式分析」)

1.2 モーション歪み補正

モーションの歪みとは、LIDAR またはそのキャリアによって生成された点群の位置がフレーム時間内で同じではないという問題を指します。

動きの歪みの補正を理解するには、まず、自動運転車側の LIDAR ポイントクラウドが動きの歪みを生成する理由を知る必要があります。

実際、LIDAR によって放出されるレーザーポイントクラウドのフレームは、複数のレーザーポイントで構成され、これらのレーザーポイントクラウドは、スキャンデバイスの 1 回のスキャン後に形成されます。静的なシーンで、車両が静止しており、シーン内のターゲットオブジェクトも比較的静止している場合、収集された点群のフレームは歪んでおらず、各レーザービームは最終的に閉じた円を形成します。

図: 静止状態の車両の点群は歪みを生成しません

車両の高速走行時や旋回時などの移動シーンでは、フレーム点群の開始点群と終了点群は異なる座標系でしか測定結果を取得できず、3D 環境情報の歪みにつながります。 . 下の図に示すように、車両が動いているとき、車両の端にあるレーザーレーダーは円をスキャンし、最後のレーザービームがターゲットに当たったときは、最初のレーザービームがターゲットに当たったときと比較して、ターゲットの空間オブジェクトの位置が相対的に変位しました。つまり、2 つの異なる時点でのオブジェクトの点群であり、座標系に表示される情報は異なります。

図：時間差でターゲットにレーザーを照射している様子

モーション歪み補正は、上記の問題を解決することです - 取得プロセス中にレーザーのモーション軌跡を計算し、対応するレーザーポイントクラウド上のモーション変位のこの部分によって引き起こされる変化を補正し、同じフレームのポイントクラウドを統合します座標系の下で同じ瞬間に。

モーション歪み補正をさらに説明するために、OEM の認識アルゴリズムエンジニアは例を挙げました。 (または IMU を直接使用します。方法は、車が 0.1 秒以内にどのように動くかを計算し、モーションモデルを使用してモーションの歪みを補正することです。"

一般的な動きの歪み補正方法:

純粋推定法 (ICP/VICP)

反復最近点 (ICP) 法では、ICP アルゴリズムを使用して 2 つの点群を照合し、連続的なアルゴリズムの反復によって点群間のエラーを最小限に抑えます。

VICP 法は ICP アルゴリズムの変形で、車両が一定速度で移動していると仮定し、点群とのマッチングを行いながら車両自身の速度を推定します。

反復最近点 (ICP) と VICP は、まとめて「純粋推定法」と呼ばれます。

センサーアシスト方式 (IMU/ODOM)

慣性測定ユニット (IMU) メソッドは、IMU キューで IMU の 2 つの隣接するフレームのデータを検索し、球面線形補間によってスキャンポイントの瞬間のライダーポーズを計算し、次の変化を適用します。 2 点を変換するための同次座標系雲の座標は同じ座標系に変換されます。

ホイールオドメトリ (ODOM) メソッドは、各点群座標を同じ座標系に変換し (2 回変換する必要があります)、最後にフレームの点群データを再パッケージ化します。

慣性測定ユニット (IMU) とホイールオンボード走行距離計 (ODOM) は、センサー支援アプローチと総称されます。

融合法

この方法は、オドメーターと ICP を同時に使用する融合方式で、まずオドメーター法を使用して運動の歪みを補正し、ほとんどを除去してから、ICP 法を使用してオドメーターの誤差値を取得します。、そして誤差値を点群上のそれぞれに広げ、点群の位置を再度修正します。最後に、ICP メソッドを使用して、エラーが収束するまで繰り返します。

1.3点群フレーミング

認識アルゴリズム担当者が点群の動きの歪みの補正を完了した後、彼らは問題を発見します: LIDAR によって送信された点群データパケット内の点群の数は実際には非常に少なく、その後の処理には使用できません。知覚とポジショニングのレベル。

この時点で、認識アルゴリズム担当者は、これらのデータパケットのポイントクラウドフレーミングを処理する必要があります。

点群フレーミングに関して、L4 ソリューションプロバイダーの認識アルゴリズムエンジニアは次のように述べています。車両側に複数の LIDAR がある場合、認識アルゴリズム担当者はこれらの LIDAR の点群データパケットを個別に分析し、分析された点を変換します。クラウドデータは同時に収集され、大きなデータパッケージになります。たとえば、技術者は時刻 t で車両の端にある複数の LIDAR の点群を収集し、それらを 1 フレームの点群データとして処理します。」

1.4外部パラメータの変更

点群データを解析して得られた点群座標系はライダー座標系に属しますが、自動運転技術の実際の適用では、ライダーの座標系を車両の座標系に変換する必要があります。接続を確立するプロセスは、点群変更の外部パラメーターと呼ばれます。

LIDAR と車体は剛に接続されているため、車両の移動中の 2 つの相対姿勢と変位は固定されており、2 つの相対座標系間の位置関係を回転または並進によって確立するだけで済みます。つまり、2 つの 3 次元座標系を 1 つの 3 次元座標系 (グローバル座標系またはワールド座標系とも呼ばれます) に結合できます。

1.5フィルタ処理

LIDARで点群データを取得する過程で、製品独自のシステムや測定対象の表面、スキャン環境などの影響により、点群データには必然的にノイズ点（外れ値）が含まれます。 )、これらは直接カリングするか、平滑化された方法で処理する必要があります。これらのノイズポイント (外れ値) は、その後の点群処理 (点群セグメンテーション、特徴抽出、点群登録など) でモデル結果に特定のエラーを引き起こします。したがって、実際の点群処理プロセスでは、知覚担当者が点群をフィルタリングします。

ノイズとは、モデル処理には役に立たない点群データを指します。
外れ値とは、主観的な観測領域から遠く離れた点群データを指します。

専門家へのインタビューで、著者は、自動運転業界では一般的にノイズに外れ値が含まれていることを知りました。したがって、以降の記事では、ノイズについてまとめて言及します。

次の表は、著者が分類した、自動運転業界で一般的なフィルタリングアルゴリズムの一覧です。

表: 自動運転業界で一般的なフィルタリングアルゴリズム

0 2

知覚機能レベル処理

点群の前処理作業全体が完了すると、認識アルゴリズムの担当者が点群データを認識レベルと測位レベルでそれぞれ処理します。

認識レベルのプロセスでは、点群データは主に 3D ターゲット検出に使用されます。つまり、自動運転システムは、障害物回避などの措置を講じるために、車両認識領域内の障害物を識別して検出する必要があります。

点群の前処理が完了した後、認識レベルでの処理には 2 つの分岐があります: 1 つは、点群のセグメンテーション、オブジェクトのクラスター分析などを含む従来の 3D オブジェクト検出方法を適用することであり、もう 1 つはディープラーニングを直接適用することです。モデル 3D ターゲット検出を完了します。

以下は、2 つの異なる方法に基づいて点群 3D ターゲット検出プロセスを逆アセンブルします。

2.1従来の方法に基づく知覚データ処理

(1) 地上点群セグメンテーション

ターゲット検出後、点群データの大部分は地上点データに属し、特定のテクスチャを提示します。これは、ターゲットオブジェクトのその後の点群処理プロセスに影響を与えます。

一方では、これらの地上点群データがセグメント化および削除されていない場合、これらの無効な点群データが地上のオブジェクト点群データと干渉し、ターゲット障害物セグメンテーションアルゴリズムの精度とロバスト性が低下します。一方、点群データが大量にあるため、モデルの計算要件が増加します。

したがって、フォローアップ作業を実行する前に、認識アルゴリズム担当者はまず地上の点群をフィルタリングする必要があります。

畳み込みニューラルネットワークモデルは一般に、スライディングウィンドウの形式で各ローカルエリアの特徴を抽出し、分類と回帰を実行するため、多くの場合、ディープラーニング手法では地上点群を事前にセグメント化する必要はありません。自動運転の分野では、ハードウェアパフォーマンスの占有率、開発サイクル、モデルの成熟度などの要因を考慮して、認識アルゴリズム担当者は通常、従来のアルゴリズムを使用して地上の点群をセグメント化します。

著者は、一般的に使用されるいくつかの地上点セグメンテーション方法を整理します。

平面格子法

主な考え方: 平面グリッド法は、通常、設定されたサイズに従って平面グリッド (多層グリッドまたは 3D ボクセルも使用できます) を確立し、元の点群を独自のグリッドに投影します. 点群から特徴を抽出します.平均高さ、最大高さ、高低差、密度など、グリッド内のコレクション。

技術的なハイライト: ベクトルフィーチャは考慮されないため、その後の計画制御の実装が容易になります。

既存の問題: レーザーレーダーハーネスが比較的小さい場合、たとえば、16 ラインレーザーレーダーが道路データを収集している場合、車両の前方 20 メートルの地面に当たるレーザーポイントは比較的少なく、通常、レーザービームは 1 つしかありません。高さ機能をグリッド内の地面フィルタリングに使用すると、低い障害物が地面ポイントとして簡単に除外されます。

点群の法線ベクトル

主なアイデア: 点群の法線ベクトルは、点群の角度しきい値を設定することによってセグメント化された地面の点群を指します. 一般に、地面の点群の法線ベクトルは垂直方向にあります.モデルを通して点群の法線ベクトルと地面の法線ベクトルの関係を解き、角度を比較し、設定されたしきい値で分類します。この方法では、隣接点のサポートが必要であり、近傍のサイズは通常、近傍の半径値または隣接点の数によって表されます。近傍が大きすぎると、3 次元構造の詳細が平らになり、法線ベクトルが粗くなりすぎます。一方、近傍が小さすぎると、含まれるポイントが少なすぎるため、ノイズによって大きく乱されます。

技術的なハイライト: この方法は、道路の両側の法線ベクトルの急激な変化のポイントクラウドコレクションをより適切に抽出して路側を形成し、道路エリア、非道路エリア、および障害物をラスタライズで分割します。

既存の問題:

1) 法線ベクトル法の前提によると、この方法はまず点群を補正する必要があります. 補正が行われない場合、特定のフレームで地面の点がセグメント化されないという極端な状況が発生する可能性があります (ライダーの傾斜角は大きすぎる）。

2) 法線ベクトル法では、プラットフォーム型の障害物 (道路脇の長方形の花壇など) によって生成されたポイントを効果的に区別できません。

モデルフィッティング法 - 平面フィッティング (RANSAC)

主なアイデア: RANSAC 平面フィッティングとは、3 つの点群をランダムに選択し、点群データを平面方程式に代入して平面方程式を確立し、設定された距離しきい値に従って、点が平面点にあるかどうかを判断することです。 . たとえば、しきい値内のポイントはインライアであり、しきい値外のポイントはアウトライアです。反復回数が最も多い平面方程式は地盤方程式であり、方程式の内部点は地盤点セットです。それ以外の場合は、障害物の点群セットです。

技術的なハイライト: データに異常なデータが大量にある場合、この方法はモデルパラメーターを高精度で推定することもできます。大規模な点群データから地上の点群セットをより簡単に推定できます。

既存の問題:

1) 道路は、排水性を考慮して、アーチ橋のような形で、中央を高くし、両側を低くするのが一般的です。曲率は大きくありませんが、ランダムサンプリングのコンセンサスアルゴリズムによる地平面の計算は、地盤方程式として片側に傾いた平面になる場合があります。

2) 上り坂と下り坂では、地面が絶対平面ではないため、この方法で計算された地面方程式は前方の地面点を障害点として設定します。

3) RANSAC は点群空間内の 3 点をランダムに取得して平面を構築するため、シーン内に大きな壁がある場合、その壁が地盤方程式として使用されます。

サーフィン方法

主なアイデア: サーフェスエレメントベースのセグメンテーションは、ローカルタイプまたはサーフェスタイプに分類できます。領域成長の方法は、多くの場合、グラウンドセグメンテーションに使用されます。そのコアは、ポイントの法線間の角度の比較に基づいており、滑らかさの制約を満たす隣接するポイントがマージされ、ポイントセットのクラスターの形式で出力されます。ポイントセットの各クラスターは、同じ平面に属します。

技術的なハイライト: この方法は、地面の曲率をより適切に処理でき、比較的緩やかな曲面または平面のセグメンテーション結果を向上させることができます。

既存の問題:

1) 実際の道路にはノイズポイントが多すぎます。地面は領域の成長によって直接分割されます。より散発的な地面ポイントは、障害ポイントの収集ポイントクラウドと見なされます。

2) 領域成長アルゴリズムの消費時間は比較的大きく、リアルタイム要件の高い認識アルゴリズムモジュールにはさらなる最適化が必要です。たとえば、平面の領域の成長を端まで減らすか、領域を分割し、小さな領域にセグメント化するなどです。

(2) 対象物の点群セグメンテーション

地上の点群を除去した後、認識アルゴリズム担当者は、ターゲットオブジェクトの個別の処理、つまり点群のセグメンテーションを容易にするために、ターゲットの点群を効果的にセグメント化およびブロックする必要があります。対象障害物の点群セグメンテーションは、空間、形状、テクスチャの特性に従って点群を分割することです。

著者は、一般的に使用されるいくつかの点群セグメンテーション方法を整理します。

エッジベースのアプローチ

主なアイデア: エッジベースの方法は、オブジェクトの形状、特にエッジによって記述されます. したがって、オブジェクトのエッジの点群が急速に変化するポイントを特定することにより、エッジ領域に近いポイントオブジェクトが検出され、セグメント化されます。

技術的ハイライト: この方法は、再構成可能なマルチリングネットワークのアルゴリズム最適化メカニズムを採用し、アルゴリズム操作の効率を向上させます。

既存の問題:

1) この方法は、単純なシナリオ (低ノイズ、均一な密度など) に適していますが、多数の 3D 点群を含むデータセットには適していません。

2) 不連続なエッジを持つ対象物の点群データに直面した場合、点群の塗りつぶしを使用しないと、認識と検出に直接使用できません。

地域の成長に基づくアプローチ

主なアイデア: 領域の成長に基づく方法は、近隣情報を使用して類似の属性を持つ近くのポイントを分類し、セグメント化された領域を取得して、異なる領域間の違いを区別することを指します。方法は主に、シード領域方式と非シード領域方式の 2 つのカテゴリに分類されます。このうちシード領域法は、複数のシード点を選択してセグメンテーションを開始し、これらのシード点を開始点として、シードの近傍点を追加して徐々に点群領域を形成する方法であり、非シード領域法は、すべてのポイントを領域に分割してから、それをより小さな領域に分割します。

技術的なハイライト: エッジ法と比較して、この方法のセグメンテーション精度は高くなります。

既存の問題: 選択した開始シードポイントまたは領域細分化位置によって方法が異なります. 選択が適切でない場合、セグメンテーションが過剰または不十分であるなどの問題が発生します.

属性ベースのアプローチ

主なアイデア: 属性ベースの方法は、距離、密度、水平方向または垂直方向の点群分布などのターゲット点群の属性を最初に計算し、これを使用して測定間のフィールドを定義することです。法線ベクトルの傾きと点近傍のデータとの差をクラスタリング属性として使用します。

技術的なハイライト: 前の 2 つの方法と比較して、属性ベースの方法は外れ値とノイズの影響を排除できます。

既存の問題: この方法は、点間の近傍の定義と点群データの点密度に依存しているため、多数の入力点の多次元属性を処理する場合、モデルの計算要件が過剰になります。

(3) ターゲットクラスター分析

ターゲット点群がセグメント化された後、認識アルゴリズム担当者は、点群画像内のセグメント化された各点群をいくつかの全体にクラスター化する必要があります。つまり、類似度の高い点群のグループを形成して、後続モデルのコスト計算量 - このプロセスは点群クラスタリングと呼ばれます。

一般的な点群クラスタリング方法は次のとおりです。

K平均法

主なアイデア: K-means クラスタリングアルゴリズムは、ポイントクラウドデータセット全体を特定の統一された特性を持つ k 個のポイントクラウドクラスターに分割することを指します。まず、点群クラスタの中心点として、各点群クラスタから k 個の点がランダムに選択されます。次に、各点群クラスターと各点群クラスターの上記の k 個の点との間の実際の距離を計算し、最小距離値の原則に従ってそれらを点群クラスターにクラスター化します。次に、クラスター化された点群クラスターの重心座標を計算し、点群クラスターの中心点を更新します。最後に、点群クラスターの中心点が変化しなくなるまで、モデルは上記の手順を繰り返します。

技術的なハイライト: 高い精度と確定性、大量のデータを処理でき、計算速度が速い。

既存の問題: この方法では、K 値と初期クラスターの中心を事前に設定する必要があり、リアルタイムのパフォーマンスが低下します。

DBスキャン

主なアイデア: DBSCAN は密度の概念を導入します。密度の概念では、クラスタリングスペース内の特定の領域に含まれるオブジェクトのデータ量が、特定のしきい値以上である必要があります。この方法は、ノイズの多い空間データベースで任意の形状のクラスターを見つけることができ、隣接する領域を十分な密度で接続でき、異常なデータを効果的に処理でき、主に空間データのクラスター化に使用されます。

技術的なハイライト:

1) 任意の形状の点群をクラスター化できます

2) ノイズ点を効果的に除去できる

既存の問題:

1) メモリリソースの大量消費

2) プロセッサに対する高い要件

3) クラスタリング領域の半径とトリガーしきい値を事前に設定する必要があります

ヨーロッパのクラスタリング

主なアイデア: ユークリッドクラスタリング (ユークリッドクラスタリングとも呼ばれます) は、ユークリッド距離クラスタリングに基づく方法を指します. LIDAR の点群データでは、同じオブジェクトの点群クラスタ内の 2 点間の距離が特定の値未満です、および異なるオブジェクト間のポイントクラウドクラスタ間の距離が特定の値よりも大きい。ユークリッドクラスタリングアルゴリズムはこの原則に基づいており、ユークリッド距離が設定された距離しきい値よりも小さいポイントを 1 つのクラスにマージして、クラスタリングプロセスを完了します。

技術的なハイライト: この方法は高速で、汎用性に優れています。

既存の問題: この方法では、固定距離のしきい値を事前に設定する必要があります。これにより、近くのオブジェクトのクラスタリング効果が向上しますが、遠方のクラスタリングには、セグメンテーション不足または切り捨ての問題があります。

(4) 照合と追跡

前の部分を完了すると、認識アルゴリズム担当者は基本的に、これらの点群が処理されたデータからどのターゲットオブジェクトを表しているかを知ることができます。次に行うことは、ターゲットオブジェクトを照合して追跡することです。次の瞬間にターゲットが出現。障害物検出では、マッチングの精度がその後のマルチセンサーフュージョンの基礎となります。

一般的に言えば、マッチングと追跡のアルゴリズムの流れは、最初にターゲットの予測結果と測定された点群データの間の相関行列を計算し、次にハンガリアンアルゴリズムを使用することです (そのコア原則は、最大一致) 関係を一致させれば OK で、最後に点群データを一致対象と不一致対象の 2 種類に分けて別々に保存し、追跡の準備をします。

2.2深層学習による知覚データ処理

自動運転の分野では、点群データの量が増加しているため、従来のターゲット検出アルゴリズムでは実際のニーズを満たすことができなくなりました。さまざまな専門家と話をした後、著者は現在の点群 3D ターゲット検出が主にディープラーニングモデルを使用していることを知りました。

OEM の認識アルゴリズムエンジニアは次のように述べています。 ."

一般的に使用される深層学習ベースのターゲット検出方法:

ポイントネット

主な考え方: PointNet はまず点群内の各点の特徴を計算し、次に点群の順序とは関係のない操作でこれらの特徴を組み合わせて、点群全体に属する特徴を取得します。タスク認識に使用されます。

技術的なハイライト:

1) ポイントクラウドデータを正規化する代わりにネットワークに直接フィードします。

2) 回転不変性と順列不変性の利用。

√回転不変: すべての点は同じ変換 (回転と平行移動) を行い、形状の表現には影響しません。

√置換不変: 形状の表現に影響を与えずに、各点の位置を任意に交換します。

既存の問題: ローカルフィーチャを取得できないため、PointNet メソッドで複雑なシーンを分析することが難しくなります。

図: PointNet のネットワーク構造

ポイントネット++

主なアイデア: PointNet++ は、主に CNN の多層受容野のアイデアを利用した PointNet メソッドに基づいて派生しています。CNN は継続的に畳み込みカーネルを使用して画像上のピクセルをスキャンし、レイヤー化によって内積を実行します。これにより、特徴マップの受容野が大きくなり、各ピクセルにより多くの情報が含まれるようになります。PointNet++はこのような構造を模倣しており、まず点群全体をサンプリングして範囲を描くことで、内部の点を局所特徴量とし、PointNetを特徴抽出に利用します。

技術的なハイライト:

1) 量子化による情報の損失がなく、量子化ハイパーパラメータを調整する必要がありません。

2) 無効な計算を回避して、空白の領域を無視します。

既存の問題:

1) 成熟した空間畳み込みベースの 2D オブジェクト検出アルゴリズムを利用できない。

2) 無効な計算は回避されますが、点群の GPU の処理効率はグリッドデータの処理効率よりもはるかに低くなります。

図: PointNet (左部分) と PointNet++ (中部分) のセグメンテーション効果の比較

図：PointNet++のネットワーク構造

ボクセルネット

主なアイデア: VoxelNet は、主に 3D 点群をボクセル構造に変換し、この構造を鳥瞰図の形で処理します。ここでのボクセル構造は、同じ大きさの立方体を使って三次元空間を分割するもので、それぞれの立方体をボクセル(voxel)と呼びます。

VoxelNet には 2 つの主要なプロセスがあり、1 つ目は VFE (Voxel Feature Extraction) と呼ばれるボクセルの特徴抽出プロセスであり、2 つ目は YOLO に似たターゲット検出プロセスです。

技術的なハイライト:

1) まばらな点群データに対してタスク検出を直接実行でき、人工特徴量エンジニアリングによって引き起こされる情報のボトルネックを回避できます。

2) GPU の並列計算の利点をより有効に活用できます。

既存の問題: VoxelNet はデータ表現 (モデル操作に適応するように再構築された新しいデータ構造) に対して比較的非効率的であり、中間層の 3D 畳み込みには大量の計算が必要なため、実行速度は約 2FPS (フレーム/秒) しかありません。、リアルタイム要件をはるかに下回っています。

図：VoxelNetのネットワーク構造

2番

主なアイデア: SECOND は、VoxelNet 方式に基づいて最適化された点群検出方式です. ネットワークの全体的な構造と実装は、元の VoxelNet とほとんど同じです. 同時に、中間層の 3D 畳み込みがベースで改善されています. Sparse Convolution が行われ、トレーニングの効率とネットワーク推論の速度が向上します。同時に、SECOND は新しい損失関数と点群データ強化戦略も提案しています。SECOND ネットワーク構造は主に、VFE 特徴抽出ステージ、スパース畳み込み層、および RPN ネットワークの 3 つの部分で構成されています。

テクニカルハイライト: スパース畳み込みを使用することで、モデルの推論速度が向上します。

問題: SECOND は VoxelNet に比べて速度が向上していますが、それでも 3D 畳み込みが保持されます。

図: 2 番目のネットワーク構造

ポイントピラー

主なアイデア: PointPillar は、ピラー (Pillar) と呼ばれる各グリッドに該当するポイントを直接スタックし、PointNet と同様の方法を使用して特徴を学習し、最後に学習した特徴ベクトルをグリッド座標に戻して取得します。画像のようなデータ。

技術的なハイライト:

1) 固定エンコーダーに依存する代わりに機能を学習することにより、PointPillars は点群表現の完全な情報を活用できます。

2) ボクセルではなく列で操作することにより、垂直方向のビニングを手動で調整する必要がありません。

3) ネットワークで 2D 畳み込みのみを使用し、3D 畳み込みを使用しないため、計算の要求が少なく、演算が効率的です。

4) 手動で調整することなく、さまざまな点群構成を使用できます。

既存の問題: ポイントフィーチャの学習はグリッドに限定されており、隣接する領域の情報を効果的に抽出することはできません。

図: PointPillar のネットワーク構造

PCT

主なアイデア: PCT は、主に Transformer 固有の順序不変性を使用し、点群データの順序の定義を回避し、アテンションメカニズムを通じて特徴学習を実行します。全体的なネットワーク構造は、入力の埋め込み、アテンションレイヤー、点群の分類とセグメンテーションの 3 つの部分に分かれています。

技術的なハイライト:

1) PCT には固有の順列不変性があり、点群学習により適しています。

2) 主流の PointNet ネットワークと比較して、PCT のセグメンテーションエッジはより明確です。

図: PointNet (左部分) と PCT (中部分) のセグメンテーション効果の比較

既存の問題: PCT は効果的なグローバル特徴抽出ネットワークですが、ポイントクラウドディープラーニングで同様に重要なローカル近傍情報を無視します。

図: PCT ネットワーク構造

深層学習は自動運転業界で広く使用されていますが、深層学習は点群データ処理においてもいくつかの課題に直面します。

一方では、ポイントクラウドは、シーン内のポイントの位置としてまばらであり、本質的に構造化されていないため、密度と数の両方がシーン内のオブジェクトによって異なります。一方、自動運転車は運転中に非常に迅速に反応する必要があるため、物体検出はリアルタイムで実行する必要があります。つまり、検出ネットワークはスキャン間の時間間隔で計算を提供する必要があります。

したがって、ディープラーニングは利用可能で使いやすいですが、十分に活用することはできません。

Xu Jian 氏は次のように述べています。 AIアルゴリズムと従来のアルゴリズムを包括的に適用することで、データサンプル空間の不完全性の問題を解決できるため、ターゲットの検出漏れを回避できます。」

0 3

位置決め機能レベル処理

3.1特徴抽出

自動運転車が路上を走行しているとき、車両は自分がどこにいるかを実際には認識していないため、点群データを使用して測位を行う最初のステップは、自動運転車に「自分がどこにいるか」を知らせることです。

このとき、認識アルゴリズムの担当者は、まず周囲のシーンのターゲットフィーチャを抽出し、これらのフィーチャと取得した相対距離情報を使用して小さなマップを作成し、車両の相対的な初期位置を知る必要があります。

点群特徴抽出は多くの場合、リアルタイムで実行されるため、非常に大量の点群データが生成され、既存の大量生産車両のハードウェアパフォーマンスは制限されます。したがって、点群データの計算量を削減するために、点群データを抽出する際には、オブジェクトの輪郭情報など、より明白な特徴を抽出することが一般的に好まれます。

OEM の認識アルゴリズムエンジニアは次のように述べています。たとえば、電柱は線の特徴、路面は面の特徴、建物の角は角の特徴です。

3.2マップマッチング

周囲の物体の特徴を抽出した後、認識アルゴリズム担当者は、これらの特徴に基づいて点群マップマッチングを実行し、各点群間の相対的な姿勢を取得する必要があります。点群マップマッチングは、一般的にフレーム間マッチングと高精度マップマッチングに分けられます。

サブイメージマッチングとも呼ばれるフレーム間マッチングは、前後のフレームで同じ特徴を持つ点群をマッチングすることを指し、最終的に小さなローカルマップを取得します。
高精度マップマッチングとは、最適化された点群を高精度マップとマッチングすることです。

自動操縦業界では、自動操縦ソリューションプロバイダーまたは OEM がこれら 2 つの異なるスキームを適用しますが、一般的に使用されるマッチングスキームは依然としてフレーム間マッチングに基づいています。

OEM の認識アルゴリズムエンジニアは次のように述べています。すべてが高精度マップに基づくわけではありません。さらに、高精度マップマッチングには多くの計算が必要であり、アプリケーションの前にダウンサンプリングを行う必要があります。」

3.3ポーズの最適化

前述のように、点群データを照合すると、点群間の相対姿勢が得られ、相対姿勢の精度が地図構築の精度に影響するため、点群の相対姿勢を確認する必要があります。点群最適化を行います。

一般的に言えば、相対姿勢の不正確さは主に、点群がオブジェクトによって遮られたり、LIDAR の視野が制限されたりするなど、制御できない要因によって引き起こされます。点群の姿勢最適化では、特定の点群座標系の剛体変化 (回転または並進) によって最適な相対姿勢を取得します。

参考文献

[1] LiDAR 点群データについてどれくらい知っていますか?

https://blog.csdn.net/OpenDataLab/article/details/124962277

【2】学習ノート：点群ライブラリPCL（Point Cloud Library）の紹介

https://blog.csdn.net/jeffliu123/article/details/126137566

[3] 点群の概念と点群処理

https://blog.csdn.net/hongju_tang/article/details/85008888

[4] この記事では、ライダーの基本的な性能指標をまとめています。

http://www.360doc.com/content/20/0813/07/71135856_965448273.shtml

【5】レーザー点群前処理

https://zhuanlan.zhihu.com/p/455810371

[6] LiDARの動き補償方式

https://zhuanlan.zhihu.com/p/470795318

【7】LiDARキャリブレーション

https://blog.csdn.net/qq_39032096/category_11512741.html

[8] 3D 点群に基づくターゲット検出の概要

https://zhuanlan.zhihu.com/p/479539638

[9] 自動運転におけるライダーのターゲット検出（下記）

https://mp.weixin.qq.com/s/3H6qCDO-2mOP3HjGKnmLzw

[10] 3D 点群セグメンテーションの概要 (中)

https://mp.weixin.qq.com/s?__biz=MzI0MDYxMDk0Ng%3D%3D&chksm=e9196bc2de6ee2d4220fbf4fca46ea676eadac19a4e17b5b3d4dd9c0aa772c0b57db57f5a044&idx=1&mid=2247487535&scene=21&sn=1c6687b0a7c6df60dc0bd902676c0ed0#wechat_redirect

【11】無人機に適用する点群クラスタリングアルゴリズムの研究進展

https://mp.weixin.qq.com/s?__biz=MzI0MjcxNDQwNQ==&mid=2247488019&idx=1&sn=be3089b2510cfb12b2a955990f9c7e3b&chksm=e9794059de0ec94fb9559cfd011c173424586de115a943376c094e6572af5dcf74121239a009&scene=27

[12] 3Dライダーに基づく障害物の検出と追跡

https://mp.weixin.qq.com/s/ULDIkGSUfVp3OwWgxR2A9g

【13】自動運転 - フィルタリングアルゴリズム

https://blog.csdn.net/limigui/article/details/127656052

最後に書く

著者と通信する

記事の著者と直接通信したい場合は、右側の QR コードを直接スキャンして、著者自身の WeChat を追加できます。