現在、マシンビジョンの応用シナリオは数多くありますが、その代表的な例が道路欠陥検出です｡現在、多くのマシンビジョン会社が道路欠陥検出を行っていますが、精度はそれほど高くなく、道路状況による制約も多いです。
HowNet でこの新しい方法を見つけたので、皆さんと共有したいと思いました。
0 まえがき
少し。
1 画像の前処理
本稿のアルゴリズムでは、ある幹線道路を走行中に車載カメラで撮影した画像を検出対象としており、収集された画像を図1a)に示します。検出効率を向上させ、複数レーンのラインの情報を保持するには、前処理が必要です。走行中に撮影された空の領域は間違いなく無効な検出領域であるため、画像の幅を変更せずに高さをトリミングし、画像の下 1/3 の領域を有効な検出領域 (関心領域) として残します。図 1b) に示されています。
車線境界線の特徴情報抽出時の干渉を軽減するため、c=1、γ=3のガンマ補正を用いて画像を強調するとともに、車線境界線の色のグレー値を避けるため、ガンマ補正により車線の境界線自体が変化すると、高しきい値のピクセルが式 (1) に示すように変換されます。
式中、gray は補正前の値、r はグレーの正規化値、s は補正後の値、c と γ は正規定数です。強化された画像を図 2a) に示し、次に Canny エッジ検出アルゴリズムを使用して取得したエッジ画像を図 2b) に示します。
2 多相ガボールフィルターのイメージ
Gabor は空間領域と周波数領域を組み合わせたテクスチャ解析手法であり、空間領域と周波数領域の信号の関係を考慮し、局所的な最適化を実現することができる [19]。ガボールフィルターは、車線のテクスチャ方向を利用して、任意の方向のテクスチャを抽出することができます。式 (2) に示すように、ガウス関数とコサイン関数を乗算してそのプロパティをシミュレートします。
任意：x' = xcos θ + ysin θ、y' = -xsin θ + ycos θ。
ここで、x と y は画像ピクセルの座標、λ はコサイン係数の波長、θ はフィルタリングの方向、ψ は位相オフセット、σ はガウス関数の標準偏差、ζ はアスペクト比です。
マルチレーン ラインのテクスチャの抽出は、ガボール フィルター (カーネル) を構築するステップと、フィルター (カーネル) を使用して画像をフィルター処理する (コンボリューション) という 2 つのステップに分かれています。
角度間隔 π では、異なる方向の 12 個のガボール フィルター カーネルがステップ サイズ π 12 で生成されます。カーネル関数の効果図を図 3 に示します。
ガボール フィルターとガウス フィルターを使用して、すべての車線の境界が明確になるまで繰り返しフィルター処理し、フィルター処理された画像に対して 2 値変換を実行します。変換されたフィルター画像を図 4 に示し、フィルター処理結果の分析を表 1 に示します。
左右のレーン画像を最適な位相間隔に従って複数の位相画像と組み合わせて左右のレーン画像を合成し、左レーン画像の左半分と右レーン画像の右半分を水平方向につなぎ合わせて、図 5 に示すように、多相ガボール重ね合わせフィルター画像を形成します。
3 多車線回線の分類
クラスタリングまたは成長法を使用して複数車線の分類を実装するのは簡単ですが、混合車線の境界線を区別するのは困難であると同時に、計算時間のコストが高すぎてリアルタイムのパフォーマンスを満たすことができません。サンプリングすると情報が失われます。
これに対する分類方法を提案しており、図6に示すように2段階に分けて処理する。まず改良されたハフ変換を使用してガボール重ね合わせフィルター グラフから直線セグメントを抽出し、次に角度値ヒストグラムと切片制約を積み重ねる方法に基づいて複数レーンのラインを迅速に分類し、最後に少数のキー ポイントを抽出します。すべての車線の境界線に適合する線分。
3.1 改良されたハフ変換アルゴリズム
標準的なハフ変換をそのまま使用すると、エッジ画像の一部の画素が欠落して「連続性」が欠落し、小さな直線が多数認識されてしまいますが、同時に「連続性」が失われることでさらに認識されてしまいます。短い破線は車線として識別できないため、抽出された線分が要件を満たすように、元のハフ変換に制約係数を追加する必要があります。
オリジナルのアルゴリズムにTa、Lmin、LG、Aaの4つの可変パラメータが追加されています。Ta は最小検出点数の閾値、Lmin は線分を識別するための最小ピクセル長の閾値、LG は認識された直線に連続性があり、線分が失われないように許容される最大間隔の閾値です。特定の点が欠如しているため、Aa は角度しきい値制約であり、識別された線分の角度が車線境界線の角度フィーチャが表示される範囲を満たすことを保証します。上記のしきい値制約をすべて同時に満たす線分が保持されます。標準のハフ変換を直接使用して元の画像から直線を抽出した場合を図 7a) に示し、ガボール重畳フィルター画像にハフ変換を使用した効果を図 7b) に示します。また、この論文のアルゴリズムを使用して直線を抽出した場合を示します。重ね合わせたフィルター画像の効果を図 7c) に示します。
図 7a) と図 7b) から、ガボール フィルタリングには良好な指向性フィルタリング効果があり、車線の境界線に属するテクスチャ特性を保存できますが、線分が不連続で乱雑であることがわかります。紙を使用すると、認識結果が連続していることが保証され、ガードレールなどの車線以外の区画線情報もフィルタリングされます。
3.2 多車線回線の迅速な分類
車線の数が増えると、車線の角度値の差がほとんどなくなり、異なる車線に同じ角度値の線分が出現し、各線分がどの車線に属するかを区別することが困難になります。車両右側の車線を例にとると、図 8 に示すように、車線線分の角度値を四捨五入してヒストグラムを作成します。ヒストグラムの形状には隠れた情報が反映されている可能性があり、ヒストグラムに複数のピークがある場合、それは観測値が複数の母集団からのものであり、複数の分布からのデータが混在しているためです。実際の角度差は小さく、区別が難しいことを考慮して、角度値差が 1°の線分を重ね合わせ、各区間の最大ピークに対応する角度値を車線境界線の主角度値とみなします。低角度区間では、複数のレーンのラインが重なって複数のピークが作成されます。
蓄積されていない場合は、低角度値領域（10°～16°）に歯の折れパターンが表示され、二重線（点線）と二重線（点線）の差など、データが混在していることがわかります。道路の端はわずか 1° であり、同じ角度の値のセグメントが異なる車線の境界線に表示されます。累積後、区間は二峰性となり、ピーク値に対応する角度を車線境界線の主角度値として抽出することができる。同じ角度で混同されているが、同じ車線ラインに属していない線分を区別するために、二重切片制約が使用されます。
主角度の値を k (ii=1, 2, ...) として、ki から 1° ずれた線分を取り、これらの線分の x 軸と y 軸の切片を Xi として取得します。 Xmean と Ymean を平均した後、最大値と最小値を削除します。線分が交差すると、
式(3)に示すように、平均切片の距離の絶対値が閾値Tx、Tyより小さい場合、その線分は車線上の線分に属するとみなして、具体的な処理を図9に示します。
グラフを重ねずに二重切片制約判定をそのまま利用して主角度値を求めると、それぞれの角度値を計算する必要があり、その計算量がリアルタイム検出のニーズに応えられない。線分を分類した後、各車線境界線が属する線分の端点と中心点を抽出し、最小二乗法によりフィッティングを行い、中心点を加算することでS字カーブが発生しないようにすることができます。フィッティングが 1 乗より大きい場合に表示されます。車線をフィッティングする際、認識された線分のユークリッドピクセル距離に応じて実線と破線を区別し、フィッティングした画像を図10a)に示します。
ドライブレコーダーで収集する画像は25f/sであり、通常走行時の有効検知エリアの変化は一定の範囲内で急激に変化することはありません。したがって、最も外側の車線境界線のキーポイントを抽出することができ、10 ピクセルを予約変更間隔として外側に拡張し、囲まれた領域を動的かつ有効な検出領域として使用します (トリミングされた画像を図 10b) に示します。
4 実験結果と分析
このペーパーのアルゴリズムの実装は PyCharm コンパイル プラットフォームに基づいており、プログラミング言語は Python 3.6、オペレーティング システムは Windows 10 64 ビット、CPU 周波数は 3.10 GHz です。この実験では、車線境界線認識能力と汎化能力をテストします。
まず、Tusimple データセットで 1 800 の画像が選択され、合計 7 200 の車線が存在します。色閾値法、鳥瞰図法、ガボールフィルタベースの検出法を比較に使用し、マルチレーンライン検出の見逃し率、誤検出率、正解率の統計結果を表に示します。 2. その内: 正確とは、検出漏れも誤検出もない画像を指します。検出漏れは、認識されなかった画像を指します。誤検出は、車線以外の境界線 (道路の端や収縮目地など) を誤った画像を指します。車線として。同じ画像内に誤検出と誤検出の両方が存在する可能性があります。
検出結果を図 11a) に示す。数字は認識画像のシリアル番号、II ～ V はそれぞれアルゴリズム 1 ～ 3 と本稿のアルゴリズムの検出画像、VI はフィッティング画像である。
表 2 から、他のアルゴリズムと比較して、この論文のアルゴリズムはミス率と誤検出率が低く、精度率が高いと結論付けることができます。アルゴリズム 1 では車線標示の色の間隔を使用するため、誤検出は少なくなりますが、色のしきい値間隔に過度に依存すると、複数車線の標示を識別する際に、自分の車線以外の認識を誤ることが多くなります。アルゴリズム 2 は、複数車線のラインを認識しますが、ほとんどの場合、非車線のライン情報を認識するため、誤検出により全体の精度率は高くありません。また、障害物や反転後の有効な情報変形によって妨げられることもわかっています。アルゴリズム 3 では、車線のテクスチャ方向を利用して特定の状況下で複車線の認識を完了しますが、車線の数が増加すると複車線の情報が失われ、認識能力が低下します。同時に、路面を縮小するためにテクスチャの方向に依存しすぎており、図 11a) の (3.IV) に示すように、継ぎ目は車線と見なされますが、実際には間違った結果が得られます。上記のアルゴリズムで検出漏れや誤検出が発生する理由は、撮影時に複数車線のラインが明確ではないと同時に、特定の特徴に注目しすぎて、最終的にすべての車線を認識できなくなるためです。ライン情報が失われるため、精度が低下します。この論文のアルゴリズムは、図 11a) の (3.V) に示すように、前処理中にレーン ラインを強調し、多相ガボール フィルターの重ね合わせ後にマルチ レーン ライン情報を保持し、改良されたハフ変換を使用して散乱線を抑制します。角度ヒストグラムにより、重畳された車線情報を区別できます。
本稿ではアルゴリズムの一般化能力を検証するため、幹線道路を実際に走行して撮影した映像から1800フレームを抽出して検証し、車線境界線検出の結果を図11b)に示します。
図 11 において，I は有効検出領域，II は本論文のアルゴリズムにより検出された画像，III はフィッティング結果である．複雑な状況の検出評価を表 3 に示します。
混雑した環境では、他の車両の走行により車線が妨げられ、遠距離での車線情報は、車速や撮影が不鮮明などの理由により必然的に車線情報が低下してしまうため、認識する前に車線情報を強化する必要があります。認識難易度も高くなる 夜間環境 暗く、車線と背景の勾配が小さくぼやけており、光の影響を受けやすいため、認識しにくくなります。図 11b) から、この論文のアルゴリズムはさまざまな複雑な状況で複数車線の回線を識別でき、一定の堅牢性を備えていることがわかります。
5。結論
この論文では、まず画像の前処理として、有効検出領域のトリミング、ガンマ補正、画素値強調を行いますが、その目的は、複数レーンのラインの情報が失われないようにしながら勾配を強調することであり、テクスチャ情報は残します。車線に関連するデータを取得し、次に多変数因子のハフ変換アルゴリズムを使用して車線を複数の直線セグメントに変換し、無関係な干渉を削減し、最後に重ね合わせヒストグラムと二重切片制約の方法に基づいて高速分類を実現します。フィッティングは少数のキーポイントで行われます。タイムコンテキスト接続により、動的かつ効果的な検出領域がデータセットに追加され、検出の精度が向上し、検出時間のコストが削減されます。
従来のアルゴリズムと比較して、この論文のアルゴリズムには次の利点があります。
1 つは適用性の向上で、実際の走行状況を考慮すると、車線境界線に類似した色や線分（収縮目地や道路端など）の干渉による誤認識や見落としが発生せず、また、車線境界線との区別も可能です。 ; 二重線の状況。
2 つ目は堅牢性が高く、混雑した環境や夜間の走行環境でも高い命中率を実現します。
しかし、この論文のアルゴリズムには、車両が車線変更する際にアルゴリズムの判定条件をタイムリーに更新する方法や、一定範囲内で遮断されたり完全に消滅したり急に増加した車線境界線をどのように特定するかなど、まだ不十分な点が残されている。マルチレーン フィッティングの結果は、将来の研究でより複雑な環境に統合できる可能性があります。
6 参考文献
少し。
記事の出典: Zhu Xianzhen、Wei Xia、Huang Deqi. マシン ビジョンに基づくマルチレーン ライン検出および分類アルゴリズム [J]. Modern Electronic Technology, 2022,45(23)