道路シーンセマンティックセグメンテーションアルゴリズム

道路シーンセマンティックセグメンテーションアルゴリズム

入出力インターフェース

入力：

（1）約2リアルタイム画像をカメラのビデオ解像度によって捕捉（INT INT）

カメラのビデオフォーマットによって捕捉（2）左右2リアルタイム画像（RGB、YUV、MP4、等）

（3）カメラの校正パラメータ（中心位置（x、y）と5つの歪み

係数（2半径方向、接線2、リブ1）、浮動小数点型float）

（4）カメラの初期化パラメータ（カメラの位置と最初の3つの座標方向

回転角、車速、等幅、高さ、フロートフロート）

出力：

（1）それぞれの境界領域（浮動小数点型float）

（2）それぞれのラベルの画像タイプ（整数INT）

領域の数（3）としては、（INT整数）に分割しました

（4）は、3つ以上の縮合図画像（RGB、YUV、MP4、等）

カメラからの各分割領域（浮動小数点型float）〜（5）

1. 関数の定義

（1）各領域の境界の計算

（2）それぞれのラベルイメージタイプ

（3）領域の数は、実施例分割計算

（4）は、3つ以上の縮合図画像（RGB、YUV、MP4、等）

（5）各分割領域との距離カメラを計算します

2. 技術ロードマッププログラム

画像分割の意味（セマンティック画像分割） - オートパイロットは、重要なコア技術システムです。画像理解（イメージ・理解）でのコンピュータビジョン（コンピュータビジョン）としてセマンティック画像分割は、セマンティックセグメンテーションは、ホット現代の学界の一つでありながら、産業界のニーズは、ますます顕著になってきているだけでなく、重要な部分です。

シーンの環境知覚のフィールドに無人の深いは難しく、非常に重要な問題です。セマンティックセグメンテーションアルゴリズムコア技術無人車両走行として、ニューラルネットワークへの画像入力カメラやレーザレーダプローブ車両は、搭載され、背景画像セグメンテーションコンピュータが自動的に障害物や他の車両や歩行者を避けるように分類することができます。異なる目的のために、セマンティックセグメンテーションモデルの分類は、画素密度の高い予測力に関連付けられます。

そして「時代の前にセマンティックセグメンテーションDL」は、主に「セマンティックセグメンテーションDLの時代」を通じてセマンティックセグメンテーションの開発、の歴史を通して。最も単純な画素レベル「しきい値」から、画素塊のベース分割方法「図深度調査」を「正規化カット「の主な代表である、」繁栄「画像のワーキングセマンティックセグメンテーションとして説明する前に、」独占これらの2つ。深い学習技術の急速な発展に伴い、この地域のグラフ分割に基づくセマンティックセグメンテーション古典的な分割方法が徐々に深い学習の渦に吸い込まれる「グラブカット」。

図セマンティック道路シーン分割所望のターゲットシステム1。道路シーンの画像について、オブジェクトの画像は、無人インテリジェント運転支援やサポートのための基礎データを得るために、ピクセルレベルに基づいて分類することができます。

実施例1セマンティックセグメンテーション

走行レーン図2に具体的な目標セマンティックセグメンテーション地域。

ビデオ処理を実現するように、セマンティック以上、ビデオフレームの離散化プロセスの適用に基づいて画像分割、。VOCの評価基準、式を使用して：IOU = TP /（TP + FP + FN）IOU及びオブジェクトはに基づいてカテゴリに分け、前記本発明のシステムによれば、モデルを評価するためには、主に評価IOUカテゴリ、カテゴリ最終的IOUに基づいています最終IOUが予想より低くなると推定されて評価することは困難である夜のシーンで企業データの複雑さを考えると、80％（都市景観のデータセット）に接近。

ビデオフレームを処理する際に、いくつかのマイナーな変更を行う移行研究の夜のシーンで80％IOUのカテゴリを達成するために設定され、最終的に使用される標準的なデータに基づいて、フレームレートは現在、予備25FPSを予定されているが、異なる環境を使用すると、最終フレームに影響を与える可能性があります率。

現在、セマンティックセグメンテーションタスクにおける種々の深学習ネットワークアプリケーションの結果を統合リファレンス伝統的なセマンティックセグメンテーションアルゴリズムは、このプロジェクトは、最新のDeepLabまで...... FCN SegNetに古典から、全体的なルートで予備再生、着実な改善を採用する予定V3 +、個別に検証し、製品の改良。

ほとんどの論文では、ネットワークの2つの分割部分は、エンコーダとデコーダと呼ばれます。要するに、情報の最初の部分は、入力ベクトル圧縮の代表として「エンコードされました」。第二部（デコーダ）の作用は、所望の出力信号が再構築されます。実現するニューラルネットワークデコーダ構造 - ベースの多くのエンコーダがあります。FCNS、SegNet、およびUNETは、いくつかの最も人気があります。

最もエンコーダ - デコーダアーキテクチャはDeeplabセマンティックセグメンテーションは異なるアプローチを提供し、異なっています。Deeplabは信号抽出アーキテクチャとマルチスケール研究コンテキスト機能を制御するための提案しました。

その主な特徴抽出ネットワークのようにして得られた事前研修ImageNet ResNetにDeeplab。しかし、それは、マルチスケール研究によって特徴付けられる新しい残差ブロックを追加します。最後のブロックではなく、従来の畳み込みより、ResNet中空畳み込みを用います。さらに、残差ブロック内の各コンボリューションは異なる膨張比マルチスケールコンテキスト情報を捕捉するために使用されます。

さらに、プールされた空隙を使用して残差ブロックの上部には、ASPPをピラミッド。あらゆる規模の面積を分類するために、異なる膨張率の畳み込みを使用してASPP。

DeepLabv1-V2は、集中的な使用に意味的な特徴を抽出する畳み込みを分割穿孔。しかし、マルチスケールセグメンテーションオブジェクトの問題を解決するために、DeepLabv3設計は、マルチスケール背景をキャプチャするためにマルチスケール開孔畳み込みカスケード又は平行を使用します。マルチスケール畳み込み、取得に最先端の性能を符号化したグローバルレベルの特性に基づいて、背景画像の特徴を探るために使用されるDeepLabv3先に提案修正開孔空間ピラミッドプーリング・モジュール、PASCAL VOC-2012 86.9 mIOU。

DeepLabv3 +は、情報のマルチスケール・インテグレーションのためのモデルアーキテクチャをセマンティックセグメンテーション一般的に使用されるエンコーダ・デコーダの導入を更新し続けます。エンコーダ・デコーダ・アーキテクチャでは、エンコーダの導入は、畳み込み中空バランス精度と時間がかかることによって抽出された特徴の解像度を制御することができます。

Xceptionセマンティックセグメンテーションタスクモデルを用い、ASPPが分離畳み込みおよびブロック復号化を深さ方向用いて、エンコーダは、改善された - デコーダネットワークの動作速度およびロバスト性を、PASCAL VOC 2012データセットの新しい最先端の性能を得ます、 89.0mIOU。

+ DeepLabv3モデルの枠組みを以下のように：