編集者 | オートパイロットと AI
「自動運転ハート」公開アカウントに注目するには下のカードをクリックしてください
ADAS ジャンボ乾物、手に入れられます
クリックしてエントリー→自動運転の心臓部「車線検出」技術交流会
この記事は学術的な共有のみを目的としています。侵害がある場合は、記事を削除するために連絡してください。
最近、多くの小規模パートナー様から車線検出に関するコンテンツに大変ご興味を持っていただき、多くのご質問をいただいておりますが、皆様の学びを促進するために、自動運転の核心をここに整理し、暫定的に100の質問をさせていただきました。主に学術界や産業界でよく遭遇する問題を取り上げており、皆様のお役に立てれば幸いです。
すべての質問と回答の出典: Knowledge Planet of the Heart of Autonomous Driving (中国初の自動運転技術交流コミュニティ)
1. すみません、車線の検出中に新しい車線に影響を与える古い車線が道路上にある場合はどうすればよいですか?
回答: この種の依存関係モデルは解決するのが簡単ではありません。車線の後処理によってのみ解決できます。追跡を追加したり、車線の分配ルールを調べて制限したりすることができます。
2. 皆さん、車線が分岐点にあり、合流点で数フレームのエラーが発生する場合はどうすればよいですか?
A: 追跡はありますか? または、合流点を検出 (または計算) し、その点の位置に応じて何らかの安定化を行うなど、合流と分岐のための論理安定化を実行します。
3. 皆さんに聞きたいのですが、自動運転車では、車の空積載と全積載がフロントビューカメラの外部パラメータ（主にピッチ角）に与える影響は、車線の検出またはセンタリング機能に影響します。 、 右？影響がある場合、キャリブレーションの観点から始めるべきでしょうか、それとも車線境界線検出の観点から始めるべきでしょうか?
回答: 影響がどの程度であるかを測定することができ、実際、消失点推定値を追加することでピッチ角も補正できます。
4. 皆さんにお聞きしたいのですが、車線の検出で車の真ん中にセンターラインがある人もいると思いますが、これはどうやって行われているのでしょうか？
回答：写真を投稿していただけますが、車の中央のセンターラインが車の位置と両側の本車線の位置に関係しており、それらを合わせることができると理解しています。
5. すみません、車線のデータ セット Curvelanes には車線のカテゴリがありませんが、自分のデータ セットにはカテゴリがあります。これら 2 つのデータ セットを一緒に使用するにはどうすればよいですか?
回答: 独自のカテゴリ データを使用して分類モデルをトレーニングし、カーブレーンのカテゴリ疑似ラベルを作成し、いくつかの半教師あり戦略を一緒に使用することもできます。または、最初はカテゴリを気にせず、2 つのデータ セットを使用してカテゴリ出力なしでモデルをトレーニングし、次に独自のデータ セットを使用してカテゴリを使用してモデルを微調整します。
6. 車線追跡を行った人はいますが、関連する論文が見つかりません。現在、車線追跡を行うために一般的にどのような方法が使用されていますか?
回答: 位置情報が正確であれば、複数のフレームの車線の境界線が世界座標系で完全に重なる可能性があります。この原理を使用して現在のフレームを以前のフレームと照合することで良好な追跡を実現し、フィルタリング、追跡、予測のマッチングを実行できます。 ;
7. 車線のセマンティック セグメンテーションはオクルージョン状況をどのように解決しますか?
回答: 長焦点と短焦点のマルチカメラ フュージョンを検討し、データを追加し、GAN やその他の方法でオクルージョン データを作成することができます。
8. こんにちは、画像を使用して車線境界線を検出し、ピクセルを抽出しています。お尋ねしたいのですが、これらのピクセルを LIDAR 座標系に変換する良い方法はありますか (地図座標に変換したいため)最終的にはシステム）？奥行き情報を持たない単眼カメラです。カメラの LIDAR キャリブレーション パラメータを使用しました。変換された結果は次のとおりです。完全に正しくありません。何か解決策はありますか?
回答: 単眼カメラの 3 次元空間への変換には 1 対多の関係があるため、車線を含む環境をレーザー レーダーでスキャンし、車線の点を画像平面に投影する必要があります。 1 対 1 の対応を確立し、画像に従って車線の点が対応するレーザー点群の位置を見つけます。これは、3 次元空間での車線の位置です。ピクセル座標から 3D 座標への変換には、次のことが必要です。深度情報 深度情報がないため、機能しないはずです。ただし、カメラの内部パラメータと外部パラメータがあれば、IPM を通じて 2D ピクセルを地面に投影することができます。相対的に言えば、深さは比較的正確ですが、地面の高さの情報は失われています。
9. みなさん、低計算能力の組み込みデバイスで車線境界線を検出するのに役立つネットワークは何ですか?
回答: 超高速シリーズをご覧ください。
10. みなさん、お聞きしたいのですが、Zhoushi の車線検出問題を解決する非 BEV ソリューションのより良い方法はありますか?
回答: 車線は正面図を重視するため、基本的には単眼に基づいています。ローカル マップの構築では、BEV ソリューションを優先することができます。そうでないと、画像が継ぎ合わされたり、結果が非常に洗練されなくなります。単眼車線検出にはいくつかの種類がありますが、アンカーベースの実装は便利ですが、セグメンテーションベースの方法は時間がかかり、より多くの後処理が必要になる場合があります。特定の方法を試すことができます。
11.皆さんにお聞きしたいのですが、車線境界線検出結果のフィッティングと追跡は一般にどのように行われますか? 複数の車線がある場合に複数の曲線を適合させるにはどうすればよいですか?
回答: 車線検出の場合、車線境界線インスタンスを取得するには、車線境界線インスタンスであるアンカーベースの出力があり、バイナリ セグメンテーションとその後のクラスタリング、またはキー ポイント クラスタリングまたは特別なデコード アルゴリズムもあります。追跡については理解しています。それほど多くはありませんが、関連する論文を見たことがあれば、それを見つけることをお勧めします。
12. 皆さん、車線カーブや車線変更の検出効果がより高いモデルはありますか? UFLD と UFLDv2 を使用したことがありますが、この問題はあまり改善されていないと感じています。
回答: これは以前のオープン ソース プロジェクトと論文です。参照できます: Re Thinking Efficient Lane Detection via Curve Modeling
13. 異常気象時の車線の消失を補う方法はありますか? 何か良い解決策はありますか?
回答: 視覚的には、連続フレームで車線の境界線が消えない場合は、タイミング フュージョンを考慮することができ、モデルと後処理の両方を使用できます。連続フレームの場合は、機能の観点からフェールセーフである必要があります。LIDAR がある場合、優れた LIDAR であれば、理論的には点群から車線を直接抽出できますが、車線と地面の強さは異なり、視覚に頼るよりも影響は小さくなります。
14. お兄さん、車線のセグメンテーションや道路標示 (左折、右折、直進矢印など) の検出を行いたい場合、これより適切なデータ拡張方法はありますか?
回答: 舗装標識は、強化されて合理的に見える限り、水平および垂直の反転、回転などのターゲット フレームの乱れや、変形操作 (アフィン変換など) を行うことができます。
15. カメラと高精度地図の車線を融合するための現在の優れたソリューション (エンジニアリング) は何ですか? 車線境界線の目視検出結果も確認可能！
回答: 1. 視覚的な結果は車両の相対位置であり、高精度地図は絶対位置です。2 つの車線の境界線を一致させた後、カルマン フィルターを使用して位置情報を融合して結合できるはずです。最終結果を取得します。このアイデアは試すことができます 2. Apollo には車線境界認識と高精度地図融合コンテンツが必要だったことを覚えています、それも参照できます~
① ネットワーク全体で独占的なビデオコース
BEV知覚、ミリ波レーダービジョンフュージョン、マルチセンサーキャリブレーション、マルチセンサーフュージョン、マルチモーダル3D物体検出、点群3D物体検出、物体追跡、占有、cudaおよびTensorRTモデル展開、協調的知覚、セマンティックセグメンテーション、自動運転シミュレーション、センサー展開、意思決定計画、軌道予測などの学習ビデオ（スキャンコード学習）
動画公式サイト：www.zdjszx.com
② 中国初の自動運転学習コミュニティ
30 以上の自動運転技術スタックの学習ルートが含まれる約 2,000 人のコミュニケーション コミュニティ。自動運転の認識 (2D 検出、セグメンテーション、2D/3D 車線境界線、BEV 認識、3D 物体検出、占有、マルチセンサーフュージョン、マルチセンサーキャリブレーション、目標追跡、オプティカルフロー推定）、自動運転測位・自動マッピング（SLAM、高精度地図、ローカルオンライン地図）、自動運転計画制御・軌道予測等の技術ソリューション、AIモデル展開実戦、業界動向、求人発表、下のQRコードをスキャンして自動運転の中心となるナレッジプラネットに参加してください。ここは本物の乾物がある場所です。開始時のさまざまな問題について現場のリーダーとコミュニケーションを取り、勉強します、仕事中、転職中、毎日論文 + コード + ビデオを共有して、コミュニケーションを楽しみにしています。
③【Heart of Autopilot】技術交流グループ
The Heart of Autopilot は、物体検出、セマンティック セグメンテーション、パノラマ セグメンテーション、インスタンス セグメンテーション、キー ポイント検出、車線境界線、物体追跡、3D 物体検出、BEV 認識、マルチモーダル認識、占有、マルチに焦点を当てた初のオートパイロット開発者コミュニティです。-センサーフュージョン、トランス、大型モデル、点群処理、エンドツーエンド自動運転、SLAM、オプティカルフロー推定、深度推定、軌道予測、高精度地図、NeRF、計画制御、モデル展開、自動運転シミュレーションテスト、製品マネージャー、ハードウェア構成、AI の求人検索とコミュニケーションなど。QR コードをスキャンして Autobot Assistant WeChat を追加し、グループへの参加を招待します。注: 学校/会社 + 方向 + ニックネーム (グループに参加する簡単な方法)
④【自動運転ハート】プラットフォームマトリックス、お問い合わせ大歓迎！
