編集 | シン・ジーユアン
「自動運転ハート」公開アカウントに注目するには下のカードをクリックしてください
ADAS ジャンボ乾物、手に入れられます
クリックして入力→オートパイロットの核心 [フルスタックアルゴリズム] 技術交流グループ
【はじめに】 CVPR 2023 が最優秀論文およびその他の重要な賞を正式に発表しました。上海人工知能研究所、武漢大学、センスタイムのチームは共同で論文「計画指向の自動運転（経路計画に基づく自動運転）」を発表し、自動運転技術における重要な進歩を達成し、CVPRの最優秀論文を受賞した。
毎年開催される CVPR は、コンピューター ビジョンの分野における最高のカンファレンスです。2023 年には、CVPR カンファレンスに提出された論文の総数は 9,155 に達すると予想されます。
このうち、SenseTime とその共同研究室からの合計 54 件の論文が CVPR 2023 に採択されました。これには、最優秀論文 1 件、最優秀論文候補 1 件、ハイライト論文 7 件が含まれます。
1万件近い論文の中で、上海人工知能研究所、武漢大学、SenseTimeの研究成果「計画指向の自動運転」の共同チームが最終的に頭角を現し、CVPR 2023 Best Paper Award（最優秀論文賞）を受賞した。
本論文は、CVPR史上初の自動運転をテーマとした優秀論文であり、知覚と意思決定を統合した汎用大規模自動運転モデルUniADを初めて提案し、大規模な自動運転モデルの先駆けとなった。 -グローバルなタスクを対象とした自動運転のスケールモデルアーキテクチャこれは、自動運転技術における重要なブレークスルーであり、自動運転技術と産業の発展に新たな方向性を提案します。
論文タイトル：計画型自動運転
論文アドレス: https://arxiv.org/abs/2212.10156
この論文では、UniAD が検出、追跡、マッピング、軌道予測、占有グリッド予測、計画を Transformer ベースのエンドツーエンド ネットワーク フレームワークに初めて統合しており、これが自動運転における重要な技術的進歩であることを示しています。
UniAD は、認識、予測、意思決定のプロセスに従って、トークンの形で各タスクを機能レベルで深く統合するため、各タスクが相互にサポートし、パフォーマンスの向上を実現します。
nuScenes データセット内のすべてのタスクにおいて、UniAD は他のすべてのエンドツーエンド手法よりも優れた SOTA パフォーマンスを実現し、特に予測と計画の効果は他のモデルよりもはるかに優れています。
UniADは、業界初の知覚と意思決定の統合を実現した自動運転用汎用大型モデルとして、運転計画をより支援し、「マルチタスク」と「高性能」を実現し、信頼性と安全性を確保します。車の運転の安全。
このことから、UniAD には大きな応用可能性と価値があります。
5つのコアモジュールを統合して自動運転の「計画」問題を解決
なぜ従来の自動運転システムではそれができないのか？
自動運転は非常に複雑なテクノロジーであり、センサー テクノロジー、機械学習、経路計画など、複数の分野の知識とスキルが必要です。
同時に、信頼性の高い安全な自動運転システムを実現するために、他の車両や歩行者との良好なインタラクションを実現するために、異なる道路規則や交通文化に適応する必要もあります。
現在の自動運転システム研究のほとんどは特定のモジュールに焦点を当てており、エンドツーエンドの共同最適化を実現できる一般的なネットワーク モデルが不足しています。
既存の自動運転システムは大きく3つのカテゴリーに分類できます。
(a) モジュール式システム。
(b) マルチタスクモジュールアーキテクチャを備えたシステム。
(c) エンドツーエンドの自動運転システム。
このうち、従来のエンドツーエンドアルゴリズムは、(c.1)センサー入力から制御出力を直接予測するが最適化が難しい基本的なエンドツーエンドアルゴリズムと、複雑な視覚情報に満ちた現実のシーンは大きな課題に直面しています; ( c.2) タスクに応じてネットワークを分割する明示的な設計ですが、ネットワークモジュール間の効果的な機能通信が不足しており、段階的な出力結果が必要です、タスク間の効果的な相互作用が欠如しています。
(c.3) 本論文で提案する意思決定指向の知覚と意思決定の統合設計法は、トークン特徴を使用して、知覚-予測-意思決定のプロセスに従って深い統合を実行し、さまざまなタスクの指標を目標としての意思決定は一貫して改善されています。
最も一般的なのは、モジュールで構成されるシステム アーキテクチャ、またはいくつかのモジュールで構成されるマルチタスク アーキテクチャであり、いずれも検出性能 (検出精度) や予測性能 (予測精度) などの一部の性能の最適化に焦点を当てています。
UniADの大規模自動運転モデルに代表されるエンドツーエンドの自動運転システムは、究極の走行性能を目指し、計画された車両軌道の安全性向上などの現実的な課題を解決することから始まります。
現在、業界のほとんどのエンドツーエンド (E2E) 自動運転システムは、5 つのモジュールすべてを統合する優れたネットワーク フレームワークがないため、一部のモジュールしか統合できません。
UniAD は初めて、検出、追跡、マッピング、軌道予測、占有グリッド予測、計画の 5 つのモジュールを、Transformer に基づくエンドツーエンドのネットワーク フレームワークに統合します。タスクは、共通トークンの形で融合されます。共同の最適化。
Transformerを使用して周囲の画像をマッピングしてBEVの特徴を取得し、同時にターゲットを追跡することで、ターゲットの軌道予測や障害物の予測を含むオンラインマッピングを行い、最終的に運転挙動を実現します。 。
SenseTimeの共同創設者兼首席研究員であるWang Xiaogang氏は、UniADは知覚と意思決定を統合した業界初の汎用大規模自動運転モデルであり、システム全体のパフォーマンスが大幅に向上し、開発の成果を表していると述べた。今後の自動運転技術の動向。
「このエンドツーエンドの最適化は、多くの重要な技術指標において SOTA を上回っています。たとえば、マルチターゲット追跡の精度は SOTA を 20% 上回り、車線予測の精度は 30% 向上し、予測される動きの変位の誤差は減少します」 38% 削減され、計画誤差は 28% 削減されました。」
UniADに基づく自動運転システムは、一部のモジュールしか統合できない他のシステムと比較して、タスク間の統合に共通のトークンを使用するため、より多くのタスクを同時に完了でき、パフォーマンスが向上し、共同デバッグ効率が大幅に向上します。自動運転における現実的な問題をより適切に解決し、効果的に商用化を推進します。
次のケースは、データセット nuScenes 上の複数の複雑なシーンにおける UniAD の利点を示しています。
UniADは、左前方で待機している黒い車両を認識し、将来の軌道（自車の車線に左折しようとしている）と将来の乗車状況を予測し、このまま前進すると衝突の危険があると計算し、すぐに速度を落として回避し、黒い車が出発したら再び通常の速度で直進します
UniADの地図分割モジュールと計画モジュール間の綿密な連携により、計画モジュールは道路情報に基づいて判断し、走行時に道路構造に応じてタイムリーに方向転換します。
大きな視覚的干渉や複雑なシーンがある交差点では、UniAD はセグメンテーション モジュールを通じて交差点の全体的な道路構造 (右側の BEV ダイアグラムの緑のセグメンテーション結果に示すように) と周囲の車両の軌跡を生成できます。左折
夜間に視界が暗くなった場合、次の交差点まで直進して左折する必要があるため、UniADは前方の車両が停止し、左右に障害物があることを感知して、先に停止して車両を待ちます。前に進んでから左折してください
以下の事例は、中国の実際の現場におけるUniADの実証効果を示しています。
渋滞した道路セクションでは、UniAD は前方の大型車両の駐車と発進の状態を認識し、それに応じて減速と加速の決定を行い、十分な安全距離を維持できます。
地図再構成タスクのおかげで、UniAD は交差点や曲がりくねった道路で道路の曲率に合わせた経路計画を立てることもできます。
UniADの認識と意思決定の統合に基づき、自動運転向けマルチモーダル大規模モデルの開発を推進
近年、業界をリードする技術を持つ人工知能企業として、SenseTimeの自動運転技術分野における研究開発体制は常に人々の注目を集めています。
たとえば、今年の上海オートショーでは、SenseTimeはGACのAION LX Plus、Nezha S、およびSenseTimeのインテリジェント運転ソリューションを搭載したその他のモデルの成果を実証しました。
王暁剛氏は、これらはセンスタイムの継続的な建設と自動運転業界での長期的な蓄積と実践によって生み出された「大型モデル+大型デバイス」技術パスから切り離せないものであると信じている。
「2021年、強力な知覚モデルの指導の下、私たちは自動運転用のBEV（バードアイビュー）知覚アルゴリズムを開発し、業界に幅広い影響力を持つBEVトランスフォーマーを提案しました。Waymoチャレンジでは、私たちは絶対的な勝利を収めました。現在、私たちが開発したUniADは、知覚と意思決定の統合を統合してエンドツーエンドの自動運転を実現する最初の製品であり、将来的にはマルチモーダル大型モデルの道をたどって、さらなる自動運転を推進していきます。自動運転の進歩。」
UniAD は非常に革新的な自動運転技術であり、その大きな可能性と応用価値により、学界と産業界の両方で幅広い関心と注目を集めています。
汎用人工知能（AGI）を中心とした第二の革命の到来により、将来的にはより高度な自動運転人工知能の実現が促進されることが期待されます。
参考文献:
https://arxiv.org/abs/2212.10156
(1)動画講座はこちら！
自動運転の心臓部は、ミリ波レーダービジョンフュージョン、高精度地図、BEV知覚、マルチセンサーキャリブレーション、センサー展開、自動運転協調知覚、セマンティックセグメンテーション、自動運転シミュレーション、L4知覚、意思決定計画、軌道予測を統合します。 、など、各方向の学習ビデオ。ご自身で受講することを歓迎します (コードをスキャンして学習を入力してください)。
(コードをスキャンして最新のビデオをご覧ください)
動画公式サイト：www.zdjszx.com
(2) 中国初の自動運転学習コミュニティ
1,000 人近くのコミュニケーション コミュニティと 20 以上の自動運転技術スタックの学習ルートが、自動運転の認識 (分類、検出、セグメンテーション、キー ポイント、車線境界線、3D 物体検出、占有、マルチセンサー フュージョン、物体追跡、オプティカル フロー推定、軌道予測）、自動運転位置決めとマッピング（SLAM、高精度マップ）、自動運転計画と制御、フィールド技術ソリューション、AI モデル展開の実装、業界トレンド、求人リリース、スキャンへようこそ以下の QR コード、自動運転の中心となるナレッジ プラネットに参加してください。ここは本物の乾物がある場所です。この分野の大手の人々と、仕事の開始、勉強、仕事、転職に関するさまざまな問題を交換し、論文 + コードを共有します。毎日+ビデオ、交換を楽しみにしています！
(3) 【自動運転の心臓部】フルスタック技術交流会
The Heart of Autonomous Driving は、物体検出、セマンティック セグメンテーション、パノラマ セグメンテーション、インスタンス セグメンテーション、キー ポイント検出、車線境界線、物体追跡、3D 物体検出、BEV 認識、マルチセンサー フュージョン、 SLAM、光流推定、深さ推定、軌道予測、高精度地図、NeRF、計画制御、モデル展開、自動運転シミュレーションテスト、プロダクトマネージャー、ハードウェア構成、AI求人検索とコミュニケーションなど。
Autobot Assistant Wechat への招待を追加してグループに参加します
備考：学校/会社+方向+ニックネーム