自動運転データセットの概要

1.ナスシーン

データセットのリンク: nuScenes

nuscenes データセットの下にはDetection（2D/3D）、Tracking、 、prediction、激光雷达分割、全景任务などの规划控制複数のタスクを含む複数のタスクがあります。

nuScenes データセットは三维目标注释大規模な自動運転データセットであり、主流のアルゴリズム評価のベンチマークでもあります。

● フルセンサースイート（ライダー 1 台、レーダー 5 台、カメラ 6 台、IMU、GPS）

●20代の1000シーン

● 1,400,000 枚のカメラ画像

● 390,000 回の LIDAR スキャン

● 2 つの異なる都市: ボストンとシンガポール

● 左側通行と右側通行

●詳細な地図情報

● 23 のオブジェクト クラスに対して手動で注釈が付けられた 140 万 3D バウンディング ボックス

2.キティ

データセット公式 Web サイト: KITTI Vision Benchmark Suite (cvlibs.net)

ITTI データ セットは、ドイツのカールスルーエ工科大学とトヨタ アメリカ工科大学が共同で確立したもので、車両環境における立体视觉(stereo)、光流(optical flow)、视觉测距(visual odometry)、3D物体检测(object detection)などのコンピュータ ビジョン テクノロジのパフォーマンスを評価するために使用されます。3D跟踪(tracking)KITTI には、都市部、農村部、高速道路などのシーンから収集された実際の画像データが含まれており、各画像には最大 15 台の車両と 30 人の歩行者が含まれており、さまざまな程度のオクルージョンとトランケーションが含まれています。データセット全体は、389 ペアのステレオ画像とオプティカル フロー マップ、39.2 km のビジュアル オドメトリ シーケンス、および 10 Hz の周波数でサンプリングおよび同期された 200,000 を超える 3D ラベル付きオブジェクトの画像で構成されています。全体的に、元のデータセットは「道路」、「都市」、「住宅」、「キャンパス」、「人物」に分類されています。3D オブジェクト検出の場合、ラベルは自動車、バン、トラック、歩行者、歩行者 (座っている)、自転車、路面電車、その他に細分化されます。

因为数据量少，目前很多算法验证都在nuscenes上啦~~~

3.Wamyo

• 年: 2020;

• 著者: Waymo LLC および Google LLC

• シーン数: 合計 1150 シーン、主にサンフランシスコ、マウンテン ビュー、フェニックスなどから収集。

• カテゴリ数：車両、歩行者、自転車、標識の合計4カテゴリ。

• 360°コレクションかどうか: はい。

• 合計データ: 合計 2030 セグメント、各セグメントの長さは 20 秒です。

• 注釈の総数: 約 12,600,000 の 3D 注釈フレーム。

• センサーモデル: 1 台の中距離 LiDAR、4 台の短距離 LiDAR、5 台のカメラ (フロントおよびサイド) を含み、LiDAR とカメラは同期および校正されています。

• データセットのリンク: https://waymo.com/open/ ;

はじめに: Waymo は、自動運転の分野で最も重要なデータセットの 1 つであり、大規模であり、主に自動運転知覚技術の研究をサポートするために使用されます。Waymo は主に Perception Dataset と Motion Dataset の 2 つのデータセットで構成されています。このうち、Perception Dataset には、3D アノテーション、2D パノラマ セグメンテーション アノテーション、キー ポイント アノテーション、3D セマンティック セグメンテーション アノテーションなどが含まれます。モーション データセットは主にインタラクティブ タスクの研究に使用され、さまざまなオブジェクトと対応する 3D マップ データをマークする、合計 103,354 個の 20 秒クリップが含まれています。

4.BDD100K

BDD100K データセットは 2018 年 5 月にバークレー大学 AI 研究所 (BAIR) によってリリースされ、画像アノテーション システムも同時に設計されました。BDD100K データセットには が含まれており10万段高清视频、各ビデオは約 40 秒/720p/30 fps です。キー フレームは各ビデオの 10 秒目でサンプリングされ、100,000 枚の画像が取得され、画像解像度は1280*720 でマークされます。を含むデータベース セットは不同天气、场景、时间的图片、大規模かつ多様性という特徴を持っています。

主なタスク: 视频、可行使区域、车道线、语义分割、实力分割、全景分割、MOT、检测任务などPose。

データセットのリンク: Berkeley DeepDrive

5. Lyft L5 データセット

• 年: 2019;

• 著者: ウーブン・プラネット・ホールディングス;

• シーン数: 合計 1805 シーン、屋外。

• カテゴリ数：自動車、歩行者、信号機など計9カテゴリ

• 360°コレクションかどうか: はい。

• 総データ量：46,000画像データを对应的点云数据含む

• ラベルの総数: 約1300,000个3D标注框。

• センサーモデル: ルーフとバンパーにそれぞれ40ラインと64ラインの2つのLiDARを含み、解像度0.2°で、10Hzで約216,000ポイントを収集します。さらに、6台の360°カメラと1台の望遠カメラも含まれており、カメラの取得周波数はLiDARの取得周波数と一致しています。

• データセットのリンク: https://level-5.global/data/ ;

はじめに: Lyft L5 は、予測データセットと知覚データセットをカバーする、「業界最大の自動運転公開データセット」と言われる L5 自動運転データセットの完全なセットです。その中で、予測データセットは、自動車、自転車、歩行者など、パロアルトのルート沿いで自動運転テストチームが遭遇したさまざまなターゲットをカバーしています。知覚データセットは、自動運転車両の LiDAR とカメラによって収集された実際のデータをカバーし、多数の 3D 境界ボックスに手動でラベルを付けます。

6.H3Dデータセット

• 年: 2019;

• 作者：Honda Research Institute；

• シーン数：合計160シーン、屋外。

• カテゴリ数: 合計 8 カテゴリ。

• 360°コレクションかどうか: いいえ。

• データ量: 包括27,000张图像数据，及其对应的点云数据;

• 注釈の総数: 約 1100,000 の 3D 注釈ボックス。

• センサーモデル: 合計 3 台のカメラを搭載、モデルは Grasshopper 3、解像度は同じ、1920x1200背面のカメラを除きFOV为80°、他の 2 台のカメラの FOV は 90°、64 ライン LiDAR を使用、モデルは Velodyne HDL64E S2、1 つの GNSS+IMU モデルは ADMA-G です。

データセットのリンク: http://usa.honda-ri.com/H3D ;

はじめに: 本田技術研究所は、2019 年 3 月に無人走行方向データセット H3D をリリースしました。このデータセットには、3D LiDAR スキャナーを使用して収集された 3D 複数物体検出および追跡データが含まれており、27,721 フレームに 100 万を超えるラベル付きインスタンスを含む 160 の渋滞した高度にインタラクティブな交通シーンが含まれています。

主なタスクは次のとおりです。

7. ApplloScape データセット

• 年: 2019;

• 著者: 百度リサーチ;

• シーン数: 合計 103 シーン、屋外。

• カテゴリの数: 共26类、小型車両、大型車両、歩行者、オートバイなどを含む。

• 360°コレクションかどうか: いいえ。

• データ量: 包括143,906张图像数据，及其对应的点云数据;

• ラベルの総数: ラベルの総数は不明です。

センサー モデル: 合計 2 台の VUX-1HA レーザー スキャナー、6 台の VMX-CS6 カメラ (解像度 3384x2710 の 2 台のフロント カメラ)、および IMU/GNSS デバイスが構成されており、レーザー スキャナーは 2 つのレーザー ビームを使用して周囲環境をスキャンします。一般的に使用されている Velodyne HDL64E と比較して、スキャナーはより高い精度 (5mm/3mm) で高密度の点群を取得できます。

データセットのリンク: http://apolloscape.auto/index.html ;

はじめに: ApolloScape は、RGB ビデオと対応する高密度点群で構成されます。140K を超えるピクチャが含まれており、各ピクチャにはピクセル レベルの意味情報があります。データは中国で収集されたため、いくつかの外国のデータセットと比較すると、ApolloScape数据集包含的交通场景较复杂，各类目标数量较多，且与KITTI数据集类似，同样包含Easy，Moderate，Hard三个子集.

主なタスクは次のとおりです车道线、定位、轨迹预测、检测、跟踪、双目、场景识别等。

8. アルゴバース データセット

• 年: 2019;

• 著者：アルゴAIなど。

• シーン数: 合計 113 シーン、屋外、アメリカ、ペンシルベニア、マイアミ、フロリダなど。

• カテゴリ数：乗り物、歩行者、ベビーカー、動物など計15カテゴリ

• 360°コレクションかどうか: はい。

• 合計データ: 44,000 の画像データと対応する点群データを含む。

• ラベルの総数

• センサー モデル: KITTI や nuScenes と同様に、Argoverse データセットは 2 つの 32 ライン LiDAR センサー (モデル VLP-32) で構成されています。同時に、解像度 1920x1200 の高解像度サラウンドビュー カメラ 7 台と解像度 2056x2464 の前面カメラ 2 台を含みます。

データセットのリンク: https://www.argoverse.org/ ;

主なタスク:3D跟踪、运动预测タスクの待機中

概要: Argoverse のデータは、都市部での運転の課題や地域の運転習慣が異なる米国の 2 つの都市であるマイアミとピッツバーグで、Argo AI の自動運転試験車両が運行している地域のサブセットから取得されています。さまざまな季節、気象条件、時間帯にわたるセンサー データまたは「ログ セグメント」の記録が含まれており、現実世界の幅広い運転シナリオを提供します。合計 113 シーンの 3D 追跡アノテーションが含まれており、各セグメントの長さは 15 ～ 30 秒で、合計 11052 の追跡ターゲットが含まれています。このうち、マークされたオブジェクトの 70% は車両で、残りは歩行者、自転車、オートバイなどです。また、Argoverse には、主にピッツバーグとマイアミの 290 キロメートルの車線地図を含む高解像度の地図データが含まれています。場所、接続、信号、標高などの情報。

9. Argoversev2 データセット

Argoverse 2 は、オースティン、デトロイト、マイアミ、ピッツバーグ、パロアルト、ワシントン DC の米国 6 都市のオープンソースの自動運転データと高解像度 (HD) マップのコレクションです。このリリースは、機械学習およびコンピューター ビジョン研究用の高解像度マップを含む最初のデータ リリースの 1 つである Argovverse (「Argoverse1」) のデビューに基づいて構築されています。

Argoverse 2 には、4 つのオープンソース データセットが含まれています。

Argoverse 2 センサー データセット: LIDAR、ステレオ、リング カメラ画像を含む 1000 の注釈付き 3D シーンが含まれています。このデータセットは、Argoverse 1 3D 追跡データセットを改良したものです。

Argoverse 2 モーション予測データセット: 多くのオブジェクト タイプの軌跡データを含む 250,000 のシーンが含まれています。このデータセットは、Argoverse 1 動き予測データセットを改良したものです。

Argoverse 2 LIDAR データセット: 20,000 個のラベルなし LIDAR シーケンスが含まれています。

Argoverse 2 マップ変更データセット: 1000 シーンが含まれており、そのうち 200 シーンは現実世界の HD マップ変更を表しています。

Argoverse 2 データセットは、Argoverse 1 の HD マップよりも豊富な共通の HD マップ形式を共有しています。Argoverse 2 データセットは、ユーザーがデータやマップに簡単にアクセスして視覚化できるようにする共通 API も共有しています。

10.Occ3D

清華大学と NVIDIA によって作成された、初の大規模占有グリッド ベンチマークです。

データセット リンク: Occ3D: 自動運転のための大規模 3D 占有予測ベンチマーク (tsinghua-mars-lab.github.io)

著者らは、Occ3D nuScenes と Occ3D Waymo という 2 つの 3D 占有予測データセットを生成しました。Occ3D nuScenes には、トレーニング用の 600 シーン、検証用の 150 シーン、テスト用の 150 シーン、合計 40000 フレームが含まれています。16 のパブリック クラスと追加の汎用オブジェクト (GO) クラスがあります。各サンプルは [-40m、-40m、-1m、40m、40m、5.4m] の範囲と [0.4m、0.4m、0.4m] のボクセル サイズをカバーします。Occ3D Waymo には、トレーニング用に 798 個のシーケンスと検証用に 202 個のシーケンスが含まれており、200,000 フレームが蓄積されます。14 の既知のオブジェクト クラスと追加の GO クラスがあります。各サンプルは、[0.05m、0.05m、0.05m] の非常に細かいボクセル サイズで [-80m、-80m、-1m、80m、80m、5.4m] の範囲をカバーしています。

11.ヌープラン

nuPlan は世界初の大規模自動運転計画ベンチマークですが、ML ベースのモーション プランナーは増えていますが、確立されたデータセット、シミュレーション フレームワーク、メトリクスが不足しているため、この分野の進歩は限られています。自動運転車の動作予測の既存のベンチマーク (Argovest、Lyft、Waymo) は、自車の長期的な計画ではなく、他のエージェントの短期的な動作予測に焦点を当てています。これは、開ループ評価に L2 ベースのメトリクスを使用する以前の研究につながりますが、これは長期計画の公正な評価には適していません。このベンチマークは、機械学習ベースのプランナー、軽量の閉ループ シミュレーター、動作計画に固有のメトリクス、および結果を視覚化する対話型ツールを開発するためのトレーニング フレームワークを提供することで、これらの制限を克服します。

米国とアジアの 4 都市 (ボストン、ピッツバーグ、ラスベガス、シンガポール) からの 1,200 時間分の人間の運転データを含む大規模なデータセットを提供します。データセットは、最先端のオフライン認識システムを使用して自動的にラベル付けされます。このサイズの既存のデータセットとは対照的に、データセット内で検出されたオブジェクトの 3D ボックスだけでなく、生のセンサー データ (120 時間) の 10% もリリースされます。

データセットのリンク: nuPlan (nuscenes.org)

12.ONCE (100万のシーン)

●発売元：ファーウェイ

●発売日：2021年

● はじめに: ONCE (One million sCenEs) は、自動運転シナリオにおける 3D 物体検出データセットです。ONCE データセットは、100 万の LiDAR シーンと 700 万の対応するカメラ画像で構成されています。このデータは、nuScenes や Waymo などの他の利用可能な 3D 自動運転データセットより 20 倍長い 144 時間の運転時間から抽出され、さまざまな地域、期間、気象条件にわたって収集されました。構成要素: 100 万の LiDAR フレーム、700 万のカメラ画像 200 km2 の走行エリア、144 の運転時間 5 つのカテゴリ (自動車、バス、トラック、歩行者、自転車に乗る人) に分類された 15,000 の完全に注釈付きのシーン 多様な環境 (昼/夜、晴れ/雨) 、都市部/郊外）。

●ダウンロードアドレス： https: //opendatalab.org.cn/ONCE

●論文アドレス：https://arxiv.org/pdf/2106.1103

13.街並み

●出版社：ダルムシュタット工科大学マックス・プランク情報学研究所

●発売時期：2016年

● はじめに: Cityscapes は、ペアリングに焦点を当てた大規模データベースです城市街道场景的语义理解。平面，人类，车辆，构造，对象，自然，天空和虚空)これは、8 つのカテゴリに分類された 30 のクラスに対してセマンティック、インスタンス、および高密度ピクセルのアノテーションを提供します (。データセットは、約 5000 個の詳細にアノテーションが付けられた画像と 20000 個の粗くアノテーションが付けられた画像で構成されています。数か月間、日中および良好な気象条件

●ダウンロードアドレス： https: //opendatalab.org.cn/CityScapes

●論文アドレス：https ://arxiv.org/pdf/1604.0168

14.YouTube 運転データセット

●出版社：香港中文大学・カリフォルニア大学

●発売時期：2022年

● はじめに: YouTube からファーストビュー運転ビデオを取得します。合計120時間以上の動画を134本集めました。ビデオでは、さまざまな気象条件 (晴れ、雨、雪など) や地域 (田舎と都市部) でのさまざまな運転シナリオを取り上げています。1 秒ごとに 1 フレームがサンプリングされ、130 万フレームのデータ セットが生成されます。YouTube の運転データセットを 70% のデータを含むトレーニング セットと 30% のデータを含むテスト セットに分割し、トレーニング セットに対して ACO トレーニングを実行します。

● ダウンロードリンク: https://opendatalab.org.cn/YouTube_Driving_Dataset

●論文アドレス：https://arxiv.org/pdf/2204.02393.pdf

15.A2D2

●発売元：アウディ

●発売時期：2020年

● はじめに: 自動運転に取り組むスタートアップ企業や学術研究者をサポートするために、Audi Autonomous Driving Dataset (A2D2) をリリースしました。車両にマルチモーダル センサー スイートを装備し、大規模なデータセットを記録し、それらにラベルを付けるには、時間と労力がかかります。A2D2 データセットは、この高い参入障壁を取り除き、研究者や開発者が新しいテクノロジーの開発に集中できるようにします。データセットには があります2D语义分割，3D点云，3D边界框和车辆总线数据。

●ダウンロードアドレス： https: //opendatalab.org.cn/A2D2

●論文アドレス：https://arxiv.org/pdf/2004.0632

16. カム2BEV

● 発行元: RWTH アーヘン大学

●発売時期：2020年

このデータセットには、道路シーン画像のセマンティックにセグメント化された 2 つの合成サブセットが含まれています。これらは、論文「複数の車載カメラからセマンティックにセグメント化された画像への変換のための Sim2Real ディープラーニング アプローチ」で説明されているもの用に開発および適用されました。 。このデータセットは、Github で説明されている Cam2BEV メソッドの公式コード実装を通じて利用できます。

データセットのリンク: Cam2BEV-OpenDataLab

17.セマンティックキティ

● 出版社: ボン大学

●発売時期：2019年

これは、KITTI Vision Benchmark に基づく大規模なデータセットであり、オドメトリ タスクによって提供されるすべてのシーケンスを使用します。シーケンス 00 ～ 10 の個別のスキャンごとに高密度の注釈を提供します。これにより、セマンティック セグメンテーションやセマンティック シーン補完などのセマンティック シーン解釈に複数の連続スキャンを使用できるようになります。残りのシーケンス、つまりシーケンス 11 ～ 21 はテスト セットとして使用され、多数の困難な交通状況と環境タイプを示します。テスト セットのラベルは提供されませんでした。評価サービスを使用して提出物を採点し、テスト セットの結果を提供しました。

● ダウンロードリンク: https://opendatalab.org.cn/SemanticKITTI

●論文アドレス：https://arxiv.org/pdf/1904.0141

18. オープンレーン

●発行元：上海人工知能研究所・上海交通大学・センスタイム研究所

●発売時期：2022年

OpenLane は、現実世界初であり、これまでで最大のものです3D 车道数据集。私たちのデータセットは、公衆認識データセット Waymo Open Dataset から貴重なコンテンツを収集し、1,000 の道路セグメントに車線および最も近い経路オブジェクト (CIPO) アノテーションを提供します。つまり、OpenLane には 200K のフレームと、慎重に注釈が付けられた 880K 以上のレーンがあります。研究コミュニティが 3D 認識と自動運転技術を進歩できるよう、OpenLane データセットを一般公開しました。

● ダウンロードリンク: https://opendatalab.org.cn/OpenLane

●論文アドレス：https://arxiv.org/pdf/2203.11089.pdf

19. OpenLane-V2

●発行元：上海人工知能研究所

●発売日：2023年

世界初の自動運転用の道路構造認識および推論ベンチマーク。データセットの最初のタスクは、シーン構造の認識と推論です。これには、モデルが周囲環境の車線の運転可能な状態を認識できる必要があります。このデータセットのタスクには、車線の中心線と交通要素の検出だけでなく、検出されたオブジェクトのトポロジー関係の認識も含まれます。

● ダウンロードリンク: https://opendatalab.org.cn/OpenLane-V2