講演者｜江 琴紅
編集者｜エイミー
編集者注:
この記事は、HiEV制作の生放送シリーズ「Hardcore Dismantling BEV」の第3回質疑応答の内容をまとめたものです。Shantang Jueying量産車のインテリジェント運転研究開発責任者であるJiang Qinhong氏は、カンブリア紀の吉興格自動運転担当ディレクターであるLi Xiang氏、シニアエンジニアリングのChai Kening氏ら関係ゲストと綿密な交流を行いました。紅京志家マネージャーとホストゲストの周林さんに質問に答えていただきました。
SenseTime の共有コンテンツ「BEV の 3 つの鍵: データ、移行、チップの導入」の今号では、#ビデオ番号: HiEV にアクセスしてライブ リプレイを視聴できます。
生放送「Hardcore Dismantling of BEV」シリーズの詳細については、公式アカウントのバックグラウンドで「リプレイ」に返信することができます。
1. BEV のチップに対する主要な要求
Q: 過去 2 年間で、自動運転は自動車に定着し、普及してきましたが、同時に、Horizon、Cambrian、Black Sesame などの多くのチッププレーヤーが台頭し、自動運転業界に向けて全員が協力しています。 。それでは、Shangtang Jueying のようなスマート ドライビング ソリューション プロバイダーが国内向けチップに求める中心的な需要は何でしょうか?
Jiang: ここ 1 年ほど、私たちはチップの使用に関して、主に 2 つの側面でいくつかの問題点を抱えてきました。
まず第一に、オペレーターのサポートを含むチップ全体のハードウェア設計については、一部のアルゴリズムの現在の開発傾向を考慮に入れたいと考えています。モデル全体のトレンドがオールインワンの方向に発展していることは誰の目にも明らかであり、新しいモデルは必然的に新しい需要をもたらします。
たとえば、初期の AI チップでは、CNN やプーリングなどの最適化がさらに考慮されます。この段階では、さらに一歩進める必要があるかもしれません。たとえば、Transformer アルゴリズムの導入を考慮すると、チップ帯域幅がさらに高くなる可能性があり、 BEV アルゴリズムをサポートできる関連オペレーターが必要になります。これは、アルゴリズムサプライヤーによる国産チップに対する強い需要でもあります。
2つ目は、エコロジー支援です。新しいチップは新しい生態系を確立する必要があり、研磨は長期にわたるプロセスです。
さらに、新しいチップは必然的に多くの新しい問題に直面することになりますが、これらの問題はモデル推論だけでなく、定量的な調整、センサーへのアクセス、前処理にも関係します。ツールチェーンやドキュメントが不完全な場合、完璧なアフターサービスと迅速な対応が本当に必要だと思います。
Q: 理解は深いので、チップ設計段階で可能な限り前向きに検討していきます。Shantang Jueying のような総合ソリューション会社は、国内外で多くのプロジェクトを実施し、さまざまなチップ ソリューションを使用してきましたが、その経験や長所と短所についてコメントしていただけますか?
Jiang: チップ自体の観点から見ると、人それぞれに異なるスタイルがあります。一部のチップは、演算能力、CPU、帯域幅の点で比較的バランスが取れていますが、それほど際立っているわけではありません。また、チップによっては、AI 演算能力などの 1 つの側面では優れているものの、他の側面では少し偏っている場合があります。これらはすべて、チップ企業がトレンドに従って作成したデザインです。
まず、完璧なチップは存在せず、どのようなチップであっても、対応する実装可能なアルゴリズムとソリューションがいくつかあり、実装の難易度もチップ自体に依存すると思います。
第二に、チップの違いはドキュメントの完全性にある可能性があり、エコロジーの観点から見ると、長い間培われてきた国内チップと外国チップの間にはまだ差があります。
国内チップチームはより手厚いサポートを提供でき、共同で最適化することができ、チームの対応が迅速であることも国産チップの利点です。
2. アルゴリズムのサプライヤーは、OEM の自己研究ニーズをどのようにサポートしますか?
Q: 自動運転技術のトレンドは変わりました。過去 2 年間でコンピューティング パワーが蓄積され、1000Tops で 5 台の LiDAR を構成する必要がありました。しかし今年は誰もが徐々に合理的になってきており、もはや備蓄について話すのではなく、コストを削減すると同時に、技術的解決策の探求、反復、さらにはアップグレードを続けています。例えば、都市部の NOA は地図を使わない解決策を模索し始めています。
自動運転のトレンドは急速に変化していますが、自動運転のベテランとして、自動運転技術ソリューションの終焉についてどう思いますか? チップ会社やアルゴリズムのサプライヤーにとって、事前にどのような準備や計画が必要になる可能性がありますか?
Li: まず私の個人的な感情について話してから、マクロの方法論について話したいと思います。
ハードウェアのコンピューティング能力やセンサーなど。これは当時L4で動作していたRobotaxiのようなもので、当初は安全性の観点からかプロジェクトのリスクの観点からか、コンピューティングパワーとセンサーが先に埋められていました。当時、ハードウェアの事前埋め込みについて言及されましたが、それは誰もがより多くの機能的な想像力を発揮できるようにするためでしたが、それよりもプロジェクトの安定性と車両の安全性を確保するためでした。そしてこれは本質的に、最初にコンピューティング能力の最終ラインを見つけることです。
乗用車は最終的にコストパフォーマンスと顧客の支払いを重視するため、次のことが必要です。
- コストパフォーマンスの臨界点を明確にする
- ソリューションと機能を実装する際に、最もコスト効率の高いコンピューティング能力を保証
- 予算を確定する
これが市場が注目し、過去2年間の上陸時に大量の在庫があった理由の1つです。
もう 1 つの理由は、OEM が同調圧力を受けていることです。ハードウェアの事前埋め込みによって機能配信時間ノードを保証できる場合は、事前埋め込みを実行する必要があります。しかし、長期的には、OEM はコストパフォーマンスの限界を見極める必要もあります。これはチップ企業やソリューション企業が頑張るべき方向でもある。
2番目の質問は技術革新の観点からですが、業界全体が進歩しており、今年はYuanrong QixingやHuaweiなど、多くのプレーヤーがマップフリーについて話題にしています。
全国の高速高精度地図は数千万で購入できますが、都市部の高精度地図には次のような特徴があります。
- 高価な
- 更新コストが高く、最新の状態にするために定期的に更新する必要がある
都市部の NOA が検証の結果、高精度の地図は必要ないと判断できれば、製品の上陸に貢献するでしょう。
方法論的な観点から、OEM との協力を通じて、（業界全体が）To B だけでなく、To B、To C の業界であることがわかりました。OEM がユーザーにどのように料金を支払わせるかを誰もが考える必要があり、これは私たちの共通のビジネス モデルに沿ったものです。
まず、長期的には研究開発費は徐々に減り、サブスクリプションで収益が得られることになりますが、サブスクリプション率をいかに高めるかはOEMと我々が一緒に考えなければいけない課題です。
第二に、科学技術イノベーションは「他にないもの」を重視します。しかし、近年の自動運転の発展を見る限り、各社の機能レベルの差はまだ世代を超えていない。イノベーションがユーザーのニーズや問題点を本当に解決できるかどうかは、サブスクリプション率に関係します。
第三に、費用対効果が高いことです。中国産業の発展ルートはイノベーションから費用対効果へであり、昨年は全員が荷解きをして一緒に駐車したが、将来的にはキャビンとドライブの統合が行われる可能性がある。そして私がもっと興味があるのは、キャビンと運転の統合が将来中国で実現できるかどうか、どの自動車メーカーが勇気を持って最初にそれを実現し、量産することになるだろうか？
全体的な方向としては、コンピューティング能力も低下傾向にあり、最終的には技術面が製品面に貢献する必要があります。したがって、製品側と技術側の予測と方向性を依然として分解する必要があり、チップとソリューション側の両方を事前に埋め込んで準備する必要があります。
Q: BEV の着陸の過程において、BEV と従来の単眼 2D アルゴリズムとの関係は共存するものですか、それとも完全に置き換わるものですか?
Jiang: 質問はとても良いです。これは、テクノロジーの反復やアルゴリズムの反復を行っているときに現在直面している問題でもあります。タスクの種類にもよると思います。
まず第一に、同じ種類の認識タスクと下流の依存関係の場合、比較的統一されています。たとえば、PVB ターゲットの認識の下流には融合のみがあり、これは置換関係でなければなりません。BEV PVB を生成する必要はなく、2D PVB も生成する必要があり、最終的には 1 つのダウンストリームのみを使用できます。
次に、ダウンストリーム アルゴリズムの影響を受けるタスクがいくつかあります。モデルとソリューションの反復は非常に高速ですが、キャリブレーションなどの下流アルゴリズムの置き換えは比較的遅いことがよく知られています。たとえば、車線の境界線です。現在、BEV は車線の境界線を直接検出し、計画と制御に使用します。しかし、車線ラインを使用する別の方法があります。たとえば、オンライン キャリブレーション中に実際にいくつかの 2D 車線ラインを使用します。これらのタスクでは、ダウンストリーム アルゴリズムが置き換えられていないため、この BEV ソリューションを思いついたとき、追加の Do が必要ですいくつかの 2D タスク。
また、テクノロジーや実際の価値の制限により、タスクが BEV 3D で実行できるほど重要ではない場合でも、2D で実行されるタスクもあります。たとえば、交通信号標識の場合、3D の真の値を取得することは依然として困難ですが、2D ソリューションでは、マルチフレーム結合の最適化を通じて 3D 位置を解決することもできます。
もう 1 つのポイントは、効率的に反復する方法を考慮することです。マルチタスク学習のため、更新が早くなるタスクもあれば、更新が比較的遅いタスクもあります。たとえば、PVB と TSR の反復リズムは異なります。このとき、異なるタスク間でのバージョン更新の競合を解決する必要があります。開発者。更新が展開に影響を及ぼさないようにするには、研究開発リソースを調整し、妥協する必要があります。
したがって、全体として、(BEV アルゴリズムと従来のアルゴリズムは) 一部のタスクでは共存関係にあり、一部のタスクでは代替関係となる場合があります。
Q: 多くの OEM は自社開発 BEV のニーズを持っていますが、アルゴリズム サプライヤーとして、あるいは私たちのようなシステム サプライヤー/ドメイン コントロール サプライヤーとして、自動車メーカーの BEV 自社開発ニーズを満たすためにどのような役割を果たさなければなりませんか?
Jiang: これは矛盾ではなく、現在のビジネス モデルからすると、私たちと OEM の自社開発ニーズとの関係は置き換え可能であるように思われると多くの人が考えています。
テクノロジーの進化という観点から見ると、両者はゼロサムゲームではありません。ビジネスモデルの観点からは、プロジェクト開発の過程でいくつかの新しいビジネスモデルを導き出します。
さらに、ソリューション プロバイダーとしての当社のアルゴリズムのリーダーシップと探求は中核的な強みです。エンドツーエンドおよび大規模モデルで行ったレイアウトと考え方の一部は、スマート ドライビングの分野に限定されない、と先ほど述べました。これらの側面におけるリーダーシップにより、C エンド ユーザーにユーザー価値をもたらすために、OEM とのさらなる協力を模索することが可能になります。
ビジネスの成功は利他的であり、利他的は最終的には利他的になる可能性があります。
3. 将来的には、ドメイン制御は単一の SOC 集中化に向けて発展するでしょう。
Q: ドメイン コントロールの形式は非常に多様です。ドメイン コントローラーには、単一 SOC のもの、複数の SOC のもの、機能安全の問題を解決するために MCU を接続する必要がある場合や、直接統合されているものがあります。またはコックピットの観点から見ると、統合において、ドメイン管理の究極の理想形とは何だと思いますか？
Chai: まず、アルゴリズムのアップグレードとテクノロジーの観点から、将来のドメイン制御は、シングル SOC などのシングルチップの集中ドメイン制御方式の開発に確実に傾くと考えています。
フロントエンド融合テクノロジーを含む認識側の BEV であっても、その後の意思決定計画のための統合されたバックエンド アーキテクチャであっても、多くの場合、独立した中～高のコンピューティング能力チップで効率的に実行する必要があるためです。 。比較的小さい場合、複数の ASOC または複数のチップがある場合、効率はそれほど高くありません。
さらに、昨年はパーキングとコックピットの統合チップが普及しており、将来のコックピットの統合については非常に楽観的です。統合コックピットは、実際には、コックピット内での駐車と駐車の統合をさらに進めることに相当し、コックピットまたはコックピット内の統合チップのアップグレードと、機能安全アーキテクチャ全体の設計のアップグレードにより、コックピットと運転の統合は確実にさらに進むでしょう。コストを削減し、顧客体験を向上させます。
市場や消費者の視点からすると、これをやった後に消費者が実際の改善を実感できるかどうかの方が重要だと思います。
NIO は、Orin X と 8155 のコンピューティング能力を統合した Banyan カーマシン システム バージョン 2.0.0 をリリースしました。これは、多くの 8155 上の一部の AI 言語モデルを Orin X に移行します。コンピューティング能力全体がヘテロジニアスを介して渡され、メソッドが 1 つにまとめられています。 、コックピットの一体化の方向に力を入れている。
アップグレード後、消費者体験の観点から見ると、自動車のマシンはよりスムーズになり、音声対話はよりインテリジェントになったと感じます。実際、消費者はこの場所にお金を払うでしょう。
Q: コックピットには 8155 チップと従来の自動操縦チップが統合されていますが、接続されている場合、どのような問題がありますか?
Chai: 1つの問題は、チップ企業の観点から見ると、コックピットとスマートドライビングは別の企業であるということです。Nvidia、Qualcomm、国内ホライゾン、Xinchiなど、多くのチップ企業の次世代AIチップのレイアウトを見ることができます。 、カンブリア紀、アンバレラなど。
「アプリケーションの側面もあります。私たち自身の経験からすると、これには比較的高度なソフトウェア機能とエンジニアリング要件が必要です。たとえば、運転と駐車を単一の J3 チップに統合したい場合、運転と駐車のための認識アルゴリズムはありません。」これらのメソッドを同時に実行する場合は、切り替えプロセスが必要になります。効率的なソフトウェア設計を通じてユーザー側で切り替えを行うには、各企業の実際の実装能力が試されます。それは主にチップ側と利用側の2点にあると思います。
Q：Hongjing Zhijia に聞きたいのですが、BEV は大量のセンサー データをもたらしますが、サプライヤーの観点から、ソリューション プロバイダーや OEM はこれらのデータをどのように適切に処理できるでしょうか? データプライバシーの問題も含め、データ処理はどのように行われるべきなのか、サプライヤーは自動車メーカーとどのように協力すべきなのか。
チャイ: BEV には多くの実数値データが必要です。生データを入手するのは簡単ですが、それをうまく活用するのは非常に困難です。アルゴリズム サプライヤーと OEM の両方が強力なデータ活用とクローズドループ機能を備えている必要があります。
たとえば、生データを使用して大規模な教師なし事前トレーニングを行う方法や、自動クラウド ラベリング システムでは、データの埋め込みと再充電を適切に行う必要があります。
例えば、開発段階でLiDARを使って真理値を提供したり、真理システムを導入して大量のデータを生成したりすることもできると思います。しかし、量産後も自動車工場に OTA を提供する必要があり、フィードバック画像では物体検出や車線境界線 3D マップ検出がうまく機能しないことが判明したため、関連データも最適化する必要があります。
純粋に視覚的な 3D シーンの再構成とラベル付けの問題は、BEV を量産する企業が培わなければならない社内の強みであり、さらに、データのコンプライアンスとデータの使用権は自動車工場の所有物でなければなりません。
サプライヤーやパートナーとしては、自動車メーカーからの大量のデータをもとに、OTAを通じてどのようにパフォーマンス向上を支援し、クライアント側に反映させるのかを考えなければなりません。
4. BEV が着陸した後はどうなると予想されますか?
以下は、Shangtang Jueyingの量産化に向けたインテリジェント運転研究開発責任者であるJiang Qinhong氏が聴衆からの質問に答えた内容をまとめたものです。
Q1: BEV の後、認識に新たな傾向が生まれると予想されますが、江氏はどう考えているかわかりません。
A: BEV に関しては、全員が以前の DL ソリューションをまだ開発中であると先ほど言いました。トレンドによれば、依然としてエンドツーエンドの方向で開発する必要があります。予測やアルゴリズムなど、モデルにはさらに多くのアルゴリズムが追加される予定であり、現在、この部分の作業を行っています。
アルゴリズムを提供する側としては、研究（学術）を行う場合と異なるのは、追加の考慮事項を考慮する必要があり、単純に効果を追求することはできません。たとえば、いわゆるエンドツーエンドのフレームワークの下では、制御と計画の確実性を追求する必要があり、これは実際の業界の実務者が考慮する必要があることです。
Q2: OEM が BEV の研究開発から量産まで、一部のシステムの機能を開放するのに通常どのくらい時間がかかりますか?
A: 当社は OEM ではなくサプライヤーであるため、OEM 向けに BEV を提供していますが、アルゴリズム全体の観点から見ると、アルゴリズムの事前研究はこの時点から始まったわけではありません。
プロジェクトの開始からアルゴリズムの開発、そして最終的に車が完成するまで、これまでのリズムに従えば約半年かかります。
これには、ソリューションの立ち上げと展開だけでなく、やり直す必要がある過去の事例、データ、パフォーマンスなども含まれます。また、アクティブ セキュリティや AEB など、業界全体が関心を持っている重要なことも検証する必要があります。全サイクルには少なくとも半年はかかると思います。
Q3: 江さん、LiDAR が実際の値として使用されるとおっしゃいましたが、BEV では視覚アルゴリズムが大幅に強化され、知覚全体における視覚の重要性が増しています。 LIDAR と高精度マップ用? 依存関係?
A: これらは実際には 2 つのことです。
まず、Shangtangが最初にスマート運転開発システムを設計したとき、オンライン地図構築の出力形式と高精度地図の出力形式を統一しました。私たちの観点からすると、高精度の地図は新鮮に保たれないため、高精度の地図は徐々に削除する必要があります。
LIDAR とは異なり、障害物の視覚アルゴリズム (PVB など) の検出および復元プロセスは、基本的にデータのフィッティングです。見えているものはフィッティングできますが、見えていないものは解決できません。ライダーは安全性の観点から、原則として障害物の認識精度を保証します。さらに、都市部の NOA シーンは実際には非常に複雑です。たとえば、広州の都市部の村では、石の橋脚や人と車両の混在する複雑なシーンが多い場所もあります。現在の視覚アルゴリズムによる障害物の認識精度はまだ比較的高いです。 LiDARと比較すると限定的です。
個人的には、精度の点では、ビジュアル アルゴリズムはまだ LIDAR のレベルに達していないはずであり、LIDAR には依然として自然な圧倒的な利点があると考えています。
Q4: ビッグモデルとビッグデータによって駆動されるアルゴリズム チームは、元のスマート ドライビング チームの研究開発構造にどのような影響を与えますか?
A: R&D アーキテクチャはアルゴリズム アーキテクチャに役立ちます。これは常に私の観点です。アルゴリズムを効率的に実装する方法を考えて、対応するアーキテクチャを構築する必要があります。
研究開発体制への影響はいくつかあると思いますが、一つは、ディープラーニングの導入により、各モジュールにおいて関連するバックグラウンドを持った人材の導入が必要になる可能性があることです。
また、かつての携帯電話の分野に例えると、いわゆるアルゴリズムモデルの研究者とエンジニアリングの分業が比較的明確です。アルゴリズム全体がブラックボックスであるため、エンジニアが行う必要があるのは、対応するモデルを展開し、対応する組み込みチップとパフォーマンスを最適化することです。スマートドライビング進化計画全体にも同様のことが言えるのではないかと思います。
研究開発体制においては、研究開発とエンジニアリングの分離がますます明確になる可能性があります。
R&D チームはアルゴリズムの開発とモデルの出力を行い、エンジニアリング チームはモデルの展開、組み込みの最適化などを行う場合があります。チーム部門のアーキテクチャ モデルは、モジュールによる認識、マップ、および規制の部門を徐々に置き換える可能性があります。アーキテクチャ パターン。
Q5: 先ほど、御社が低、中、高のコンピューティング能力を持つチップ上にさまざまな展開を行っているとおっしゃいましたが、8Tops チップと 100Tops チップ上での BEV の展開の違いについて話してもらえますか? 8Tops チップは BEV として使用できますか?
A: BEV 認識は 8Tops チップに実装でき、すでに実装されています。
まず、演算能力が 8Tops のチップの認識精度は、演算能力が 100Tops のチップよりも劣るはずです。次に、アルゴリズムスキームの選択にもいくつかの違いがあります。
ハイコンピューティング プラットフォームは基本的に Transformer のキャリアベース ソリューションに基づいていますが、ローコンピューティング プラットフォームでは、2D から 3D への変換方法である BEVDepth と BEVDet を引き続き選択します。
もちろん、BEVDet ですら 8Tops チップには収まらないため、最適化しました。モデル構造の合理化、BEV 検出距離の改善、その他のアルゴリズムの最適化により、パフォーマンスが向上します。
Q6: BEV はデータや演算能力に対する要求が高く、主流モデルの価格帯は基本的に 10 万～20 万ですが、この価格帯の自動車に BEV は適しているとお考えですか?
A: このように考えてみましょう。BEV アルゴリズムは、8Top よりも少し高い 16 または 32Top (チップ) で実装でき、この計算能力のチップ構成 (16Top、32Top) は、おそらく 100 の価格のモデルに相当します。 10万～20万。
唯一の問題は、都市部の NOA とマップレス ソリューションではより多くのコンピューティング リソースが必要になることですが、これは難しいかもしれません。ただし、現時点では、BEV ソリューションはこの価格モデルで展開でき、車線境界線や物体認識の機能も実現できます。
Q7: LIDARがある場合、Occupancy（ネットワークを占有する）をする必要がありますか？占有は LIDAR から離れるための準備ですか?
A: 正確には違います。まず、3D Occupancy では LIDAR の精度を達成できません。なぜなら、Occupancy は本質的に FreeSpace をより高いレベルに拡張したものだからです。技術的には、規制や管理が問題にうまく対処するのに確かに役立ちます。
しかし、これは認識に対する挑戦だけでなく、規制に対する挑戦ももたらします。規制と制御には、マップ、空きスペース、対象障害物などへのアクセスが必要であり、また占有マップ (Occupancy) を計算する必要があるためです。
皆さんの中には、これまでこのような使い方をしたことがない人はいません。3D視覚認識アルゴリズムと決定論的計画を組み合わせるには、各モジュールの共同デバッグも必要ですが、同時に認識結果をより正確にする必要もあります。規制と制御を行い、いわゆる「通行可能エリア」を直接構築します。
Q8: BEVが採用された場合、レーダーやカメラの配置はどのような変化や影響を受けるのでしょうか？たとえば、センサーの数と位置によって、BEV にとってより適切な構成が提供されるでしょうか?
A: ビジュアル BEV のレイアウトでは、BEV 空間全体または機能空間全体が完全になり、抜け穴が少なくなるように、異なるカメラ間のオーバーラップ領域を大きくするよう最善を尽くします。歪みを除去した後、カメラは実際の視野 (FOV) を達成できないため、たとえば、FOV が 120 度のカメラの場合、歪みを除去した後の FOV は 100 度以上にしかならない可能性があります。
LIDAR の場合、量産車のコストを下げ、同時に視覚認識の精度を向上させる必要がある場合、LIDAR の役割はよりブラインドを埋めるものとなり、より優れた認識を実現できます。都市の風景と主要な障害物。したがって、LiDAR は車のフロントバンパーなど、少し低い位置に取り付ける必要があります。ライダーが上部に取り付けられている場合は、側面のライダーをできるだけ下げる必要があります。