画像データの感度を下げることに関して、この会社がそれをどのように理解しているかを見てみましょう。

Exchange グループ | 「センサーグループ/スケートボードシャーシグループ」と入力し、WeChat ID: xsh041388 を追加してください

Exchange グループ | 「自動車基本ソフトウェアグループ」に入り、WeChat アカウントを追加してください: Faye_chloe

備考：グループ名＋本名、会社名、役職名

Jiuzhang Zhijiaは10月に「スマートカーにおけるデータ感度低下技術の応用を理解するための1つの記事」と題した記事を発表したが、対象範囲は車が収集したビデオや画像に含まれる顔とナンバープレートの情報に限定されている。さらに、中国自動車工業協会が発行した「自動車伝送ビデオおよび画像の感度低下技術要件および方法」（以下「方法」という）では、機能要件、感度低下方法などの関連内容についても要件が提示されています。、結果の評価。

現在、「メソッド」は正式にリリースされており、さまざまな OEM もこの要件に対応しています。

江蘇源駆動技術有限公司という業界企業は、スマートカー分野における画像データの感度低下の応用を先行して模索・研究し、この方式の応用実現を先導した。

著者は最近、Yuancai Technology の CEO、Zhou Xiang および副総経理 Li Peng と詳細な意見交換とインタビューを行い、読者の参考のために以下にまとめました。

1. なぜ画像データの感度を下げることがそれほど重要なのでしょうか?

L2 自動運転技術の継続的な開発により、人間と機械の協調運転が一般的な現象となりました。カメラは、外部の認識や車内のドライバー監視のための主要なセンサーとして、ますます高感度の画像データを生成し、データの収集につながります。セキュリティ問題は、スマートカーの分野でますます顕著になっています。

一方で、車内外の画像のプライバシー漏洩は深刻な問題となっている。過去2年間、車のカメラ機能に起因するデータセキュリティ事故が頻繁に発生しており、例えば、高和汽車はかつて「車車相互接続」機能にさらされ、所有者が車のドライブレコーダー画面を見ることができた。奇妙なオーナー、もう一つの例はテスラで、車内のカメラで撮影されたビデオ画像データがハッカーによって盗まれました。これらの画像データは車の所有者の同意なしに任意に収集・保存されており、プライバシー漏洩の重大な危険性があります。

一方で、OEM は画像データの送信と処理に不規則性を抱えています。関連規制が公布される前、OEM はデータが自社のものであり、自由に収集できると信じていたため、データライフサイクル全体を通じて機密データを保護するための措置を講じていませんでした。

上記の問題により、スマートカー産業に関連する政策が継続的に導入されるようになりました。

2021年7月、国家情報局、国家発展改革委員会、工業情報化部、公安部、運輸部は共同で「自動車データセキュリティ管理に関する諸規則（試行）」を公布した。 4つ目は「顔情報、ナンバープレート情報等の車外映像・画像データ」を含む6つの重要なセンシティブデータを明確化したものです。

中国自動車協会は2022年8月に「自動車伝送ビデオおよび画像の減感化に関する技術的要件と方法」を公布し、関連する画像データの減感化に関する技術的要件と方法基準を明らかにしたが、これも「各種規定」に基づいている。画像データの減感については、詳細な技術基準が定められています。

それでは、スマートカーの開発はまだ初期段階にあり、業界の強力な監督はこれと矛盾するのでしょうか?

周翔氏は「現在の監督強化により、OEMとTier 1のコストが増加しているが、データ監督は業界の発展、特に現在のL2およびL2+レベルの自動運転技術にとって有益である。データ監督がなければ、データはストリーキング状態になり、多くのリスクが生じます。」

関連ポリシーの導入後、OEM はデータの非感作化をますます重視するようになりました。

Li Peng 氏は、今後 6 か月以内に、画像データの感度解除が SOR 段階 (需要仕様) になると予想されており、OEM はデータの感度解除に関連する要件をサプライヤーに提出する予定であると述べました。一部の既存株式も含まれます。例えば、初期段階で停止を余儀なくされた360センチネル機能/サラウンドビュー/ドライブレコーダーも、サプライヤーと関連機能の感度低下の必要性について再度議論することが急務となっている。

2. 画像データの減感技術のスマートカーへの応用

スマートカーの分野における画像データの感度を下げる技術の重要性と緊急性について上記で学びました。次に、画像データの感度を下げる技術がスマートカーの分野で具体的にどのように適用されるかを見てみましょう。著者は、この問題について、適用可能なデータ範囲、適用可能なデータ要件、画像減感方法、画像減感処理実行、減感後のデータ要件の 5 つの側面から詳しく説明します。

2.1 適用可能なデータ範囲

「諸規定」の第3条には、「重要な機密データには、顔、音声、ナンバープレートなどの車外のオーディオおよびビデオデータが含まれます。この規定は、車外の画像データのみを対象としています。」と記載されていますが、「方法」は、ただし、「車両によって収集されたビデオや画像の顔やナンバープレートのデータを感度を下げるのに適している」と述べられており、この規格は車両の外部、つまり車内の画像データに限定されません。車 (顔) および車両側の画像データ。すべての外部画像データ (顔 + ナンバープレート) を感度を下げる必要があります。

2.2 適用されるデータ要件

適用できるデータ範囲が決まったら、次はどのようなデータを減感する必要があるかですが、「方式」ではデータ形式や画質要件を比較的明確に規定しています。

まず「方法」では、車載のデータ処理装置が生のバイナリデータの減感化をサポートすること、クラウドにアップロードするデータは少なくとも以下のフォーマット要件を満たさなければならないと規定している。

画像ファイル形式：JPEG、JPEG2000、BMP、PNGのいずれか；
ビデオコーデック形式: H.264、H.265、および MPEG-4 のいずれか。
動画ファイル形式：mp4、avi、mov、wmv、3gpのいずれか。

次に、「方法」では、顔とナンバープレートの画質要件も規定しています。これには、顔画像が満たす必要がある解像度、姿勢、完全性、明瞭さ、画像の RGB の強度だけでなく、以下も含まれます。車外のナンバープレートの画像解像度、最小照度、幾何学的歪み、モーションブラー下での認識性。

図: 顔とナンバープレートの画質要件

なお、画像データが上記の条件を満たさない場合には、減感処理は必要ありません。

李鵬氏は、「画像データの減感技術は自動運転技術とは異なる。主にナンバープレートや顔の画像が鮮明かどうかに依存する。画像が鮮明でなくなった場合、減感は必要なくなる。例えば、」と述べた。高速シーンでは、前方の画像がすでに汚れているように見えるため、減感の必要性が軽減されるか、減感が不要になることさえあります。」

したがって、画像データの減感技術の適用は、高速や都市部などの特定の適用シナリオとは関係がなく、その技術的性能は主に感度、ダイナミクスなどのカメラ性能の違いに依存します。

2.3 画像の感度を下げる方法

適用可能なデータ範囲とデータ要件を決定した後、画像の感度を下げるにはどのような技術的方法が必要ですか?

「方法」では、画像データの減感の主な方法には消去、均一なカラーブロックスミアリングなどが含まれるが、低ピクセル処理やモザイク処理は含まれていないと指摘しました。このことから、次のことが読み取れます。

具体的な方法としては、消去、均一なカラーブロックの適用などが挙げられます。
減感された画像は不可逆的である必要があります。画像は復元できません。

OEM の情報セキュリティ技術者は、画像の減感化の技術的難易度は本質的に高くなく、他の分野でも使用されているが、車両側のカメラで収集された画像データは動的な状態であることが多いと述べました。画像の各フレームで敏感な領域を特定するための関連テクノロジーをいくつか紹介します。

Zhou Xiang 氏は、「以前の画像減感技術は主にターゲット追跡を使用していましたが、SoC の計算能力が強化されたことで、減感技術は敏感な領域を直接検出できるようになりました。」と述べました。

李鵬氏はまた、「スマートカーにおける脱感作アルゴリズムの適用は、本質的にアクティブセーフティの知覚機能と似ているが、脱感作の作業は元のアクティブセーフティよりもはるかに難しくない」とも述べた。

減感作技術の敷居は高くないと思われますが、本当にそうでしょうか？

自動車側での画像データの感度を下げる技術的困難について、李鵬氏は次のように述べています。「現在の画像の感度を下げる技術は主に深層学習に基づいており、技術の強さはモデルのトレーニングに使用されるデータのサンプルサイズの適切さと、アプリケーションシナリオの多様性。」

一般に、画像データの感度を下げる鍵は、データの蓄積やアルゴリズムのトレーニング経験など、初期の自動運転技術における経験の蓄積に依存することです。

2.4 画像データの減感処理の実行

「方法」は、画像データの入力、前処理、感応領域の位置決め、減感処理、後処理、画像データの出力を含む、画像データの減感処理の実行プロセスを指します。

図：画像データの減感処理のプロセス

（データ出典：「自動車伝送ビデオおよび画像の減感化に関する技術的要件と方法」）

この実行処理は主に画像データの減感処理ですが、画像データの減感処理は自動運転技術と組み合わせると具体的にどのように動作するのでしょうか？

この問題に対し、李鵬氏は「画像データの感度低下は、自動運転のいかなるレベル（知覚、測位、意思決定、制御など）においても実行されない。感度低下アルゴリズムは自動運転に遅延を引き起こす可能性があるため」と述べた。アルゴリズムを使用しているため、データは外部に送信されるときにのみ感度を下げる必要があります。

「たとえば、Sentinel モードでは、ユーザーがバックグラウンドデータを表示する場合、送信前にデータを非感作する必要があるため、ユーザーには機密情報が表示されません。ローカルに保存されたデータは非感作する必要はありませんが、非感作が何らかの形式の外部送信に先立って行われる場合、。

「別の例として、車両の複数の視覚センサーによって検出された環境データの差が大きすぎる場合、再トレーニングのためにすべての車両側データをクラウドにアップロードする必要があります。このとき、画像データも感度を下げる必要があります」。」

2.5 脱感作後のデータ要件

減感画像データについては、「方法」で対応する要件も指摘されています。

まず、感度を下げた画像は人間の目に認識できないものでなければならず、敏感な領域は、深層学習に基づく画像超解像度再構成や敵対的生成ネットワークに基づく画像復元などの関連技術によって復元することはできません。

第 2 に、顔またはナンバープレートの交差対結合比 (IoU) 注: 交差対結合比は、生成された候補フレームと元のマークされたフレームの間の重複率、つまり、それらのフレームの比率です。完全な重なりがある場合、比率は 1 ) 50% ～ 75%を満たす必要があります。

第三に、感度を下げた後、元のビデオの画像の各フレームは、元のビデオのエンコーディングとフレームレート情報に従って新しいビデオに変換する必要があり、変換されたビデオ形式は元の形式と一致する必要があります。

3. スマートカーにおける画像データの感度を下げるという課題

3.1 技術的な課題

現在、カメラは自動運転技術ソリューションに欠かせないセンサーとなっており、車載カメラの性能向上に伴い種類が増える一方、カメラの性能もメガピクセルから4K、8Kなど多岐にわたります。画像データの高精細化が進む一方、車外では単眼、双眼、複眼、サラウンドビュー、DMSなどカメラの種類は非常に多様かつ複雑になっています。、OMS等の車内に設置可能です。

これらの要因に基づいて、画像データの減感作はいくつかの技術的な課題に直面することになります。

まず、さまざまなカメラの性能が高くなると、より多くの高品質な画像データが生成され、鮮明度が画像データの減感要求を満たすのが容易になり、これにより大量の機密データがもたらされます。

第二に、さまざまなシーンで使用されるカメラには、対応する機能要件が異なるため、画像データの感度を下げるための技術ソリューションが異なります。これには、より深いシーン理解機能と対応する深層学習機能が必要です。たとえば、一部の魚眼カメラの水平 FOV は非常に大きく、最大 270° (センチネルモードで使用する場合など) より高感度のデータを取得する一方で、画像データのリアルタイムの感度を下げる必要もあります。

3.2 エンジニアリング上の課題

エンジニアリングの観点から見ると、画像データの減感に対する最大の課題は、減感アルゴリズムの移行の難しさ、つまり、画像データの減感スキームを異なる SoC プラットフォームにどのように展開するかという点にあります。

この問題について、実際のプロジェクトの経験を例に挙げて、李鵬氏は次のように述べています。「まず第一に、大規模なプラットフォームと大きな計算能力を備えたチップは画像の感度を低下させやすく、性能が不十分な一部の SoC チップの計算能力は非常に限られています。通常の業務運営に基づいて画像の感度を下げるアルゴリズムが導入されている場合、画像の感度を下げるために割り当てられる計算能力は非常に限られており、データの感度を下げる効率に影響を及ぼします。

「第 2 に、今日のさまざまな SoC チップのアーキテクチャにも違いがあり、その結果、パフォーマンス占有率に比較的大きな違いが生じています。たとえば、一部の SoC チップは ARM プロセッサをベースにしており、A53 または A55 コアが搭載されており、それぞれの処理が行われます。」サーバーのパフォーマンスも異なり、GPU を備えた構成と備えていない構成があります。

「さらに、OEM が異なれば、画像データの感度を下げるための要件も異なります。一部の OEM は、GPU 上でデータの感度を下げることを導入することを望んでおり、これにより GPU が大量に占有されることになりますが、他の OEM は GPU が占有されないことを望んでいます。そのため、データの導入を希望しています。」 CPU の感度を下げます。」

4. 対応する課題への対処方法

上記の課題に直面して、業界はどのように対応すべきでしょうか? 画像データの減感化処理の緊急性が高まる中、さまざまなデータベンダーも対応戦略を立てることになるが、その中である画像データ減感化ベンダーは、自社の特徴と業界の発展状況を組み合わせた対応戦略を紹介した。

4.1 この会社は誰ですか - Yuancai Technology

ここで、読者は「Yuancai Technology とはどのような会社なのか?」と興味を持つかもしれません。

源才科技によると、同社は華社設計集団有限公司（以下「華社グループ」）と深セン友佳革新技術有限公司（以下「MINIEYE」）が共同出資して設立した。協調型自動運転産業の発展は、ソフトウェアとハードウェアのフルスタックの研究開発能力を中核としたデジタル交通サービスプロバイダーになることを目指しています。

では、なぜYuandrive Technologyはデジタル交通サービスプロバイダーとして位置づけられる企業として、画像データの減感事業を展開することになったのでしょうか。

Zhou Xiang氏は、「一般的に、まず第一に、これは業界と規制の傾向である。同社は政府の関連する呼びかけに応じてきた。現在、一般の人々は個人のプライバシー保護についてますます認識するようになり、規制当局や規制当局もそれを認識するようになっている」と語った。当社の研究開発チームは、画像データの減感化の分野で多くの関連技術を留保しており、これにより業界の他の企業に力を与えることができます。

「第 2 に、現在の OEM が外部入札を募る場合、Tier 1 が提供する製品には画像データの減感技術が必要です。一部の OEM は画像減感技術を独自に開発する能力を持っていますが、自社開発には時間と費用がかかります。」比較的高いが、既製のソリューションを直接使用するのはコストがかかるため、必ずしも利点があるわけではないが、同時に、この規制はすべての新しいモデルに適用することが義務付けられているだけでなく、現在販売されているモデルも対象としているYuandrive Technology もそのような市場機会を捉えます。

「第三に、同社は株主であるMINIEYEの自動車業界におけるアルゴリズム蓄積の利点に依存しており、画像データの減感事業を完了するための比較的完全な技術サポートを持っています。」

4.2 課題に対する企業の対応策

4.2.1 技術的対策

前述したように、カメラの性能向上により画像データの鮮明度が増し、機密情報量が増加するとともに、画像の減感に対する潜在的な需要も増大しています。減感作の効率が低下します。例えば、元々のカメラの性能が良くない場合には、一部の画像データが十分に鮮明でないため減感する必要はないが、カメラの性能が向上した後は、画像が非常に鮮明であるため、画像の各フレームを減感する必要がある場合がある。敏感です。

この課題に直面して、Li Peng 氏はユーザー側 (車の所有者) を例として分析を行いました。同氏は、「ユーザーが携帯電話やその他のモバイルデバイスを介して車両に接続すると、車両側はリアルタイムでビデオストリームと画像データをユーザーにプッシュします。これらは8MPカメラによって生成された画像データである可能性があります。しかし、実際のデータ送信プロセスでは、データはある程度圧縮またはトリミングされ、同社はトリミングされたビデオストリームに減感アルゴリズムを導入することで、プライバシーとセキュリティに対するユーザーの要求を満たすだけでなく、画像データのリアルタイム表示に対するユーザーの要求。」

4.2.2 工学的対策

Yuancai Technology は、異なる SoC プラットフォーム間で減感アルゴリズムを移植するという課題にどのように対応しますか?

Li Peng 氏は次のように述べています。「まず、同社は各 SoC のパフォーマンスをある程度理解し、さまざまな顧客のニーズを評価し、カスタマイズされたソリューションを作成します。減感アルゴリズムは GPU のパフォーマンスを占有しないため、減感アルゴリズムは GPU のパフォーマンスを占有しないため、アルゴリズムは、実行する CPU に直接展開されます。第 2 に、元のビジネスに影響を及ぼさないことに基づいて、同社はさまざまな SoC 特性に合わせて合理的なリソース利用を行います。たとえば、特定の SoC プラットフォームには NPU アクセラレーションユニットがあり、実行可能です。減感アルゴリズムがスムーズに実行されるため、GPU やその他のハードウェアのパフォーマンスを占有する必要がありません。」

4.3 会社の利点

対応する課題に自在に対応できるようになるためには、自分自身の基礎力も磨かなければなりません。

まず、Yuancai Technologyはどのような技術体系を持っているのでしょうか？

Zhou Xiang 氏は、Yuancai Technology のシステム全体が MINIEYE の技術アーキテクチャから来ており、アルゴリズム、ソフトウェア、ハードウェアの両方が MINIEYE の成功体験に従っていると述べました。

アルゴリズムの観点から見ると、ThiNet (ニューラルネットワーク圧縮アーキテクチャ)、FastNet (組み込みニューラルネットワークアクセラレーションライブラリ)、HardNet (ニューラルネットワークアーキテクチャ IP) などの MINIEYE の自社開発ニューラルネットワークにより、同社はノウハウを迅速に蓄積できます。関連する経験。

ソフトウェアとハードウェアの観点から、同社は ADAS と車室内センシングにおける MINIEYE の量産経験を吸収しました。

ハードウェアに関しては、主に商用車の二重警報ADAS製品と乗用車のインテリジェント運転ドメインコントローラーがあり、東風、柳州汽車、陝西汽車、奇瑞汽車、BYDなどの顧客で量産実績があり、車室内ソフトウェアに関しては、吉利、上海汽車の製品、SFエクスプレスなどの顧客からの量産経験。

第 2 に、上記の技術体系のサポートにより、Yuancai Technology は独自の利点を形成しており、著者はその利点を 3 つの側面に要約します。

4.3.1 テクノロジーおよびエンジニアリングの利点

(1) アルゴリズム移植能力

アルゴリズム移植機能は、企業が異なるプラットフォーム上の SoC チップにデータの感度を下げるテクノロジーをより適切に適用し、ハードウェアの違いによって生じるエンジニアリング上の問題を解決するのに役立ちます。

同社のアルゴリズム移植能力について、周翔氏は「まず、アルゴリズムをより適切に適用するには、十分な量のサンプルデータが必要です。画像データの経験の蓄積に基づいて、Yuancai Technologyはデータセットを継承しています」と述べた。 MINIEYE が蓄積するさまざまな情報を含むこれらのデータは、Yuancai Technology の技術システムにインポートされ、同社のデータ処理能力の向上に役立ちます。

「さらに、アルゴリズム移植機能には、主流の SoC チップのハードウェアパフォーマンスについても一定の理解が必要です。Qualcomm、Xilinx、TI などの主流プラットフォームでの MINIEYE の蓄積された開発経験と、Horizon との戦略的パートナーシップにより、強力なソリューションが提供されます。」アルゴリズムの移植と運転技術の開発を支援します。」

(2) 画像減感速度

画像データの減感を測定するための重要な技術指標の 1 つは、画像データの減感速度、つまり減感アルゴリズムが 1 秒あたりに何フレームの画像データを処理できるかです。これは主に画像認識アルゴリズムの能力とハードウェアの使用率に依存します。パフォーマンス。

Li Peng 氏は、「さまざまな SoC チップの特性によれば、同社は基本的にハードウェアパフォーマンスのリソースを利用することで、A53 コアで 25 フレーム/秒を保証できます。特に NPU と GPU を含まない一部の SoC チッププラットフォームではそう言えます。データ感度を下げる速度は、ドライブレコーダーやその他のデバイスのリアルタイムの感度を下げるニーズを満たすことができます。」

では、1 秒あたり 25 フレームという画像データの減感速度の具体的な業界レベルはどれくらいでしょうか?

Li Peng 氏は続けて、「1 秒あたり 25 フレームという減感速度は、業界で比較的先進的なレベルであり、これにより、顧客がモバイルビデオストリームをチェックするときに、画像データのフレームドロップやフリーズが発生しないことが基本的に保証されます。速度をこの値より大きくすることもできますが、ユーザーエクスペリエンスに違いはありません。ただし、この値よりも低い場合、ユーザーは読み取りがいくらかスムーズではなくなります。

4.3.2 ビジネスリソース

新規事業の早期市場投入には強力な営業サポートが必要です。Yuancai Technology は主に研究開発に重点を置いていますが、マーケティングや営業担当者は多くありません。これは会社の市場開発に影響を及ぼしますか?

周翔氏は、「源彩科技の設立当初、その背後にいる2大株主はすでに経営資源を導入している。その中で、MINIEYEはこれまで協力してきたOEMメーカーや、長年にわたって協力してきたメーカーの資源を導入することになる」と述べた。華社グループは、スマートパーキングおよび車両と道路の連携関連事業を源才科技に導入する予定である｡これら 2 つの事業では、道路端にカメラを設置する必要があり、道路端の画像データには、減感要件も必要となる場合がある。未来。"

4.3.3 政策理解力

最後に、Yuandrive Technology の 2 人のマネージャーとのコミュニケーションの過程で、著者は、同社が政策の動向に細心の注意を払っており、政策を非常に深く解釈していることを深く感じました。これは、同社が将来の製品戦略のレイアウトにおいて一定の先見性を形成するのにも役立つでしょう。これにより、同社は市場をより迅速に開拓できるようになります。

源才科技は、同社が「方法」の編纂に参加したと述べた一方、同社CEOの周祥氏は中国自動車協会のビッグデータセンターの著名な専門家であり、これまでにも参加してきたと述べた。国内のデータセキュリティ関連プロジェクトの多くにおいて、規範的な議論が行われています。

5つ、未完の言葉

顔やナンバープレートの画像の感度を下げることは小さな一歩にすぎませんが、将来的には、スマートカーの分野で、機密性の高い画像データの定義が拡大し続ける可能性があります。

周翔氏は、「データセキュリティの監督はより厳しくなる可能性がある。画像データの収集は顔やナンバープレートに限定されず、路側カメラデータの感度を下げるなどの一部の環境データも収集される可能性がある」と述べた。

李鵬氏は、欧州連合が2016年に公布したGDPR「一般データ保護規則」に言及し、「これはさまざまなデータを対象とする規則である。この規則では、ユーザープロフィールの生成に使用できる情報、さらには標識も含まれると指摘している」と述べた。、店舗、商標その他の情報については一定の保護メカニズムが設けられ、現在の国内規制よりも厳しい規制となります。

「さらに、個人データには使用、破壊、保存などの権利が必要ですが、中国の現状は理想的ではありません。OEMは依然として、ユーザーに同様の書面によるオプションを提供する必要があります。たとえば、個人データの使用を許可するかどうかなどです。 OEM が特定の情報を使用する場合、契約にはデータの収集と使用、データの具体的な使用方法、契約の終了方法などの重要な情報を明確に記載する必要があり、業界と規制当局はこれらの間のバランスを見つける必要があります。「データセキュリティと自動運転の開発。この方法でのみ、科学技術の進歩を着実に推進することができます」と周翔氏は述べた。

今後、画像データの減感に関する政策はどのような方向にさらに磨き上げられるのでしょうか？おそらく、近い将来は様子を見ることができるでしょう。

最後に書きます

著者とコミュニケーションをとる

記事の著者と直接通信したい場合は、右側の QR コードを直接スキャンして、著者の WeChat アカウントを追加できます。