IoTとAIを組み合わせると何が得られるのでしょうか？AIoT がその答えは簡単ですが、ニューラル ネットワーク テクノロジーの進歩により、機械学習がスーパーコンピューターの世界から離れていくにつれて、組み込みマイクロコントローラーの巨大な新しい応用分野も得られます。現在、スマートフォン アプリケーション プロセッサは、画像処理、推奨エンジン、その他の複雑な機能の AI 推論を実行できます (実際に実行しています)。
数十億の IoT デバイスのエコシステムは、今後数年間で機械学習機能を獲得するでしょう
この機能を謙虚な組み込みマイクロコントローラーに導入することは、大きなチャンスとなります。AI を使用して会話から背景ノイズを除去する補聴器、ユーザーの顔を認識して個人設定に切り替えるスマート家電、最小限のバッテリーで何年も動作できる AI 対応センサー ノードを想像してみてください。エンドポイントでのデータ処理には、無視できない遅延、セキュリティ、プライバシーの利点があります。
ただし、マイクロコントローラークラスのデバイスを使用して有意義な機械学習を実現するのは簡単な作業ではありません。たとえば、AI コンピューティングの重要な基準であるメモリは、多くの場合厳しく制限されています。しかし、データ サイエンスはモデル サイズを削減するために急速に進化しており、デバイスおよび IP ベンダーはツールを開発し、現代の機械学習のニーズに合わせた機能を組み込むことで対応しています。
TinyML が離陸
業界の急速な成長の兆しとして、今月初めにシリコンバレーで開催された新しい業界イベントである TinyML Summit はますます勢いを増しています。主催者によると、昨年開催された第１回サミットには協賛企業１１社が参加したが、今回は２７社が協賛し、早期に完売となった。主催者らはまた、世界的なデザイナーが集まる月例集会の会員数が急増したと報告した。
クアルコムのTinyML委員会の共同委員長であるエフゲニ・ゴウセフ氏は、「私たちは、TinyMLテクノロジーを活用した何兆ものスマートデバイスが集合的に感知、分析し、自律的に行動して、すべての人にとってより健康的な世界、より持続可能な環境を生み出す新しい世界を目の当たりにしている」と述べた。展覧会のオープニングステートメント。
Gousev 氏は、この成長はよりエネルギー効率の高いハードウェアとアルゴリズム、さらに成熟したソフトウェア ツールの開発によるものであると考えています。同氏は、スタートアップやM&A活動と同様に、企業やベンチャーキャピタルへの投資も増加していると指摘した。
現在、TinyML 委員会は、このテクノロジーは証明されており、マイクロコントローラーで機械学習を使用した初期製品が 2 ～ 3 年以内に市場に投入されるはずだと考えています。「キラーアプリ」には3〜5年かかると考えられています。
昨年の春、Google は、テクノロジーの検証の重要な部分である、マイクロコントローラー用の TensorFlow フレームワークのバージョンをデビューさせました。TensorFlow Lite for Microcontroller は、キロバイトのメモリでのみ実行されるデバイス上で実行されるように設計されています (Arm Cortex M3 のコア ランタイム サイズは 16 KB で、音声キーワード検出モデルを実行するのに十分なオペレーターを使用すると、合計 22 KB が必要です) ）。推論のみをサポートします (トレーニングはサポートしません)。
大物選手
大手マイクロコントローラー メーカーは、TinyML コミュニティの発展に関心を持って注目するでしょう。研究によりニューラル ネットワーク モデルが小型化されるにつれ、その機会は拡大しています。
ほとんどの場合、機械学習アプリケーションに対して何らかのサポートが提供されています。たとえば、STMicroelectronics には、Arm Cortex-M ベースの STM32 シリーズ マイクロコントローラ上でニューラル ネットワークをマッピングして実行できる拡張パッケージ STM32Cube.AI があります。
AI推論をマイコン上に実装できるe-AI開発環境。モデルを、C/C++ プロジェクトと互換性のある e 2 Studio で使用できる形式に効率的に変換します。
NXPは、ローエンドのKinetisおよびLPC MCUを機械学習アプリケーションに使用している顧客がすでにいると述べた。同社は AI をハードウェアおよびソフトウェア ソリューションと組み合わせていますが、主に大型のアプリケーション プロセッサとクロスオーバー プロセッサ (アプリケーション プロセッサとマイクロコントローラの間) が中心となっています。
強力な武装
マイクロコントローラー分野で確立された企業のほとんどには、Arm という共通点があります。組み込みプロセッサコアの巨人は、Cortex-Mシリーズでマイクロコントローラー市場を独占しています。同社は最近、特に Ethos-U55 AI アクセラレータと組み合わせた場合の機械学習アプリケーション向けに特別に設計された新しい Cortex-M55 コアを発表しました。どちらもリソースに制約のある環境向けに設計されています。
Arm の Cortex-M55 と Ethos-U55 を組み合わせて使用すると、ジェスチャ認識、生体認証、音声認識などのアプリケーションに十分な処理能力を発揮します。
しかし、新興企業や中小企業は、この市場で大企業とどのように競争しようとしているのでしょうか?
「Arm ベースの SoC を構築することではありません。彼らはそれを本当にうまくやっているからです」と XMOS CEO の Mark Lippett 氏は笑います。「これらの企業と競争する唯一の方法は、アーキテクチャ上の利点を持つことです...（つまり）パフォーマンスと柔軟性の点で Xcore の本質的な機能を利用することです。」
XMOS が新たにリリースした音声インターフェイス用クロスオーバー プロセッサである Xcore.ai がマイクロコントローラーと直接競合するわけではないにもかかわらず、この意見は当てはまります。大手企業と競争するために ARM ベースの SoC を製造する企業は、秘密のレシピの中に特別なものを見つけることができます。
スケール電圧と周波数
新興企業の Eta Compute は、TinyML ショーで待望の超低消費電力デバイスを発表しました。100μWの電力バジェットで、常時オンの画像処理およびセンサーフュージョンアプリケーションでの機械学習に使用できます。このチップは Arm Cortex-M3 コアと NXP DSP コアを使用しており、いずれかまたは両方のコアを ML ワークロードに使用できます。同社の秘伝のソースにはいくつかの材料が含まれていますが、鍵となるのはクロック周波数と電圧が 2 つのコア間で継続的にスケーリングされる方法です。これにより、特に PLL (位相ロック ループ) がない場合に、大幅な電力が節約されます。
Eta Compute の ECM3532 は、Arm Cortex-M3 コアと NXP CoolFlux DSP コアを使用します。機械学習のワークロードはどちらかまたは両方で処理できます
RISC-V 財団が提供する最新の命令セット アーキテクチャを含め、Arm と競合する競合他社が十分に存在する中、なぜ Eta Compute は超低電力機械学習アクセラレーションに Arm コアを使用することを選択したのでしょうか?
「簡単な答えは、Arm エコシステムが非常によく進化しているということです。現在、RISC-V を使用するよりも、Arm を本番環境に使用する方がはるかに簡単です。それは将来的に変わる可能性があります。RISC-V には、 「もちろん、これは中国市場にとっては良いことですが、現在は主に（自社のデバイスの）エコシステムをターゲットにしており、国内外の市場に目を向けています。」
テュークスベリー氏は、AIoT が直面している主な課題はアプリケーションの幅広さと多様性であると指摘しました。市場はかなり細分化されており、多くの比較的ニッチなアプリケーションが少数を占めています。ただし、この分野は合計で数十億台のデバイスに拡大する可能性があります。
「開発者にとっての課題は、あらゆるユースケースに合わせたカスタム ソリューションを開発するための時間と資金の余裕がないことです」とテュークスベリー氏は述べています。「そこでは、柔軟性と使いやすさが重要になります。それが私たちが Arm を選んだもう 1 つの理由です。エコシステムがあり、ツールがあり、顧客が多くのカスタマイズを行わずに製品を迅速に開発して製品に組み込むことが簡単だからです」迅速に市場に出すためです。」
ARMは何十年もISAを封鎖してきたが、昨年10月についに顧客が機械学習などの特殊なワークロードを処理するための独自のカスタム命令を構築できるようにすると発表した。右側では、この機能は消費電力をさらに削減する機会も提供する可能性があります。
この機能は既存の Arm コア、つまり Eta が使用している M3 コアでは動作しないため、Eta Compute は当面この機能を利用できません。しかし、テュークスベリー氏は、消費電力をさらに削減するために次世代製品で Arm カスタム命令を使用する Eta Compute を目にする可能性があるでしょうか?
「もちろん」と彼は言った。
ISA を置き換える
RISC-Vは今年大きな注目を集めています。オープンソース ISA では、ライセンス料を支払うことなくプロセッサを設計でき、RISC-V ISA に基づく設計は、他の種類の IP と同様に保護できます。デザイナーは、追加する拡張機能を選択することも、独自のカスタム拡張機能を追加することもできます。
フランスの新興企業 GreenWaves は、RISC-V コアを使用した超低電力機械学習をターゲットとする数社のうちの 1 つです。そのデバイス GAP8 と GAP9 は、それぞれ 8 コアと 9 コアのコンピューティング クラスターを使用します。
GreenWaves の GAP9 超低電力 AI チップのアーキテクチャでは、10 個の RISC-V コアが使用されています
GreenWaves のビジネス開発担当バイスプレジデントである Martin Croome 氏は、同社が RISC-V コアを使用する理由を EETimes に説明しました。
「第一の理由は、RISC-V を使用すると命令セット レベルでコアをカスタマイズできるためであり、これは私たちが頻繁に使用するものです。」と Croome 氏は述べ、カスタム拡張機能は機械学習と信号処理の作業を軽減するために使用されていると説明しました。容量。。「会社が設立されたとき、他のプロセッサアーキテクチャでそれを実現しようと思ったら、それは不可能であるか、多額の費用がかかるでしょう。そして、費やす富は基本的に投資家のものであり、他の会社にお金を費やすことを証明するのは非常に困難です」 」
GreenWaves のカスタム拡張機能だけでも、未修正の RISC-V コアと比較して、コアのエネルギー消費量が 3.6 倍削減されます。しかしクルム氏はまた、RISC-Vは新しい製品であるという理由だけで根本的な技術的利点があるとも述べた。
「これは非常にクリーンで最新の命令セットです。何の荷物もありません。したがって、実装の観点から見ると、RISC-V コアは実際にはより単純な構造であり、単純であるということは消費電力が少ないことを意味します。」
クラム氏はまた、重要な要素としてコントロールについても言及した。GAP8 デバイスにはコンピューティング クラスターに 8 つのコアがあり、GreenWaves は最大の電力効率を達成するためにコアの実行を非常に細かく詳細に制御する必要があります。RISC-Vはこれをサポートしている、と同氏は述べた。
「結局のところ、これらすべての仕事を Arm で行えるのであれば、これらすべての仕事を Arm で行うことになるでしょう。それがより論理的な選択となるでしょう...なぜなら、Arm を買ったからといって解雇される人はいないからです。 「彼は冗談を言った、彼は冗談を言った。。「ソフトウェア ツールの成熟度は RISC-V よりもはるかに高いです...しかし、今で言えば、RISC-V に注目が集まっているため、これらのツールの成熟度は急速に高まっています。」
全体的に見て、RISC-Vとの競争激化もあり、マイクロプロセッサ市場におけるArmの支配力が弱まりつつあると考える人もいるが、同社はいくつかのカスタム拡張機能を許可し、最初から機械学習用に開発することで進歩している。と答える。
実際、Arm デバイスと非 Arm デバイスの両方が超低電力機械学習アプリケーションに利用できます。TinyML コミュニティは、ニューラル ネットワーク モデルのサイズを縮小し、特殊なフレームワークとツールを開発することに引き続き取り組んでおり、この分野はさまざまな種類のデバイスをサポートする健全なアプリケーション領域に発展するでしょう。
組み込みの IoT については学ぶべきことが本当にたくさんありますが、間違ったルートと内容を学べば給与が上がることになりますのでご注意ください。
約 150 ギガバイトのデータ パッケージを共有したいと思います。学習内容、インタビュー、プロジェクトは比較的新しく、充実しています。(クリックすると、受け取る小さなアシスタントが見つかります)
