Brain-inspired Computing – スパイキング ニューラル ネットワーク (Spiking Neural Network) の開発状況
しばらく前に博士論文の執筆と弁論で忙しかったので、遅れて申し訳ありません
前の章からの続き:
脳のようなコンピューティング – スパイキング ニューラル ネットワーク (スパイキング ニューラル ネットワーク) ナラティブ
SNN は、第 3 世代の人工ニューラル ネットワーク (ANN) であり、イベント駆動型のニューロモーフィック アルゴリズムのクラスであり、幅広い用途があり、さまざまな非常に低電力のニューロモーフィック ハードウェアに適しています。この段階では、SNN のアプリケーションとアルゴリズムの開発が優勢であり、産業界と学界は近年、SNN の探求と開発を止めたことはありません。この記事では、脳にヒントを得たコンピューティング技術の開発について、次の側面から説明します。
- ニューロモーフィック コンピューティング プラットフォーム
- ニューロモルフィック センサー
- SNN シミュレーター
- ブレインライクコンピューティングの応用
ニューロモーフィック コンピューティング プラットフォーム
脳にヒントを得たコンピューティング プラットフォームまたは脳にヒントを得たチップは、生物学的脳の動作メカニズムに触発された SNN のコンピューティングを提供するために特別に開発されたハードウェア システムです。脳のようなチップを作る上で最も難しいのは、無数のスパイクニューロンとシナプスを小さなチップに入れ、それらの接続構造を同時に調整できるようにする方法です。
当初、脳にヒントを得たチップは、科学研究や学術機関によってのみ調査されていました。研究者がこれらの素晴らしい脳のようなコンピューティング モデルの大きな可能性を実証して以来、多くの大企業が脳のようなチップの開発に関与するようになりました。
IBM は、米国防総省高等研究計画局の Synapse 開発プログラムの一環として、2014 年に TrueNorth チップを開発しました。1 つの TruNorth チップには 4096 個のコンピューティング コアが含まれており、シナプスとニューロン配置の動的マッピングが可能です。各コアは、入力接続に最大 1024 個の軸索回路を使用でき、スタティック ランダム アクセス メモリとして編成された 256 個の IF ニューロンを有効にします。IBM TrueNorth システムの魅力的な特徴は、1 つのチップが 54 億個のトランジスタで構成され、電力密度がわずか 70mW しか消費しないことです。これは、従来のコンピューティング ユニットのわずか 1/10000 です。
図: TrueNorth チップ
SpiNNaker NM プラットフォームは、マンチェスター大学の研究者によって開発されました。これは、欧州連合が資金を提供する人間の脳プロジェクト (Eupropean HBP) の一部です。SpiNNaker は、SNN のハードウェア実装のための ASIC ソリューションを提供します。複数の ARM コアと FPGA を活用して、ハードウェアと PyNN ソフトウェア API を構成し、プラットフォームのスケーラビリティを実現します。ARM プロセッサにより、プラットフォームは、わずか 1 ミリ秒のシミュレーション タイム ステップで、生物学的に現実的な接続で数十億のスパイク ニューロンを構成できます。さらに、第 2 世代のプラットフォームである SpiNNaker2 はまだ開発中であり、1,000 万のプロセッサを使用して、より大規模で複雑な SNN をシミュレートできます。SpiNNaker に加えて、BrainScaleS は HBP プロジェクトのもう 1 つの脳にヒントを得たコンピューティング プラットフォームです。BrainScaleS は、4000 万のシナプスと最大 180,000 のニューロンの利用を可能にするウェーハレベルの統合技術を使用して開発された混合信号ニューロモルフィック チップです。BrianScaleS-2 という名前の次世代の BrianScaleS は、非線形シナプスとカスタム構造のニューロンをサポートしながら、より複雑なニューロン モデルを使用できるように設計されています。
図: SpiNNaker 中央マシン
SpiNNaker プラットフォームは、SNN 用のクラウド シミュレーションおよびコンピューティング プラットフォームを提供します。これは、ハードウェア上で独自の SNN を試したい場合を意味します。SNN を PyNN で構築する必要がある場合は、SpiNNaker クラウド プラットフォームにアクセスして独自のコードをアップロードすると、クラウド プラットフォームから結果が返されます。
スタンフォード大学は、脳にインスパイアされた、Neurogrid と Braindrop の分野で、2 つの脳にインスパイアされたハードウェアに貢献しました。Neurogrid のニューラル コアは、256x256 の CMOS アレイから構築されており、SNN の混合モジュラス実装を可能にします。ニューログリッドは、数百万のニューロンと数十億のシナプスの容量で、生物学的にもっともらしいコンピューティングを提供できます。Braindrop は、Neurogrid と同様、混合信号 NM プロセッサですが、高度な抽象化を備えています。Braindrop は 28nm FDSOI プロセスを使用して設計されており、単一のチップに 4096 個のスパイキング ニューロンを統合していますが、これはニューロンの容量が限られており、SNN を大規模に実装することはできません。
図: スタンフォード ニューログリッド
Intel Loihi 脳にヒントを得たチップは、Intel が最近発表したデジタル ニューラル コンピューティング プラットフォームです。Loihi の最も興味深い機能は、チップのオンライン学習の可能性です。Loihi には、即時の SNN トレーニングを可能にする特別なプログラム可能なマイクロコード エンジンがあります。Loihi には、高度な学習ルールを支援するために特別に設計された 3 つの独自の Lakemont NM コアが搭載されています。1 つの Loihi チップに合計 128 個の NM コアがあり、130K の LIF ニューロンと 130M のシナプスを実装できます。Loihi システムの最大サイズは、16 チップで最大 4096 のオンチップ コアをサポートします。
図: Intel Loihi チップ
Brainchip は、単一の NSoC を使用して 120 万のニューロンと 100 億のシナプスを効果的に実装できる、Akida と呼ばれるニューロモーフィック コンピューティング プラットフォームを開発しました。このプラットフォームは、イベントベースの処理、デジタル処理、メモリ、入出力インターフェイス、マルチチップ拡張機能など、複数のオンボード プロセッサを備えています。
図：ブレインチップ秋田コア
これらの脳のようなチップに加えて、SNN コンピューティングで大きな可能性を示す脳のような新しいチップがまだたくさんあります。たとえば、浙江大学のダーウィン チップは、組み込みの低電力アプリケーションを対象としています。チューリッヒ大学の研究者によって開発された DYNAP-SEL は、非同期デジタル ロジックとアナログ回路を組み合わせてアナログ SNN を実装します。清華大学の研究者は、従来のニューラル ネットワークと SNN の両方を実装できるハイブリッド Tianjic チップの設計に成功しました。以下の元の表は、さまざまなチップの概要を示しています。
図: 脳にヒントを得たコンピューティング プラットフォームの概要[禁止转载]
ニューロモルフィック センサー
ダイナミックビジョンセンサー
従来のビジョン センサーの典型的な例はデジタル カメラで、所定のフレーム レートでピクセル値の配列全体を繰り返し更新します。ただし、デジタル カメラを使用すると、動的モーション認識に 3 つの欠点があります。まず、デジタル カメラは通常、定義済みのフレーム サンプリング レート (通常は 1 秒あたり 25 ～ 50 フレームの範囲) で動作するため、観察されるアクティビティの時間分解能が制限されます。第 2 に、連続したフレームと各フレーム内の冗長なピクセルは、多くのストレージ リソースと計算を浪費します。第 3 に、従来のイメージ センサーのダイナミック レンジは、露光時間と積分能力によって制限されます。ほとんどのカメラは、ダイナミック レンジが 60 ～ 70 dB に制限された飽和リニア レスポンスに悩まされます。自然シーンの光は約 140 dB のダイナミック レンジに達する可能性があります。ダイナミック ビジョン センサー (DVS) は、これらの問題に対するソリューションを提供します。AER データ形式 (アドレス evnet 表現) を使用する DVS は、人間の視覚システムに基づくイベント駆動型テクノロジです。動的シーン認識タスクにおけるイベントベースのセンサーの利点は、シーンが大きく変化したときに非常に高い時間分解能を提供できることです。これは、通常、高出力と大規模な電力を必要とする高速デジタル カメラとコンピューティングによってのみ一致させることができます。資力。
図：DVS原理表示（https://gfycat.com/incredibleimpoliteblackmamba）
図: DVS ビジュアル出力の比較 (https://www.ibm.com/blogs/research/2018/06/stereo-vision/)
DVS 出力の例を上に示し、DVS が高速で移動するオブジェクトに対してよりシャープなエッジを生成できる従来のセンサーと比較します。これは、オブジェクトの認識とメモリの節約の両方で非常に重要です。DVS では、情報は電気パルスとしてエンコードされて送信されます。これは、バイオセンシング システムの処理メカニズムに似ています。DVS の出力は、人工網膜ピクセルの各アクティビティを特定のしきい値と比較することにより、非同期的に生成されます。DVS の出現は、超高速の省エネ コンピューティング アプリケーションにおけるその大きな可能性を証明しています。従来のビジョン センサーとは対照的に、DVS は、サンプル時間に基づくフレームのシーケンスではなく、非同期イベントを返します。与えられた実際の入力に対して、DVS は単純にピクセル強度値の変化を記録し、極性変化の ON/OFF 離散イベントのストリームを出力します。このイベントベースの取得メカニズムには、低消費電力、冗長情報の削減、低遅延、高ダイナミック レンジなど、多くの利点があります。
DVS の設計が成功したことで、脳にヒントを得たセンサーが処理すべき特性のベンチマークが確立され、イベントベースの視覚センシングのためのさらなる脳にヒントを得たコンピューティングに関する将来の研究のガイダンスが提供されます。デバイスの空間解像度またはダイナミック レンジを改善するために、DVS の多くの拡張バージョンが提案されています。たとえば、Brandli らは、フレームベースとフレームレスの視覚センシングの問題を解決するためのハイブリッド アプローチを提案しました。DAVIS (Dynamic and Active Pixel Vision Sensor) は、フレームベースのアクティブ ピクセル センシングと非同期 DVS センシングを 1 つのカメラに統合します。
ダイナミックオーディオセンサー
DVS が人間の視覚系を模倣するように、ダイナミック オーディオ センサーの動作メカニズムは、人間の聴覚系の感覚器官に着想を得ています。DAS は、ステレオ オーディオ入力を受け入れる非同期イベント ドリブン人工内耳です。マイク プリアンプと 64 のバイノーラル チャンネルを使用する DAS は、ニューロモーフィック オーディオ センシングのベンチマークを設定します。DAS は、ローカルのデジタル/アナログ コンバータ (DAC) を統合して、各チャネルの品質係数を変更できるようにします。蝸牛の機能は、半波整流器、周波数変調器、デジタル/アナログ コンバーター、サーバー アンプ、およびバッファーを含む 2 次アナログ セクションをカスケード接続することによってシミュレートされます。
バイノーラル DAS 音声出力の例を下の図に示します。この図は、音声信号に対する DAS の応答を示しています。ここで、緑と赤はそれぞれ左と右のサンプリング チャネルに対応し、各ポイントは取得イベントです。DAS のチャープ応答を図に示します。入力信号の動的周波数変動は 30Hz から 10kHz の範囲です。
図：DAS音声信号対応出力（https://inilabs.com/products/dynamic-audio-sensor/
）
図: DAS チャープ信号応答 (https://inilabs.com/products/dynamic-audio-sensor/
)
SNN シミュレーター
多くの利点があるにもかかわらず、SNN はスパイク ニューロンをシミュレートする際に計算上問題があります。場合によっては、IZ ニューロン モデルのように、生物物理学的にスパイクするニューロンの詳細な微分表現が必要になります。一方、実用化の観点からは、生体スパイクの発生メカニズムを単純化したニューロンモデル（IFニューロンモデルなど）を現実的に再構築する必要はありません。SNN のシミュレーション戦略は、同期または非同期の 2 つのファミリーに分けることができます。同期アルゴリズムは各タイム ステップですべてのニューロンを更新するため、非同期または「イベント駆動型」アルゴリズムよりも高い計算リソースが得られます。非同期メソッドは、DVS センサーの動作パラダイムと同様に、ニューロンがパルスを受信または放出したときにのみニューロンの状態を更新します。
ANN の統合されたニューラル ネットワーク フレームワーク (Tensorflow や Pytorch など) とは異なり、SNN モデルと SNN のトレーニング方法は、広く一貫して統合されていません。SNN をシミュレートする方法は、依然として多様で客観的です。現在、SNN を設計するプロセスは、ネットワーク自体の実現可能性を考慮するだけでなく、生物学的妥当性、計算コスト、学習メカニズムなどの機能に拡張することもできます。SNN のソフトウェア実装の包括的なレビューのために、次の表は注目すべき SNN フレームワークを、これらのフレームワークの特徴を含めてまとめたものです。
図: SNN ソフトウェア フレームワークの概要[禁止转载]
ブレインライクコンピューティングの応用
現在、脳にヒントを得たコンピューティングはまだ科学研究の段階にありますが、あらゆる分野の専門家による数え切れないほどの応用例があります。私の個人的な意見では、SNN の利点は、システムにセンサー、チップ、および強力な SNN アルゴリズムが同時に搭載されている場合、その消費電力と動作速度が従来の ANN や DNN に匹敵しないことに反映されています。ただし、既存の学習アルゴリズムに関する限り、さまざまなタスク (認識精度など) での SNN のパフォーマンスは、DNN と比較して満足できるものではありません。
Diehl は、2015 年の論文「スパイクタイミング依存可塑性を使用した数字認識の教師なし学習」で、STDP と横方向抑制を組み合わせた WTA 学習法を実装しました。SNN は、教師なし学習法により、MNIST 手書き数字認識データベースでこれを達成できます。95% の精度.
2017 年の CVPR で、TrueNorth チームは TrueNorth チップ上でリアルタイムの動的ジェスチャー認識を実現しました。この方法は従来の深層学習モデルに基づいていますが、システム全体の消費電力はわずか約 200mW で、遅延は 105ms (10 フレーム/秒) です。
清華大学の Tianji Chip チームは、2019 年に Nature で、ハイブリッド ニューラル ネットワークを使用して自動運転自転車を運転する例を発表しました。これには、従来の ANN と SNN の信号処理の融合が含まれます。
https://www.nature.com/articles/s41586-019-1424-8
教師なし学習に大きなブレークスルーがないため、研究者は ANN-SNN 変換に目を向けたり、バックプロパゲーションを SNN に直接接続したりして、さまざまなタスクの精度を向上させ始めました。SLAYER などのこのようなアルゴリズムは、音声認識 TIDIGIT で 99.09% の認識精度を達成しています。
要約すると、現段階での SNN の適用方向は 2 つのカテゴリに要約する必要があります。
1. SNN には、対応する AER 出力の処理に固有の利点があるため、ターゲット センシングで DVS および DAS の利点を使用してアプリケーションを構築するなど、ニューロモーフィック センサーによって駆動されます。
2.、低電力アプリケーションの着陸によって駆動されます。脳のようなチップと SNN の最大の利点はこれにあるため、SNN のパフォーマンスは特定のタスクでは従来の組み込みシステム + DNN モデルほど良くないかもしれませんが、SNN は一部の IoT とデバイス アプリケーションで大きな利点を示します。限られた力で。
国内外の脳型機関・企業のまとめ
以下は、読者がさらに理解できるように、著者が発見した、または興味を持っている脳にインスパイアされたチームの概要です. 順序はランキングを表すものではありません.
国内：
- 清華大学脳型コンピューティング研究センター (Tianjic チップチーム)
- ファーウェイ中央研究所
- 志江研究室
- 浙江大学ダーウィンチップチーム
- 彭城研究室
- 中国科学院オートメーション研究所、脳にインスパイアされた知能研究センター
- Lingbi テクノロジー (Tianji チップ)
- 西井科技
- Synsense (チューリッヒの DYNAP コアチーム)
外国：
- マンチェスター スピンネイカー チーム
- EU HBP プログラム チーム
- チューリッヒ神経情報学研究所 (DYNAP、DVS、DAS チーム)
- Inilab (DVS チーム)
- ウォータールー大学 (Team Neng)
- Intel (Loihi チップ チーム)
- IBM (TrueNorth チーム)
- スタンフォード大学 (Braindrop および Neurogrid チーム)
- テヘラン大学 (Spyketorch フレームワーク チーム)