浙江大学＆四川省では、パルスバージョンResNetを提起：ResNetは利点を継承し、現在の最高を達成するために
arXivの、作者から選択：。Yangfan Huらのマシンの、コンパイルハート。
パルスニューラルネットワーク（SNN）は、生物学的に妥当である、と同電位とされ、伝統的なニューラルネットワークを計算し、主な障害は、トレーニングの難しさにあります。この問題を解決するには、浙江大学、四川大学は最近、残留パルスネットワークスパイキングResNetの深さのバージョンを提案しました。モデル変換の問題を解決するために、研究者は連続値の活性化関数の新しいメカニズムを提案するスパイキングニューラルネットワーク励起パルスの周波数と一致し、離散化に起因する誤差を低減しようとする正規化しました。データの参照セットの複数の実験結果は、ネットワークのパフォーマンスが最高電流パルスニューラルネットワークを得ることがあることを示しています。
入門
研究があることを示したパルスニューラルネットワーク [21]は、モデル溶液及び計算オーバーヘッドの性能との間のギャップを埋めることです。理論的には、パルスニューラルネットワークは、人工ニューラルネットワーク（ANN）のような任意の関数を近似することができます。従来の人工ニューラルネットワーク（ANN）を用いて互いに通信するニューラルネットワーク要素離散事象（パルスピーク）よりもむしろ連続的な活性化関数の値を介して、異なる神経インパルスです。イベントが到着すると、システムは、それによって必要な各時間ステップにおける動作ステップの数を減らし、非同期に更新されます。最新の研究スピネーカー[9、缶TrueNorth [24]ニューラルネットワークをスパイク、その進捗を示す ]、 ならびにロール[26]このようなニューロモルフィックハードウェアは、オブジェクトによってシミュレートされ、エネルギー消費量は、現在のコンピュータのハードウェアよりも数桁小さいです。さらに、パルスに基づいてイベントの性質ので、ニューラルネットワークは、本質的に低レイテンシおよびAER（アドレス一時的発現）センサーに基づいて入力データの処理に適している低い冗長性を有する、例えば、高ダイナミックレンジを得るダイナミックビジョンセンサ（ DVS）[19]及び聴覚センサ（シリコン蝸牛）[20]。最近の研究[28]、ニューラルネットワークは、古典的な絶対差（SAD）アルゴリズムに基づいたマイクロコントローラを達成するよりパルスを実現する観点であると述べたエネルギーの大きさ以下消費の約一桁です。
今日では、パルスニューラルネットワークが直面する主要な課題は、不連続パルスを克服するための効果的な学習アルゴリズムを見つけ、取得および人工ニューラルネットワーク（ANN）同等の性能にする方法です。変換方法は、それは、従来の人工ニューラルネットワークを訓練し、変換アルゴリズムを確立することで、これまで最高のパフォーマンスによってなさ行くためにニューラルネットワークをスパイクの相当量のマップです。しかし、この変換前の非常に深い人工ニューラルネットワークの問題が解決されていません。
本稿では、学習する[11]パルスニューラルネットワーク残留ニューラルネットワークの深さを研究、これは非常に最先端畳み込みニューラルネットワーク（CNN）アーキテクチャであり、それは非常に良好なデータセットの数になりました性能は、大幅ネットワークの深さを増加させます。仮定の前提条件変換残留ニューラルネットワークは、まだ元の利点を持っている下で、我々は、事前に訓練されたニューラルネットワークは、その残余のパルスバージョンに変換されます。パルスの連続する値のズーム機能を活性化するためにニューラルネットワークに適していますでは、我々は、迅速な接続標準高速正則化する技術を開発し、換言すれば、全周波数励起パルスニューラルネットワーク上で、各レイヤを最大パルスユニットを維持しますニューロンは（パルスが各時間ステップを活性化する）理論的な最大励起周波数パルスに到達することができます。我々はまた、サンプリングエラーを低減することにより、各層の近似度を向上させるために、層状の誤差補償方法を提案します。
図1：溜まりパルスのネットワーク・アーキテクチャ図。
残留パルスネットワークの構築
最初に、研究者は、残留ニューラルネットワークを持つニューラルネットワークの深さの劣化の問題を解決することを提案します。ネットワーク層を識別することなく、一定の深さの差が増加することによって理解するので、元のネットワーク性能より浅く構成され、Heら[11] Fに近い積層非線形層を使用して（X）：= H（X） - H（X）は所望の電位のマッピングであるXマッピング。次に、元のマッピングは、残差マップなる：H（X）= F（X）+ X。彼らは、残留マップは、従来の方法を最適化することにより最適化することが容易であると仮定し、経験的にその仮説を証明しました。彼らの実験は、残留ネットワークが非常に大きい深さで優れた性能を達成できることを示しました。その成果に触発され、私たちは、パルスバージョン残留ニューラルネットワークは、残留ニューラルネットワークの利点を継承していることを前提とし、パルスニューラルネットワークの残留ネットワークで非常に深いパルスを学ぶの未知の領域を探索します。
他のパルスの深ニューラルネットワークとの比較
表1に、我々は、ニューラルネットワークをスパイクの深さの他の結果と比較MNIST、CIFAR-10、CIFAR-100のデータセットで得られた結果をまとめ、そして。ここでは、ニューラルネットワークは、その接続とフルボリューム草の根レベルの深さを定義する層のすべての重量を学ぶことができ考えます。3つのデータセットでは、我々は他のパルスニューラルネットワークの深さよりも優れたパフォーマンスを実現したネットワーク残差をパルス。MNISTデータセットでは、我々はロスレス変換ResNet-8を持っている、と99.59パーセントの精度を与えます。私たちは浅いのネットワークが行った作業は、十分な数の手書きマッピングの後ろに隠れることを学んだしと信じているので、私たちは、MNISTに深いネットワークを試していません。CIFAR-10データセットで、現在最もパルスフィードフォワードニューラルネットワークで実現44のパルスネットワーク残差の深さ（ニューラルネットワークパルス）最良の性能92.37パーセント、。44の元の深さのニューラルネットワークの残留精度は92.85パーセントであり、変換に起因する精度の損失は、他のニューラルネットワークと比べて非常に低い深さのパルスを有する0.48パーセントでした。CIFAR-100は、データセットに、残留パルスネットワーク44の深さはまた、正解率は68.56パーセント、1.62パーセントの減少精度変換処理結果に達し、良好な性能を作りました。
表1：MNIST、CIFAR-10およびCIFAR-100データ・セット内の比較や他の変換プロセス。
クイック正則化技術実験
为了评估快捷正则化的有效性，我们在 CIFAR-10 数据集上训练了深度为 20、32、44、56、110 的残差神经网络，并且将它们转换为带有/不带有快捷正则化的脉冲残差网络。表 2 给出了原始的残差神经网络和相应的带有/不带有快捷正则化的脉冲残差网络所取得的识别准确率。在所有的不同深度的脉冲神经网络中，带有快捷正则化的网络都比不带快捷正则化的网络性能更好。随着深度从 20 增大到 32、44、56、110，他们相应的性能差距也从 2.34% 增大到 6.32%、7.42%、8.31%、8.59%。随着网络的加深，不带快捷正则化的脉冲神经网络比带有快捷正则化的脉冲神经网络受到的性能损失也随之增大。此外，带有快捷正则化的脉冲神经网络的性能在深度为 20、32、44、56 时十分稳定。在深度为 20 时，转换后的性能仅仅下降了 0.20%。
表 2: 残差神经网络和脉冲残差网络（带有/不带有快捷正则化技术）在 CIFAR-10 数据集上的分类准确率。
图 4: 普通网络和残差网络在 CIFAR-10 数据集上转化效率的对比。
图 5: 普通人工神经网络（ANN）和残差人工神经网络的对比。
论文：Spiking Deep Residual Network
论文链接：https://arxiv.org/abs/1805.01352
摘要：近一段时间以来，脉冲神经网络因其生物学上的合理性受到了广泛的关注。从理论上讲，脉冲神经网络至少与传统的人工神经网络（ANN）具有相同的计算能力，并且有潜力实现革命性的高效节能。然而，当前的状况是，训练一个非常深的 SNN 是一个巨大的挑战。在本文中，我们提出了一个高效的方法去构建一个脉冲版的深度残差网络（ResNet），它也代表了最先进的卷积神经网络（CNN）。我们将训练好的残差神经网络（ResNet）转换成一个脉冲神经元组成的网络，并将该网络命名为「脉冲残差网络（Spiking ResNet）」。为了解决这个转换的问题，我们提出了一种快捷的正则化机制，适当地对连续值的激活函数进行放缩（标准化），用来匹配脉冲神经网络中的脉冲激发频率。并且，我们还采用了分层的误差补偿方法来减少离散化带来的误差。我们在 MNIST、CIFAR-10 和 CIFAR-100 数据集上的实验结果表明，我们提出的脉冲残差网络取得了脉冲神经网络当前最佳性能。
-
默默然1 年前
-
万盛中路摇滚乐队1 年前
-
秦睿1 年前
-
少卿de少羽1 年前
-
ThomasLoveMandy回复少卿de少羽1 年前
-
xbigot回复ThomasLoveMandy5 个月前
-
秦睿1 年前
-
陆勐1 年前
-
退乎保平安1 年前
