起源
深ニューラルネットワークは、通常と呼ばれるリニアユニット修正（単位リニア整流、ReLU）ニューロンの活性化関数としての。神経科学研究ReLUは発信以下に示すように、2001年に、生物学的観点からダヤン、アボットは、信号のより正確なモデルを受け入れるために神経活動をシミュレート。
横軸は時間（ms）、縦軸ニューロン放電率を表す（発火率）。同じ年では、Attwellおよび他の神経科学者は、そのニューロンの仕事とまばらなの分布を示唆し、プロセスで消費されるエネルギーの脳を研究し、2003年にLennieと他の神経科学者は、脳の神経細胞が同時に活性化される推定されるだけ1から4パーセントを、これはさらにニューロンのスパース性の仕事することを示しています。そしてReLU機能のために、同様の性能を具現化する方法ですか？他の線形関数と比較して（例えば母屋）と非線形関数（例えばシグモイド、双曲線正接として）及び利点は何として？以下は私がゆっくり来るように何を教えてください。
フォームでのアクティベーション機能：
下に示すようにReLUは、関数の形を活性化。
从上图不难看出，ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。可别小看这个简单的操作，正因为有了这单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性。尤其体现在深度神经网络模型(如CNN)中，当模型增加N层之后，理论上ReLU神经元的激活率将降低2的N次方倍。这里或许有童鞋会问：ReLU的函数图像为什么一定要长这样？反过来，或者朝下延伸行不行？其实还不一定要长这样。只要能起到单侧抑制的作用，无论是镜面翻转还是180度翻转，最终神经元的输出也只是相当于加上了一个常数项系数，并不影响模型的训练结果。之所以这样定，或许是为了契合生物学角度，便于我们理解吧。
那么问题来了：这种稀疏性有何作用？换句话说，我们为什么需要让神经元稀疏？不妨举栗子来说明。当看名侦探柯南的时候，我们可以根据故事情节进行思考和推理，这时用到的是我们的大脑左半球；而当看蒙面唱将时，我们可以跟着歌手一起哼唱，这时用到的则是我们的右半球。左半球侧重理性思维，而右半球侧重感性思维。也就是说，当我们在进行运算或者欣赏时，都会有一部分神经元处于激活或是抑制状态，可以说是各司其职。再比如，生病了去医院看病，检查报告里面上百项指标，但跟病情相关的通常只有那么几个。与之类似，当训练一个深度分类模型的时候，和目标相关的特征往往也就那么几个，因此通过ReLU实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。
非負部RELUので、非線形関数のため、線形関数のための発現RELU強く、特にネットワークの深さに反映：また、他の機能に比べて活性化され、RELUは、以下の利点を有しています勾配が一定で、勾配の消失（勾配問題消失）が存在しないので、収束速度が安定したモデルの状態に維持されます。ほとんど消失勾配が何本明細書に記載さ：勾配が1未満である場合、深いモデルにおけるシグモイド活性化関数として使用される場合、予測値と伝搬時間を減衰する各層の真値との誤差が、これは特に顕著であり、このモデルは、収束の停滞につながります。
