著者|趙ハング講師ハルビン工業大学（威海）
本論文では、フォーカスアルゴリズム、すなわちの深さの新しい解釈残留収縮ネットワークの深さ（深残留収縮ネットワーク）。
機能的に、ネットワークは、残留収縮の深さや強いノイズ特性学習データのための非常に冗長です。本論文では、基本を見直し、その後、モチベーションやネットワークの残留収縮の深さの具体的な実現を紹介し、我々は手助けをしたいです
関連インフラ
残留ネットワークの深さ、柔らかな閾値関数と注目機構：残留収縮ネットワークの深さは、主に三つの部分に基づいています。
残留ネットワークの1.1深さ
残留ネットワークの深さが、近年では、間違いなく最も成功したの一つであり、学習アルゴリズムの深さは、リファレンスでは、Google Scholarの上4万回を超えました。通常の畳み込みニューラルネットワークに比べて、同じ経路を介して残留クロスレイヤネットワークの深さが深いネットワークを訓練することの難しさを緩和します。
残留ネットワーク胴部の深さは、共通残留モジュールは、以下に示す請求残留モジュールの多くを積層して形成されています。
1.2ソフト閾値関数
ソフト閾値関数は、ノイズ低減方法のほとんどの重要なステップです。まず第一に、我々は、正の閾値を設定する必要があります。閾値は、そうでなければ、出力はすべてゼロとなり、入力データの絶対値の最大値よりも大きくない、即ち、大きすぎることはできません。
次いで、ソフト閾値関数は、入力データのしきい値をゼロに設定し、入力データの絶対値もゼロ収縮に向かって、この閾値よりも大きい、下図（）における入力と出力の関係は、図2に示されているの絶対値よりも低くなります。
図の上記入力x（B）の誘導体の出力yソフト閾値関数。私たちは、0または1の値のいずれかの微分値を見ることができます。このような観点から、その後、ソフト閾値関数とReLU活性化機能は、いくつかの類似点を持っていますが、またトレーニングや学習の深さの勾配バックプロパゲーションアルゴリズムを助長します。
これは、しきい値の選択は、結果ソフトしきい値機能に直接影響を持って、まだ問題であることは注目に値します。
1.3注意のメカニズム
近年では注意のメカニズム、超ホットな話題の分野での学習、およびスクイーズと興奮ネットワーク（セネト）の深さが注目アルゴリズムの最も古典的なの一つです。
以下に示すように、係数の値は、各チャネル特性に対する重み付け、学習により重みの小さいセットを得るセネト。これは実際機構注目ある：まず、チャネルの様々な特性の重要性を評価し、その重要性を備え、各チャンネルの重量に基づいて適切な重みを与えます。
以下に示すように、セネト残留モジュールと統合されてもよいです。このモードでは、同一のクロスレイヤパスの存在は、セネトをより容易に訓練することができます。また、注目すべき各サンプルに対する重み係数は、独自に応じて設定されていることである;すなわち、各サンプルは、重み係数の独自のセットを有することができます。
残留収縮ネットワークの深さ
次に、それぞれ導入される利点の残留収縮ネットワーク、実装、および検証の深さの動機のこの部分。
2.1動機
まず、ノイズ画像、音声や振動など、現実の世界でのデータのほとんど、または多かれ少なかれは、冗長な情報が含まれています。
広義には、試料内の、現在のパターン認識タスクに関連しない任意の情報で、ノイズや冗長な情報であると考えることができます。これらのノイズや冗長な情報が悪影響を受け、現在のパターン認識タスクを持っている可能性があります。
第二に、任意の二つのサンプルについて、それらのノイズ成分は、しばしば冗長であっても異なっていて。換言すれば、いくつかのノイズや冗長なサンプルをいくつかが小さくなるように、より多くのことが含まれます。これは、アルゴリズムの設計で私たちを必要とし、アルゴリズムは、各サンプルの特性に応じた能力、パラメータの別のセットを持っている必要があります。
2以上の点によって駆動、我々は、ソフトしきい値関数のための伝統的なノイズ低減アルゴリズムを行う残留ネットワークの深さに導入されることができませんか？どのようにソフトしきい値関数しきい値はそれに選択しなければなりませんか？答えを与えるために残留収縮ネットワークの深さ。
2.2を実現します
残留収縮深度深度残差ネットワーク収束ネットワーク、セネトとソフト閾値関数。以下に示すように、残留収縮ネットワークの深さは「再重み付け」なる残留交換セネトモードにある「ソフトしきい値。」
セネト埋め込み小規模ネットワークでの係数の重みのセットの値を得るために使用され、深さの残留収縮ネットワーク、ネットワークは、しきい値のセットを得るために小さいです。
適切な閾値を得るために、元のセネトに比べて、ネットワーク内の小さな残留収縮のネットワーク構造の深さも調整されます。具体的には、小さなネットワーク出力の閾値は、（それぞれの特徴チャネルの絶対値）×（0と1基の間の係数）です。
この方法では、残留収縮ネットワークの深さは（必ずしも全ての出力がゼロである）すべてのしきい値が正であるが、閾値が大きすぎないことを確実にするだけでなく。
以下に示すように、全体的なネットワークのネットワーク構造の残留収縮と一般残留深さの深さは同じであり、入力層、畳み込みの最初の層、基本モジュールと最後の満タンのグローバル平均値の系列を含み、かつ出力層に接続されています。
2.3利点
まず、ソフト閾値関数は、しきい値を設定するために必要な人工的な専門知識を避け、しきい値を自動的に小規模なネットワークで設定されている必要。
次に、ネットワークの残留収縮が閾値のソフトしきい値関数の深さが正であることを保証するために、適切な範囲内で、状況はすべてゼロ出力を回避することができます。
一方、各サンプルは、しきい値の独自のセットを有するように個々のサンプルケースの異なる残留収縮のノイズ成分のためのネットワークの深さ。
結論
ノイズや冗長な情報はどこにでもあるので、残留収縮の網の深さ、またはそのような「注意機構」+アイデア「ソフトしきい値関数」は、おそらくアプリケーションの幅広い開発空間範囲を有しています。
論文は、リンクされています
https://www.paperweekly.site/papers/3397
コードへのリンク：
https://github.com/zhao62/Deep-Residual-Shrinkage-Networks
【end】
◆精彩推荐◆
对存在潜伏期的新冠肺炎，快速分析其传染关系及接触关系，积极采取隔离、观察和治疗措施是非常有利的防控疫情的科学防控依据。周四（明晚）20点，我们一起来看Sophon KG如何追寻新冠病毒轨迹，运用AI技术、工具建立相关知识图谱，通过确诊案例的亲属、同事和朋友的关系网找出密切接触者进行及时隔离，同时刻画出确诊案例的活动轨迹，找到其关系网之外的密切接触者及病毒可能的“行凶环境”。推荐阅读
百万人学AI：CSDN重磅共建人工智能技术新生态154万AI开发者用数据告诉你，中国AI如何才能弯道超车？技术大佬的肺腑之言：“不要为了AI而AI”！| 刷新 CTO悼念前端大牛司徒正美业内最大的“空气币”——以太坊？Spark3.0发布了，代码拉过来，打个包，跑起来！你点的每个“在看”，我都认真当成了AI
