論文
宝くじの仮説：スパース、訓練可能なニューラルネットワークを検索
https://arxiv.org/abs/1803.03635
第二に、紙のメモ
1、要約：ニューラルネットワークプルーニングネットワークパラメータの量を低減する技術がそれによって前提の精度を犠牲にすることなく、ストレージ要件を低減、90％であってもよいし、性能改善が推測しました。しかし、既存の経験は同じ分析の枠組みは、トレーニングのパフォーマンスを向上させることができますが、プルーニングが、最初から分析枠組みの訓練を生成することが困難であることが示されています。
私たちは自然にサブネットワークを見つける剪定の標準を発見し、これらのサブネットワークは、効果的なトレーニングの後に初期化することができます。これらの結果に基づいて、我々は「宝くじ仮説」（宝くじ仮説）を提案する：独立したトレーニング、これらのサブネットワークは、同様の反復回数にすることができたときに密な、ランダムな初期フィードフォワードネットワークは、サブネットワーク（「勝利のチケット」）を含みますかなりの元のネットワークテスト精度に達しました。
「勝利宝くじ」「宝くじの初期化」を獲得した：彼らの接続は、初期重みの非常に効率的なトレーニングを持っています。我々は勝利のチケットを識別するためのアルゴリズムを提案し、実験のシリーズが初期化され、これらの仮定と時折宝くじの重要性をサポートするために。私たちは、MNISTとCIFAR10データセットで見つかった、「勝利のチケット」ネットワークのサイズは、コンボリューション10％-20％の前に完全に接続されて、フィードフォワードアーキテクチャよりも少ないです。また、この「勝利のチケットは、」より速く、試験精度率は、元のネットワークの学習速度よりも高くなっています。
図2は、2つの戦略の当選チケットを（最初は優れている）を決定します
（A）、
各完成剪定、重みを初期化するリセット残りのノードの右、および後に反復剪定をたどります
（B）、
各完成剪定後、同じ量及びトレーニングの残りのノードへの権利は、その後、反復剪定をたどります
最終的に完成した訓練の後、残りのノードの右の両方が最も初期重量にリセットされます。
剪定戦略：
私たちは、単純な使用 層状剪定ヒューリスティックを：内の最低の大きさと重さの割合を削除する 各層
（ソング漢、ジェフ・プール、ジョン・トラン、そしてウィリアム・ダリー。重みと接続の両方を学ぶ 効率的なニューラルネットワーク。神経情報処理システムの進歩で、頁1135年から1143年、2015年）
図3に示すように、点の一部
手入れネットワーク効果を再訓練するよりも手入れネットワークを訓練の最初から（A）は、さらに悪くなります
ネットワークが剪定された後、（B）、残りのノードは重いのではなく、再無作為化重みの始まりを最大限に活用する権利を初期化する（残りのモデルが受賞したチケットであるノード）。単独のネットワーク構造は、この仮説の妥当性を示すことができないことを示す（これは、この論文のコアテストでもある）、含意はまた、初期化パラメータを必要とします
（C）新しい実績のない推測：
SGDは、重いサブセットのよりよい初期に右のネットワーク構造内の初期重みのすべてで見つかったため、より密なネットワークを訓練する方が簡単ですまばらなネットワークの剪定によってより密なネットワーク（完全なネットワーク）のランダムな初期化多くの可能なサブネットワークは、「当選券」を回収することができます
4、貢献
5、アイデアが（仮想）の利益をもたらすことができます
（A）、トレーニング戦略とトレーニング効果を向上させるために
（B）は、より良好なネットワーク構造に設計されました
（C）、ニューラルネットワークの理論をより良く理解します
6、制限および今後の課題
より深いネットワークでは、「勝利のチケットは、」ウォームアップ研修の大規模な研究がない限り、見つけることは容易ではありません。また、このセクションでは、探求します
7、実験は、実験や参考文献から、非常に包括的かつ詳細であるこの研究分野で見ることができることは理論的には豊かな、非常に深く、この論文は、おそらく原因を獲得することができます。
gitの紙リスト：