まず、アルゴリズムの原理
第二に、アルゴリズム・ロジック
第三に、個人的な理解
- 損失関数の形態の観点から：FTRL RDA-L1「は、勾配累積」思想はFOBOS-L1、L2上に塗布し、正則化項を適用することです。[PS：紙にはL2プラス定期的なアイテムがありません]
- この効果は、によって達成されます。
-
- プラス**蓄積とWの新たな反復を定義する**すぎて「反復解法がされている」からもたらしません。
- 解決策はそうFOUNDをさせる前に、すべての損失と最小のパラメータのすべての機能を確保するために、遠すぎる反復解法からではないだろうからです。
- 勾配に蓄積RDA-L1予約アイテムは、この機能は、より大きな蓄積[勾配、大きく寄与の損失の寄与の推定値の関数として見ることができます。]
- 勾配蓄積の使用ので、重要な特徴制約の最初の反復が0であるが、後者は徐々に密な機能になった場合、そのパラメータは非ゼロになるであろうとしても、その;
- エントリ勾配に蓄積予約RDA-L1、Vの合計は、vは常にオリジナルよりも大きい、より簡単に、重要な機能の保護を閾値L1よりも絶対値の大きなを追加します。
- そのFTRLのトリック：
-
- MSEとlearning_rateの前にパラメータσ_sと魔法の関係を乗じました。
- 使用中のL1とSGDが一貫していないときは、このパラメータはFTRLことを確実にするためです。
- FTRL適応learning_rate自分の考えやAdagradオプティマイザ同様の適応の考え方を使用します。
-
- 機能まばらな場合、それは大きなlearning_rate。
- 機能密集した場合、それは小さいlearning_rate。
- FTRLなぜアカウントFOBOS-L1およびRDA-L1を考慮すべきか？？
-
- 出力変更まばらではないので、真の目的は、効果的なスパース解決策を得ることです。効果的な機能を維持しているまばらな！！！
- RDA-L1、FOBOS-L1と考えRDA-L1の累積勾配によって前記有効な保持によって、スパース。
- 基本的に、オンライン学習オプティマイザ用FTRLのみ適し;
- 近位の意味のFTRL、近位：
-
- T + 1の反復解法、遠くないt番目の反復の溶液から。
- 解決策ではありませんあまりにも遠く離れて0から1の反復T +、。
- これは、特定の制約の表現です。
要約：
- FOBOS-L1：MSE + L1がモデルにW_ {T + 1/2}で使用される、目標は、SGDからの結果の近傍に基づいて調整さ勾配を作ることで、疎液を出力します。
- RDA-L1：使用累积平均梯度 + L1 + L2进行建模，这里使用L2有两方面的理解：
-
- 能产出极小值点；
- 调整后的梯度不能与零点太远；
