乗数の交互方向法
著者：Kailugaji -ブログパーク http://www.cnblogs.com/kailugaji/
1.交互方向乗数法の紹介-乗数の交互方向法
ADMMは、1975年と1976年にGlowinski＆MarroccoおよびGabay＆Mercierによって最初に提案され、2011年にBoydらによって再レビューされ、大規模な分散最適化問題に適していることが証明されました。
ADMMが提案されたのは、大規模な分散コンピューティングシステムや大規模な最適化問題が登場する前のことなので、この方法は2011年まで広く知られていませんでした。
オルタネイティングダイレクションオブマルチプライヤ（ADMM）は、分離可能な凸最適化問題を解決するためのコンピューティングフレームワークです。高速な処理速度と優れた収束パフォーマンスのため、ADMMは特に分散凸最適化問題の解決に適しています。統計的な学習問題です。主な用途は、ブロックで解決する必要がある大きな解空間の場合であり、解の絶対精度は高すぎません。
ADMMは、最初の分解とその後の組み合わせという形で問題を解決します。つまり、元の問題は、最初にいくつかの比較的単純なサブ問題に分解され、次に、サブ問題のソリューションが組み合わされて、元の問題のグローバルなソリューションが得られます。
ADMMは、二重分解法と拡張ラグランジュ乗数法の組み合わせと見なすこともできます。これにより、良好な収束を確保しながらアルゴリズムを分解可能にします。
2.デュアルアセント方式- デュアルアセント
3. 二重分解- 二重分解
4.拡張ラグランジュ乗数法-拡張ラグランジアンと乗数法
5.交互方向乗数法-ADMM
6. スケーリング後の交互方向乗数法- スケーリングされた形式
7.リファレンス
[1] Boyd S、Parikh N、Chu Eなど。乗数の交互方向法による分散最適化と統計学習[J]。機械学習の基礎と動向、2011年、3（1）：1-122。
[2] Chen Qingguo。交互方向乗数法のいくつかの問題に関する研究[D]。中国Jiliang大学、2018年。
[3] 交互方向乗数（ADMM）-Kailu Gaji-Blog Park
[4] ADMM：http ://web.stanford.edu/~boyd/admm.html