ニューラル共同部分空間クラスタリング（2019 ICML）
Abastract：
Lは、 低次元の部分空間の組合から引き出されたデータ点のクラスタを発見します
lは スペクトラルクラスタリングの助けを借りずに実行すると、これが私たちのアルゴリズム優雅に大規模なデータセットに拡張することができます種類の一つになります
L その心、ポイントのペアが同じ部分空間上にあるか否かを判定する分類器からの私達の神経モデルの利点で
我々のモデルに不可欠な、共同スキームで研修を監督するために、2つの親和性マトリックス、分類器から1と部分空間自己表現の概念から、他の構造です。
関連作業
L 部分空間クラスタリング 大規模なデータと非直線的ソリューション
部分空間クラスタリング（教師なしの方法で低次元の部分空間の組合から引き出されたデータ点をクラスタ化することを目指して）
スペクトルクラスタリングのサブスペースアプリケーションにおける重要な課題の一つは、適切な構築することである類似度行列を。自己表現に基づく方法分解基づいて、モデルベース法、方法、基本的な考え方は、部分空間内の同じ点は他の点の線形結合であることができるである。我々は、アルゴリズムのマトリックスの構築方法は、3つのカテゴリーに分割されている類似度ができます表現。他の方法と比べて、この方法は、以下の利点を有する：ノイズ及び異常値に対してよりロバストな、計算の複雑さは、部分空間と寸法指数増殖の数によって変化しない。それはまた、非ローカル情報を使用して、近所のサイズを指定する必要なし
データポイントの線形部分空間ではなく、非線形部分空間の問題は、我々はいくつかのソリューションを提案しました。核疎な部分空間クラスタリング（Kssc）事前定義されたおかげカーネル例えば多項式または（ラジアル基底関数などの関数、RBFに）高次元問題（おそらく無限の）再生可能な突出、ヒルベルトカーネルスペース。しかし、異なるデータセットのための右のカーネル関数は不明なままで選択する方法、核技術によって生成される保証は線形部分空間クラスタリングに適した空間を備えていないがあります。
最近の研究：DSC：非線形問題を解決するが、それでもスペクトルクラスタリングを使用すると、大規模なデータセットに適用されません。
SSC-直交マッチング追跡：使用 OMPは相関行列を表すために大きな凸最適化アルゴリズムを置き換えます。しかし、計算を高速化するために、 SSC-OMP犠牲クラスタリングのパフォーマンスは、データポイントの数が非常に大きい場合、まだ失敗する可能性があります
部分空間ネットワーク、クラスタリング-K ：スペクトルクラスタリング提案使用を回避するように構成された同様の行列を避けるために、大規模なデータセットにクラスタリング技術を部分空間できるにK-部分空間クラスタリングの反復法を深い構造ながら K-SCNは二つ開発を更新およびネットワーキングする部分空間法が、反復法は同じ欠点を持っていることは、例えば、それは良いの初期化を必要とし、外れ値のために非常に壊れやすいように見えます
L 本論文では：特長：リニア、伸縮
我々最初の部分空間クラスタリングは分類問題、計算から除去次いで、スペクトルクラスタリングステップとして表されます。私たちの神経モデルは、2つのモジュール、分類のための1、学習のための類似性から構成されています。これらの2つのモジュールが学習過程でお互いに協力します。トレーニングプロセス及び各反復において、我々は、計算の類似性行列分類部を監督する同様の部分空間行列生成自己表現を使用します。同時に、スキルを向上させるためのソート部、協調的な最適化によって構築良く類似度行列以来。
モデルフィッティング
学習理論では、トレーニングを容易にするために、クリーンなものから外れ値とノイズの多いサンプルを区別することは活発な研究テーマであります
例えば：
古典的なアプローチは、であるランダムサンプルコンセンサス：にモデルをフィッティングノイズによって破損点の雲
学習カリキュラム：簡単なサンプルからモデルを学習を開始し、徐々により複雑なサンプルにモデルを適応させます
アンサンブルを学ぶ：その予測の後、セットアップ、異なるトレーニングモデルのパフォーマンスを通じて機械学習アルゴリズムを改善しようとします
蒸留知識：大きな深い学習モデルから学んが小さいモデルを監督するために使用することができます
リットル ディープクラスタリング
多くの研究論文は、たとえば、深いニューラルネットワーククラスタリングを使用して調査しています：
12月:.積み重ね事前訓練クラスタに優しい埋め込みの達成するために、学生のt分布に基づく正則と自動エンコーダ、および微調整エンコーダ欠点は、ネットワーク構造と初期化に非常に敏感である12月
様々な形のGAN：
画像のクラスタリングを生成しながら詳細-GANおよびClusterGANクラスタリングアルゴリズムは、判別空間の基礎となる特性を高めるように設計されていると
ディープ適応画像クラスタリング（DAC）：
初期化、自己管理学習として、完全な畳み込みニューラルネットワークを使用し、顕著な成果を達成しています。しかし、ネットワーク構造に敏感
本論文で：
分類問題への画像の分類と関連解析2つの協調学習モジュール、部分空間クラスタリングの問題により、部分空間。私たちは、データセット全体にスペクトルクラスタリングを実行しますが、ランダムにトレーニングモデルで、拡張性の高い部分空間クラスタリングが得られませんでした。
提案手法
スケーラブルSCアルゴリズムを設計するには、私たちの アイデアは、ポイントのペアが同じ部分空間上にあるかどうかを識別することである（十分に大きなセットのペアのために）得られた知見した後、深さモデルを最大化するために、その重量を最適化することができますこれらの関係（位置部分空間かどうか）。これがうまく進分類問題に変換することができます。
何のタグ情報がないため、我々は監視信号として2つの信頼性マップを使用します
リットル バイナリ分類
我々は、マルチクラスを使用することを提案する （非線形整流器を用いて）、いくつかの畳み込み層からなる分類器およびソフトマックス出力層は次に神経の類似性に基づいて相乗的部分空間クラスタリングに変換されます。
分級により得られた試料は、I、Jのワンホット分類ベクトル、2つの2サンプルの類似性を乗じたベクトルは、私たちは、得られた各クラスに属する分類子ソフトマックス層（の最後の層として、類似度行列を学びました長さ1の確率ベクトル）、それができるように解釈され、間のコサイン類似度[0,1]
リットルの 自己表現力の親和性
概念：データポイントxiは単に自己発現することができる列のデータ行列Xの全ての点、の重ね合わせにおける他の点の線形結合で同じ部分空間で表すことができる線形部分空間から抽出するものとして説明X = XC、その Cは係数行列です。
部分空間の非線形マッピングを解決するために、一つの解決策は、Zへの完全な畳み込みネットワークマッピングデータXを使用することで、線形変換層としての式から（非線形活性化パラメータ及びオフセット）の自己表現と称される層、リニア式またはZ-Xの部分空間内の空間が、試料が空間Xにおけるように、非線形マッピングを行ったので、サブサンプルは、非線形空間マッピングに属します。これは私たちは部分空間類似度にエンコーダから学ぶためにエンドを使用することができ、Cは表現する右から値行列であります
リットル 共同学習
分類モジュールによって計算され、目的は、分類モジュールは、データサンプル間のペアワイズ相関関係をキャプチャするために自己表現のモジュールに、より抽象的な機能のより多くの識別、およびより集中抽出する傾向があり、異なる強度の協調学習モジュールをフルに活用することです2個のサンプルが類似の重要度が異なるサブスペースに属する2つのサンプルであってもよい0に近いことを示し、類似の計算された程度の二つの試料からの発現モジュールは、1に近い2つのサンプルが同じサブスペースに属することができることを示しています。だから我々はnegtiveを向上させるために使用され、ポジティブな関係を強化するために使用; U、Lは、閾値であります
リットルの 損失関数
ネットワークは、4つの主要コンポーネントで構成され：（I）畳み込みエンコーダ、それは入力データXにマッピングされる電位を表し、Zは、（II）重量C部分空間によって類似度マトリックス層から次式を学習する;（III）プレゼンテーション層の後に畳み込みデコーダに地図データので、すなわち、ZCバック入力空間へ、;（iv）はk次元の分類予測ベクトル類似度行列構成を使用して多クラス判別器のk次元の予測ベクトル出力、。
总损失：協調学習の損失+部分空間学習損失
部分空間学習損失=損失ペナルティからの発現+ +復元誤差項
協調学習の損失
トレーニングは最終層として分類クラスタリングの結果であることができた後、スペクトルクラスタリングは、大きなデータセットで非常に適用実行するために必要とされていない（まだ類似度行列を生成する、メモリ消費が回避されません）
最適化とトレーニング
良い効果の初期化部分空間クラスタリングを得るように1事前訓練自己符号化された再構成誤差によっては、最小化されます
マトリックスの発現がブロック対角構造を有するので、部分空間の独立性の仮定に基づいて、これを説明するため2、我々は確実にその画像上の電位の空間次元（Z）（真性部分空間寸法）×よりも大きい（クラスタの数）の数、サンプリングダウン、層上のチャネルの数、間隔保持電位の大きな寸法を増加させながら。
3.私たちは、事前に訓練された自動エンコーダーをしていているので、協調学習の実装では、我々は、自動エンコーダに小さな学習レートを使用するので、
4.トレーニングは、我々は3段階の戦略を使用します。まず、部分空間学習損失エンコーダにおける自己トレーニングプレゼンテーション層からの損失、更新は、第二に、我々は分類が最小限に訓練を受けた協調学習の損失を。（5）;第三に、我々は、総損失が最小化させ、ネットワーク全体のための共同訓練を行います。