エンコーダから深いクラスタリングアルゴリズムの深さ(深いオートエンコーダ)MATLAB解釈

ディープクラスタリングアルゴリズム

著者:Kailugaji -ブログパーク  http://www.cnblogs.com/kailugaji/

    この紙経路:エンコーダからの深さ(深オートエンコーダ) - >ディープ組み込みクラスタリング(DEC) - >改良深い埋め込みクラスタリング(IDEC) - >ディープファジーK-手段(DFKM)、 ディープオートエンコーダを有し(エンコーダからの深さを深いオートエンコーダ)MATLABの解釈が記載され、エンコーダからの深さを改善するための多くの方法がありますが、詳細にクラスタリングアルゴリズムの焦点深度についての話を説明していません。間違っている場合は、正しい表情。

    ネットワークアーキテクチャ図深度クラスタリングアルゴリズム

    深クラスタリングアルゴリズムの機能の喪失

1.ディープ組み込みクラスタリング

1.1確率隣接埋め込み(SNE)

    SNEは、二つの機能の間に線形相関があり、主にデータの可視化、PCA(主成分分析コンポーネント)に使用される2つの特性間の非線形相関は、線形次元削減戦略が存在している、非線形次元削減戦略でありますセックス。条件付き確率に、元の空間におけるガウスガウスマッピング空間を使用して条件付き確率へのデータポイント間の距離メトリックの(高次元空間)分布、(低次元空間)分布を測定マッピング点との間の距離を用いて、SNE低次元空間における高次元空間を最小限に抑えるために、KLダイバージェンスを用いた条件付き確率。

    (1)KLダイバージェンスが非対称対策、(2)混雑です:SNE対向する2つの問題があります。非対称問題のために、Pijには、対称メトリック非対称メトリック変換を定義します。対称性測度が依然として低次元空間にマッピングされ、過密対向しかし、それは、マッピング点との間のデータ自体の特性に応じて良好に分離することができません。

    对于拥挤问题(The Crowding Problem)的解决,提出t-SNE,一种非线性降维策略,主要用于可视化数据。引入厚尾部的学生t分布,将低维空间映射点之间的距离度量转化为概率分布t分布qij,使得不同簇之间的点能很好地分开。

1.2 t-SNE

1.3 Deep Embedded Clustering(DEC)

    受t-SNE的启发,提出DEC算法,重新定义原始空间(高维空间)的度量pij。微调阶段,舍弃掉编码器层,最小化KL散度作为损失函数,迭代更新参数。

2. Improved Deep Embedded Clustering(IDEC)

    DEC丢弃解码器层,并使用聚类损失Lc对编码器进行微调。作者认为这种微调会扭曲嵌入空间,削弱嵌入特征的代表性,从而影响聚类性能。因此,提出保持解码器层不变,直接将聚类损失附加到嵌入空间。

3. Deep Fuzzy K-means

    Deep Fuzzy K-means同样在低维映射空间中加入聚类过程,将特征提取与聚类同时进行,引入熵加权的模糊K-means,不采用原来的欧氏距离,而是自己重新定义度量准则,权值偏置的正则化项防止过拟合,提高泛化能力。

4. 参考文献

[1] Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(Nov): 2579-2605.

[2] Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research, 2010, 11(Dec): 3371-3408.

[3] Xie J, Girshick R, Farhadi A. Unsupervised deep embedding for clustering analysis[C]//International conference on machine learning. 2016: 478-487.

[4] Guo X, Gao L, Liu X, et al. Improved deep embedded clustering with local structure preservation[C]//IJCAI. 2017: 1753-1759.

[5] Zhang R, Li X, Zhang H, et al. Deep Fuzzy K-Means with Adaptive Loss and Entropy Regularization[J]. IEEE Transactions on Fuzzy Systems, 2019.

[6] t-SNE相关资料:t-SNE完整笔记An illustrated introduction to the t-SNE algorithm从SNE到t-SNE再到LargeVist-SNE算法-CSDN

[7] DEC与IDEC的Python代码-Github

[8] DFKM的Python代码-Github

おすすめ

転載: www.cnblogs.com/kailugaji/p/12105939.html