【机器学习】最大均值差异MMD详解

引言

最大均值差异(maximum mean discrepancy, MMD)提出时候是用来测试两个样本,是否来自两个不同分布p和q,如果均值差异达到最大,就说明采样的样本来自完全不同的分布。

原理

MMD的基本原理如下所述:假设有一个满足P分布的数据集Xs=[xs1,...,xsn]和一个满足Q分布的数据集Xt=[xt1,...,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数ϕ(⋅):X−>H表示从原始空间到希尔伯特空间的一个映射,并且当n,m 趋于无穷时Xsx 和Xtx的最大均值差异可以表示为下式:

p和q相同时,MMD=0。

进一步,


通过上式可以看出,其原理是对每一个样本进行投影并求和,利用和的大小表述两个数据的分布差异。

优势

不用借助额外的参数

运用

MMD在最近的风格迁移中运用的比较多,其神经网络主要是通过最小化两个网络的分布差异,同时MMD在吴恩达提出最近10年要火的迁移学习中应用很广,很多迁移学习神经网络就是把MMD做为最后的损失函数而进行优化的,并且提出了很多改进方法。
 

转载自:https://blog.csdn.net/he_min/article/details/69397975

猜你喜欢

转载自blog.csdn.net/zkq_1986/article/details/86073513