机器学习——距离度量

特征空间中两个实例点的距离是两个实例点相似程度的反映。

$L_p$ 距离

设特征空间 $\mathcal X$ 是 $n$ 维实数向量空间 $\bf R^n$， $x_i, x_j \in \mathcal X$， $x_i=(x_i^{(1)}, x_i^{(2)},..., x_i^{(n)})^T$， $x_j=(x_j^{(1)}, x_j^{(2)},..., x_j^{(n)})^T$， $x_i, x_j$ 的 $\bm{L_p}$ 距离定义为：
$L_p(x_i, x_j)=(\sum_{l=1}^n |x_i^{(l)}-x_j^{(l)}|^p)^{\frac{1}{p}}$ 这里 $p\ge 1$。

欧式距离

当 $p=2$ 时，称为欧式距离，即：
$L_2(x_i, x_j)=(\sum_{l=1}^n |x_i^{(l)}-x_j^{(l)}|^2)^{\frac{1}{2}}$

曼哈顿距离

当 $p=1$ 时，称为曼哈顿距离，即：
$L_1(x_i, x_j)=\sum_{l=1}^n |x_i^{(l)}-x_j^{(l)}|$

$L_{\infty}$ 距离

当 $p=\infty$ 时，它是各个坐标距离的最大值，即：
$L_{\infty}(x_i, x_j)=\max_l |x_i^{(l)}-x_j^{(l)}|$

参考文献

[1] 李航. 统计学习方法. 清华大学出版社. 2012