【Data】常用的距离度量(Distances)

Intro

距离(Distance) 常被用来不同样本间的相似度测量(similarity measurement), 随着数据从最初的数值数据，到结构化数据，再到非结构化数据越来越宽泛，距离的种类也越来越丰富。本文总结常用的距离。下文公式中所用数据为

• 设空间中两点 $X = (X_1, X_2, ..., X_n)$ 和 $Y = (Y_1, Y_2, ..., Y_n)$
• $d_{XY}$ 表示 $X$ 与 $Y$ 之间的距离， 为标量

1. Euclidean Distance 欧式距离

最常用的空间中两点的直线距离。

$$d_{XY} = \sum_{i = 1}^{n}\sqrt{(X_i - Y_i)^2}$$ , 也可以用向量表示 $$d_{XY} =\sqrt{(X - Y)(X-Y)^T}$$

2. Manhattan Distance / CitY Block distance 曼哈顿距离/城市街区距离

在曼哈顿的方块儿街区间穿梭，只能横平竖直地走。

$$d_{XY} = \sum_{i = 1}^{n}\vert X_i - Y_i \vert$$

3. Mahalanobis Distance 马氏距离

有 $m$ 个样本 $X_1, X_2, ..., X_m$, 协方差矩阵记为 $S$, 期望记为向量 $\mu$， 则样本向量 $X$ 到 $\mu$ 的 Mahalanobis Distance 定义为

$$d(X, \mu) = \sqrt{(X - \mu)^TS^{-1}(X-\mu)}$$ , 其中任意两个向量的距离定义为 $$d_{XY} = \sqrt{(X - Y)^TS^{-1}(X-Y)}$$ , 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布, 则 Mahalanobis Distance 退化为 Euclidean Distance.

---

Ref

• 常用的距离度量总结 : 很好很全面，带 matlab 代码