特征缩放 feature scaling

样本不同特征的取值范围如果不一样，可能导致迭代很慢，为了减少特征取值的影响，可以对特征数据进行缩放，加速算法的收敛。常见的映射范围有 $[0, 1]$ 和 $[-1, 1]$。

常见的特征缩放方法有以下 4 种：

• Scaling to unit length

  $x_{new}=\frac{x}{||x||}$

• Rescaling (min-max normalization)

  $x_{new} = \frac{x-min(x)}{max(x)- min(x)}$

• Mean normalization

  $x_{new} = \frac{x-average(x)}{max(x)- min(x)}$

• Standardization

  特征标准化，使每个特征的值有 零均值 (zero-mean) 和 单位方差 (unit-variance)。这个方法在机器学习算法中被广泛地使用，例如：SVM，逻辑回归和神经网络。公式如下：

  $x_{new}=\frac{x-\mu }{\sigma }$

  其中 $\mu$ 是样本数据的均值（average）， $\sigma$ 是样本数据的标准差（std）。

  标准差 $std$ 的定义为：

  $std(x) = \sqrt{\frac{\sum(x-average(x))^2}{N}}$

  其中， $N$ 为样本总数。

  原图 -> 减去均值 -> 除以标准差：

标准化 和 归一化 这两个中文词，主要指代以上四种 特征缩放 (Feature scaling) 方法。