数学建模与数据分析中的熵权法

熵权法
用于更加客观的权重矩阵的构造，可以将构造完成的矩阵应用于TOPSIS方法中，应当区分与层次分析法的应用

(1) 熵权法的原理与说明

1. 原理

• 指标的变异程度越小，所反映的信息量也越少，其对应的权值也应该越低。
• 举个例子：比如在2019世界杯比赛结束之后，在没有看过比赛的前提下，要猜测哪只队伍获得了冠军。如果世界各球队的实力都差不多，那么猜测起来就不是很容易，但是由于德国，巴西等这些国家的实力很强，还有其他一些比较弱的国家，猜测时就可以直接从强实力的国家中猜，猜对需要的时间就会短一些。
• 在上面的例子中，各国实力相同代表的就是指标的变异程度比较小，而有国家很强，有国家很弱代表的就是指标的变异程度比较大，反映的信息量就比较多，

2. 信息熵的定义

• 假设 $x_i(i=1,2,\dots ,n)$ 表示时间 $X$ 可能发生的某种情况， $p(x_i)\in [0,1]$ 表示这种情况发生的概率，并且有 $\sum _{i=1}^{n}p(x_i)=1$。
• 定义 $I(x_i)=-ln(p(x_i))$ ，易知 $I(x_i)\ge 0$。
• 定义事件 $X$ 的信息熵为$$H(X)=\sum _{i=1}^{n}p(x_i)I(x_i)=-\sum _{i=1}^{n}p(x_i)ln(p(x_i))$$
• 当 $p(x_1)=p(x_2)=\cdots =p(x_n)=\frac{1}{n}$ 时，$H(x)$ 取最大值 $ln(n)$ 。

⚠️ 注意信息熵越大信息量越小：当 $p(x_1)=p(x_2)=\cdots =p(x_n)=\frac{1}{n}$ 时信息熵取最大值，但是就好像例子中各个国家球队的实力相同，反映的信息量反而最小。

(2) 熵权法的计算流程

输入的矩阵有 $n$ 个要评价的对象和 $m$ 个评价指标(已经完成正向化)
$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1m}\\ x_{21}& x_{22}& \cdots & x_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nm}\end{array}\right]$$

1. 确保矩阵被标准化到非负区间

$$Z=\left[\begin{array}{cccc}{z}_{11}& z_{12}& \cdots & z_{1m}\\ z_{21}& z_{22}& \cdots & z_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ z_{n1}& z_{n2}& \cdots & z_{nm}\end{array}\right]$$
其中 $z_{ij}=\frac{x_{ij}}{\sqrt{\sum _{i=1}^n{x}_{ij}^2}}$

如果存在 $x_{ij}<0$ 可以采用 z i j = x i j − m i n   { x 1 j , x 2 j , … , x n j } m a x   { x 1 j , x 2 j , … , x n j } − m i n   { x 1 j , x 2 j , … , x n j } z_{ij}=\dfrac{x_{ij}-min~\{x_{1j},x_{2j},\dots,x_{nj}\}}{max~\{x_{1j},x_{2j},\dots,x_{nj}\}-min~\{x_{1j},x_{2j},\dots,x_{nj}\}} zij​=max { x1j​,x2j​,…,xnj​}−min { x1j​,x2j​,…,xnj​}xij​−min { x1j​,x2j​,…,xnj​}​

2. 计算在第 j 项指标下第 i 个样本所占的比重

$$p_{ij}=\frac{z_{ij}}{\sum _{i=1}^n{z}_{ij}}$$
$$P=\left[\begin{array}{cccc}{p}_{11}& p_{12}& \cdots & p_{1m}\\ p_{21}& p_{22}& \cdots & p_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ p_{n1}& p_{n2}& \cdots & p_{nm}\end{array}\right]$$

3. 计算熵权

• 计算信息熵
  $$e_j=-\frac{1}{\ln n}\sum _{i=1}^n{p}_{ij}\ln (p_{ij})$$
• 计算信息效用值
  $$d_j=1-e_j$$
• 计算熵权
  $$w_j=\frac{d_j}{\sum _{j=1}^n{d}_j}$$