假设有n个要评价的对象，m个评价指标的标准化矩阵：

可以使用层次分析法**来确定各个指标的权重，此时确定的各个权重

但是层次分析法最大的缺点就是判断矩阵的确定依赖于专家，如果专家的判断矩阵存在主观性的话，会对结果产生比较大的影响。（主观性太强）

此时提出熵权法：

熵权法是一种客观赋权的方法

依据的原理：指标的变异程度越小，所反映的信息量也越少，其对应的权值也应该越低。（客观的意思是，根据数据来获得权重）

（一种极端的例子：对于所有的样本而言，这个指标都是相同的数据，那么我们可以认为这个指标的权重为0，即这个指标对我们的评价不起作用。）

如何度量信息量的大小？

小张和小王是两个高中生。小张学习很差，而小王是全校前几名的尖子生。 高考结束后，小张和小王都考上了清华。小王考上了清华，大家都会觉得很正常，里面没什么信息量，因为学习好上清华，天经地义，本来就应该如此的事情。 然而，如果是小张考上了清华，这就不一样了，这里面包含的信息量就非常大。怎么说?因为小张学习那么差，怎么会考上清华呢?把不可能的事情变成可能，这里面就有很多信息量。

上面的例子就告诉我们：越可能发生的事情，信息量就越少，越不可能发生的事情，信息量就越大

我们可以使用概率来衡量事情发生的可能性。

如果把信息量用字母I表示，概率用p表示，那么我们可以给他们建立一个函数关系：

实际上我们可以使用来拟合这个函数，对加负号取反，然后只取0~1之间的这段函数就可以了。

假设x表示时间X可能发生的某种情况，p(x)表示这种情况发生的概率

我们可以定义：，因为，所以

信息熵的定义

假设x表示时间X可能发生的某种情况，p(x)表示这种情况发生的概率

我们可以定义：，因为，所以

如果事件X可能发生的情况为：

那么我们可以定义事件X的信息熵为：

从上面的公式可以看出，信息熵的本质就是对信息量的期望值。

可以证明的是：

当时，H(x)取最大值，此时

熵越大，说明待补充的信息量越大，说明我们已知的信息量越少

熵权法的计算步骤

step1

（1）判断输入的矩阵中是否存在负数，如果有需要重新标准化到非负区间（后面计算概率时要保证每一个元素非负）

假设有n个要评价的对象，m个评价指标已经完成了正向化构成的正向化矩阵如下：

那么，对其标准化的矩阵记为Z，Z中的每一个元素：，对X中的列元素平方求和开根号

求出来后如果发现Z矩阵中存在着负数，就需要对X使用另一种标准化方法：

step2

（2）计算第j项指标下第i个样本所占的比重，并将其看作相对熵计算中用到的概率

假设有n个要评价的对象，m个评价指标，并且经过上一次的处理得到了非负标准化矩阵为：

我们计算概率矩阵P，其中P中的每一个元素的计算公式如下(列求和)：

容易验证：，即保证了每一个指标所对应的概率和为1。

step3

（3）计算每个指标的信息熵，并计算信息效用值，并归一化处理得到每个指标的熵权

对于第j个指标而言，其信息熵的计算公式为

• 为什么要除以lnn这个常数？

当时，取最大值，此时，除以lnn使得信息熵的区间始终位于[0,1]上

• 越大，即第j个指标的信息熵越大，得到的信息就越少
• 所以定义一个信息效用值：，信息效用值越大，对应的信息就越多
• 将信息效用值进行归一化，我们就能够得到每个指标的熵权：