信息熵的性质

信息熵的性质（摘自互动维客：更多内容请访问互动维客！）一、信息熵自信息I(xi)是指信源（物理系统）某一事件发生时所包含的信息量，物理系统内不同事件发生时，其信息量不同，所以自信息I(xi)是一个随机变量，它不能用来作为整个系统的信息的量度。山农定义自信息的数学期望为信息熵，即信源的平均信息量:信息熵表征了信源整体的统计特征，是总体的平均不确定性的量度。对某一特定的信源，其信息熵只有一个，因统计特性不同，其熵也不同。例如，两个信源，其概率空间分别为：经计算可知，H(Y)H(X),说明信源Y比信源X的平均不确定性要大，即在事件发生之前，分析信源Y，由于事件y1,y2是等概率的，难以猜测哪一个事件会发生；而信源X，虽然也存在不确定性，但大致可以知道,x1出现的可能性要大。正如两场足球赛，其中一场，双方势均力敌；而另一场双方实力悬殊很大。当然,人们希望看第一场，因为胜负难卜，一旦赛完，人们获得信息量大。也可以这样理解，信息熵H(X)表征了变量X的随机性。如上例，变量Y取y1和y2是等概率的，所以其随机性大；而变量X取x1比x2的概率要大的多，这时变量X的随机性就小。因此，熵反映了变量的随机性，也是表征随机量统计特性的一个特征参数。二、信息熵的基本性质1、对称性当概率空间中P(x1),)P(x2)…序任意互换时，熵函数的值不变，例如下面两个信源空间:其信息熵H(X)=H(Y)。该性质说明，熵只与随机变量的总体结构有关，与信源总体的统计特性有关，同时也说明所定义的熵有其局限性，它不能描述事件本身的主观意义。2、确定性如果信源的输出只有一个状态是必然的,即P(x1)=1,P(x2)=P(x3)=…=0,则信源的熵:这个性质表明，信源的输出虽有不同形态，但其中一种是必然的，这意味着其他状态不可能出现。那么，这个信源是一个确知信源，其熵为零。3、非负性即H(X)0。因为随机变量X的所有取值的概率分布为0P(xi)1。当取对数的底大于１时，logP(xi)0,而-P(xi)logP(xi)0,则得到的熵是正值，只有当随机变量是一确知量时，熵才等于零。这种非负性对于离散信源的熵来说，这一性质并不存在。4、可加性即统计独立信源X和Y的联合信源的熵等于它们各自的熵之和。如果有两个随机变量X和Y，它们彼此是统计独立的，即X的概率分布为［P(x1),P(x2),...,P(xN)］,而Y的分布概率为［P(y1),P(y2),...,P(yM)］,则联合信源的熵可加性是熵函数的一个重要特性，正因为有可加性，所以可以证明熵函数的形式是唯一的。5、极值性信源各个状态为零概率分布时，熵值最大，并且等于信源输出状态数，因为当P(x1)=P(x2)=...=P(xN)=1/N时，例如，信源有两种状态时，概率空间其H(X)-P(x1)关系如下图所示,当P(x1)=1/2时，熵有最大值。以上分析表明，对于具有N个状态的离散信源，只有在信源N个状态等概率出现的情况下，信息熵才能达到最大值。这也表明，等概率分布信源的平均不确定性最大，这是一个很重要的结论，称为最大离散熵定理。上图还进一步说明，如果二进制信源输出是确定的，即P(x1)=1，则H(X)=0，此时表明该信源不提供任何信息；反之，当信源输出为等概率发生时，信源的熵达到最大值，等于1bit信息量。