信息熵的基本性质

信息论电子信息工程学院设离散信源X的概率空间为：信息熵是信源概率空间的一种特殊矩函数，这个函数的大小与信源的消息数及其概率分布有关。当信源消息集的个数q给定时，信源的信息熵是概率分布P(x)的函数,概率分布用概率矢量P来表示：1212((),(),,())(,,,)qqPPaPaPappp12112,,,,()1(),(),,(),()qqiiqaaaXPaPaPaPaPx2.3信息熵的基本性质信息论电子信息工程学院这样，信息熵是概率矢量P或它的分量的元函数(各分量满足,所以独立变量只有元)。一般式可写为：iqiiiqiippaPaPXH11log)(log)()(12(,,,)()qHpppHP是概率矢量P的函数，称为熵函数()HP()HX11qiiP1q12,,,qppp1q2.3信息熵的基本性质信息论电子信息工程学院熵函数也是一种特殊的函数，它的函数形式为：121()(,,,)logqqiiiHPHppppp它具有下列一些性质。(1)对称性：当变量任意变换时，熵函数的值不变，即：12,,,qppp1223111(,,,)(,,,,)(,,,)qqqqHpppHppppHppp2.3信息熵的基本性质信息论电子信息工程学院该性质表明：熵只与随机变量的总体结构有关，即与信源的总体的统计特性有关。123123123,,1/31/61/21/61/21/31/31/21/6XaaaYaaaZbbbPPP差别：信源X与Y同一消息的概率不同，X与Z的具体信息不同，但它们的信息熵相同，表示三个信源总的统计特性相同，它们的信息数和总体结构是相同的。即：111111111(,,)(,,)(,,)362623326HHH2.3信息熵的基本性质如：信息论电子信息工程学院(2)确定性：因为在概率矢量中，当分量时有。而其余分量12(,,,)qPppp1iplog0iipp00(),limlog0jijjppijpp该性质说明：信源虽然有不同的输出符号，但只有一个消息几乎必然出现，而其它符号则是几乎不可能出现，那么这个信源是确知信源，其熵等于零。,,,,,,H10H100H100002.3信息熵的基本性质信息论电子信息工程学院(3)非负性：121()(,,,)log0qqiiiHPHppppp该性质是非常明显的，因为随机变量X的所有取值的概率分布满足时，熵是正值的，只有当随机变量是确知量时，其熵等于零。01ip这种非负性对于离散信源而言是正确的，但对于连续信源来说这一性质就不一定存在。以后可以看到，在差熵的概念下，可能出现负值。2.3信息熵的基本性质信息论电子信息工程学院(4)扩展性因为：说明：信源的消息数增多时，若这些消息对应的概率很小(接近于零)，则信源的熵不变。),...,,(),,...,,(lim212110qqqqpppHpppH),,,,(lim2110qqpppH}log)log()(log{lim110qiqqiipppp),,,(log211qqqiiipppHpp2.3信息熵的基本性质信息论电子信息工程学院(5)可加性：11niip11mjjp111nmijijpq()()()HXYHXHY统计独立信源X和Y的联合信源的熵等于分别的熵之和。两个随机变量X和Y，相互独立，X概率分布为：,Y的概率分布为。12(,,,)nppp12(,,,)mqqq则：根据熵函数表达式有：2.3信息熵的基本性质信息论电子信息工程学院111212121()(,,,,,,,,,,)nmmmnnmHXYHpqpqpqpqpqpqpq1111loglognmnmijiijjijijpqppqq1111(log)(log)mnnmjiiijjjiijqpppqq故：1111()loglog(,,)(,,)nmiijjijnnmmHXYppqqHppHqq11lognmijijijpqpq2.3信息熵的基本性质信息论电子信息工程学院可加性是熵函数的一个重要特性，正因为具有可加性，所以可以证明熵函数的形式是唯一的，不可能有其他的形式存在。(6)强可加性：()()(|)HXYHXHYX两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上信源X已知条件下信源Y的条件熵。设两个随机变量X和Y，互相关联，X概率分布为：Y的概率分布为：其中：叫条件概率，来描述彼此的关联。叫联合概率2.3信息熵的基本性质(|)ijjipPYyXx()(|)()iijijiijppPXxPYyXxPXxYy12(,,,)nppp12(,,,)mqqq信息论电子信息工程学院111log(log)nnmiiiijijiijppppp12121(,,,)(,,,)nnnimiiimiHppppHppp2.3信息熵的基本性质1111loglognmnmiijiiijijijijpppppp1111()loglognmnmijiiiijijijijpppppp11()lognmiijiijijHXYpppp证明：信息论电子信息工程学院式中右边第一项是信源的熵。第二项中121(,,,)log(|)mmiiimijijijHpppppHYXx所以，熵函数就是和的联合信源的联合熵。nmH()HXYXY2.3信息熵的基本性质()HXX它表示已知信源取值下，信源选取一个值所提供的平均信息量。此量对取统计平均值，表示在信源输出一个符号的条件下，信源再输出一个符号所提供的信息量，记作,称为条件熵。(|)HYXXiXYXYX信息论电子信息工程学院因此，强可加性式可写成：()()(|)HXYHXHYX显然，可加性是强可加性的特殊情况，当信源和统计独立时，其满足：(|)()jijPYyXxPYyXY2.3信息熵的基本性质jijqp可得：()()()HXYHXHY信息论电子信息工程学院(7)极值性12111(,,,)(,,,)logqHpppHqqqq此性质表明：在离散信源情况下，对于具有个符号的离散信源，只有当它们等可能出现时，信源熵才能达到最大值。即表明等概率分布信源的平均不确定性最大，我们称该结论为最大离散熵定理。q2.3信息熵的基本性质