第2章_信息的度量.

东南大学移动通信国家重点实验室信息论与编码课件1第二章信息的度量东南大学移动通信国家重点实验室信息论与编码课件2度量信息的基本思路信源熵和条件熵互信息量和平均互信息量多维随机变量的熵本章内容提要东南大学移动通信国家重点实验室信息论与编码课件3信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。对于随机出现的事件，它的出现会给人们带来多大的信息量？考虑到通信系统或很多实际的信息传输系统，对于所传输的消息如何用信息量的方法来描述？本章将围绕这些问题展开讨论。第2章信息的度量东南大学移动通信国家重点实验室信息论与编码课件4从讨论信源的特征入手，给出定量度量信息的方法。以天文学范畴的事件为例。小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息如果把都是天文学内的事件看作是天文学这个“信源”输出的符号，则这个信源可以看作是单符号离散信源。2.1.1单符号离散信源2.1度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件5由此给出如下定义：•定义2.1如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。2.1度量信息的基本思路2.1.1单符号离散信源东南大学移动通信国家重点实验室信息论与编码课件6单符号离散信源的实例掷骰子每次只能是1,2,3,4,5,6中的某一个；天气预报可能是晴、阴、雨、雪、风、冰雹…中的一种或其组合以及温度、污染等；二进制通信中传输的只是1、0两个数字；等等。这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。把信源看作具有一定概率分布的某一符号集合。2.1度量信息的基本思路2.1.1单符号离散信源东南大学移动通信国家重点实验室信息论与编码课件7•定义2.2若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称为信源的概率空间或简称为信源空间。信源空间通常用如下方式来描述：)(,),(,),(),(:)(,,,,,::][2121NiNixPxPxPxPPxxxxPXXX(2.2)1)(1NiixP(2.1)显然，信源空间必定是一个完备集，即2.1度量信息的基本思路2.1.1单符号离散信源东南大学移动通信国家重点实验室信息论与编码课件8考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。设x1为最大可能的输出，xN为最小可能的输出。例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰雹或其他强对流天气。哪个输出包含更多的信息，x1还是xN？直观地，传递xN给出了更多的信息。2.1.2度量信息的基本思路2.1度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件9由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。2.1.2度量信息的基本思路2.1度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件10信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。2.1.2度量信息的基本思路2.1度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件11假设与输出xi相关的信息能被分成独立的两部分，比如xi1与xi2，即xi={xi1，xi2}。直观地，传递xi所包含的信息量是分别传递xi1和xi2所得到的信息量的和。2.1.2度量信息的基本思路2.1度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件12若信源中事件xi的出现所带来的信息量用I(xi)来表示并称之为事件xi的自信息量，则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须满足以下几个条件：2.1.2度量信息的基本思路2.1度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件131.信源输出xi所包含的信息量I(xi)仅依赖于它的概率，与其取值无关。2.I(xi)是P(xi)的连续函数。3.I(xi)是P(xi)的减函数，即：如果P(xi)P(xj)，则I(xi)I(xj)。极限情况，若P(xi)=0,则I(xi)→∞；若P(xi)=1,则I(xi)=0。4.若两个单符号离散信源（符号集合X,Y）统计独立,则X中出现xi、Y中出现yj的联合信息量I(xi,yj)=I(xi)+I(yj)4个公理只有对数函数能够同时满足以上条件。2.1度量信息的基本思路2.1.2度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件14定义2.3事件xi的出现所带来的信息量为事件xi的自信息量。)(log)(1log)(iiixPxPxI(2.3)2.1度量信息的基本思路2.1.2度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件15I(xi)实质上是无量纲的为研究问题的方便，根据对数的底定义信息量的量纲对数的底取2，则信息量的单位为比特（bit）；取e（自然对数），则单位为奈特（nat）；取10（常用对数），则单位为哈特（Hart）。利用换底公式容易求得：1nat1.44bit1Hart3.32bit在通信及目前的绝大多数信息传输系统中，都是以二进制为基础的，因此信息量单位以比特最为常用在没有特别说明的情况下，通常式(2.3)的量纲即为比特，且底数2被省略。2.1度量信息的基本思路2.1.2度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件16例2.1一个1,0等概的二进制随机序列，求任一码元的自信息量。解：任一码元不是为0就是为1因为P(0)=P(1)=1/2所以I(0)=I(1)=–lb(1/2)=1(bit)2.1度量信息的基本思路2.1.2度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件17例2.2对于2n进制的数字序列,假设每一符号的出现完全随机且概率相等，求任一符号出现时所包含的自信息量。解：设2n进制数字序列任一码元xi的出现概率为P(xi)，根据题意，有P(xi)=1/2nI(xi)=–lb(1/2n)=n(bit)事件的自信息量只与其概率有关，而与它的取值无关。2.1度量信息的基本思路2.1.2度量信息的基本思路东南大学移动通信国家重点实验室信息论与编码课件18信宿端收到某一消息后所得到的信息量，可以等效为接收者在通信前后“不确定”因素的减少或消除。事件的不确定性可用不确定度描述，它同样是事件概率的函数，在数值和量纲上和自信息量相等，因此都可以用(2.3)式来计算。某一随机事件的出现所给出的信息量（自信息量），在数值上与该随机事件的不确定度不但相关而且相等，即事件的出现等效成事件不确定集合的元素的减少，或简称为事件不确定度的减少。2.1度量信息的基本思路2.1.3自信息量和不确定度的关系东南大学移动通信国家重点实验室信息论与编码课件19自信息量和该事件的不确定度的含义有本质的区别。不确定度只与事件的概率有关，是一个统计量，在静态状态下也存在；自信息量只有该随机事件出现时才给出，不出现时不给出，因此它是一个动态的概念。2.1度量信息的基本思路2.1.3自信息量和不确定度的关系东南大学移动通信国家重点实验室信息论与编码课件20自信息量I(xi)只能表示信源发出的某一具体符号xi的自信息量。很多信源的符号集合具有多个元素且其概率并不相等，即P(xi)≠P(xj)，因此I(xi)不能作为整个信源的总体信息测度。能作为信源总体信息测度的量应是信源各个不同符号xi(i=1,2,…,N)所包含的自信息量I(xi)(i=1,2,…,N)在信源空间P(X)={P(x1),P(x2),…,P(xi),…,P(xN)}中的统计平均值。2.2信源熵和条件熵2.2.1信源熵东南大学移动通信国家重点实验室信息论与编码课件21定义2.4若信源符号xi的出现概率为P(xi)，自信息量为I(xi)(i=1,2,…,N)，则称为信源的信息熵，简称信源熵。其中，定义0lb0=0。(2.4)XXX)(lb)()()()()()(1xPxPxIxPxIxPHiNiii2.2信源熵和条件熵2.2.1信源熵东南大学移动通信国家重点实验室信息论与编码课件22对于单符号离散信源，信源熵是信源每发一个符号所提供的平均信息量，其量纲为信息单位/信源符号。信源熵只与信源符号的概率分布有关，是一种先验熵。对于任何给定概率分布的信源，H(X)是一个确定的数，其大小代表了信源每发出一个符号给出的平均信息量。2.2信源熵和条件熵2.2.1信源熵东南大学移动通信国家重点实验室信息论与编码课件23例2.3二进制通信系统的信源空间为求该信源的熵。解:设P(1)=p，则P(0)=1-p。由(2.4)式，有H(X)=-plbp-(1-p)lb(1-p)(2.5)上式又称为二进制熵函数，也常用Hb(p)表示p=0或p=1时，H(X)=0；p=1/2时，H(X)=1。)0()1(:)(01::][PPPPXXX2.2信源熵和条件熵2.2.1信源熵东南大学移动通信国家重点实验室信息论与编码课件2400.20.40.60.81.00.20.40.60.81.0p()Hp2.2信源熵和条件熵2.2.1信源熵图2.1二进制熵函数东南大学移动通信国家重点实验室信息论与编码课件25信息熵借用热力学中的熵给出了平均信息量的概念，不但可以表征信源的信息统计测度，也可以表征任何集合的信息统计测度。例如，若信宿的符号yj的出现概率为P(yj)，自信息量为I(yj)(j=1,2,…,M)，则信宿熵为YYY)(lb)()()()()()(1yPyPyIyPyIyPHMjjj2.2信源熵和条件熵2.2.1信源熵东南大学移动通信国家重点实验室信息论与编码课件26若信源的输出为X，信宿的输入为Y，即考虑了信道的作用，如图2.2所示，这时经常是某一事件在某种条件下才出现，它的出现所带来的信息量就必须要在联合符号集合X、Y中进行考虑，且需用条件概率来描述。2.2.2条件自信息量2.2信源熵和条件熵XY信源信道信宿图2.2最简单的通信系统模型东南大学移动通信国家重点实验室信息论与编码课件27定义2.5设在yj条件下，随机事件xi的条件概率为P(xi/yj)，则xi的出现所带来的信息量被称为它的条件自信息量，表示为(2.6))|(lb)|(jijiyxPyxI类似地，在xi条件下，随机事件yj出现所带来的信息量亦是条件自信息量：)|(lb)|(ijijxyPxyI(2.7)2.2信源熵和条件熵2.2.2条件自信息量上述条件概率仅仅由信道特性决定，可以看作是由信道给出的信息量。东南大学移动通信国家重点实验室信息论与编码课件28为寻求在给定y条件下X集合的总体信息量度，有XXX)/(lb)|()|()|()|(yxPyxPyxIyxPyH(2.8)XYXYYYX)|(lb)()|(lb)|()()|()()|(yxPxyPyxPyxPyPyxHyPH2.2信源熵和条件熵2.2.3条件熵考虑到整个Y集合，有(2.9)东南大学移动通信国家重点实验室信息论与编码课件29定义2.6对于联合符号集XY，在给定Y的条件下，用联合概率P(xy)对X集合的条件自信息量进行加权的统计平均值，为X的条件熵。由此可见，条件熵表示了信道所给出的平均信息量。2.2信源熵和条件熵2.2.3条件熵东南大学移动通信国家重点实验室信息论与编码课件30在图2.3的通信系统信息传输模型中，若信道存在干扰，信宿收到从信道输出的某一符号yj后，能够获取多少关于从信源发某一符号xi的信息量？图2.3最简单的通信系统信息传输模型x1y1xiyjxNyMP(x/y)2.2信源熵和条件