2.3-互信息和条件互信息量

信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系2.3互信息量和条件互信息量2.3.1互信息量一、互信息量的定义【思考】当接收端收到某个消息后，能确定它是由发送端发出的某个消息得到的吗？1.后验概率的引入由于实际通信中存在干扰，假设接收端收到消息为yj，yj可能与xi相同，也可能不同，则需要利用后验概率p(xi|yj)反映接收端收到消息yj而发送端发出的是xi的概率。接收端收到yj后，发送端发出的是否为xi尚存在的不确定性应为：I(|)=log(|)ijijxypxy2.后验概率的引入在接收端收到yj后，已经消除的不确定性为先验的不确定性减去尚存在的不确定性。接收端获得的信息量为：(;)()(|)log()(log(|))log(|)log()ijiijiijijiIxyIxIxypxpxypxypx【定义】对两个离散随机时间集X和Y，事件yj的出现给出关于xi的信息量，即为互信息量。【说明】互信息量I(xi;yj)是已知事件yj后所消除的关于事件xi的不确定性2.互信息量)()|(log);(ijijixpyxpyxI二、互信息量的单位1.与自信息量单位完全一致。2.取决于对数的底数。【通信理论中，常用的仍为以2为底的对数。】1.【推论1】互信息量可以表示为事件xi本身的不确定性I(xi)减去已知事件yj后对xi仍然存在的不确定性I(xi|yj)。三、推论)|()()|(log)(log)()|(log);(jiijiiijijiyxIxIyxpxpxpyxpyxI三、推论2.【推论2】互信息量等于自信息量减去联合自信息量。)()()();(jijijiyxIyIxIyxI三、推论3.【推论3】如果信道没有干扰，信道的统计特性使xi以概率“1”传送到接收端。这时，接收方接到消息尚存在的不确定性就等于零，即p(xi|yj)=1-log(p(xi|yj)=0也就是说，不确定性全部消除。由此得互信息量：I(xi;yj)=I(xi)四、互信息量的物理意义如果过把X和Y看作是信源的输出和信宿的输入，即把xi看成是信源发出的符号消息，yj看成是经过信道传输后信宿收到的符号消息，那么，由于信宿已经收到符号yj，如果yj与xi相关，则xi的条件自信息量I(xi|yj)必然要比它的自信息量I(xi)有所下降，这一下降的信息量就是消息符号从信源传到信宿的信息量。四、互信息量的物理意义可见，互信息量实际上是信道传递的信息量。因此，互信息量的大小反映了一个信道的传信速率。互信息量的引入，使信息的传递得到了定量的表示，是信息论发展的一个重要里程碑。2.3.2互信息量的性质1.对称性——互易性【证明】见板书。);();(ijjixyIyxI)()|(log);(ijijixpyxpyxI)()|(log);(jijijypxypxyI2.3.2互信息量的性质1.对称性——互易性假如先验概率确定了，其后验概率就决定了信息的流通。先验概率后验概率互信息＝log2.3.2互信息量的性质2.当X和Y统计独立时，互信息量为0。【证明】(方法1)利用定义，见课本P12。(方法2)利用推论2，见板书。)()()();(jijijiyxIyIxIyxI2.3.2互信息量的性质【说明】该性质表明xi和yj之间不存在统计约束程度，从yj得不到关于xi的任何信息，反之亦然。2.3.2互信息量的性质3.互信息量可为正值或负值。先验概率后验概率互信息＝log2.3.2互信息量的性质①当后验概率大于先验概率时，互信息量为正值。②当后验概率小于先验概率时，互信息量为负值。③后验概率与先验概率相等时，互信息量为0，这就是两个随机事件相互独立的情况。2.3.2互信息量的性质【说明】①如果互信息量I(xi;yj)取负值时，说明信息在收到消息Y后，不但没有使X的不确定减少，反而使X的不确定增加，所以获得的信息量为负值。②这是由于通信受到干扰（噪声）或发生错误所造成的。2.3.2互信息量的性质4.任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。【证明】见板书。)();()();(jjiijiyIyxIxIyxI且2.3.2互信息量的性质【说明】①互信息量是描述信息流通特性的物理量，流通量的数值当然不能大于被流通量的数值。②可见，某一事件的自信息量是任何其他事件所能提供的关于该事件的最大信息量。2.3.3条件互信息量(自学)1.【定义】联合集XYZ中，在给定zk的条件下，xi与yj之间的互信息量定义为条件互信息量。)|()|(log)|;(kikjikjizxpzyxpzyxI2.3.3条件互信息量(自学)2.【推论1】【证明】)|;();();(kjikikjizyxIzxIzyxI将上式分子分母同乘以p(xi|zk)，得)()|(log);(ikjikjixpzyxpzyxI)|;();()|()|(log)()|(log);(kjikikikjiikikjizyxIzxIzxpzyxpxpzxpzyxI2.3.3条件互信息量(自学)【说明】事件yjzk出现后所消除的关于事件xi的不确定性=(事件yj出现后消除的关于事件xi的不确定性)+(先出现事件yj再出现zk后消除的关于事件xi的不确定性)2.3.3条件互信息量(自学)3.【推论2】条件互信息量与条件自信息量的关系式)|()|()|()|()|;(kijkjkjikikjizxyIzyIzyxIzxIzyxI【例2.8】某地二月份天气构成的信源为现有人告诉你:“今天不是晴天！”，把这句话作为收到的消息y1。81814121)()()()()(4321雪雨阴晴xxxxXPX【例2.8】当收到消息y1后，各种天气发生的概率变成后验概率了。其中，【计算】y1与各种天气之间的互信息。41)|(;41)|(;21)|(;0)|(14131211yxpyxpyxpyxp【例2.8】【解】1.对天气x1，因为p(x1|y1)=0，所以不必考虑x1与y1之间的信息量。2.对天气x2、x3其信息量为：)(1);();(1413bityxIyxI)(14/12/1log)()|(log);(21212bitxpyxpyxI【例2.8】【分析】1.这表明从y1分别得到了x2、x3、x4各1比特的信息量，也可以理解为y1使x2、x3、x4不确定度各减少1比特。【例2.8】【分析】2.又由于说明收到y1后，不仅没有使x1的不确定度减少，反而使x1不确定更大，互信息量为负。)(2/10log)()|(log);(11111bitxpyxpyxI【例2.9】设有两个离散随机变量其中4.06.010)(21xxXPX1021yyY41436165)|()|()|()|()|(22211211xypxypxypxypXYP【例2.9】求：(1)自信息量I(xi)和I(yj)；(2)条件自信息量I(xi|yj)；(3)互信息量I(xi;yj)。【解】见板书。【提示】全概率公式niijijxypxpyp1)|()()(2.3作业P422.13