武汉理工信息理论与编码chapter2

第2章信息的度量主要内容信源模型不确定性与信息熵与平均互信息扩展信源离散有记忆信源的熵马尔科夫信源信息（速）率和信息含量效率连续随机变量下的熵和平均互信息量——主要讨论信源的信息量的计算2.1信源模型信源模型的建立信源分类1实际信源信源的性质由其输出完全确定。实际信源的输出各不相同，可能是汉字、英文、声音、图像等，统称为消息。信源发出消息的过程，等同于从一个基本消息集合取出基本消息的过程。信源{,,,,}abczIamwell消息基本消息集合基本消息又称为符号2信源模型对认识主体而言，信源在某一时刻输出什么符号是随机的。信源{,,,,}abczIamwell消息基本消息集合基本消息，又称为符号信源XE12ktttXXX随机变量序列值域符号集或符号表3信源分类（一）根据参数集和值域是离散集合还是连续区间进行分类：信源XE12ktttXXX随机变量序列值域信源输出随机变量序列{Xt，tk∈T}T:参数集(1)时间离散空间离散信源:T离散，Ex离散。（离散信源）(2)时间离散空间连续信源:T离散，Ex连续。（连续信源）(3)时间连续空间离散信源：T连续，Ex离散。(4)时间连续空间连续信源:T连续，Ex连续。（波形信源）3信源分类（二）(1)有记忆信源：{Xt，tk∈T}中各随机变量是统计相关(2)平稳信源：序列的统计特性与时间的推移无关，记忆长度有限。根据信源输出随机变量序列{Xt，tk∈T}的统计关联性进行分类：(3)无记忆信源：{Xt，tk∈T}是一族相互独立的随机变量NxXxXxXPxxxFNt2t1tN21XXN21Nt1t),,(),,(tttt1N1NXX12XX12F(,,)P(,,)NNxxxxxxttt1NiNXX12X1F(,,)P()Niixxxx独立同分布信源2.2信息的描述离散无记忆信源（DMS）非理想观察模型1离散无记忆信源DMS：DiscreteMemorylessSource，离散无记忆信源DMSXE12ktttXXX随机变量序列值域符号集或符号表12ktttXXX：独立同分布随机变量序列。DMSX12{,,,}KxxxK元符号集合2非理想观察模型：先验概率集合：后验概率集合：转移概率集合XPXYPYXP11(|)Pyx1x2x3y2y1y22(|)Pyx21(|)Pyx12(|)Pyx31(|)Pyx32(|)Pyx信源观察过程,XXP,XYYPYXP传递的信息＝先验不确定性－后验不确定性2.3不确定性与信息信息是不确定性的减少量。为度量信息，可从度量不确定性入手。不确定性的种类很多。未经统计平均的不确定性有：自信息量、条件自信息量和联合自信息量。统计平均意义下的不确定性有：熵、条件熵和联合熵。先介绍各种不确定性的度量方法，然后再引入信息的度量方法。1自信息量DMSX12{,,,}Kxxx[,][,()|1,2,,]XkkXPxPxkK1()1KkkPx1()loglog()()kkkIxPxPxKk,,2,1I(xk)：xk的(先验)不确定性，也称为xk的自信息量。自信息量I(xi)代表两种含义：2.当事件xi发生以后，表示事件xi所能提供的最大信息量1.事件xi发生以前，表示事件发生的先验不确定性自信息量的单位自信息量的单位取决于公式中对数的底：1()loglog()()kkkIxPxPxr进制单位正整数r十进制单位，迪特（dit，decimaldigit的缩写），也可用哈特（Hart）自然单位，奈特（nat，naturaldigit）二进制单位，比特（bit，binarydigit）单位对数符号10e2对数底(log)kPx)ln(kPx)lg(kPx)log(krPx自信息量的单位（续）单位换算：1ln2lg2log2rbitnatditr进制单位自信息单位严格的表示：bit/符号nat/符号dit/符号r进制单位/符号每个符号的不确定性含义：xk可用2位二进制数字或1位四进制数字来表示。例2.1随机变量X={x1,x2,x3,x4}，各符号的概率相等，则各符号的自信息量相等：123441()()()()2411loglog4IxIxIxIxbit/符号四进制单位/符号2联合自信息量DMSXY},,2,1;,,2,1|),{(JjKkyxjk11[,][(,),(,)|1,,;1,,](,)1XYkjkjKJkjkjXYPxyPxykKjJPxy联合符号(xk,yj)的先验不确定性称为联合自信息量:lo(g,,))(kkjjPxIxyybit/二元符号多元联合符号的联合自信息量三元符号的自信息量为:(,,)log(,,)kjlkjlIxyzPxyzbit/三元符号3条件自信息量对于联合随机变量:[(,)|1,2,,;1,2,,]kjXYxykKjJ存在两种条件概率:(|),(|)kjjkPxyPyxxk在条件yj下的条件自信息量I(xk/yj)：(|)log(|)kjkjIxyPxybit/符号思考:(|)?jkIyx自信息量的物理解释{|1,,}jyjJ信源观察过程XY{|1,,}kxkK()()kkPxIx先验概率先验不确定性(|)(|)kjkjPxyIxy后验概率后验不确定性(|)(|)jkjkPyxIyx转移概率干扰引入的不确定性例2.2甲在一8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的。（1）在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？解棋格按顺序编号{|1,2,,64}lZzl棋格列号{|1,2,,8}kXxk1()1,2,,6464lPzl1(|)1,2,,64;1,2,,88lkPzxlk1()log()log664llIzPz(1)bit/符号1(|)log(|)log38lklkIzxPzx(2)bit/符号4自信息量的性质和相互关系(1)概率为0时，相应的自信息量无意义。(2)非负性。三种自信息量均非负。当概率为1时，自信息为0。()log()(,)log(,)(|)log(|),(|)log(|)kkkjkjkjkjjkjkIxPxIxyPxyIxyPxyIyxPyx公式:自信息量的性质和相互关系（续一）()log(),(,)log(,)(|)log(|),(|)log(|)kkkjkjkjkjjkjkIxPxIxyPxyIxyPxyIyxPyx公式:(,)()(|)()(|)kjkjkjkjPxyPxPyxPyPxy联合概率、条件概率和边缘概率之间的乘法关系：自信息量的可加性:(,)()(|)()(|)kjkjkjkjIxyIxIyxIyIxy自信息量的可加性，在不同的情况下有不同的物理意义：情况一——(xk,yj)为信源输出的符号串，xk,yj的联合不确定性I(xk,yj)=I(xk)+I(yj|xk)=符号xk的不确定性I(xk)+符号yj在xk出现的条件下的不确定性I(yj|xk)I(xk,yj)=I(yj)+I(xk|yj)=符号yj的不确定性I(yj)+符号xk在yj出现的条件下的不确定性I(xk|yj)情况二——对于非理想观察模型，xk是输入，yj是输出，观察模型的不确定性来自两个方面：输入和干扰。联合不确定性I(xk,yj)=I(xk)+I(yj︱xk)=输入的不确定性I(xk)+干扰引起的不确定性I(yj︱xk)联合不确定性I(xk,yj)=I(yj)+I(xk︱yj)=输出的不确定性I(yj)+观察到输出yj后对输入xk剩余的不确定性I(xk︱yj)自信息量相互关系推广自信息量的可加性:(,)()(|)()(|)kjkjkjkjIxyIxIyxIyIxy推广到多维空间自信息量可加性的链公式：12121312121(,,,)()(|)(|)(|)NNNIuuuIuIuuIuuuIuuuu特殊情况下自信息量相互关系自信息量的可加性:(,)()()kjkjIxyIxIy(,)()()kjkjPxyPxPy当xk和yj统计独立时，概率之间的乘法关系：可加性的链公式：1212(,,,)()()()NNIuuuIuIuIu()log(),(,)log(,)(|)log(|),(|)log(|)kkkjkjkjkjjkjkIxPxIxyPxyIxyPxyIyxPyx公式:12342.3DMSx0x1x2x32021201302133/81/41/41/8001203210110321010021032011223210例某的概率空间为信源发出消息，求该消息的自信息量以及消息中平均每符号的自信息量。12341I()log1.45/3/81I()I()log2/1/41I()log3/1/8xbitxxbitxbit信源符号的自信息量符号；符号解：符号123414()13()12()6()=14*1.14513*2+12*2+6*3=87.81bit/IIxIxIxIx整个消息的自信息量：消息I87.811.95/4545bit平均每符号的自信息量：＝符号5互信息量及其性质{|1,,}jyjJ信源观察过程XY{|1,,}kxkK(|)(|)jkjkPyxIyx(|)(|)kjkjPxyIxyxk的后验不确定性()()kkPxIxxk的先验不确定性从yj中获得的关于xk的信息I(xk;yj)=xk的先验不确定性－xk的后验不确定性=I(xk)-I(xk∣yj)⊙互信息，事件信息实在信息(;)()(|)kjkkjIxyIxIxy(|)0(;)()0()kjkjkkIxyIxyIxIx从yj得到了xk的全部信息xk含有的实在信息在数值上等于I(xk)如果接收端完全收到了信源的信息强调：I(xk)不是信息，只是不确定性，互信息量I(xk;yj)才是信息；把I(xk)当作信息只是说明一种数量上的相等关系。例2.4甲在一8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的。（1）若甲告知乙棋子落入方格的行号，这时乙得到了多少信息量？（2）若甲将棋子落入方格的行号和列号都告知乙，这时乙得到了多少信息量？解棋格按顺序编号{|1,2,,64}lZzl棋格行号{|1,2,,8}kXxk棋格列号{|1,2,,8}jYyj1()1,,6464lPzl1(|)81,,64;1,,8;1,,8(|)1lklkjPzxlkjPzxy解（续一）（1）告知行号，乙得到的信息量：(;)(|())lklklIzIzzIxxbit/符号[log(|)log()]lklPzxPz1log641[log]8633观察过程1264{,,,}zzz128{,,,}xxxZX信源解（续二）（2）既告知行号又告知列号，乙得到的信息量：()();|()lkjlkjlIzIzxIzxyybit/符号[loglo(|)g()]lkjlPyPzzx1log6g]4[lo1066观察过程1264{,,,}zzz{(,)|,1,,8}kjxykjZXY信源[log()][log(|)](|)(,)logl(;)()(|og()())()kkjkjkjkkjkjkkjIxyIxIxPxPxyPxyPxyPxPxPyy[log()][log(|)](|)(,)logl(;)()(|og()())()jjkjkkjjkjjkjjkIyxIyIyPyPyxPyxPxyPyPxPyx互信息量的性质(;)(;)kjjkIxyIyx(1)互易性:()(;)(;)()kkjjkjIxIxyIyxIy