信息论与编码第二章

第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函数第5章：信源编码第6章：信道编码第7章：密码体制的安全性测度§2.1单符号离散信源§2.3连续信源§2.2多符号离散信源§2.4离散信源无失真编码定理信息度量的方法有：结构度量、统计度量、语义度量、语用度量、模糊度量等等。最常用的方法是统计度量。它用事件统计发生概率的对数描述事物的不确定性，得到消息的信息量，建立熵的概念。熵概念是香农信息论最基本最重要的概念。举例：从随机变量出发来研究信息，正是香农信息论的基本假说§2.1.6各种熵之间的关系§2.1.1单符号离散信源的数学模型§2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.4加权熵的概念和基本性质§2.1.5平均互信息连续信源离散信源单符号离散信源多符号离散信源信源输出的是一个个符号，这些符号的取值是有限的或可数的。只涉及一个随机事件的离散信源。可用离散随机变量来描述。涉及多个随机事件的离散信源。可用随机矢量来描述。输出连续消息的信源。可用随机过程来描述。信源离散信源连续信源单符号多符号随机变量随机矢量随机过程信源分类对于离散随机变量，取值于集合(2.1.1))(,),(,),(),(,,,,,)(2121niniapapapapaaaaXPX单符号离散信源的数学模型为niaaaa,,,,,211)(,1)(01niiiapap满足其中)(iap(2.1.2))()(iiaXPapix对任一记需要注意的是：大写字母X、Y、Z代表随机变量，指的是信源整体。带下标的小写字母:代表随机事件的某一结果或信源的某个元素。两者不可混淆。,lkicba、、§2.1.4加权熵的概念和基本性质§2.1.1单符号离散信源的数学模型§2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.5平均互信息§2.1.6各种熵之间的关系随机变量X、Y分别取值于集合。、},,,,,{},,,,,{2121mjnibbbbaaaa，},,2,1,,,2,1|{mjnibaji联合随机变量取值于集合XY),()(jijibYaXPbap记无条件概率、条件概率、联合概率满足下面一些性质和关系：1)()()()()(0jijiijjibapbapabpbpap、、、、mjnijinijibapbap1111)(,1)()()(),()(11imjjijnijiapbapbpbap,1)(,1)(1)(111mjijmjjniiabpbpap，123)()()()()()()(ijijijjijiapbapbpabpbpapbap＝，＝相互独立时与当YX)()()()()(ijijijjiabpapbapbpbapmjjijiijnijijijibapbapabpbapbapbap11)()()()()()(，＝456一、信息量自信息量联合自信息量条件自信息量信息量bitenat433.1log12natbit693.01Hartbit301.01bitHart322.310log12单位：比特(2为底)、奈特、笛特（哈特）三个信息单位之间的转换关系如下：）（2.1.3)(log)(iiapaI自信息量1由式(2.1.3)可知，一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。时，当21)1()0(pp221:(0)(1)loglog212IIbit有例[2.1.1]这四种气候的自信息量分别为:81,81,41,21)(),(),(),()(4321雪雨阴晴aaaaXPX某地二月份天气的概率分布统计如下：。bitaI3)(4，bitaI3)(3，bitaI2)(2，bitaI1)(1自信息量具有下列性质:图2.1.1对数曲线1是非负值。)(iaI如图：2.1.1有确定的值。是一个随机变量，它没也的函数，所以自信息量是而是一个随机量，值得注意的是：iiiaaIa)(0)(1)(iiaIap时，当2)(0)(iiaIap时，当3)()(iiapaI是的单调递减函数。4如图2.1.2nimjjibap111)(。)(,),(,),(,),(,,,,,,11111111mnnmmnnmbapbapbapbapbabababa)(XYPXY，其中),,2,1;,,2,1(1)(0mjnibapji联合自信息量22.1.4)(log)(）（jijibapbaI2.1.5)()(）（jibIaI，有相互独立时与当)()()(,jijibpapbapYX代入式(2.1.3)就有)(log)(log)(jijibpapbaI)b6.1.2()(log)(ijijabpabI）（2.1.6a)(log)(jijibapbaI不确定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息。条件自信息量3的变化而变化。自信息量、条件自信息量和联合自信息量之间有如下关系式：联合自信息量和条件自信息也满足非负和单调递减性，同时，它们也都是随机变量，其值随着变量jiyx、)()(ijiabIaI)()(jijbaIbI)(log)(jijibapbaI))p((logijiabap))p((logjijbabp二、互信息量和条件互信息量niiixpxp11)(,1)(0由前可知，离散信源X的数学模型为)(,),(,),(),(,,,,,)(2121niniapapapapaaaaXPX互信息量1信宿Y的数学模型为mjjjbpbp11)(,1)(0)b(,),(,),(),(b,,b,,b,)(2121mjmjpbpbpbpbYPY图2.1.3简单通信系统模型信源X信宿Y有扰信道C干扰源N),,2,1;,,2,1(2.1.7)()(log);(mjniapbapbaIabijijiij）（的互信息量为对定义例[2.1.2]继续讨论第一节的例题，即某地二月份天气构成的信源为81,81,41,21)(),(),(),()(4321雪雨阴晴aaaaXPX一天有人告诉你：今天不是晴天。。息把这句话作为收到的消1b后，各种天气发生的概当收到1b率变成后验概率了。其中。41)(14bap,21)(12bap,0)(11bap,41)(13bap。种天气之间的互信息量与各，可以计算出依据式1)7.1.2(b之间的互信息量。与，不必再考虑，因对天气111110)(babapa)(14121log)()(log);(2212212bitapbapbaI可计算出对天气2a的互信息量、对同理可计算出431aab。)(1);();(1413bitbaIbaI。的不确定度各减少了、、使消息信息量。也可以理解为的各、、分别得到了这表明从bitaaabbitaaab1143214321两个不确定度之差，是不确定度被消除的部分，代表已经确定的东西。的信息量。得到的关于实际是从ijab)8.1.2()()(jiibaIaI)(log)(log);(jiijibapapbaI(2.1.9)),,2,1;,,2,1()()()()(log);(mjniabIbIbpabpabIijjjijij的互信息量为对同样的道理，可定义jiba通信前”的概率和输出端出现“输入端出现jiba)()()(jijibpapbap先验不定度（联合自信息量）)()(1log)(jijibpapbaI发送接收物理解释输入输出端的联合概率)()()()()(jijijijibapbpabpapbap后验不定度)(1log)(jijibapbaI通信后发送接收这样，通信后流经信道的信息量，等于通信前后不定度的差),,2,1;,,2,1()()()(logmjnibpapbapjiji)(1log)()(1logjijibapbpap(2.1.10))()();(jijijibaIbaIbaI(2.1.11));();(ijjiabIbaI(2.1.12))()(log);(ikjikjiapcbapcbaI对三个随机变量互信息的性质对称性当X和Y相互独立时，互信息为0互信息量可为正值或负值1232(2.1.14));();();(kjikikjicbaIcaIcbaI(2.1.15));();();(jkijijkibcaIbaIbcaI是，也是的已知条件。kciajb条件互信息量)()(log);(kikjikjicapcbapcbaI(2.1.13)3信源熵熵条件熵联合熵三.信源熵已知单符号离散无记忆信源的数学模型niiiapniap11)(,,,2,1,1)(0且其中)(,),(,),(),(,,,,,)(2121niniapapapapaaaaXPX这里的符号是指代表信源整体的X信源熵1信源熵各离散消息自信息量的数学期望，即信源的平均信息量。)(log)(])(1[log)]([)(212iniiiiapapapEaIEXH（2.1.16）信源的信息熵；香农熵；无条件熵；熵函数；熵。单位：比特/符号。例[2.1.3]继续讨论第一节的例题，即某地二月份天气构成的信源为81,81,41,21)(),(),(),()(4321雪雨阴晴aaaaXPX由式(2.1.16)的定义，该信源的熵为)(75.12)81log81(21log4121log21)(222符号bitXH信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义。这就是给予接收者的信息度量。这值本身可以是随机量，如前面所讲的自信息量。也可以与接收者的情况有关，如后面要提到的意义信息量。当信源输出连续消息时,信息量的值可以是无穷大。信源熵与信息量的比较信源的平均不确定度消除不定度得到信息与信源是否输出无关接收后才得到信息确定值一般为随机量有限值可为无穷大熵信息量总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定度。信源熵H(X)反映了变量X的随机性。123)]([)(jibaIEYXH)()(11mjnijijibaIbap(2.1.17))(log)(11mjnijijibapbap)]([)(ijabIEXYH(2.1.18))(log)(11nimjijjiabpbap例：条件熵2nimjjijibaIbapXYH11)()()((2.1.19))(log)(11nimjjijibapbap联合熵3)(XYHXY)(YXHXYXY)(XYH熵的文氏图表示§2.1.4加权熵的概念和基本性质§2.1.1单符号离散信源的数学模型§2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.6各种熵之间的关系§2.1.5平均互信息(2.1.20))(log)()](,),(),([)(121niiinapapapapapHXH)](,),(),([)](,),(),([)(1221nnapapap