信息论与编码 曹雪虹 PPT 第4章

信息论基础B1第4章信息率失真函数本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R（D）。4.1平均失真和信息率失真函数4.2离散信源和连续信源的R（D）计算信息论基础B24.1平均失真和信息率失真函数4.1.1失真函数4.1.2平均失真4.1.3信息率失真函数R(D)4.1.4信息率失真函数的性质信息论基础B34.1平均失真和信息率失真函数在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。信息论基础B44.1.1失真函数假如某一信源X，输出样值为xi，xi{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj{b1,…bm}。如果xi＝yj，则认为没有失真；如果xiyj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为jijijiyxααyx),yd(x00信息论基础B5失真矩阵单个符号的失真度的全体构成的矩阵，称为失真矩阵),(jiyxd),(),(),(),(),(),(),(),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadd信息论基础B6最常用的失真函数均方失真：ijijixyxyxd/),(2),(jijiyxyxdjijiyxyxd),(其它，1,0),(),(jijijiyxyxyxd相对失真：误码失真：绝对失真：前三种失真函数适用于连续信源，后一种适用于离散信源。信息论基础B7失真函数的定义可以推广到序列编码情况，如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L长符号序列样值xi＝(xi1xi2…xil…xiL)，经信源编码后，输出符号序列Y=(Y1Y2…Yl…YL)，其中L长符号序列样值yj＝(yj1yj2…yjl…yjL)，则失真函数定义为：其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。LljliljiLyxdLd1),(1),(yx信息论基础B84.1.2平均失真由于xi和yj都是随机变量，所以失真函数d(xi，yj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为nimjjiijinimjjijibadabpapbadbapD1111),()/()(),()(ix信源编码器jy)(ijxyp信息论基础B9对于连续随机变量同样可以定义平均失真dxdyyxdyxpDxy),(),(LllLljlilLDLyxdELD111)],([1对于L长序列编码情况，平均失真为信息论基础B104.1.3信息率失真函数R(D)naaax,,21信源编码器nbbby,,21XY假想信道将信源编码器看作信道信息论基础B114.1.3信息率失真函数R(D)给出一个失真的限制值D，在满足平均失真D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。D信息论基础B12（1）D允许试验信道平均失真由信源分布p(xi)、假想信道的转移概率p(yj/xi)和失真函数d(xi，yj)决定，若p(xi)和d(xi，yj)已定，则可给出满足x下式条件的所有转移概率分布pij，它们构成了一个信道集合PD称为D允许试验信道。mjniDDabpPijD,,2,1;,,2,1:)/(信息论基础B13（2）信息率失真函数R(D)由于互信息取决于信源分布和信道转移概率分布，当p(xi)一定时，互信息I是关于p(yj/xi)的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即);(min)(YXIDRDP信息论基础B14对于离散无记忆信源，R(D)函数可写成p(ai)，i＝1，2，…，n是信源符号概率分布；p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m是转移概率分布p(bj)，j＝1，2，…，m是接收端收到符号概率分布。nimjjijijiPPbpabpabpapDRDij11)()/(log)/()(min)(信息论基础B15例4-1-3设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为即符号不发生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度。jijiaadji01),(信息论基础B164.1.4信息率失真函数的性质1.R(D)函数的定义域⑴Dmin和R(Dmin)Dmin＝0对于连续信源)()0()(minXHRDR)()0()(minxHRDRc信息论基础B17(2)Dmax和R(Dmax)niijimjdpD1,,2,1maxmin选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即DDDR0)(maxmin因此可以得到R(D)的定义域为max,0DD信息论基础B18Dmax是这样来计算的。R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即jjijijpypxypp)()/(信息论基础B19求出满足条件的D中的最小值，即mjniijijdppD11maxmin11mjjpnimjijjidppD11此时平均失真为信息论基础B20从上式观察可得：在j=1，…，m中，可找到值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右边达到最小，这时上式可简化成niijidp1niijimjdpD1,,2,1maxmin信息论基础B21例4-1-4设输入输出符号表为X＝Y{0，1}，输入概率分布p(x)={1/3，2/3}，失真矩阵为0110),(),(),(),(22122111badbadbadbadd信息论基础B22解：当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，这时信源编码器无失真，所以该编码器的转移概率为1001P信息论基础B233131,32min032131,132031min,minmin2,12,12221212121112,1212,1maxjjjiijijdpdpdpdpdpD当R(Dmax)＝0时此时输出符号概率p(b1)＝0，p(b2)＝1，所以这时的编码器的转移概率为2221,baba1010P信息论基础B242、R(D)函数的下凸性和连续性3、R(D)函数的单调递减性容许的失真度越大，所要求的信息率越小。反之亦然。信息论基础B25综上所述，可以得出如下结论：R(D)是非负的实数，即R(D)0。其定义域为0～Dmax，其值为0～H(X)。当DDmax时，R(D)0。R(D)是关于D的下凸函数，因而也是关于D的连续函数。R(D)是关于D的严格递减函数。信息论基础B26由以上三点结论，对一般R(D)曲线的形态可以画出来R(D)H(X)R(D)0DDmaxDR(D)0DmaxD信息率失真曲线信息论基础B274.2离散信源和连续信源的R（D）计算某些特殊情况下R（D）的表示式为：（1）当d(x,y)=(x-y)2，时，22221)(xexpDDRlog)(信息论基础B28(2)当d(x,y)=|x-y|，时，xexp2)(DDR1log)((3)当d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p时，R(D)=H(p)－H(D)信息论基础B29这些R（D）可画成图4-5的三条曲线0DmaxDR(D)H(3)(1)(2)图4-5信息率失真函数R(D)信息论基础B30例4-2-1设输入输出符号表为X＝Y{0，1}，输入概率分布p(x)=(p，1-p)，0p1/2，失真矩阵为求信息率失真函数R(D)。0110),(),(),(),(22122111badbadbadbadd信息论基础B310.10.20.30.40.5D1.00.80.60.40.20.0R(D)/bitp=0.5p=0.3p=0.2p=0.1图4－6R(D)=H(p)－H(D)，p为参数