《信息论》(电子科大)第七章 信息率失真理论

电子科技大学第7章信息率失真理论由香农第一定理可知，对L维离散平稳无记忆信源进行无失真的m元不等长组编码，必然要求当L足够大时每个信源符号所对应码字的平均比特数即信息传输率满足)X(HlbmLKR)X(H对连续信源，由于其绝对熵无穷大，无失真信源编码不可能实现。电子科技大学即使对离散信源，一方面无失真信源编码要求信息传输率高于香农界，另一方面香农第二定理对无失真信道编码提出信息传输率RC的要求，两者往往难以兼顾。幸好，一般通信系统允许一定的失真存在。信息率失真理论退而求其次，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。电子科技大学对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？需要研究的问题是：电子科技大学一、离散信源的信息率失真函数由信息传输率R=I(X;Y)的凸函数性：信源固定时，信息传输率是信道转移概率分布的下凸函数。因此，总能找到一种信道转移概率分布，使信息传输率最小。如果不规定允许失真，当信道转移概率分布p(yj/xi)=p(yj)时，必有信息传输率R=0，显然，这个下限无意义。电子科技大学(1)失真度设单符号信源为)x(p)x(p)x(pxxx)X(PXn21n21该符号经信道传输后对应一个m元信宿。1、平均失真度定义非负函数d(xi,yj)i=1,2,…,n;j=1,2,…,m为失真度。电子科技大学)y,x(d...)y,x(d)y,x(d............)y,x(d...)y,x(d)y,x(d)y,x(d...)y,x(d)y,x(d]D[mn2n1nm22212m12111称全部n×m个失真度组成的矩阵为失真矩阵：jiji0)y,x(dji常用的失真度有：电子科技大学0..................0...0]D[相应的失真矩阵当α=1时，称为汉明失真矩阵。2ijji)xy()y,x(d称为平方误差失真度。电子科技大学(2)平均失真度n1im1jjiiiiji)y,x(d)x/y(p)x(p)]y,x(d[ED(3)保真度准则DD则称为保真度准则。如果给定的允许失真为D电子科技大学}DD:)x/y(p{PijDDD当信源p(xi)固定，调整信道p(yj/xi)，凡满足保真度准则的信道，称为D失真许可的实验信道。实验信道的集合定义保真度准则下的最小信息传输率为信息率失真函数。)Y;X(IminRmin)D(RDijDijP)x/y(pP)x/y(p2、信息率失真函数的定义电子科技大学由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj/xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。电子科技大学3、信息率失真函数的性质和定义域①R(D)具有非负性②R(D)是D的下凸函数③R(D)是D单调递减连续函数因此，可知信息率失真函数R(D)的大致曲线为：DR(D)maxDminD电子科技大学④信息率失真函数的定义域由于允许失真D是平均失真度的上界，故允许失真D的给定范围受限于平均失真度的可能取值。DD)y,x(dmin)x(p)y,x(d)x/y(p)x(pDjin1ijin1im1jjiiji)y,x(dmin)x(pDjin1ijimin电子科技大学特别地，当D=Dmin=0，即不允许任何失真时R(D)=H(X)根据R(D)的性质可知，当D=Dmax时，R(D)=0n,,2,1i)y(p)x/y(p0)D(Rjij如果DDmax，同样R(D)=0n1im1jjiji)y(pmax)y,x(d)y(p)x(pminDj电子科技大学m1jjj)y(pn1ijiim1jj)y(pD)y(pmin)y,x(d)x(p)y(pminjjn1ijiij)y,x(d)x(pD其中jjm1jjjDminD)y(pjjm1jjj)y(pmaxDminD)y(pminDj电子科技大学2,1j,0021021)y,x(dmin)x(pDji21ijimin解：例1、二元等概率信源的失真矩阵0440]D[求允许失真度D的取值范围并求使允许失真度2DDDminmax的实验信道P(Y/X)。电子科技大学2421021)y,x(d)x(pD1i21ii12021421)y,x(d)x(pD2i21ii22,1j,2DminDjjmax2D0q1qp1p)X/Y(P设电子科技大学)y,x(d)x/y(p)x(pD1i21iij21ji21p21qp解得p2321pp1p)X/Y(P故实验信道)qp(220)q1(214q214)p1(210p2112022DDminmax电子科技大学信息率失真函数可以通过平均互信息量在满足保真度准则前提下信源固定时对信道转移概率分布的条件极值来求取。信道转移概率分布的n个约束条件是n,,2,1i1)x/y(pm1jij平均失真度的约束条件是4、信息率失真函数的参量表达式n1im1jjiiii)y,x(d)x/y(p)x(pD电子科技大学根据拉格朗日乘子法，设]D)y,x(d)x/y(p)x(p[S)Y;X(In1km1llkklkin,,2,1i]1)x/y(p[m1lilim,,2,1j,n,,2,1i0)x/y(piji令)x(p])x/y(p)x(p[)x/y(p)y(p)x/y(pin1kkjkijjij电子科技大学)]x(p)y(pln)x(p[)]y(pln)y(p[)x/y(pijilm1llij)]x(p)x/y(pln)x(p[])x/y(pln)x/y(p)x(p[)x/y(piijin1kklm1lklkij)y,x(d)x(Sp]}D)y,x(d)x/y(p)x(p[S{)x/y(pjiin1km1llkklkij电子科技大学m,,2,1j,n,,2,1i0)y,x(d)x(Sp)y(p)x/y(pln)x(p)x/y(pijiijijiijim,,2,1j,n,,2,1i0)x(p)y,x(Sd)y(p)x/y(plniijijij)x(plniii令电子科技大学m,,2,1j,n,,2,1i0lneln)y(p)x/y(plni)y,x(Sdjijjim,,2,1j,n,,2,1ie)y(p)x/y(p)y,x(Sdjiijji对j求和n,,2,1ie)y(p1m1j)y,x(Sdjiji乘p(xi)，对i求和m,,2,1je)x(p1n1i)y,x(Sdiiji电子科技大学将信息率失真函数的计算步骤整理如下：m,,2,1j,Se)x(p1)1(in1i)y,x(Sdiiji的求含由n,,2,1i),y(pSe)y(p1)2(jm1j)y,x(Sdjiji的求含由m,,2,1j,n,,2,1ie)y(p)x/y(pS)3()y,x(Sdjiijji的求含n1im1jjiiii)y,x(d)x/y(p)x(pDS]S[D)4(的即含求电子科技大学n1ijijm1jiji)y(p)x/y(pln)x/y(p)x(p)D(RS]S[R)5(的即含求)y,x(de)y(p)x(pjijijiin1im1j)y,x(Sd)y(pe)y(plne)y(p)x(pjjijijijii)y,x(Sdn1im1j)y,x(Sdn1iiiln)x(p]S[SD电子科技大学dDdRdDdSSRDRdDdRin1iidDdS]dSd)x(pD[Siiin1im,,2,1j]e)y,x(d)x(pe)x(pdSd[0)y,x(Sdjiii)y,x(Sdin1iijiji参量S的取值范围dDd)x(pdDdSDSin1iii电子科技大学乘p(yj)，对j求和n1im1j)y,x(Sdijijin1im1ji)y,x(Sdjijijie)y,x(d)y(p)x(pdSde)y(p)x(p0DdSd)x(pDdSd)x(p]e)y(p[n1iiiin1im1jiii)y,x(Sdjiji电子科技大学0dDdSSdDdR由信息率失真函数的下凸性和单调递减性，可知S0及R(D)DmaxDS(D)minD电子科技大学p1pxx)X(PX21二元信源21p其中设失真矩阵00]D[0其中00)p1(0p)y,x(dmin)x(pDjin1ijimin5、二元信源的信息率失真函数电子科技大学pDDminD2jjmax)p1()p1(0pD1p0)p1(pD21e)p1(pS211)p1(pe2S1)e1(p1S1)e1)(p1(1S2m,,2,1j,Se)x(p1)1(in1i)y,x(Sdiiji的求含由电子科技大学)e1(pe)y(p)y(pSS21)e1)(p1()y(pe)y(pSS21SS1e1e)p1(p)y(pSS2e1pe)p1()y(pn,,2,1i),y(pSe)y(p1)2(jm1j)y,x(Sdjiji的求含由电子科技大学)e1(pe)p1(p)x/y(pS2S11)e1)(p1(e)p1(p)x/y(pS2S12)e1(ppe)p1()x/y(pS2S21)e1)(p1(pe)p1()x/y(pS2S22m,,2,1j,n,,2,1ie)y(p)x/y(pS)3()y,x(Sdjiijji的求含电子科技大学SSe1en1im1jjiiii)y,x(d)x/y(p)x(pDS]S[D)4(的即含求)y,x(de)y(p)x(pjijijiin1im1j)y,x(Sdn1ijijm1jiji)y(p)x/y(pln)x/y(p)x(p)D(RS]S[R)5(的即含求n1iiiln)x(p]S[SD电子科技大学)e1ln()p1ln()p1(plnpe1eS)e1ln()p1()p1ln()p1()e1ln(pplnpe1eSSSSSSSSD1Dln1SD1DeSD11e1S)p1ln()p1(plnp)D1ln(D1DlnD)D(R电子科技大学)D(H)p(H)p1ln()p1(plnp)D1ln(D1DlnD）（当α=1时，)D(H)p(H)D(RD1Dln)D(S)p(H)0(R)D(Rmin)0(S)D(Smin0)D(Rmaxp1pln)D(Smax电子科技大学R(D)S(D)D0.50.25p=0.25p=0.50电子科技大学当p=0.5，即二元等概率信源时的信息率失真函数6、等概率信源的信息率失真函数)D(H2ln)D(H)5.0(H)D(Rn元等概率信源，其信息率失真函数)D1