第四章 信道失真率函数

14.1基本概念4.1.1失真函数与平均失真度4.1.2信息率失真函数的定义4.1.3信息率失真函数的性质率失真函数的定义域率失真函数对允许平均失真度的下凸性率失真函数的单调递减和连续性2引入限失真的必要性失真在传输中是不可避免的连续信源的绝对熵为无限大，若要无失真地进行传输，则要求信息传输率也为无限大，然而现实世界中信道带宽总是有限的，信道容量总有一定限度，因此不可能实现完全无失真的信源信息的传输另一方面，从无失真信源编码考虑，由于要求码字包含的信息量不小于信源的熵，所以对于连续信源，要用无限多个比特才能完全无失真地来描述，这是不现实的即使是离散信源，若要处理的信息量很大，采用无失真编码将使得信息的存储和传输成本非常高，而且在很多场合，过高的信息传输率是不必要的3引入限失真的必要性(续)信宿只具有有限的的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的例1：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣赏音乐没有太大的影响例2：对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量例3：放映电影，理论上要完全无失真地表现出一个连续动作，需要用无穷多个静态画面连续放映，但利用人眼的“视觉暂留性”，只要每秒钟连续放映24幅静态画面，就几乎让观众感觉不到失真的存在4引入限失真的必要性(续)如果允许信息有某些失真，就可以大大降低信息传输速率，从而降低通信成本应用种类象素数/行行数/帧信息传输率(码率)bps压缩前压缩后HDTV192010801.18G20～25M普通电视720480167M4～8M会议电视35228836.5M1.5～2M电视电话1281125.2M56K在允许一定程度失真的条件下，怎样用尽可能少的码符号来表达信源的信息，也就是信源熵所能压缩的极限或者说编码后信息传输率压缩的极限值是多少？保真度准则下的离散信源编码定理：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到极限值——信息率失真函数R(D)5失真函数由于本章学习内容只涉及信源编码问题，因此可以把从信源编码器到信源译码器之间的所有部件合在一起等效为一个有噪声的试验信道试验信道信源X信源译码器信源编码器无损无噪信道信宿Y1212:()()()nXnxxxXPpxpxpx信道输入1212()()()mYmyyyYPpypypy信道输出：1121112222|12(|)(|)(|)(|)(|)(|)(|)(|)(|)mmYXnnmnpyxpyxpyxpyxpyxpyxpyxpyxpyxP信道转移概率矩阵：nm6对每一对(xi,yj)，指定一个非负的函数失真函数(续)111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)mmnnnmdxydxydxydxydxydxydxydxydxyD1,2,,(,)01,2,,ijindxyjm称为单个符号的失真度或失真函数，表示离散信源发出一个符号xi而在接收端再现成yj所引起的误差和失真。上述非负的失真函数共有nm个，可以整体表示成失真矩阵由于信源发出的符号X和信宿收到(再现)的符号Y均是随机变量，因此单个符号的失真函数d(xi,yj)也是随机变量(的一次实现)(,)0(,)0ijijdxydxy无失真有失真7常用的失真函数失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别等因素人为规定的，可以有多种形式2(,)()ijjidxyyx平方误差失真函数(,)||ijjidxyyx绝对误差失真函数(,)||||ijjiidxyyxx相对误差失真函数误码失真函数0(,)ijijdxyij平方失真和绝对失真只与(yjxi)有关，而不是分别与xi,yj有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量的相对数成正比，但其数学处理比较困难误码失真函数表明，只要发送符号与接收符号不同，由此引起的失真都相同(为常数)。若常数值为1，则称为汉明失真适用于连续信源适用于离散信源8平均失真度由于单个符号的失真函数d(xi,yj)是随机变量(的一次实现)，它只能表示两个特定的具体符号xi,yj之间的失真，无法从整体上描述信道平均每传递一个符号所引起失真大小定义平均失真度为失真函数的数学期望，即d(xi,yj)在X和Y的联合概率空间P(XY)中的统计平均值11[(,)]()(|)(,)nmijijiijijDEdxypxpyxdxy平均失真度与信源统计特性、信道统计特性和规定的失真度有关；如果信源和失真度给定以后，就只是信道统计特性的函数D(,)ijdxy()ipx(|)jipyxD如果规定平均失真度不超过某一允许失真的上界D(最大允许平均失真度，简称允许平均失真度)，则称：DD为保真度准则满足保真度准则的限定条件下，求信息传输率的最小值9符号序列的失真度若信源是单符号离散无记忆信源的N次扩展，其限失真编码可视为N长随机序列经由单符号离散无记忆信道的N次扩散信道，再现为N长的随机序列12NXXXX12NYYYY12()1,2,,NNiiiiaxxxin信道输入：12121(,)(,)(,)NNkkNijiiijjjijkdabdxxxyyydxyN长输入符号序列与N长输出符号序列间的失真函数：jbia由于N次扩展信源和N次扩展信道都是无记忆的，因此：12121(|)(|)(|)NNkkNjijjjiiikjipbapyyyxxxpyx12()1,2,,NNjjjjbyyyjm信道输出：121()()()NkNiiiikipapxxxpx10符号序列的平均失真度11()()(|)(|)kkkNikiNjikjipapxpbapyx11()[(,)]()(|)(,)NNnmijijiijijDNEdabpapbadab12NDDDD符号序列的平均失真度：()DNND符号序列的保真度准则：()DNND为同一单符号离散无记忆信源X在N个不同时刻通过同一单符号离散无记忆信道所造成的平均失真度，因此都等于单符号离散无记忆信源X通过单符号离散无记忆信道所造成的平均失真度，即：kD1111111111()()(|)(|)(,)NNNkkNNnnmmNiijijiijiijjkpxpxpyxpyxdxy11111111111()(|)(,)()(|)(,)NNNNNNNnmnmijiijijiijijijpxpyxdxypxpyxdxy121NNkkDDDD114.1.2信息率失真函数的定义在单符号信源已知并规定了单符号失真度后，并非所有的信道都能满足保真度准则；凡满足保真度准则的信道称为D失真许可试验信道，所有的D失真许可试验信道构成集合：DD{(|):;1,2,,,1,2,,}DjiPpyxDDinjm对于离散无记忆N次扩展信源和N次扩展信道，相应的D失真许可试验信道为：(){(|):();1,2,,,1,2,,}NNDNjiPpbaDNNDinjm对于固定的信源分布，平均互信息是信道转移概率的下凸函数，也就是说，存在一个信道使给定的信源经过此信道传输时，信道的平均互信息达到最小信源限失真编码后的信息传输率R就是通过试验信道的平均互信息I(X;Y)，为了便于传送和处理，人们总是希望将信息传输率R压缩到最小12信息率失真函数的定义(续)(|)()min(;)jiDpyxPRDIXY()(|)()min(;)jiDNNpbaPRDIXY()NRD给定信源和失真度后，在所有的D失真许可试验信道中，寻找一个信道使得从输入端传送过来的信息量最小。这个最小的平均互信息称为信息率失真函数R(D)，简称率失真函数：在研究R(D)时，计算I(X;Y)所用的条件概率并没有实际信道的含义，只是为了求平均互信息的最小值而引用的、假想的可变试验信道的信道特性。实际上这些信道反映的仅是不同的限失真信源编码，或称信源压缩R(D)是在限定允许平均失真为D时信源最小信息传输率；可以通过改变试验信道特性来达到，实质上是选择一种限失真信源编码方式使试验信道的信息传输率为最小，即在满足保真度准则下，使信源的压缩率达到最高13率失真函数的定义域(D的下界)允许失真度D是平均失真度的上限，而是非负函数的数学期望，因此D的下界至多为0，对应于无失真的情况，此时信息传输率应等于信源输出的信息熵，即D(,)ijdxymin0D时：min()(0)()RDRHX离散信源：D能否达到下界0，与单个符号的失真函数有关；在给定的失真矩阵中，对每一个xi，找一个yj与之对应，使d(xi,yj)最小，不同的xi对应的最小d(xi,yj)也不相同。相当于在失真矩阵的每一行找一个最小的d(xi,yj)，然后对各行不同的d(xi,yj)求统计平均值，就是信源平均失真度上限的下界min1()min(,)niijjiDpxdxy显然，如果失真矩阵的每一行至少有一个0元素，信源平均失真度上限D的下界才能取到0min0()lim()DRDRD连续信源：14率失真函数的定义域(D的上界)R(D)是在一定约束条件下平均互信息I(X;Y)的最小值，由于I(X;Y)是非负的，其下界为至多为0如果不允许失真，平均传送一个信源符号所需的信息传输率最大，R(D)可以达到信源熵；反之如果允许一定的失真，则信息传输率可以小一些；或者说信息传输率越小，容忍的平均失真度越大显然，当R(D)达到下界0时，允许的平均失真度最大，由于满足R(D)0的D可以有无穷多个，定义使R(D)0成立的最小的D值为率失真函数的定义域的上界Dmax当R(D)0时，最小的I(X;Y)0，这相当于X和Y相互统计独立的情况；这意味着接收端收不到信源发送的任何信息，与信源不发送任何信息是等效的，所以在理论上，传送信源符号的信息传输率可以压缩至015率失真函数的定义域(Dmax的计算)如果试验信道的转移概率满足即X和Y相互统计独立，等效于信道关闭或者信源不发任何消息，此时必有：，从而(|)()1,2,,jijpyxpyin(;)0IXY()0RDmax()11min()(|)(,)nmijiijpyijDpxpyxdxy用不同的输出概率分布对求数学期望，取最小的那一个作为()pyjDmaxDmax1minmin()(,)njiijjjiDDpxdxy如果在中找到最小的，当该j对应的而其余的输出概率为0时，上式计算出的值最小，即：1,2,,jmjD()1jpymaxDjXDPD()11min()()(,)nmijijpyijpxpydxy1()1m()(,)in()niimjpyjijxyyppxd()1min()mjjpyjpyD160.10.90.50.50.90.1D123()0.30.20.5xxxXPX12{,}Yyyminmax,DD求min0.30.10.20.50.50.10.18D10.30.10.20.50.50.90.58Dmax12min(,)0.42DDD12max()0()1pypyDD当输出符号概率分布为：，时，取到|010101YXP此时试验信道的转移概率矩阵为：率失真函数R(D)的定义域为(Dmin,Dmax)一般情况下：Dmin0，R(Dmin)H(X)当DDmax时：R(D)0当D(Dmin,Dmax)时：0R(D)H(X)0.10.90.30.20.50.50.50.90.120.3