第四章 信息率失真函数

为什么要讨论信息率失真函数R(D)？失真在传输中是不可避免的。连续信源输出的信息量为无穷大,不可能实现无失真信源编码.接收者(信宿)无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的。即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真。如果RC，就必须对信源压缩，使得压缩后的R*C，但同时要求引入的失真不能超过规定的限度。对于给定的信源，在允许失真的条件下信源熵所能压缩的理论极限值就是率失真函数R(D)。综上所述，一般可以对信源输出的信息进行限失真处理，降低信息率，提高传输效率。在允许一定程度的失真条件下，能够把信息压缩到什么程度？需要多少比特的信息率才能描述信源？本章主要讨论一定程度的失真情况下所需的最少的信息率，即信息率失真函数R(D)。思路：从分析失真函数、平均失真出发求出信息率失真函数R(D)。控制信息失真的原因?在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实际价值。要规定失真限度，必须先有一个定量的失真测度。4.1基本概念4.1.1失真函数和平均失真度一、失真函数1.失真函数的定义假如某一信源X，输出样值为ai，经过失真编码器，输出Y，样值为bj。对于每一对(ai,bj)，指定一个非负函数为单个符号的失真度或失真函数说明：如果ai=bj，i=1,2,…,n，j=1,2,…,则没有失真。0(,)0ijijijabdabab(4-1-1)如果aj≠bj，就产生了失真。失真的大小，用一个量来表示，即失真函数d(ai,bi)，以衡量用bj代替ai所引起的失真程度。失真函数：是人们根据实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。2.常用的失真函数均方失真函数：d(ai,bj)=(ai－bj)2(平方误差失真函数)绝对失真函数：d(ai,bj)=︱ai－bj︱相对失真函数：d(ai,bj)=︱ai－b︳/ai01ijab其它误码失真函数：d(aj,bj)=（汉明失真函数）均方失真函数、绝对失真函数和相对失真函数适用于连续信源；误码失真适用于离散信源。(2)失真函数比较均方失真和绝对失真只与(ai－bj)有关，而不是分别与ai及bj有关，在数学处理上比较方便.相对失真与主观特性比较匹配，因为主观感觉往往与客观量的对数成正比，但在数学处理中就要困难得多。其实选择一个合适的、完全与主观特性匹配的失真函数是非常困难的，更不用说还要易于数学处理。当然不同的信源应有较好的失真函数，所以在实际问题中还可以提出许多其他形式的失真函数。说明：(1)常用失真函数及其适用性3.失真矩阵将所有的失真函数d(ai,bj)，i=1,2,…,n；j＝1,2,…,m排列起来，用矩阵表示为1211121112(,)(,)(,)(,)(,)(,)mmnnnnmbbbdabdabdabadadabdabdab【例4.1.1】设信源符号序列为X＝{0,1}，接收端收到符号序列为Y＝{0,1,2}，规定失真函数为d(0,0)＝d(1,1)=0；d(0,1)=d(1,0)=1d(0,2)=d(1,2)=0.5求：失真矩阵d?0120010.51100.5d解：失真矩阵为失真函数的数值是依据实际应用情况，用bj代替ai所导致的失真大小是人为决定的。上例中用b=2代替a=0和a=1所导致的失真程度相同，均为0.5；而用b=0代替a=1所导致的失真程度要大些，为1。二、平均失真度1.离散随机变量平均失真度定义失真函数的数学期望称为平均失真度。1111()(,)()(/)(,)nmnmijijijiijijijDpabdabpapbadab说明:(1)由于ai和bj都是随机变量，所以失真函数d(ai,bj)也是随机变量，要分析整个信源的失真大小，只能用它的数学期望或统计平均值来表示。(2)式中p(aibj){i=1,2,…,n，j=1,2,…,m}是联合分布概率；p(ai)是信源符号概率分布；p(bj/ai)：i=l,2,…,n,j＝l,2,…,m是转移概率分布；d(ai,bj)：i=1,2,…,n，j=1,2,…,m是离散随机变量的失真函数。(3)平均失真度是对给定信源p(xi)经过某一种转移概率分布p(yj/xi)的有失真信源编码器后产生失真的总体量度。(4)平均失真度已对信源和信道进行了统计平均，所以此值描述了某一信源在某一信道下的失真程度。1111()(,)()(/)(,)nmnmijijijiijijijDpabdabpapbadabD因此取决于以下几个因素：上式称为保真度准则。DD（4.1.8）()ipa（i=1,2,,n)1）信源的统计特性，即(/)jipba2）信道的统计特性，即(,)ijdab3）失真函数，即D一般情况下，人们所允许的失真指的都是平均意义上的失真。如果规定其平均失真度不能超过某一限定的值D，即D就是允许失真的上界。说明离散无记忆信道N次扩展信源通过离散无记忆N次扩展信道的是单符号信道的平均失真度的N倍。相应的保真度准则为121()NNkkDNDDDDND()DNND2.N次扩展信源的平均失真度单符号离散无记忆信源的N次扩展信源，在信道中的传递作用相当于单符号离散无记忆信道的N次扩展信道，输出也是一个随机变量序列。则N次离散无记忆信源和信道的平均失真度为4.1.2信息率失真函数的定义一、保真度准则DD对于信道容量为C的信道，在传输信息率为R的信源时，如果R＞C，就必须对信源压缩，使其压缩后的信息传输率R﹡C，但同时要保证压缩后所引入的失真不超过预先规定的限度。信息压缩问题就是对于给定的信源，在满足平均失真度的前提下，使信息率尽可能小。D是允许失真的上界。二、D允许试验信道将满足保真度准则的所有试验信道称为D允许试验信道，用PD来表示,即(/):1,2,,;1,2,,DjiPpbaDDinjm三、分析方法信源X经过有失真的信源编码器输出Y，将这样的编码器看作存在有干扰的假想信道，Y当作接收端的符号。这样就可用分析信道传输的方法来研究限失真信源编码的问题。D选择信源编码的方法：就变成了选择假想信道的问题，符号转移概率p(bj/ai)对应信道转移概率。信源编码器使信源编码后所需的信息传输率R尽量小。但R越小，引起的平均失真就越大。给出一个失真的限定值D，在满足平均失真的条件下，选择一种编码方法，使得信息传输率R尽可能小，即在PD中寻找一个信道使R最小。DD信息率失真理论研究了信源熵的压缩问题，但采用了研究信道的方法，其中的P(bj/ai)并没有实际信道的意义，它仅仅是在数学上将信源的压缩看作了通过一个信道。四、信息率失真函数R(D)的定义在PD中寻找一个信道P(bj/ai)，使给定的信源经过此信道传输时，让其信道的传输率R达到最小，即(/)(/)()min(;)min()(/)jiDjiDpbaPpbaPRDIXYHXHYXR(D)的物理意义：对于给定的信源，在满足保真度准则下，信息率R是允许压缩的最小值。说明:对于离散无记忆信源，R(D)函数可写成(/)11(/)()min()(/)log()jiDnmjiijipbaPijjpbaRDpapbapb理论基础：I(X;Y)的下凸性对于固定的信源分布，平均互信息量I(X;Y)是信道转移概率P(bj/ai)的下凸函数。也就是说存在一个信道，使某一特定信源经过此信道传输时，信道的平均互信息量I(X;Y)达到最小值。【例4.1.2】已知信源编码器的输入概率分布为:p(x)＝{0.5，0.5}，信道转移矩阵分别为:120.60.4(1)(/)0.20.80.90.1(2)(/)0.20.8jijipyxpyx求:平均互信息I(X;Y)，并比较其大小。解：因为p(aibj)＝p(ai)p(bj/ai)(1)p(a1b1)=0.3，p(a1b2)=0.2，p(a2b1)=0.1，p(a2b2)=0.4因为所以p(b1)=0.4，p(b2)=0.6根据平均互信息公式可得（2）同理可得I(X;Y)=0.397比特／符号21()()jijipypxy2,(/)(;)()log0.125/()jiijijjpyxIXYpxybitsignpy五、R(D)与信道容量C的比较信道容量表示信道的最大传输能力，反映的是信道本身的特性，与信源无关。但由于平均互信息量与信源特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息量达到最大的信源为参考，从而使信道容量仅仅与信道特性有关。信道不同，C也不同。R(D)函数是在保真度准则条件下信源信息率R可被压缩的最低限度，反映的是信源本身的特性，与信道无关。同样地，由于平均互信息量与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能够使平均互信息量达到最小的信道为参考，从而使信息率失真函数R(D)仅仅与信源特性有关。信源不同，R(D)也不同。引入C是为了解决在所有信道中传送的最大信息量到底有多大的问题，它给出了信道可能传输的最大信息量，是无差错传输的上限。它是为信道编码服务，也是为了提高通信的可靠性服务。引入R(D)是为了解决在允许失真度D的条件下，信源编码到底能压缩到什么程度的问题，它给出了保真度准则条件下信源信息率可被压缩的最低限度。可见引入它能够为信源的压缩编码服务，或者是为了提高通信的有效性服务。信息传输理论信息率失真理论附注信道p(y/x)失真函数d(ai,bj)，信源p(x)固定信源p(x)信道p(y/x)（假想的）可变的错误概率Pe平均失真度信道容量率失真函数RC信道编码定理R＞R(D)信源编码定理(/)()min(/)DpyxPRDIpyx)(max)(xpICxpD信息传输理论与信息率失真理论的对偶关系【例4.1.3】设信源的概率分布为p(ai)=1/2n,i=1,2,…，2n,失真函数为d(ai,bj)=，即符号不发生差错时失真为0，一旦出错失真为1。试研究在一定信源编码统计下信息压缩的程度。01ijij此例是研究信息率失真函数的物理意义解：信源熵2111()(,,,)log2(/)222HXHnbitsignnnn如果对信源进行不失真编码，平均每个符号至少需要log22n个二进制码元。现在假定允许有一定的失真，且假定失真度为D=1/2。也就是说，当收到100个符号时，允许其中有50个符号以下的差错。这时信源的信息率能减少到多少呢？设想采用下面的编码方案，此时1/2DD由右边试验信道模型不难看出，它是一个确定的信道，所以H(Y/X)=0或p(yj/xi)=1或0。由I(X;Y)=H(Y)－H(Y/X)=H(Y)由于从xn起所有符号都编成xn，所以信道输出概率分布为：1211222211()()()21()()()()211111()(,,,,)log2log(1)22222nnnnnnpbpbpbnnpbpbpbpbnnnHYHnnnnnnnx1x2x1x2xnxnxn+1x2n1211221()()()21()()()()2nnnnnpbpbpbnnpbpbpbpbn1111()(,,,)222nnHYHnnn221111loglog2222nnnnnnn221log2log(1)2nnnn221log2log(1)2nnnn由以上结果可知，经压缩编码后，信源需要传输的信息率由原来的log22n个压缩到个。也就是说，信息率压缩了。这是采用了上述压缩编码方法的结果，所付出的代价是容忍了1/2的平均失真。如果选取对压缩更为有