基于反向试验信道的率失真函数计算方法

基于反向试验信道的率失真函数计算方法游雪肖（湖北师范学院数学与统计学院，湖北黄石435002）摘要：针对离散无记忆信源率失真函数的计算问题，提出了一种基于反向试验信道的率失真函数的计算方法，该方法利用互信息与熵的关系，采用Lagrange乘数法，从反向试验信道的角度给出了率失真函数的参量表示式，并分析了该参量表示式中参数的物理意义。该方法可直接计算率失真函数，避免了率失真函数计算时先计算互信息的最小值，后讨论最小值可达的问题，并且将其与正向试验信道参量表示式相比，该方法更简洁有效.从该方法还可以看出，无论正向试验信道还是反向试验信道，它们只是一个信道从两个不同角度考虑的两种不同表示方法而已。关键词：信息论；反向试验信道；率失真函数；Lagrange乘数法中图分类号：O236在信息处理过程中，由于种种干扰因素的存在，不可避免地要丢失信息，产生失真。对于给定的信源，总是希望它的信息经过处理后所产生的平均失真在一定允许限度内的情况下，使得信源传输的信息率尽可能的小，这个最小值就是信息率失真函数()RD.一般可用Lagrange乘数法求解，求得关于试验信道亦即未知量(|)jipba的参量表示[1-5]，或先求出互信息(;)IXY的最小值，然后从反向试验信道角度构造反向试验信道(|)ijpab证明最小值可达[1-5]，构造反向试验信道通常不是那么容易，只有对非常特殊的信源和失真函数才能构造。针对后一种方法及其缺陷，笔者利用互信息与熵的关系，从反向试验信道角度以(|)ijpab为未知量直接讨论()RD的参量表示以及参量S的物理意义，并通过与文[6]的比较可知，反向试验信道和正向试验信道，参量S的意义是一样的，且都是()RD的斜率。1预备知识设离散无记忆信源1212,,,(),(),,()()nnaaaXpapapaPX，信源符号通过信道传送到接收端Y，1212,,,(),(),,()()mmbbbYpbpbpbPY，信道的传递概率矩阵112111222212(|)(|)(|)(|)(|)(|)(|)(|)(|)(|)mmnnmnpbapbapbapbapbapbaQYXpbapbapba，1(|)1mjijpba.定义1信源X的熵定义为1211()((),(),,())()log()nniiiHXHpapapapapa，信源,XY的联合熵定义为111(,)(,)log(,)nmijijijHXYpabpab，在给定信源Y的条件下，X的条件熵定义为111(|)(,)log(|)nmijijijHXYpabpab.定义2信源,XY的互信息定义为11(,)(;)(,)log()()nmijijijijpabIXYpabpapb由1()(,)miijjpapab，1()(,)njijipbpab，(,)()(|)()(|)ijijijijpabpapbapbpab，很容易证得定理1(;)()(|)IXYHYHYX（1.5）()(|)HXHXY（1.6）()()(,)HXHYHXY（1.7）定义3对每一对(,)ijab，指定一个非负函数(,)0ijdab，1,2,,in；1,2,,jm，称(,)ijdab为失真函数或失真度.例如汉明失真0,(,)1,ijijdabij．定义4称11(,)()(|)(,)nmijiijijEdXYpapbadab为信源的平均失真度．定义5满足(,)EdXYD的{(|)}jipba称为D失真许可的试验信道，简称试验信道．定义6定义信息率失真函数()RD为(|):(,)()min(;)jipbaEdXYDRDIXY2信息率失真函数的参量表述2.1问题的提出与转化计算信源的信息率失真函数，即在已知信源X的概率分布和失真函数(,)ijdab，1,2,,in；1,2,,jm的条件下求得.在文献[1-5]中，()RD的计算以(|)jipba为未知量，利用Lagrange乘数法求解条件极值问题，从本质上都是利用式(1.5)，本文利用式（1.6）和（1.7），以(|)ijpab为未知量，利用Lagrange乘数法求解下述条件极值问题，得到了关于反向试验信道(|)ijpab的率失真函数参量表示式.由定义6可知，率失真函数的计算实际上是求(;)IXY在约束条件下的极小值问题，即min(;)IXY（2.1）11111(,)0,1,2,,;1,2,,(,)1,1,2,,..(,)(,)(,)(),1,2,,ijnmijijnmijijijmijijpabinjmpabinstpabdabDpabpain（2.2）2.2()RD的参量表达式为了在式（2.2）的(2)n个条件的限制下，求(;)IXY的极值，可引入Lagrange乘数S、和(1,2,,)iin，利用式（1.7）构造一个新的函数()()(,)LHXHYHXY111111((,)(,))((,)1)((,)())nmnmnmijijijiijiijijijSpabdabDpabpabpa1111111()((,))log(,)log(,)(,)mnnmijijnjiijijijiHXpabpabpabpab111111((,)(,))((,)1)((,)())nmnmnmijijijiijiijijijSpabdabDpabpabpa（2.3）上式两边对(,)ijpab求偏导数，并令其为0，即0(,)ijLpab（2.4）将式（2.3）代入式（2.4），得1111log(,)1log(,)(,)(,)0(,)nnijijijijiniiijipabpabpabSdabpab1(,)log(,)(,)ijijinijipabSdabpab由1(,)(,)(|)()(,)ijijijnjijipabpabpabpbpab，并令iie，则(,)(|)ijSdabijipabe，1,2,,in；1,2,,jm（2.5）上式两边对i求和并注意条件（2.2），有(,)111(|)ijnnSdabijiiipabe（2.6）式（2.5）两边同乘()jpb，再对j求和，得(,)1()()ijmSdabijijpapbe（2.7）由式（2.6）解出i，代入式（2.5）中得到(|)ijpab，代入式（2.7）中得到()jpb，将这些结果代入约束条件，可得11()()(|)(,)nmjijijijDSpbpabdab(,)11()(,)ijnmSdabjiijijpbedab（2.8）()()(|)RSHXHXY11()(,)log(|)nmijijijHXpabpab(,)11()(,)logijnmSdabijiijHXpabe1111()(,)log(,)(,)nmnmijiijijijijHXpabSpabdab1()()logniiiHXpaSD（2.9）2.3参量S的意义首先将()RD对D的求导数，则得dRRdSdDSdD1[()()log]niiidRdSHXpaSDdDSdD11[()]niiiiddSSDpadSdD其次，在式（2.6）的两边对S求导数，可得(,)(,)11(,)0ijijnnSdabSdabiijiiidedabedS将上式两边乘以()jpb，并对j求和，得(,)(,)1111()(,)()0ijijnmnmSdabSdabijijijijijdpbedabpbedS即(,)11()0ijnmSdabijijdDpbedS由式（2.7）得1()0niiiidpaDdS将上式代入dRdD的表达式中，则得dRSdD上式表明，参量S是信息率失真函数()RD的斜率。由此可见，在反向试验信道计算得到的信息率失真函数具有与正向试验信道相同的意义。2.4()RD求解过程归纳步骤如下：第一步：由（2.2）式求出i；第二步：由（2.1）式求出(|)ijpab；第三步：由（2.3）式求出()jpb；第四步：由式（2.8）求出()DS.第五步：由式（2.9）求出()RD.3.()RD求解举例例设信源为1211()22aaXpX，接收符号集为12,Ybb，计算它在汉明失真下的率失真函数．解：01201211SSeeee，解之得1211Se(,)(|)ijSdabijipabe01121012221212SSqeqeqeqe，整理得1211221212SSqqeqeq，解之得0112qq11()(|)(,)nmjijijijDpbqabdab22111(|)(,)2ijijijqabdab111()211SSSSeeee1SSee解得1SDeD，亦即ln1DSD，所以121111DDD由(,)(|)ijSdabijipabe可计算得，1122(|)(|)1pabpabD，2112(|)(|)pabpabD(;)()(|)log2(1,)IXYHXHXYHDD.参考文献[1]王育民，李晖，梁传军.信息论与编码理论[M].北京：高等教育出版社，2005．[2]曲炜.信息论与编码理论[M].北京：科学出版社，2005．[3]陈运.信息论与编码[M].(第2版).北京：电子工业出版社，2007．[4]田宝玉.信息论基础[M].北京：人民邮电出版社，2008．[5]叶中行.信息论基础[M].北京：高等教育出版社，2003．[6]陈立万，阮玲英.信息论中的反向试验信道的优势分析[J].现代电子技术,2006,63-65.