第五章-信道编码

信息论基础李富年武汉科技大学第五章有噪信道编码错误概率及相关因素如何使信号经过传输后，错误概率最小信道编码定理在有噪信道中，无差错传输的最大信息量有多大线性分组码实用编码范例信息论基础李富年武汉科技大学有噪信道编码信源信宿信源编码器信道解码器信道编码器信源解码器编码器解码器消息消息等效信道信道干扰源信号S噪声S＋N调制器解调器信息论基础李富年武汉科技大学有噪信道编码信源编码：有效性信道编码：可靠性10否是11100010111000可以编码成有效性：更好可靠性：更好，提供纠错功能信息论基础李富年武汉科技大学有噪信道编码香农第二定理，在理论上很好的统一了有效性和可靠性，使信息传输率达到信道容量的情况下，还能够无失真的在有噪信道中传输。有效性，可靠性很难兼顾。提高有效性，需要消除冗余；提高可靠性，需要适当增加冗余。信息论基础李富年武汉科技大学错误概率及相关因素与以下三个因素有关：信道特性译码规则编码方法信息论基础李富年武汉科技大学信道统计特性无噪无损信道：错误概率0P=0.5的二元对称信道：错误概率50%1a2a2b1b111a2a2b1b0.50.50.50.5信息论基础李富年武汉科技大学译码规则信道编码器f信道信道译码器FXY12{,,.....}rAaaa12{,,.....}sBbbb12{,,.....}rAaaa噪声)|()|()|()|()|()|()|()|()|(212222111211rsrrssabpabpabpabpabpabpabpabpabpraaa211b2bsb信息论基础李富年武汉科技大学译码规则“译码规则”：设计一个函数，对于每一个输出符号，确定唯一的输入符号与之对应)(jbFjb()1,2jiFbajsia)|()|()|()|()|()|()|()|()|(212222111211rsrrssabpabpabpabpabpabpabpabpabpraaa211b2bsb信息论基础李富年武汉科技大学译码规则2211)()(abFabF1221)()(abFabF错误概率为11a2a2b1b11错误概率为0信息论基础李富年武汉科技大学译码规则二元对称信道1a2a2b1b0.010.010.990.992211)()(abFabF错误概率为0.991221)()(abFabF错误概率下降为0.01信息论基础李富年武汉科技大学译码规则对于一个的传递矩阵，译码规则共有种srsr在这么多种译码规则中，我们选择哪一种?当然希望译码后的错误概率越小越好.选择的标准是什么？)|()|()|()|()|()|()|()|()|(212222111211rsrrssabpabpabpabpabpabpabpabpabpraaa211b2bsb信息论基础李富年武汉科技大学译码规则对于确定，制定译码函数jbijabF)(译码错误的概率是]|)([1)|(1)|(jjjijbbFpbapbep]|)([)|(jjjibbFpbap译码正确的概率是称为条件错误概率jb1()(|[(|))]sjEjjjPpbEpepebb因为输出信号是个随机变量，只是其中一个符号定义平均错误概率信息论基础李富年武汉科技大学译码规则sjjjsjjjjsjjjjsjjsjjjjjsjjEbFbpbbFpbpbbFpbpbpbbFpbpbepbpP111111)]([1]|)([)(1]|)([)()(]}|)([1{)()|()(正确概率信息论基础李富年武汉科技大学译码规则技巧：一般都不直接求等输入概率情况下sjjjEbFbprP1)](|[1EPEPEEPP111()[()|][()]sEjjjjsjjjPpbpFbbpbFb称为正确概率，而是先算然后用信息论基础李富年武汉科技大学译码规则－例1a2a2b1b080.90.10.212()0.40.6XaaPX11322():()FbaFFba12421():()FbaFFba11121():()FbaFFba12222():()FbaFFba计算各种译码规则对应的平均差错概率信息论基础李富年武汉科技大学译码规则－例2()0.4EPF4()0.86EPF11()1()0.6EEPFPF1121()()FbaFba先计算译码正确的概率11,11,21111121()[()]()()()(|)()(|)0.4*0.80.4*0.20.4sEjjjPFpbFbpabpabpapbapapba对于规则一(F1)：3()0.14EPF同理信息论基础李富年武汉科技大学最小错误概率准则平均错误概率定义后，一个很自然的准则就是使平均错误概率最小，即最小错误概率准则)|()()]|([1jsjjjEbepbpbepEP平均错误概率是一个求和式，每一项都是非负的,如果每一项都为最小，则整个求和式最小.)|()(jjbepbp)(jbp]|)([1)|(jjjbbFpbep)|(jbep]|)([jjbbFp求和式的每一项,其中与译码规则无关使最小就是要使最大信息论基础李富年武汉科技大学最小错误概率准则即选择函数：*()jFba并使之满足条件：*(|)(|)jijpabpab即这种译码函数，它对于每一个输出符号均译成最大后验概率的那个输入符号，则信道错误概率就能最小，这种译码规则称为“最大后验概率译码准则”或“最小错误概率译码准则”信息论基础李富年武汉科技大学最小错误概率准则贝叶斯定律)()|()()|(jijijibpabpapbap(*)(|*)()(|)(*)(|(*)*)()(|)()(())jijijijijjijjpapbapapbapapabpabpbapapbapbpb最大后验概率准则的条件式可以写成信息论基础李富年武汉科技大学最大似然准则输入符号等概率分布时，最大后验概率准则变成了)|(*)|(ijjabpabpEP最大似然准则不再依赖于输入符号的先验概率。在先验概率等概率分布时，最大似然准则与最大后验概率准则一致；在输入非等概率分布时，最大似然准则并不一定能使最小称为最大似然准则所以，最大似然准则不是最佳译码规则信息论基础李富年武汉科技大学译码规则的选取最大后验概率准则依赖最大似然准则仅依赖)(XP)|(XYP)|(XYP先验概率等概率分布，使用最大后验概率准则和最大似然准则是一致的如果知道先验概率，应该使用最大后验概率准则如果不知道先验概率，则只能用最大似然准则信息论基础李富年武汉科技大学译码规则－例例：信道的传递概率矩阵求译码规则和平均错误概率1.输入等概率时2.3.用最大似然准则4.03.03.05.03.02.02.03.05.01a2a3a1b2b3b21)(41)(41)(321apapap21)(41)(41)(321apapap信息论基础李富年武汉科技大学译码规则－例1.等概率分布时，用最大似然准则，等效于最大后验概率准则。对于传递矩阵中的每一列，选一个最大的传递概率，对应的输入符号即为该输出符号的译码函数567.01433.0)5.03.05.0(31)]|()|()|([31)()()()()()(233211322311233211EEEPPabpabpabpbapbapbapPabFabFabF信息论基础李富年武汉科技大学译码规则－例2.已知输入概率分布，用最大后验概率准则，求联合概率)|()()(ijijiabpapbap333332313322322212311312111)(51)(81)(203)()(203)(403)(403)()(203)(201)(81)(abFbapbapbapbabFbapbapbapbabFbapbapbapb对于对于对于5.015.051203203)()()(332313EEEPPbapbapbapP信息论基础李富年武汉科技大学译码规则－例3.非等概率分布，但是规定要用最大似然准则6.014.08120381)()()()()()(322311233211EEEPPbapbapbapPabFabFabF可见在输入非等概率分布时，最大似然准则并不一定是最佳译码规则信息论基础李富年武汉科技大学课堂练习离散信道的传递概率矩阵为分别按照最小错误概率准则和最大似然准则确定译码规则，并计算相应的平均错误概率2161313121616131211x2x3x1y2y3y41)(41)(21)(321xpxpxp信息论基础李富年武汉科技大学课堂练习、作业用最大后验概率准则，求联合概率)|()()(ijijixypxpyxp333332313122322212111312111)(81)(121)(121)()(241)(81)(61)()(121)(241)(41)(xyFyxpyxpyxpyxyFyxpyxpyxpyxyFyxpyxpyxpy对于对于对于241112413816141)()()(332111EEEPPyxpyxpyxpP信息论基础李富年武汉科技大学课堂练习、作业用最大似然准则5.015.0818141)()()()()()(332211332211EEEPPyxpyxpyxpPxyFxyFxyF信息论基础李富年武汉科技大学编码方法0.01的错误率在很多情况下难以容忍。一般来说，信息传输系统的平均差错率要求控制在10-6以下，因此必须要进一步地降低错误概率：编码方法1a2a2b1b0.990.990.010.01信息论基础李富年武汉科技大学编码方法－增加扩展次数二元信源进行编码方法1：0；1方法2：000；1110.990.010.010.990.010.99pp输入符号等概率分布，译码规则采用最大似然准则1a2a2b1b0.990.990.010.01信息论基础李富年武汉科技大学编码方法－增加扩展次数方法1：0；1210101.0pPE3222222332222223pppppppppppppppppppppppppppp000111000001010011100101110111111011101110111000100010001000FF42231033)62(21pppppPE方法2：000；111信息论基础李富年武汉科技大学编码方法－增加扩展次数用方法二，增加扩展次数可以降低错误概率0n10511109104710510875续变小，直到趋近于还会继，连续增大EEEEEPPnPnPnPnMlognMRn信道的传输速率（码率）（等概率分布）为输入消息（许用码字）的个数，为编码后码字的长度91971751531311RnRnRnRnRn结论1：M不变时，n越大，PE越小，R也越小。信息论基础李富年武汉科技大学编码方法－减小输入符号数令n=3，M变化，看看此时和R的变化情况EP3332323232323232222223pppppppppppppppppppppppppppppppppp0001110000010100111001011101110010100