4信道及互信息

第三章离散信道及其信道容量3.1信道的数学模型及分类3.2平均互信息及其平均条件互信息3.3平均互信息的特性3.4信道容量及其一般计算方法3.5离散无记忆扩展信道及其信道容量3.1信道的数学模型3.1.1信道的分类3.1.2离散信道的数学模型3.1.3单符号离散信道的数学模型3.1信道的数学模型及分类输入输出信号的关系由于噪声和干扰，信道的输入输出信号之间一般不是确定的函数关系，而是统计依赖关系。信道的特性决定因素：输入信号、输出信号，以及它们之间的统计依赖关系共同决定。3.1.1信道的分类载荷消息的媒体不同邮递信道电信道光信道声信道信道的输入和输出的关联无反馈信道反馈信道信道参数与时间的关系固定参数信道时变参数信道传输信号的特点离散信道连续信道半离散或半连续信道波形信道离散信道的数学模型图中随机矢量X、Y分别表示输入、输出信号，每个随机分量Xi、Yi分别取值于符号集A=｛a1,a2,‥,ar｝和B=｛b1,b2,‥,bs｝,条件概率P(y|x)描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。信道XYNiXXXXX,,,,,21)|(xyPNiYYYYY,,,,,21y)|(xyP图3.1离散信道模型离散信道的数学模型根据信道统计特性P(y|x)的不同，离散信道又可分成三种情况。1、无干扰信道。2、有干扰无记忆信道3、有干扰有记忆信道无干扰信道无干扰信道。信道中没有随机性的干扰或者干扰很小，输入信号与输出信号间有确定的一一对应关系。即)(xfy1()(|)0()yfxPyxyfx（3.1）(3.2)有干扰无记忆信道信道特性：信道中有干扰（噪声），即输入信号与输出信号间无确定的对应关系。无记忆：指信道任一时刻的输出符号只统计依赖于对应时刻的输入信号，而与非对应时刻的输入信号及其其他任意时刻的输出符号无关，则称这种信道称为无记忆信道。有干扰无记忆信道满足离散无记忆信道的充要条件是：NiiiNNxyPxxxyyyPxyP12121)|()|()|((3.3)[证明]充分性：若满足上式则离散信道为无记忆信道，根据概率关系，得条件概率)|()|()|()|()|()|()|()|()|()|()|()|()|()|()|(1212122121121213121221121213121221121213121221112122112121NNNNNNNNNNNNNNNNNNNNNyyyxxxyPyyyxxxyPyyxxxyPyxxxyPxxxyPyyxxxyPyxxxyPxxxyPyyxxxyyPyxxxyPxxxyPyxxxyyPxxxyPxxxyyyPxyP(3.4)有干扰无记忆信道分别观察式3.4中的各项条件概率)|()|()|(211212112112121NNNNNNNNxxxyyyPxxxyyyyPyyyxxxyP因为满足式3.3，所以由上式得NNyNNNNNiiiyNNNNNiiixyPxyPxyPxyPxyPxxxxyyyyPxyP)|()|()|()|()|()|()|(11221111211211（3.5）而离散信道有121)|()|(2121yyyNNYNxxxyyyPxyP有干扰无记忆信道121)|()|(|(2211yyyNNNxyPxyPxyPNyNNyyxyPxyPxyP1)|(1)|(1)|(212211)|()|()|()|(11112121NNNiiiNiiiNNNxyPxyPxyPyyyxxxyP由式(3.3)得所以有将3.6代人式3.5,得（3.6）有干扰无记忆信道同理)|()|()|()|()|()|()|()|()|()|()|()|()|()|(1121122121211211111212121121212212112122121111xyPxxxyPxyPyxxxyPxyPxyPxyPxyPxyPxxxyyyPxxxyyyyPxxxyyyPxxxyyyPyyyxxxyPNNNNiiNiiiNiiiyyNiiiyNiNNyyNNNyNNNNNNNNNNNNN有干扰无记忆信道从上面的等式可知，离散信道在i时刻的输出只与i时刻的输入有关，与i时刻以前的输入和输出无关，并与i以后的输入也无关。此信道是离散无记忆信道。)|()|()|()|()|()|(22121122121211211NNNNNNNyyPyyyxxxyPxyPyxxxyPxyPxxxyP必要性：若信道是无记忆信道则必满足3.3式，根据离散无记忆信道的定义，则有干扰无记忆信道所以，由式(3.4))|()|()|()|()|()|()|()|()|()|()|(111221112121221211212131212211iiNiNNNNNNNNNNNNNxyPyyPxyPxyPxyPyyyxxxyPyyyxxxyPyyxxxyPyxxxyPxxxyPxyP由此得证，式（3.3）是无记忆信道的充要条件。有干扰有记忆信道实际信道往往是这种类型，这类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。处理这类信源方法。方法一是：把记忆较强的N个符号当作一个矢量符号来处理。方法二是：把P(y|x)看成马科夫链的形式。单符号离散信道的数学模型单符号信道的输入变量为X，设X∈A:｛a1,a2,‥,ar｝，输出变量为Y,设Y∈B:｛b1,b2,‥,bs｝。并有条件概率P(y|x)=P(yj=bj|xi=ai)=P(bj|ai)(i=1,2,‥,r;j=1,2,‥s)这一组条件概率称为信道的传递概率或转移概率。由于信道中有干扰（噪声）存在，若信道输入为x=ai时，输出是哪一个符号y，事先无法确定。但信道的输出一定是b1,b2,‥,br中的一个，即有,r)1,2,(i1)|aP(bs1jij(3.12)单符号离散信道的数学模型由于信道的干扰使输入符号x，在传输中发生错误，所以可以用传递概率P(bj|ai)(i=1,2,‥,r;j=1,2,‥s)来描述干扰影响的大小。因此，单符号离散信道的数学模型可以用概率空间[X，P(y|x),Y]加以描述。如下图所示raaaX...21)|(ijabPYbbbs...21图3.2单符号离散信道01aX01bY12a12bp1p1pp图3.3二元对称信道单符号离散信道的数学模型2121211)|()|(jjjjabPabPpppp111010[例3.1]二元对称信道，简记BSC.其传递概率如图3.3所示X∈｛0，1｝,Y∈｛0，1｝，传递概率为P(b1|a1)=1-pP(b2|a1)=pP(b1|a2)=pP(b2|a2)=1-p可见这些传递概率满足式（3.12）二元对称信道的传递矩阵为单符号离散信道的数学模型01aX01bY12a13bp1q1pq22bqqpp100110120[例3.2]二元对称信道，简记BEC.这时r=2，s=3。输入信号X∈｛0，1｝,输出信号Y∈｛0，2，1｝，其传递概率如图3.4所示，传递矩阵为:图3.4二元删除信道单符号离散信道的数学模型)|()|()|()|()|()|()|()|()|(2122221112112121rsrrssrrabPabPabPabPabPabPabPabPabPaaabbbriabPsjij,,2,11)|(1由此可知，一般离散单符号信道的传递概率可用矩阵形式表示，即并满足式（3.12），)|()|()|()|()|()|()|()|()|(2122221112112121rsrrssrrabPabPabPabPabPabPabPabPabPaaabbb并满足式（3.12）riabPsjij,,2,11)|(1为了表述方便，可以写成P(bj|ai)=Pij单符号离散信道的数学模型前向概率输入和输出符号的联合概率为P(x=ai,y=bj)=P(aibj),则有P(aibj)=P(ai)P(bj|ai)=P(bj)P(ai|bj)(3.18)其中P(bj|ai)是信道传递概率，即发送为ai,通过信道传递接收到为bj概率。通常称为前向概率,它是由于信道噪声引起的。所以描述了信道噪声的特性。后向概率P(ai|bj)是已知信道输出端接收到符号为bj但发送的送输入符号为ai的概率，称它为后向概率。P(ai)——输入信号的先验概率P(ai|bj)——输入符号的后验概率单符号离散信道的数学模型),,2,1(1)|()()(1sjabPaPbPriijijsraPaPaPPbPbPbPsTr)()()()()()(2121根据联合概率可得输出符号的概率也可写成矩阵形式单符号离散信道的数学模型),,2,1.,,2,1()|()()|()(0)()()()|(1sjriabPaPabPaPbpbPbaPbaPriijiijijjjiji),,2,1(1)|P(a1isjbrij根据贝叶斯公式可得后验概率且得上式说明，信道输出端接收到任一符号bj一定是输入符号a1,a2,…,ar中的某一个输入信道。平均互信息及平均条件互信息先验熵———在接收到输出Y以前，关于输入变量X的先验不确定性的度量。riiiaPaPXH1)(1log)()((3.23)后验熵———在接收到输出bj以前，关于输入变量X的先验不确定性的度量。XjjrijjijbxPbxPbxPbaPbXH)|(1log)|()|(1log)|()|(1(3.24)平均互信息及平均条件互信息YXsjrijijisjrijijijsjrijijijsjjjjyxPxyPbaPbaPbaPbaPbPbaPbaPbPbXHbPbXHEYXH,1111111)|(1log)()|(1log)()|(1log)|()()|(1log)|()()|()()]|([)|(这个条件熵称为信道疑义度。它表示在输出端收到输出变量Y符号后，对输入端的变量X尚存在的平均不确定性(存在疑义)，条件熵一般小于无条件熵。H(X|Y)≤H(X)(3.25)后验熵在输出y的取值是个随机量，将后验熵对随机变量Y求期望，得条件熵为平均互信息平均互信息的数学定义通过信道传输消除了一些不确定性，而获得了一定的信息。所以定义I(X;Y)=H(X)-H(X|Y)I(X;Y)称为X，Y间的平均互信息。物理意义它代表接收到输出符号后平均每个符号获得的关于X的信息量。它能反映输入与输出两个随机变量之间的统计约束程度。平均互信息根据(3.23)和(3.25)得XYXYXYXYXYXYXyPxyPxyPyPxPxyPxyPxPyxPxyPxyPxyPxPxyPxyPxyPxPxPYXHXHYXI)()|(log)()()()(log)()()|(log)()(1log)()(1log)()(1log)()(1log)()|()();(其中X、Y分别是是输入随机变量、输出随机变量。（3.27）（3.28）（3.29）互信息)()|(log)()()(log)()|(log)|()();(yPxyPyPxPxyPxPyxPyxIxIyxIXYXYXY