信息论与编码第3章信道与信道容量

第3章信道与信道容量吴晓青目录3.1信道分类3.2单符号离散信道及其容量3.2.1数学模型3.2.2信道容量3.2.3离散信道容量的迭代算法3.3离散序列信道及其容量3.4信源与信道的匹配3.5连续信道及其容量3.5.1连续单符号加性信道3.5.2多维无记忆加性连续信道3.5.3加性高斯白噪声波形信道信道：信息传输的通道，是传输信息的载体，其主要任务是传输或者存储信息。通信的本质：就是通过信道传输信息，实现不同地点之间或者不同时间的信息交流。主要研究内容：在理论上能够传输或者存储的最大信息量，即信道容量。3.1信道分类信息论研究信道，一般认为已经知道信道的传输特性，即输入、输出之间的统计依赖关系已知。信道输入输出(|)pyx随机过程随机过程离散无记忆信道模型根据统计特性分类：恒参信道：信道的统计特性不随时间而变化。比如，幅度衰减倍数等参数恒定。如电话线、光纤、高斯白噪声信道、卫星信道一般视为恒参信道。随参信道：信道的统计特性随时间而变化。统计特性随着环境、温度、湿度等参数而变化。如短波信道随电离层变化而变化；微波信道，移动电话在高速列车上可能因多普勒效应发生频移等。根据信道用户量多少分类：单用户信道：也称两端信道，该信道只有一个输入端和一个输出端，而且只能进行单方向的通信。点对点应用。多用户信道：也称多端信道，输入端或者输出端至少有一端具有两个或者两个以上用户，并且可以实现双向通信。目前大多数信道都是多端信道。广播信道、通信网络等。根据输入、输出的取值特性分类：离散信道：也称为数字信道，该类信道中输入空间、输出空间均为离散事件集合，集合中事件数量是有限的，或者有限可数的，随机变量取值都是离散的。连续信道：也称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的、或者不可数的。半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。波形信道：也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的取值都取自连续集合，且在时间上的取值是连续的。根据信道中信号所受噪声的统计特性分类：随机差错信道：信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现，最具有代表性的是高斯白噪声信道。（无记忆信道）突发差错信道：信道中噪声或者干扰对传输码元的影响具有关联性，相互之间并不独立，从而使得码元错误往往成串出现，常有的如衰落信道、码间干扰信道。在实际中这种信道经常出现，如移动通信的信道、光盘存储等都属于该类信道。（有记忆信道）3.2单符号离散信道及其容量3.2.1数学模型单符号无记忆信道：信道的输入符号之间、输出符号之间都不存在关联性，即无记忆的，此时输入、输出可以看作是单符号的，称这类信道为单维信道或者单符号信道。单符号离散无记忆信道进一步，如果信道的输入、输出随机变量都是离散的，则该信道为单符号离散无记忆信道。输入符号集合X、输出符号集合Y内部不存在关联性，集合X和集合Y之间有关联。信道XY随机变量随机变量(|)pyx离散无记忆信道模型条件转移概率用来描述信道特性。输入x=ai，输出y=bj对应的条件转移概率为(|)(|)(|)jijipyxpybxapba信道转移矩阵用矩阵来表示信道输入、输出符号之间的条件转移关系：又称为条件转移矩阵或者信道转移矩阵。条件转移矩阵是一个r×s的矩阵，当输入、输出集合的元素数量相等(r=s)时，是一个方阵。112111222212(|)(|)(|)(|)(|)(|)(|)(|)(|)(|)ssrrsrpbapbapbapbapbapbaPYXpbapbapba信道的条件转移概率p(bj|ai)通常称为前向概率，表示在输入为ai时，通过信道后接收为bj的概率，描述了信道噪声的特性。p(ai|bj)称为后向概率，表示当接收符号为bj时，信道输入为ai的概率，所以也称为后验概率。(,)()(|)ijjijpabpbpab1(,)()(|)(|)()()(|)ijijiijrjijiipabpapbapabpbpapba后验概率求法(,)()(|)ijijipabpapba前向概率、后验概率由公式由公式3.2.2信道容量信道的信息传输率R含义：1、表示在单符号离散信道中，平均每个符号传送的信息量。2、由于信道中存在干扰，信道输出端接收的符号与输入符号之间并不是一一对应的;从信息传输的角度而言，信道输入符号X所携带的平均信息量H(X)并不等于信道输出端接收到的信息量H(Y)；3、信道的干扰或者噪声总是有限的，从统计角度而言，总有部分信息能够准确传输。(;)()(|)RIXYHXHXY)|()(XYHYH信息传输速率t:传输一个符号所需时间的单位：bit/符号÷s/符号=bit/stRRttR定义3.1设某信道的平均互信息量为I(X;Y)，信道输入符号的先验概率为p(x)，该信道的信道容量C定义为()max{(;)}pxCIXY上述的极值问题实际是有约束条件的，先验概率分布()px应当满足下列条件()0ipxa1()1riipa对于给定信道，前向概率p(x)是一定的，所以信道容量就是在信道前向概率一定的情况下，寻找某种先验概率分布，从而使得平均互信息量最大，这种先验分布概率称为最佳分布。几点讨论：1、对于给定信道最佳分布总是存在的。如果信道输入满足最佳分布，信息传输率最大，即达到信息容量C；如果信道输入的先验分布不是最佳分布，那么信息传输率不能够达到信息容量。2、信道传输的信息量R必须小于信道容量C，否则传输过程中会造成信息损失，出现错误；如果RC成立，可以通过信道编码方法保证信息能够几乎无失真地传送到接收端。几种特殊信道的信道容量1．无干扰离散信道理想信道。根据信道输入符号X与信道输出符号Y之间的关系，可以分为下列几种：（1）无噪无损信道的信道容量该信道的输入、输出集合符号数量相等，即r=s，此时输入X与输出Y之间是一一对应的。对于给定ai，由于只有一个为1，其余都为0，所以可得信道容量XY1111)};({max)(YXICxp)({max)(XHxp)}({max)(YHxp符号比特/logr0)|()|(XYHYXH)()();(YHXHYXI（2）无噪有损信道的信道容量信道输出符号Y集合的数量小于信道输入符号X集合的数量，即rs，形成多对一的映射关系，可得：信道容量此时使得最佳分布不唯一，满足上述条件即可。0)|(YXH0)|(XYH()()max{(;)}max{()}pxpxCIXYHYlbsXY1111()1/jpbs1,2,...,js无噪有损信道矩阵特点每行只有一个元素为1，其余元素都为0。1010(|)0101PYX（3）有噪无损信道信道输出符号Y集合的数量大于信道输入符号X集合的数量，即rs，形成一对多的映射关系，可得：信道容量输入符号分布等概时，即I(X;Y)最大，达到信道容量0)|(XYH0)|(YXH()()max{(;)}max{()}pxpxCIXYHXlbrXY0.40.60.30.7()1/ipar1,2,...,ir信道概率转移矩阵中每列只有一个非零元素0.40.600(|)000.70.3PYX有噪无损信道矩阵特点2．对称离散信道的信道容量定义3.2如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。矩阵中第二行的元素与第一行的元素完全相同，所以该信道为输入对称的。0.90.10.10.9P0.60.30.10.30.60.1P由定义：假设转移矩阵首行元素为(p1,p2,…pr)，则有输入对称信道的容量为所以输入对称信道的容量就是找到一种分布，使得信道输出的熵最大。12(;)()(|)()(,,,)sIXYHYHYXHYHppp12(|)(|)(|)rHYaHYaHYa1(|)(|)log(|)sijijijHYapbapba(|)(|)iHYXHYa12()()max(;)max()(,,,)iispapaCIXYHYHppp求该信道的容量C解：设信道输入的概率空间为信道输出的概率分布为例3.1信道的转移矩阵为0.60.30.10.30.60.1P12()1Xaapxpp1()0.60.3(1)0.30.3pbppp2()0.30.6(1)0.60.3pbppp3()0.10.1(1)0.1pbpp112233(){()()()()()()}{(0.30.3)(0.30.3)(0.60.3)(0.60.3)0.10.1}HYpblbpbpblbpbpblbpbplbpplbplb()HY取得极值的条件为()0dHYdp解上述方程，可以得到取得极值的条件为p=0.5，即当信道输入为等概率分布时，取得最大值，所以max{()}1.369HY比特/符号1111(|)(|)(|)log(|)sjjjHYXHYapbapba0.60.60.30.30.10.11.296lblblb比特/符号()max()(|)=0.073ipaCHYHYX比特/符号显然,1()1/1/3pbs，所以，当信道只是输入对称时,()max()(|)log(|)ipaCHYHYXsHYX应当首先假设信道输入分布，然后解决极值问题。信道容量不能够简单认为是定义3.3如果信道转移概率矩阵中所有列矢量都是第一列的某种置换，则称信道关于输出是对称的，这种信道称为输出对称离散信道。100.50.501P0.70.20.10.20.10.70.10.70.2P如果信道是输出对称的，那么当信道输入符号为等概率分布时，信道输出也是等概率分布的。当信道输出对称时1(|)rjiipba为常数输入等概率分布时，输出1111()()(|)(|)rrjijijiiipbpapbapbars由于信道转移矩阵是已知的，可以使用下列公式()()()max(,)max[()(|)]logmin(|)iiipapapaCIXYHYHYXsHYX1(|)()(|)riiiHYXpaHYa只要能够求出使得上式取得最小值的信道输入概率分布，即可求出信道容量。定义3.4如果信道转移矩阵按列可以划分为几个互不相交的子集，每个子矩阵满足下列性质：(1)每行都是第一行的某种置换；(2)每列都是第一列的某种置换；则称该信道为准对称信道。显然，准对称信道是输入对称的。特别地，当这种划分只包含一个矩阵，该信道称为对称信道，此时信道既是输入对称的，也是输出对称的。因为输入对称，有()()()max(,)max[()(|)]max()(|)iiipapapaCIXYHYHYXHYHYX(|)(|)iHYXHYa且满足H(Y|X)与信道输入的分布无关，只与条件概率分布有关，所以12(|)(,,...,)sHYXHppp()max()logipaHYs对称信道容量计算12()max(,)log(,,...,)ispaCIXYsHppp对称信道的信道容量为：对称信道最佳分布，信道输入应当满足等概率分布。1/31/31/61/61/61/61/31/3P求信道容量C。解：观察信道转移矩阵可知，矩阵的第二行是第一行的置换，每一列都是第一列的置换，所以信道是对称的，所以信道容量为12log(,,...,)4(1/3,1/3,1/6,1/6)0.082sCsHppplbH例3.2设某信道转移矩阵为比特/符号定理3.