信息论与编码第3章

第三章信道与信道容量36第三章信道与信道容量（第七讲）（2课时）主要内容：（1）信道分类与表示参数（2）离散单个符号信道及其容量重点：无干扰离散信道、对称DMC信道、准对称DMC信道、一般DMC信道。难点：无干扰离散信道、对称DMC信道、准对称DMC信道、一般DMC信道。作业：3、1，3、2。说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。3．1信道的分类和表示参数信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。3．1．1信道的分类（1）根据输入输出随机信号的特点分类离散信道：输入、输出随机变量都取离散值。连续信道：输入、输出随机变量都取连续值。半离散/半连续信道：输入变量取离散值而输出变量取连续值，或反之。据输入输出随机变量个数的多少分类输出yY输入xX转移概率矩阵p(y/x)图3－1信道模型第三章信道与信道容量37单符号信道：输入和输出端都只用一个随机变量来表示。多符号信道：输入和输出端用随机变量序列/随机矢量来表示。根据输入输出个数分类单用户信道：只有一个输入和输出的信道。多用户信道：有多个输入和输出的信道。根据信道上有无干扰分类有干扰信道无干扰信道根据信道有无记忆特性分类有记忆信道，无记忆信道。根据输入和输出之间有无反馈有反馈信道无反馈信道。实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。一个实际信道可同时具有多种属性。最简单的信道是单符号离散信道。3．1．2信道参数分四部分来讲述。1．二进制离散信道模型二进制离散信道模型由一个允许输入值的集合X＝{0,1}和可能输出值的集合Y={0,1}，以及一组表示输入、输出关系的条件概率（转移概率）组成。最简单的二进制离散信道是二进制对称信道（binarysymmetricchannel,BSC）。如图3－2所示。它是一种无记忆信道。转移概率为：(0/1)(1/0)(1/1)(0/0)1pYXpYXppYXpYXp图3－2二进制对称信道2．离散无记忆信道假设信道编码器的输入是n元符号，即输入符号集由n个元素X={x1，x2，…，xn}构成，而检测器的输出是m元符号即信道输出符号集由m个元素Y＝{y1,y2，…，ym}构成，且信道和调制过程是无记忆的，那么信道模型黑箱的输入一输出特性可以用一组共nm个条件概率来描述(/)(/)jijipYyXxpyx。式中，i=1，2，…，n；j=1，2，…，m，；这样的信道称为离散无记忆信道（DMC）。1-p1-ppp1010第三章信道与信道容量381122111(,,,/,,)(/)nnnnnkkkkkpYyYyYyXxXxpYyXx(/)jipyx构成的矩阵为P矩阵（信道矩阵），如下：如果信道转移概率矩阵的每一行中只包含一个“1”，其余元素均为“0”，说明信道无干扰，叫无扰离散信道。在信道输入为xi的条件下，由于干扰的存在，信道输出不是一个固定值而是概率各异的一组值，这种信道就叫有扰离散信道。3．离散输入连续输出信道假设信道输入符号选自一个有限的、离散的输入字符集X={x1，x2，…，xn}，而信道输出未经量化（m－）∞），这时的译码器输出可以是实轴上的任意值，即y={－∞，∞}。这样的信道模型为离散时间无记忆信道。这类信道中最重要的一种是加性高斯白噪声（AWGN）信道，对它而言Y=X＋G，式中G是一个零均值、方差为2的高斯随机变量，X=xi，i=1，2，…，n。当X给定后，Y是一个均值为xi、方差2为的高斯随机变量。22()/21(/)2iyxipyxe波形信道是这样一种信道模型：其输入是模拟波形，其输出也是模拟波形。假设输入该信道的是带限信号x（t），相应的输出是y（t），那么y（t）=x（t）＋n（t）这里n（t）代表加性噪声过程的一个样本函数。说明：a.设计和分析离散信道编、解码器的性能，从工程角度出发，最常用的是DMC信道模型或其简化形式BSC信道模型；b.若分析性能的理论极限，则多选用离散输入、连续输出信道模型；c.如果我们是想要设计和分析数字调制器和解调器的性能，则可采用波形信道模型。本书的主题是编、解码，因此主要使用DMC信道模型。3.2离散单个符号信道及其容量信道模型：见3－1图，图中，输入X∈{x1,x2,…,xi,…,xn}，输出Y∈{y1,y2,…,yj,…,ym}。如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率：就是平均互信息R=I(X;Y)。输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)。I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj/xi)的二元函数，当信道特性p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的第三章信道与信道容量39信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号()()maxmax(;)(/)iipxpxCRIXY比特信道符号单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：1()max(;)(/)ittpxCIXY比特秒3.2.1无干扰离散信道介绍三种信道：1．具有一一对应关系的无噪信道对应的信道矩阵是:10000001010000100010010000011000因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系：已知X后Y没有不确定性，噪声熵H(Y/X)=0；反之，收到Y后，X也不存在不确定性，信道疑义度H(X/Y)=0;故有I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量:2．具有扩展性能的无噪信道1121314252627383(/)(/)(/)00000000(/)(/)(/)00000000(/)(/)pyxpyxpyxpyxpyxpyxpyxpyx虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知Y后，X不再有任何不确定度，信道疑义度H(X/Y)=0，I(X;Y)=H(X)-H(X/Y)=H(X)。例如，输出端收到y2后可以确定输入端发送的是x1，收到y7后可以确定输入端发送的是x3，等等。第三章信道与信道容量40信道容量为：2()()max(;)max()logiipxpxCIXYHXn与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，H(X)H(Y)。3．具有归并性能的无噪信道100100010010001P信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：已知某一个xi后，对应的yj完全确定，信道噪声熵H(Y/X)=0。但是收到某一个yj后，对应的xi不完全确定，信道疑义度H(X/Y)≠0。信道容量为：2()()max(;)max()logiipxpxCIXYHYm结论：无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关。3.2.2对称DMC信道如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称的；如果转移概率矩阵的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称的；如果输入、输出都对称，则称该DMC为对称的DMC信道。对应对称的DMC信道，当输入呈等概分布时，信道到达信道容量，为：1log(/)loglogmiijijjCmHYxmpp其中第二项为矩阵任一行元素的信息熵。第三章信道与信道容量41例题3－1：已知P矩阵，求C。解：1/31/31/61/61/61/61/31/311114(,,,)0.082/3366PClbHbit则符号二进制信道的C值：log2(,1)1()pPpCHppHp1-p1-p则3．2．3准对称DMC信道如果注意概率矩阵P是输入对称而输出不对称，则称为准对称DMC信道。例如：1111248811114288111188241211118842PPP行具有对称性，列不具有对称性，但把矩阵的前两列和后两列分成互不相交的子集，构成两个子矩阵两个子矩阵都是对称矩阵。它的信道容量求解较为复杂。3．2．4一般DMC信道为使I（X;Y）最大化以便求取DMC容量，输入概率集{p（xi）}必须满足的充分和必要条件是:I（xi;Y）＝C,对于所有满足p（xi）＞0条件的iI（xi;Y）≤C,对于所有满足p（xi）=0条件的i即是每个概率非零的输入符号对Y提供相同的平均互信息。第三章信道与信道容量42第三章信道与信道容量（第八讲）（2课时）主要内容：（1）离散序列信道及其容量（2）连续信道及其容量重点：离散序列信道及其容量。难点：连续单符号加性信道、多维无记忆加性连续信道、限时限频限功率的加性高斯白噪声信道。特别提示：运用3．3离散序列信道及其容量定义：多符号离散信源X=X1X2…XL在L个不同时刻分别通过单符号离散信道{XP(Y/X)Y}，则在输出端出现相应的随机序列Y=Y1Y2…YL，这样形成一个新的信道称为离散序列信道。由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次，所以也称为单符号离散信道{XP(Y/X)Y}的L次扩展。离散序列信道模型如下图所示，设信源矢量X的每一个随机变量Xl(l=1,2,…,L)均取自并取遍于信道的输入符号集{a1,a2,…,an}，则信源共有nL个不同的元素ai(i=1,2,…,nL)。则输出矢量Y由L个符号组成的输出序列Y=Y1Y2…YL，它的每一个随机变量Yl均取自并取遍于信道的输出符号集{b1,b2,…,bm}。1121,2212(,,...,){,(,,...)(...,,...,),}LlLlmnYYYYbbXXXXbaaaYX对于无记忆离散序列信道，其信道转移概率为：平均互信息I(X;Y)=H(Y)－H(Y/X)例题3－7，p55，BSC二次扩展信道由题图可知其转移概率：2(00/00)0/0(0/0)(1)(01/00)0/0(1/0)(1)ppppppppp对应的转移概率矩阵：P（Y/X）XY第三章信道与信道容量4322222222(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)ppppppppppppPpppppppppppp是一个对称DMC信道，当输入序列等概分布时