第3章信道容量.

信息论与编码西安工业大学电子信息工程学院赵黎第三章信道容量信道的功能：以信号形式传输和存储信息。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。信道定义：传输信息的媒介或通道。信道也可以看作一种变换，把输入变换成输出。信道的随机性：由于干扰和噪声的存在，变换是随机（概率）的。信道的描述：用条件转移概率表示。本章内容信道的数学模型及分类单符号离散信道的信道容量3.1信道的数学模型及分类一般信道的数学模型信道的分类实际的信道(1)一般信道的数学模型信息论对信道的研究：对具体物理信道抽象，建立与各种通信系统相适应的信道模型，研究信息在这些模型信道上传输的普遍规律，指导通信系统的设计。信道模型：不研究信号在信道中传输的物理过程，把信道模型看作黑匣子。信道输入量X（随机过程）输出量Y（随机过程）图3.1.0信道的最一般模型数学模型的数学符号表示：{XP(Y/X)Y}P(Y/X)XY图3.1.1一般信道的数学模型(2)信道的分类①根据输入输出随机信号的特点分类②根据输入输出随机变量个数的多少分类③根据输入输出个数分类④根据信道上有无干扰分类⑤根据信道有无记忆特性分类①根据输入输出随机信号的特点分类离散信道：输入和输出的随机序列的取值都是离散的信道。连续信道：输入和输出的随机序列的取值都是连续的信道。半离散／半连续信道：输入变量取离散值而输出变量取连续值，或反之.②根据输入输出随机变量个数的多少分类单符号信道：输入和输出端都只用一个随机变量来表示。离散无记忆扩展信道（多符号信道）：输入和输出端用随机变量序列（随机矢量）来表示。③根据输入输出个数分类单用户信道：只有一个输入和一个输出的信道。多用户信道：有多个输入和多个输出的信道。(多元接入信道和广播信道)④根据信道上有无干扰分类有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。⑤根据信道有无记忆特性分类无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。(3)实际的信道实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。一个实际信道可同时具有多种属性。最简单的信道是单符号离散信道。3.2单符号离散信道的信道容量信道容量定义几种特殊离散信道的信道容量离散信道容量的一般计算方法(1)信道容量的定义①单符号离散信道的数学模型②信道的信息传输率③信道容量①单符号离散信道的数学模型a信道模型b信道统计特性a信道模型设输入：X∈{x1,x2,…,xi,…,xn}输出：Y∈{y1,y2,…,yj,…,ym}其信道模型：p(yj/xi)XY图3.2.1a单符号离散信道的数学模型A{x1,x2,…,xn}{y1,y2,…,yn}i=1,2,…,nj=1,2,…,ma信道模型用线图描述：x1=0pp1－p1－p3.2.1b二元对称信道概率转移图XYx2=1y2=1y1=0b信道统计特性信道统计特性：由信道转移概率描述。信道转移概率（信道传递概率）：条件概率p(yj/xi)。信道特性表示：用信道转移概率矩阵，简称信道矩阵。反信道矩阵：由条件概率p(xi/yj)表示。)/()/()/()/()/()/()/()/()/(2122221112112121nmnnmmnmxypxypxypxypxypxypxypxypxypxxxyyy信道矩阵)/()/()/()/()/()/()/()/()/(2122221112112121mnmmnnmnyxpyxpyxpyxpyxpyxpyxpyxpyxpyyyxxx反信道矩阵②信道的信息传输率②信道的信息传输率研究信道的目的：讨论信道中平均每个符号传送的信息量（信道的信息传输率）。信道的信息传输率：就是平均互信息：R=I(X;Y)＝H(X)－H(X/Y)（比特/符号）平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量②信道的信息传输率如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)。I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj/xi)的二元函数：nimjniijiijijinimjjijjiijijiniijijxypxpxypxypxpypxypyxpYXIxypxpyxpxypxpyp11121121)/()()/(log)/()()()/(log)();()/()()()/()()(③信道容量当信道特性p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。nimjniijiijijixypxpxypxypxpYXI1112)/()()/(log)/()();(③信道容量信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：Ct实际是信道的最大信息传输速率。（比特／秒）);(max1)(YXItCixpt（比特／信道符号）);(maxmax)()(YXIRCiixpxp结论C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。(2)几种特殊离散信道的信道容量①离散无噪声信道的信道容量②强对称离散信道的信道容量③对称离散信道的信道容量④准对称离散信道的信道容量①离散无噪信道的信道容量a具有一一对应关系的无噪信道b具有扩展性能的无噪信道c具有归并性能的无噪信道a具有一一对应关系的无噪信道（无噪无损信道）信道线图(a)图3.2.2一一对应的无噪信道Ax1y1┆┆xiyixnynx1y1xnynyn-1xn-1x2y2(b)a具有一一对应关系的无噪信道（无噪无损信道）信道矩阵00010010010010001000010000100001a具有一一对应关系的无噪信道（无噪无损信道）因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系：已知X后Y没有不确定性，收到Y后，X也不存在不确定性，I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量（信源X的最大熵）噪声熵：H(Y/X)=0损失熵/信道疑义度：H(X/Y)=0符号）（比特/log)(max);(max2)()(nXHYXICiixpxpb具有扩展性能的无噪信道（有噪无损信道）nm，输入X的符号集个数小于输出Y的符号集个数。噪声熵：H(Y/X)0损失熵/信道疑义度：H(X/Y)=0图3.2.3a具有扩展性能的无噪信道举例Ax1y1x3y3x2y2y4y5y6y7y8b具有扩展性能的无噪信道（有噪无损信道）其信道矩阵为：)/()/(00000000)/()/()/(00000000)/()/()/(3837262524131211xypxypxypxypxypxypxypxyp虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知Y后，X不再有任何不确定度，信道容量为：此时输入端符号熵小于输出端符号熵，H(X)H(Y)。符号）（比特/log)(max);(max2)()(nXHYXICiixpxp噪声熵：H(Y/X)0损失熵/信道疑义度：H(X/Y)=0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(X)b具有扩展性能的无噪信道（有噪无损信道）熵之间的关系：H(X)=I(X;Y)I(X;Y)图3.2.3b有噪无损信道H(Y)H(Y/X)c具有归并性能的无噪信道（无噪有损信道）nm，输入X的符号集个数大于输出Y的符号集个数：噪声熵：H(Y/X)=0损失熵/信道疑义度：H(X/Y)0图3.2.4a具有归并性能的无噪信道举例Ax1y1x3y3x2y2x4x5100010010001001信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：已知某一个xi后，对应的yj完全确定，收到某一个yj后，对应的xi不完全确定，信道疑义度H(X/Y)≠0。信道容量为：这种信道的输入端符号熵大于输出端符号熵，H(X)H(Y)。符号）（比特/log)(max);(max2)()(mYHYXICiixpxp噪声熵：H(Y/X)=0损失熵/信道疑义度：H(X/Y)0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(Y)注意：在求信道容量时，调整的始终是输入端的概率分布p(xi)，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi)，而不能用输出端的概率分布p(yj)来代替。熵之间的关系：H(Y)=I(X;Y)I(X;Y)图3.2.4b无噪有损信道H(X)H(X/Y)[举例]：图3.2.4a的信道容量是log23=1.585(比特/信道符号)，求要达到这一信道容量对应的信源概率分布。由信道矩阵得p(y1)=p(x1)×1+p(x2)×1p(y2)=p(x3)×1+p(x4)×1p(y3)=p(x5)×1只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)达到最大值，即达到信道容量C。[举例]：此时使p(y1)=p(y2)=p(y3)=(1/3)的信源概率分布{p(xi)},i=1,2,3,4,5存在，但不是惟一的。这种信道的输入符号熵大于输出符号熵，即H(X)H(Y)。100010010001001图3.2.4a具有归并性能的无噪信道举例Ax1y1x3y3x2y2x4x5结论无损信道的信道容量C只决定于信道的输入符号数n，与信源无关。无噪信道的信道容量C只决定于信道的输出符号数m，与信源无关。②强对称离散信道的信道容量a什么是强对称离散信道b强对称信道矩阵特点c强对称离散信道的信道容量d输入是什么概率分布时达到信道容量e二进制均匀信道a什么是强对称离散信道单符号离散信道的X和Y取值均由n个不同符号组成，即X∈{x1,x2,…,xi,…,xn}，Y∈{y1,y2,…,yj,…,yn}每信道矩阵为：pppPnpnpnpnpnpnpnn11111111)(1npnpp为：个符号的错误传递概率其它为：个符号的正确传递概率，a什么是强对称离散信道这种信道称为强对称（均匀）信道。这类信道中：总的错误概率是p，对称平均地分配给(n－1)个输出符号.信道矩阵中每行之和等于1，每列之和也等于1。一般信道矩阵中，每列之和不一定等于1。b强对称信道矩阵特点强对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列