第四章信道及其容量

1信道及其容量研究内容：根据数学模型研究信道的传信能力；信道容量的计算。一、信道定义及其分类1．信道定义狭义信道和广义信道2．信道分类离散信道，数字信道；连续信道，模拟信道；输入输出为连续变量；半连续信道；如输入离散输出连续信道；有记忆信道；无记忆信道；两端信道（两用户）；多端（多用户）信道；恒参信道和随参信道；对称信道和非对称信道。二、离散无记忆信道及其容量1．离散信道输入：X=｛0，1，…，K-1｝，概率分布：｛Qk｝,输入字母序列：12(,,,)Nxxxx，nxX，1nN输出：Y=｛0，1，…，J-1｝，输出字母序列：12(,,,)Nyyyy，21nN，nyY转移概率：P(y/x)=P(y1,y2,…,yN/x1,x2,…,xN)2.离散无记忆信道DMC若离散信道对任意长为N的输入和输出序列有：P(y/x)=1(/)NnnnPyx则称它为离散无记忆信道。记为DMC，｛X,P(yn/xn),Y｝。特点：任何时刻信道输出只与该时刻信道输入有关，而与以前的输入无关。3．平稳离散无记忆信道（恒参）特点：P(yn=j/xn=k)=P(ym=j/xm=k)4.DMC容量信道容量定义：C=maxkQI(X;Y),Qk为最佳分布。三、几个定理1．设QN(x)时DMC的N长输入字母序列的联合分布，XN和YN分别表示长为N的输入和输出序列的集合，Xn和Yn分别表示第n个输入和输出字母的空间，则I(XN;YN)≤1(;)NnIXnYn2.输入概率矢量Q={Q0,Q1,…,QK}达到转移概率为{P(j/k)}的DMC的容量C的充要条件是I(x=k；Y)=C对所有k,其Qk0I(x=k；Y)≤C对所有k,其Qk=03其中I(x=k；Y)是信道输入x=k时，关于信道输出一个字母的平均互信息，即I(x=k；Y)=(/)(/)log(/)ijipjkpjkQpji四、几个定义1．若信道转移概率矩阵P中所有行失都是第一行的一种置换就称信道关于输入为对称的。H(Y/X)=H(Y/x)=-10(/)log(/)Jjpjkpjk2.若信道转移矩阵P中所有列都是第一列的一种置换，就称信道关于输出为对称的。此时：输入事件等概时，即Qk=1/k,则有：ωj=1/J,10(/)Kkpjk=K/J.3.准对称信道设信道输出集Y可划分为若干子集，且各子集所对应的信道转移概率矩阵P中的列所组成的子阵有下述性质：（1）各行都是第一行的置换。（2）各列都是第一列的置换。4．对称信道信道关于输入和输出都是对称时，则是对称信道。J=K五、特殊信道容量的计算1．实现准对称信道DMC信道容量的输入分不为等概分布。4C=logJ+10(/)log(/)Jjpjkpjk六、信道组合1．分析信道组合的意义：工程实际中常有两个以上的信道组合运用的情况，如多个信道并行传送信号，中继传输等；复杂信道可分解为若干简单信道进行分析，以便简化信道容量的计算。2．组合信道的定义设：两个相互独立的信道为信道1、信道2。信道1：输入和输出空间为X1和Y1，X1={a1,a2,…,aK},Y1={b1,b2,…,bJ}输入概率分布：Qk转移概率分布：p(j/k)输出概率分布：ωj信道容量：C1=maxQI(X1;Y1)=maxQ1100(/)(/)log(/)KJkjkiipjkpjkpjkQQ信道2：输入和输出空间为X2和Y2，X2={12,,,Kaaa},Y2={12,,,Jbbb}输入概率分布：kQ转移概率分布：p(/jk)输出概率分布：j5信道容量：C2=maxQI(X2;Y2)=maxQ1100(/)(/)log(/)KJkjkiipjkpjkpjkQQ则有：（1）积信道或独立并行信道PP信道1和信道2同时传送信息；对于组合信道来说：输入为有序对（k,k），记为X=X1X2，输出为有序对（j,j），记为Y=Y1Y2，转移概率为：p(jj/kk)=p(j/k)p(j/k)积信道的容量计算：C=C1+C2证明：根据互信息量定义和两信道独立进行，自学。推广：C=C1+C2+…+CN（2）和信道或并信道P1+P2单位时间内义概率p1选用信道1,以概率p2选用信道2，且p1+p2=1，则该组合信道称为和信道或并信道和信道的互信息量计算：I(X;Y)=1,1(/)(/)logkkjjpjkpjkpQp+2,2(/)(/)logkkjjpjkpjkpQp=p1,(/)(/)logkkjjpjkpjkQ+p2,(/)(/)logkkjjpjkpjkQ-p1logp1-p2logp2=I(X1;Y1)p1+I(X2;Y2)p1+H(P)和信道的容量计算：2C=12C+22CC=log2[12C+22C]6证明：C=,,maxPQQI(X;Y)=maxP{maxQI(X1;Y1)p1+maxQI(X2;Y2)p2+H(P)}=maxP{p1C1+p2C2+H(P)}令1(;)dIXYdp=0，由于有p2=1-p1有：1(;)dIXYdp=C1-C2-logp1+logp2=0C1-logp1=C2-logp2=λp1=12C,p2=22C根据：p1+p2=1λ=log[12C+22C]由此求出p1和p2，带入上式可得：C=λ,得证。推广：C=log12NnnC（3）串行信道或级连信道信道1的输出作为信道2的输入，组合信道的输入为X1,输出为Y2。特点：信道1的输出集等于信道2的输入集；转移概率：p(/jk)=(/)(/)jpjkpjkj六、一般DMC容量的计算1．已知条件：信道转移概率矩阵为非奇异方阵（K=J），p(k/j)求解：满足I(X;Y)为最大值的输入分布Qk，最大值C;求解方法：（1）设输入字母的概率为Qk＞0，各字母的接收概率为ωj，有：7ωj=10(/)kkkpjkQ，j=0,1,…,K-1（2）根据定理4.2.2：输入概率矢量Q={Q0,Q1,…,QK}达到转移概率为{p(j/k)}的DMC的容量C的充要条件是：I(x=k;Y)=C对所有k，其Qk＞0I(x=k;Y)≤C对所有k，其Qk=0则有：I(x=k;Y)=1100(/)log(/)(/)logJJjjjpjkpjkpjk=C，其中：k=0,1,…,K-1，得：1100(/)log(/)(/)(log)JJjjjpjkpjkpjkC，k=0,1,…,K-1上式的未知量有：C,ωj，j=0,1,…,K-1；可看作：βj=C+logωj，j=0,1,…,K-1共K个未知量；（3）根据转移概率矩阵为非奇异，上述方程组有唯一解βj。而：ωj=2Cj=2C2j，且jj=1，得：1=j2C2j=2Cj2j解出：C=logj2j（4）求出C后，须根据C求出所有的ωj和Qk，验证Qk是否概率矢量。即是否正确解。2．若Qk不是概率矢量，则C为非正确解，此时应令某个Qk为0，根据上述思路建立方程组（J＞k，转移概率矩阵为奇异矩阵），该方程组可能有多个解，找出其中的正确解。83．当按第五步无解时，责令某些Qk为0，重新求解。七、DMC容量的迭代算法（自学）八、离散有记忆信道的容量（不作要求）九、时间离散的无记忆连续信道1．定义：输入集X=(x1,x2,…,xN),输出集Y=(y1,y2,…,yN),且输入集和输出集中各取值连续，当p(X/Y)=1(/)Nnnnpyx时，称该信道为时间离散的无记忆连续信道。其中p(X/Y)为信道转移概率矩阵。当(/)nnpyx=(/)mmpyx时，为平稳或恒参信道。2.根据离散信道知识，有：I(XN;YN)1(/)NnIXnYnNC由此不等式，将时间离散的无记忆连续信道转化为单位时间段上输入、输出、干扰的研究。3．