第8章网络信息理论简介

8网络信息理论简介•8.2网络信道的分类•8.3网络信道的信道容量域–离散多址接入信道–高斯多址接入信道•8.4网络中相关信源的信源编码–相关信源编码–具有边信息的信源编码8网络信息理论简介•单用户通信系统：只有一个输入信源和一个输出信源，单向通信。•多用户通信系统：信道的输入端和输出端涉及到两个或两个以上的信源和信宿，双向通信。•网络信息论：还有许多未解决的问题，至今没有一套完整的网络信息理论。即使将来能够发现，也可能因为太复杂而不能实现。研究的目的在于可告诉通信设计者距离网络最优化多近，也可启发设计者获得提高通信性能的途径。网络信息论研究的主要内容：•网络信道的信道容量。这种信道的容量不能简单地用一实数表示，可传输的信息率也不能用正实轴上一个区间来代表，而需用多维空间中的一个区域来表示。•网络信道编码定理。即证明在上述网络信道容量范围内，一定有一种编码方式，能够可靠地传输信息。•相关信源的信源编码问题。研究相互关联的多个信源进行无失真和有失真编码时的可达速率区域。8网络信息理论简介（1）多址接入信道(MAC)：多个信道输入信号，可供多个信源同时接入，但只有一个信道输出信号。•如卫星上行、移动上行、光纤上行；CDMA、TDMA8.2网络信道的分类信源1信源2信源M编码器1编码器2编码器M信道译码器U1U2UMX2XMYU’1U’2U’MX1(2)广播信道：单一输入端口和多个输出端口•与一般的广播概念不同的是，各信宿要接收的信息并不一定相同。•如卫星下行、CATV、移动下行8.2网络信道的分类信源1信源2信源M译码器1译码器2译码器M信道编码器YMXU’1U’2U’MY1（3）中继信道：可以看成广播信道和多址接入信道的组合，是一对用户之间经过多种途径中转所进行的单向通信。一个输入信号和一个输出信号。•如中继微波接力系统、一对地面站可经一个或多个卫星中转或者经地面通信转接而实现单向通信。8.2网络信道的分类信源中继点信道译码器XY1X1Y信道信道（4）双向信道：在同一端既有发送，又有接收•许多实用信道本质上都是双向信道。8.2网络信道的分类信源1接收端2编码器1译码器2译码器1编码器2接收端1信源2双向信道X1X2Y1Y2•（5）多端网络：由多个信源和多个信宿经过多个信道组成，一般要用图论方法研究。8.2网络信道的分类信源1编码器1译码器1信宿1通信网X1Y1信源2信源m编码器2编码器m译码器2译码器n信宿2信宿nU2UmX2XmY2Ym•为了信息的可靠传输，各发送者不但要克服信道噪声，而且还要克服各发送端彼此之间的串扰。8.3网络信道的信道容量域信源U1信源U2编码器f1编码器f2信道p(y/x1,x2)X2YU’1U’2X1译码器g8.3.1离散多址接入信道•使Pe→0的速率对(R1,R2)称为可达速率对，所有可达速率对的集合称为多址信道的信道容量域。•定理：二址接入信道[X1×X2,P(y|x1x2),Y]的容量区域，由满足下述凸壳的闭包给定•其中,C(P1,P2)是在乘积空间X1×X2上，对所有可能的输入概率分布求得的可达速率对(R1,R2)的集合。12121122211212(,){(,):0(;/)0(;/)0(,;)CPPRRRIXYXRIXYXRRIXXY121122(,)()()PxxPxPx8.3.1离散多址接入信道R2I(X1,X2;Y)I(X2;Y/X1)ACI(X2;Y)D0BR1I(X1;Y)I(X1;Y/X2)I(X1,X2;Y)8.3.1离散多址接入信道12121122211212(,){(,):0(;/)0(;/)0(,;)CPPRRRIXYXRIXYXRRIXXY•B点：发送者2不传送任何信息时，发送者1可传送的最大信息率。•此时发送者1可传送的信息率大于单用户的情况8.3.1离散多址接入信道12(;/)IXYX1(;)IXY•D点：发送者1以最大的信息传输率发送时，发送者2能够发送的最大信息传输率。•该值是在信道中将X2传送到Y，而把X1看作为噪声而求得的。此时，相当于X2以信息率I(X2;Y)在单用户信道中传输的结果。•因为I(X2;Y)=I(X1,X2;Y)-I(X1;Y/X2)，所以，当接收端知道X2的码字也在发送时，就要在信道传输的结果中将X2的码字“减”出来。•区域中的点A，C和B，D点有相似的含义。•当给定某个输入分布，可得某区域C(P1,P2)；不同的输入分布可得不同的区域。因此二址接入信道的容量区是所有可能C(P1,P2)的凸闭包，是一个多角形的凸包。121122(,)()()PxxPxPx112211221122112()()221()()1212()()max(;/)max(;/)max(,;)PxPxPxPxPxPxCIXYXCIXYXCIXXY8.3.1离散多址接入信道R2C12C20C1C12R1•上述结论很容易推广到T个独立发送端的一般情况。已知条件概率P(y/x1x2…xT)，此时各发送端可达速率范围为1111(),,()max(;/)(1,2,,)TtttttTPxPxRCIXYXXXXtT8.3.1离散多址接入信道•例8.1二址独立的二元对称信道的容量区域，发送者X1和发送者X2，接收端Y。1－p100X1p1p1111－p11－p2Y00X2p2p2111－p28.3.1离散多址接入信道•计算得C1=1－H(p1),此时p1(0)=p1(1)=1/2,p2(0)+p2(1)=1；•C2=1－H(p2)，此时p2(0)=p2(1)=1/2,p1(0)+p1(1)=1。•因为这两信道是互相独立的，没有彼此干扰，所以C12=2-H(p1)-H(p2)，此时p1(0)=p1(1)=1/2,p2(0)=p2(1)=1/2。R2C2=1-H(r2)容量区域0C1=1-H(r1)R1独立二进制对称信道的容量例8.1解：•例8.2二址接入二元和信道Y=X1+X2R2C12C20C1C12R1112211221122112()()221()()1212()()max(;/)max(;/)max(,;)PxPxPxPxPxPxCIXYXCIXYXCIXXY•各信源来的信号在接收端相加，并受加性高斯噪声(均值为零，方差为)的干扰。•信道输出•二址(m=2)时，X1、X2与Z相互独立8.3.2高斯多址接入信道1miiYXZ2n1222[]SSnEYPP•信号平均功率受限：•可达速率区是满足下式的凸闭包：1122211212(;/)(;/)(,;)RIXYXRIXYXRRIXXY122212[],[]SSEXPEXP8.3.2高斯多址接入信道8.3.2高斯多址接入信道1221212212121212121(;/)(/)(/,)(/)(/,)(/)(/,)()()1()log22CCCCCCCCCnIXYXHYXHYXXHXXZXHXXZXXHXZXHZXXHXZHZHXZe•在平均功率受限的情况下，正态分布时熵最大•即只有当输入，并且互相独立时上式才能达到极大值。112212211(;/)log2()log2221log(1)2SnnSnIXYXePeP8.3.2高斯多址接入信道1212(0,),(0,)SSXNPXNP任意分布，1122121212111222221212121221max(;/)log(1)21max(;/)log(1)21max(,;)log(1)2XXXXXXSPPnSPPnSSPPnPRCIXYXPRCIXYXPPRRCIXXY8.3.2高斯多址接入信道R2C12C2ACC12-C1D0BR1C12-C2C1C12高斯二址接入信道的可达容量域8.3.2高斯多址接入信道12121222122SnSnSSnPRCPRCPPRRC•凸五边形：•B点是发送者1能传送的最大信息传输率C1；•D点是发送者1传送最大信息率C1情况下，发送者2所能传送的信息率C12－C1。这时发送者1被看成噪声，计算输出Y与X2之间的互信息得2122SSnPRCP8.3.2高斯多址接入信道•在高斯信道下，可把译码考虑成两步：–接收端将发送端1看成噪声的一部分，先将发送端2的码字译码出来。若译码错误概率可达任意小。–将已成功译出的发送端2“减”去，若则发送端1的码字能成功译出。•所以，容量区域中各个角点的速率对是可达的。2122SSnPRCP112SnPRC8.3.2高斯多址接入信道R2C12C2ACC12-C1D0BR1C12-C2C1C12•在许多实际情况中，常采用时分多路通信方式。但该方式不是最佳的方案。若两发送端各占一半的传送时间，可达容量区域是AB连线所围的区域。8.3.2高斯多址接入信道•若设在总传送时间T内，QT用来传送X1，(1-Q)T用来传送X2，其中。那么在传送X1时，；在传送X2时，。若保持平均功率不变，则传送X1时功率可以提高到，而X2功率可提高到。可得01Q20X10X1/SPQ21SPQ8.3.2高斯多址接入信道112log(1)2SnPQRQ222(1)log12(1)SnPQRQ8.3.2高斯多址接入信道R2C12C2ACEC12-C1D0BR1C12-C2C1C12•Q不同时，得到不同的(R1,R2)，即曲线AEB所决定的区域。显然，除了Q=1，Q=0和Q=即B,A,E三点外，其它情况都在容量界线(截角矩形)之下。可见在时分方式下，C,D对应的速率对是达不到的。112/()SSSPPP•对于频分多路通信方式，每个发送者的传输速率依赖于所允许传输的带宽。考虑信号功率分别为PS1和PS2的二个发送端，所占带宽为W1和W2。这两带宽不重叠，且总带宽W=W1+W2。令Q=W1/W是发送者1所占带宽比，(1-Q)=W2/W是发送者2所占带宽比，可达速率对是1211012202log12log12SSPWRNWPWRNW＋＋R2C12C2ACEC12-C1D0BR1C12-C2C1C12•将Q和（1－Q）代入，可得110log(1)2SPQRNWQ220(1)log12(1)SPQRNWQ改变W1和W2(即Q不同时)的可达速率区•在相同的平均功率约束下，时分多址和频分多址可达到的信息传输速率均小于理论给出的容量域。但适当设计时隙分配或带宽分配的比例，时分多址和频分多址都可使速率达到理论容量域所给的最大值，即E点。•码分多址技术中所有信道输入信号都占用信道的全部带宽和时间，各信号间不存在时隙分配或带宽分配问题。因此，码分多址的可达速率域与理论容量域一致。在这一意义上，我们认为码分多址是比较理想的方式。8.3.2高斯多址接入信道R2C12C2ACEC12-C1D0BR1C12-C2C1C12高斯多址接入信道各占一半时间的时分多址Q比例的时分多址和频分多址码分多址8.4网络中相关信源的信源编码•研究多个相关信源的编码问题;•在实际通信中，常常某个信宿收到来自不同源的编码信息。–各信源独立：分别处理，单信源通信；–各信源相关：各种相关信源编码模型。信源1信源2编码器1编码器2译码器1译码器2u1lu2lR22R21R12u”1lu”2lu’2lR11u’1l两个信源和两个译码器之间可有16种不同的联接方式两个相关信源编码的最基本结构：两个信源均为离散无记忆信源。信源1信源2编码器1编码器2译码器u1lu2lR2R1u’1lu’2l•采用一个编码器：–对于单个信源U进行编码，传输信息率需满足RH(U)，才能实现无失真编码；–对于两个信源U1和U2联合编码，传输信息率需满足RH(U1,U2)，才能使译码错误概率为任意小。•采用二个独立的编码器：R1H(U1),R2H(U2)