第15章-网络信息论

网络信息论单用户信息论——涉及一个信源、一个信宿，相应信道为单用户信道网络信息论——涉及两个及两个以上信源或信宿，相应信道为多用户信道第15章网络信息论网络信息论网络信息论研究主要涉及三类信道的平均互信息可达区域保证无失真译码的多用户信道平均互信息可达区域用二维或多维空间表示，区域的上界为信道容量多址接入信道退化广播信道相关信源的多用户信道网络信息论一、多址接入信道及平均互信息可达区域1、二址接入信道定义对应于信源X1、信源X2和信宿Y的信道为二址接入信道表示单符号离散信源X1取值于集合}x,,x,x{n11211网络信息论单符号离散信源X2取值于集合}x,,x,x{n22221单符号离散信宿Y取值于集合}y,,y,y{m21X1P(Y/X1X2)YX2例100011011012X1X2Y1111网络信息论2、二址接入信道的平均互信息可达区域对于单符号离散二址接入信道如果信源X2已知，排除信源X2对信源X1的传输干扰，平均互信息加大)X/Y;X(I)Y;X(I211总能找到一种合适的概率分布P(X1)和P(X2)，使条件平均互信息达到最大，称为条件信道容量C1)X/Y;X(ImaxC21)X(P),X(P12111C)Y;X(I网络信息论)X/Y;X(I)Y;X(I122同理)Y;X(I)Y;X(I)X/Y;X(I)Y;X(I)Y;XX(I2112121在所找的概率分布P(X1)和P(X2)条件下，平均互信息达到最大，称为联合信道容量C12)Y;XX(ImaxC21)X(P)X(P1221)X/Y;X(ImaxC12)X(P),X(P22122C)Y;X(I1211C)Y;X(I)Y;X(I网络信息论)X/Y;X(I)XX/Y(H)X/Y(H)XX/Y(H)Y(H)Y;XX(I2121221212112CCC}C,Cmax{C211221CC设121212CCCCC，同理，设X1和X2相对独立)Y;XX(I)X/Y;X(I)X/Y;X(I211221网络信息论)YX/X(H)YX/X(H)Y/XX(H)Y/XX(H)XX(H)YX/X(H)X(H)YX/X(H)X(H12212121211222110CCC12212112CCC211221CCC}C,Cmax{0)YX/X(H)Y/X(H)YX/X(H)YX/X(H)YX/X(H)Y/X(H2111221121网络信息论I(X2;Y)C20C1C12C1+C2I(X1:Y)单符号离散二址接入信道的平均互信息可达区域12212211C)Y;X(I)Y;X(IC)Y;X(IC)Y;X(I网络信息论可达区域为截角二面体加性二址接入信道与单符号离散二址接入信道类似，可达区域也为截角二面体二址接入信道的平均互信息可达区域00011011012X1X2Y1111例1网络信息论)X/Y;X(ImaxC21)X(P),X(P121)X/Y(Hmax)]XX/Y(H)X/Y(H[max2)X(P),X(P212)X(P),X(P2121)x(P)xx/y(P)x(P)xx/y(P)x(P)x/y(P11211211221111112110)xx/y(P)x(P)xx/y(P)x(P)x/y(P22121122211111221)x(P)xx/y(P)x(P)xx/y(P)x(P)x/y(P1221122122111211212)x(P)xx/y(P)x(P)xx/y(P)x(P)x/y(P1122122122211211222网络信息论0)xx/y(P)x(P)xx/y(P)x(P)x/y(P21123122111311213)x(P)xx/y(P)x(P)xx/y(P)x(P)x/y(P1222123122211311223)]x/y(Plog)x/y(P)x/y(Plog)x/y(P)x/y(Plog)x/y(P)[x(P)]x/y(Plog)x/y(P)x/y(Plog)x/y(P)x/y(Plog)x/y(P)[x(P)X/Y(H22322322222222122122213213212212211211212)]x(Plog)x(P)x(Plog)x(P)[x(P)]x(Plog)x(P)x(Plog)x(P)[x(P12121111221212111121网络信息论)bit(121log2121log21)X(H)x(Plog)x(P)x(Plog)x(P112121111当X1等概率)X(Hmax)X/Y(HmaxC1)X(P),X(P2)X(P),X(P12121)X(H)X/Y(H21同理当X2等概率)bit(121log2121log21C2网络信息论)Y;XX(ImaxC21)X(P),X(P1221)Y(Hmax)]XX/Y(H)Y(H[max)X(P),X(P21)X(P),X(P2121)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)y(P21112212122122112121122211122112111121111)xx(P)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)y(P211222112212222122112221122211222112111221112网络信息论X1、X2等概率)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)xx/y(P)xx(P)y(P22122212322122112321122211322112111321113)bit(5.141log41)4141log()4141(41log41)Y(HmaxC)X(P),X(P1221网络信息论二址接入信道的平均互信息可达区域5.1C)Y;X(I)Y;X(I1C)Y;X(I1C)Y;X(I122122111011.5I(X1;Y)1.5I(X2;Y)网络信息论高斯加性二址接入信道的平均互信息可达区域)X/Y;X(ImaxC21)x(p),x(p121)]N(H)NX(h[max)]XX/)NXX((h)X/)NXX((h[max)]XX/Y(h)X/Y(h[max1)x(p),x(p2121221)x(p),x(p212)x(p),x(p212121例2)eP2log(21)NX(hmaxN1)x(p),x(p21网络信息论)PP1log(21)eP2log(21)]PP(e2log[21CNXNNX111当X1高斯分布)X/Y;X(ImaxC12)x(p),x(p221同理)eP2log(21)NX(hmaxN2)x(p),x(p21当X2高斯分布)PP1log(21)eP2log(21)]PP(e2log[21CNXNNX222网络信息论)Y;XX(ImaxC21)x(p),x(p1221)]N(H)NXX(h[max)]XX/Y(h)Y(h[max21)x(p),x(p21)x(p),x(p2121)eP2log(21)NXX(hmaxN21)x(p),x(p21X1、X2均高斯分布)eP2log(21)]PPP(e2log[21CNNXX1221网络信息论)PPP1log(21NXX21高斯加性二址接入信道的平均互信息可达区域)PP1log(21C)Y;X(INX111)PP1log(21C)Y;X(INX222)PPP1log(21C)Y;X(I)Y;X(INXX122121网络信息论I(X2:Y)0)PPP1log(21NXX21)PP1log(21NX2)PP1log(21NX1)PPP1log(21NXX21I(X1:Y)网络信息论N,,2,1r)XX/Y;X(ImaxC)Y;X(IN1r)X(P,),X(PrrN1)Y;XX(ImaxC)Y;X(IN1)x(P,),x(PN1rrN1N1rrrCC}N,,2,1r,C{max可达区域为截角多面体多址接入信道的平均互信息可达区域网络信息论1、双输出广播信道定义对应于信源X和信宿Y1、Y2的信道为双输出广播信道表示二、退化广播信道及平均互信息可达区域单符号离散信源X取值于集合}x,,x,x{n21网络信息论单符号离散信宿Y1取值于集合}y,,y,y{m11211单符号离散信宿Y2取值于集合}y,,y,y{m22221Y1P(Y1Y2/X)XY22、双输出退化广播信道如果信道矩阵中转移概率分布满足)y/y(P)x/y(P)x/yy(P12121j1j2ij1ij2j1网络信息论退化广播信道等价于信道的级联信道为双输出退化广播信道X、Y1、Y2构成一阶马尔可夫链Y1P(Y1/X)XY2P(Y2/Y1)3、双输出退化广播信道的平均互信息可达区域网络信息论U1、U2表示信源X中对应于信宿Y1、Y2的分量对于双输出单符号离散退化广播信道如果U2已知，排除U2对U1的传输干扰，平均互信息加大)U/Y;U(I)Y;U(I21111总能找到一种合适的概率分布P(X)，并在保持该概率分布前提下改变U1、U2的比例，使条件平均互信息达到最大，称为条件信道容量C1)U/Y;U(ImaxC211),X(P1网络信息论111C)Y;U(I)Y;U(ImaxC22),X(P2222C)Y;U(I)Y;U(I)Y;U(I)Y;Y/X(I)Y;X(I)YY;X(I221121121在所找的概率分布P(X)和U1、U2比例条件下，平均互信息达到最大，称为联合信道容量C12)YY;X(ImaxC21),X(P12网络信息论)Y;X(Imax)]X/Y(H)Y(H[max)]Y/Y(H)X/Y(H)Y/Y(H)Y(H[max)]X/YY(H)YY(H[max1),X(P11),X(P121121),X(P2121),X(P122211C)Y;U(I)Y;U(I双输出单符号离散退化广播信道的平均互信息可达区域122211222111C)Y;U(I)Y;U(IC)Y;U(IC)Y;U(I网络信息论双输出加性退化广播信道的平均互信息可达区域与双输出单符号离散退化广播信道类似网络信息论例1双输出高斯加性退化广播信道的平均互信息可达区域2121NNNNPPPP设)U/Y;U(ImaxC211),x(p1)]UU/Y(h)U/Y(h[max21121),x(p)]N(h)NU(h[max)]UU/)NUU((h)U/)NUU((h[max111),x(p211212121),x(p网络信息论)eP2log(21)NU(hmax1N11),x(p当X高斯分布，且U1所占功率比例为α)PP1log(21)eP2log(21)]PP(e2log[21C111NXNNX1)Y;U(ImaxC22),x(p2)]U/)NY((h)NY(h[max)]U/Y(h)Y(h[max22121),x(p222),x(p网络信息论]PPP)1(1log[21)]PP(e2log[21]PP)1(P(e2log[21222NXXNXNXX)]NU(h)NUU(h[max21221),x(p)]U/)NUU((h)NUU(h[max2221221),x(p0C)PP1log(21C12NX11时，当)PP1log(21C0C0