2.3互信息与平稳信源熵

2.3互信息与平稳信源复习熵函数的性质H(p1,p2,…,pn)对称性非负性极值性连续性可加性上凸函数凸集R()()()()()()()()()1222122211111211122112221,,...,,...,,...,,,.,,...,,,..,,,...,||nnnnnnnnmnniixmiimiXmqHqpqpqpHqqqqHpppHXYHXHYXpqqqpqpHXqxHqxpYqp=∈=+=+=+∑∑()()()()()()1101fffθαθβθαθβθ+−≤+−≤≤GGGG复习•的性质11ln1xxx−≤≤−lnx11lnlnKKkkkkkkpxpx==≤∑∑()11loglogShannonKKkkkkkkpppq==−≤−∑∑辅助引理„定理：1.H(X/Y)≤H(X)2.H(XY)≤H(X)+H(Y)Jensen不等式f为R上的上凸函数()11nniiiiiipffpαα==⎛⎞≤⎜⎟⎝⎠∑∑•设有两个随机事件X和Y,X取值于信源发出的离散消息集合,Y取值于信宿收到的离散符号集合信道干扰源信源X信宿Y1212()()()mmxxxXpxpxpxP⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()(2121nnypypypyyyPY2.3非平均互信息互信息—表示接收到消息yj后获得关于事件xi的信息量。)()|(log)()()(log)()|(log);(jijjijiijijiypxypypxpyxpxpyxpyxI===)|()()|()();(ijjjiijixyIyIyxIxIyxI−=−=非平均互信息)()()(jijiyxIyIxI−+=)()|(log)(1log)(1log);(ijijiijixpyxpyxpxpyxI=−=–互信息的性质•对称性:•当X和Y相互独立时，互信息为0•互信息量可为正值或负值•I(xi;yj)≤I(xi),I(xi;yj)≤I(yj)–非平均条件互信息量和联合互信息•给定条件下，与之间的互信息量，其定义式为jyixkz)/()/(log)/;(2kikjikjizxpzyxpzyxI=(;)(;)ijjiIxyIyx=)/;();()()(log);(kjikiikjikjizyxIzxIxpzyxpzyxI+==(/)(/)()(/)ijkikiikpxyzpxzpxpxz•某地二月份天气构成的信源为现有人告诉你:“今天不是晴天。”，把这句话作为收到的消息。当收到消息后，各种天气发生的概率变成后验概率，其中⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321雪雨阴晴xxxxXPX1y1y41)/(;41)/(;21)/(;0)/(14131211====yxpyxpyxpyxp计算与各种天气之间的互信息量。1y[例]一个二元信道，p(M)=p(S)=1/2，求互信息量I(xi;yj)。M5/6M1/61/2S1/2S解：利用先验概率和转移概率求出后验概率；可得：p(xi=M/yj=M)=5/8;p(xi=S/yj=M)=3/8;p(xi=S/yj=S)=3/4;p(xi=M/yj=S)=1/4;可分别求出互信息量I(xi;yj)=log(p(xi/yj)/p(xi))：I(M;M)=0.322bit;p(xi=M/yj=M)=5/8p(xi=M)=1/2I(S;S)=0.585bit;p(xi=S/yj=S)=3/4p(xi=S)=1/2I(S;M)=-0.415bit;p(xi=S/yj=M)=3/8p(xi=S)=1/2I(M;S)=-1bitp(xi=M/yj=S)=1/4p(xi=M)=1/21(,)()(/)(/)()()(/)ijijiijnjijiipxypxpyxpxypypxpyx===∑•平均互信息克服了互信息量的随机性，可作为信道中流通信息量的整体测度。•三种表达方式);(jiyxI);(YXI()()()()11211221111|(;)(;)()(;)()log()log()()()log(;)((;)(/)/(;)((/)()()))jnmijijijpxyijnmijijnmnmijijijjijijijjjijiijijpxiyjiIXYEIxypxyIxypxypxypxyIXyEIxyppxypyxpyxyIxpxpxpyypyx===============∑∑∑∑∑∑∑∑半平均互信息()()()111(;)(;)(/)(;)nmnjjijijpyjiIXYEIXypypxyIxy=====∑∑∑2.3.2平均互信息量–平均互信息的物理意义•从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵”。(1)(;)()(/)(2)(;)()(/)(3)(;)()()()IXYHXHXYIYXHYHYXIXYHXHYHXY=−=−=+−()/HXY()/HYX();IXY()HXY–平均互信息量的性质•对称性：•非负性：•极值性：);();(XYIYXI=()(;)0IXYXY≥=当且仅当与独立时号成立)();()();(YHXYIXHYXI≤≤()()()()()()()()()()()()()()()()()()()()()()()lo(g;)0(;)/loglog///(;)/log/log1//11(;)/log/log/logloglog0//1jjjxxjjjjjxxjjjjjjxxxjjIXYpxpxIXypxypxypxypxypxpxIXypxypxyepxypxypxIXypxypxypxypxpxxxyxypex≥−=≤⎛⎞⎜⎟−=≤−⎜⎟⎝⎠−==−≤≤−∑∑∑∑∑∑∑上凸Shannon证明辅助定理222(;/)()(;/)()l(/)((/)(/)(og()log()/l(/)og)//)()jikjkijkijkijkijkijkijkijkijkijkijkiikikjkjkpxyzpxzpyzIXYZpxyzIxyzpxyzpxypzpxyyzpxyzpxzpyxzz====∑∑∑∑∑∑∑∑∑∑∑∑2(;)()(;)()log()()()ijkijkijkiijkijjkijkkIXYZpxyzIxyzpxypxyzpxyzpz==∑∑∑∑∑∑平均条件互信息和平均联合互信息链式法则()()()()();;;/X;X;Y/IXYZIXYIXZYIZIZ=+=+XYZ();IXY();/IXZY()()()()()()()()()()()()()()()()()121213121211211121213121211211;;;/Y;X;/Y...;;;/;/...;/...;/......//.../.../...nnnniiinnnniiIXYZIXZIYZXIZIZIXXXYIXYIXYXIXYXXIXYXXXIXYXXXHXXXHXHXXHXXXHXXXXHYXXX−−=−−==+=+=++++==++++=∑∑);();();();(ZXIZXYIZYIZXYI≥≥定理:证明:)/;();();()/;();();(XZYIZXIZXYIYZXIZYIZXYI+=+=0)/;(≥YZXI);(ZXI≥);(ZYI≥0)/;(≥XZYI„数据处理定理（信息不增原理）P(Y/X)P(Z/Y)XYZ两级串联信道的情况);();()()(:ZXIYXIZXHYXH≥≤表达式其数据处理定理的数学当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。()()()()///;/0xyzpxzypxypzyIXZY→→==构成马尔科夫链()()()()///zzz/xpypxpxypyy==证明：(;)(;)(;)(;)(;)IXYZIXYIXZYIXZIXYZ=+=+由联合互信息的定理，可得()(;)0IXZYxyz→→=构成马尔科夫链);();();(ZYXIZXIYXI+=再由条件互信息的非负性，可得);();(ZXIYXI≥:(;)(;)xyzIXYIXYZ→→≥注意构成马尔科夫链,则数据处理定理()()()()()()():1;/Z;2;;;XZIXYIXYXYIXYZIXZIYZ≥+思考与独立时比较与、独立,则[例]已知一个二元信源连接一个二元信道，如图给出,X={x1,x2},[p(xi)]={1/2,1/2}。。求I(X;Y)，H(X,Y)，H(X/Y)，和H(Y/X)。H(X/y1),I(X;y1)x10.98y10.020.2x20.8y2解：(1)求联合概率p(x1,y1)=0.5×0.98=0.49;p(x1,y2)=0.5×0.02=0.01p(x2,y1)=0.5×0.20=0.10;p(x2,y2)=0.5×0.80=0.40(2)求p(yj)p(y1)=p(x1,y1)+p(x2,y1)=0.49+0.10=0.59p(y2)=p(x1,y2)+p(x2,y2)=0.01+0.40=0.41()()()()11211222/0.98,/0.02/0.2,/0.8pyxpyxpyxpyx====•(3)求p(xi/yj)•p(x1/y1)=p(x1,y1)/p(y1)=0.831•p(x2/y1)=p(x2,y1)/p(y1)=0.169•p(x1/y2)=p(x1,y2)/p(y2)=0.024•p(x2/y2)=p(x2,y2)/p(y2)=0.976•(4)求熵•H(X)=1bit/符号•H(Y)=0.98bit/符号•H(X,Y)=1.43bit/符号•I(X;Y)=H(X)+H(Y)-H(X,Y)=0.55bit/符号•H(X/Y)=0.45bit/符号•H(Y/X)=0.43bit/符号2.4离散无记忆的扩展信源和离散平稳信源离散信源•单符号离散信源•离散序列信源–离散无记忆信源•一般无记忆•平稳无记忆–离散有记忆信源•平稳序列信源•马尔可夫信源•当离散平稳无记忆信源信源发出固定长度的消息序列时，则得到原信源的扩展信源。•例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，它由四个符号（00，01，10，11）组成，我们把该信源称为二元无记忆信源的二次扩展信源。•如果把N个二元数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二元无记信源的N次扩展信源。2.4.1离散无记忆的扩展信源•一般情况下，对一个离散无记忆信源X，其样本空间为{a1,a2,…,aq}，对它的输出消息序列，可用一组组长度为N的序列来表示它。这时，它等效成一个新信源。•新信源输出的符号是N维离散随机矢量X=(X1，X2,……,XN)，其中每个分量Xi(i＝1,2,…,N)都是随机变量，它们都取值于同一信源符号集，并且分量之间统计独立，则由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源。单符号离散信源X的数学模型：•N次扩展信源与单符号离散信源比较：数学模型相同但输出不是单个符号，而是一串N个相互独立的符号序列：X＝(X1,X2,…,XN)，联合分布密度P(X)=P(X1X2…XN)•把X等效为一个新信源，称为X的N次扩展信源，其数学模型：1......)(12121=⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡∑=qiiqqppppaaaxpX121212...,(,,...,)()()...()()NNNNqiiiiiqXaaappppαααααααα⎡⎤⎡⎤==⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦111()(...)()NkkNNiiiiikkPPaaPapα=====∏∏1()1NqiiPα==∑因为是无记忆的因为是无记忆的((彼此统计独立彼此统计独立))则：则：离散平稳无记忆N次扩展信源的熵H(XN)=H(X1,X2,…,XN)=N·H(X))(log)()(log)()()(iXiXNPpPpXHHNNαα∑∑−=−==XXX)1log...1log1(log)(...1log)(212