新编[工学]信息论与编码习题解答

信息论与编码习题解答第一章1.一位朋友很不赞成“通信的目的是传送信息”及“消息中未知的成分才算是信息”这些说法。他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看不厌，大师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视里没给我任何信息，怎么能让我接受呢？请从信息论的角度对此做出解释。（主要从狭义信息论与广义信息论研究的内容去理解和解释）答：从狭义信息论角度，虽然将要表演的内容观众已知，但是每一次演出不可能完全相同。而观众在欣赏的同时也在接受着新的感官和视听享受。从这一角度来说，观众还是可以得到新的信息的。另一种解释可以从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识水平、文化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论的范畴。2．利用下图（图1.2）所示的通信系统分别传送同样时间（例如十分钟）的重大新闻公告和轻音乐，它们在接收端各方框的输入中所含的信息是否相同，为什么？信源信道信宿信源信道干扰源信道信源编码编码译码译码加密解密加密解密密钥密钥图1.2通信系统的一般框图答：重大新闻是语言，频率为300~3400Hz，而轻音乐的频率为20~20000Hz。同样的时间内轻音乐的采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大。但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与音乐的信息量大小在广义上说，因人而异。第二章1．一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为：22393240239!2!237!240!3!237!11/80240/3CPC所以，此事件给出的信息量为：I=–log2P=log280=6.32(bit)（2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，这是一个必然事件，因此信息量为0。（3）按照Shannon对信息量的定义，只在事件含有不确定成分，才有信息量，并且不确定成分越大，信息量也越大，必然事件则没有信息量。但是从广义信息论的角度，如果那个人不知道用天平二分法找假珠，另一个告诉他这个方法，使他由不知道到知道，也应该含有一定的信息量。2．每帧电视图像可以认为是由3105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：由于每一象素取128个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为I(X)=–lb(1/128)=lb128=7bit/像素每帧图像中像素均是独立变化的，因此每帧图像信源就是离散亮度电平信源的无记忆N次扩展。由此，每帧图像包含的信息量为I(XN)=NI(X)=31057=2.1106bit/帧广播员在约10000个汉字中选取字汇来口述此电视图像，各个汉字等概分布，因此每个汉字包含的信息量为I(Y)=–lb(1/10000)=lb1000=13.29bit/字广播员述电视图像是从这个汉字字汇信源中独立地选取1000个字进行描述，因此广播员描述此图像所广播的信息量是I(YN)=NI(Y)=100013.29=1.329104bit/字由于口述一个汉字所包含的信息量为I(Y)，而一帧电视图像包含的信息量是I(XN)，因此广播员要恰当地描述此图像，需要的汉字数量为：65()2.1101.5810()13.29NIXIY字3．已知X：1,0P(X)：p,1–p（1）求证：H(X)=H(p)（2）求H(p)并作其曲线，解释其含义。（1）证明：H(X)=I(X1)+I(X2)=–plbp–(1–p)lb(1–p)=H(p)（2）解：H(p)100.51p该H(p)曲线说明，当0与1等概出现时，即p=0.5时，熵最大。当p由0.5分别趋向于0和1时，熵逐渐减小至0。4．证明H(X3|X1X2)H(X2|X1)，并说明等式成立的条件。证明：设离散平稳信源输出的随机符号序列为…X1,X2,X3,…。又设11Xx,22Xx,33Xx,而且321,,xxx都取自于同一符号集gaaaA,,,21，并满足有1)()()(,1)|(,1)|(,1)|(3213323212132312XXXXXXxPxPxPxxxPxxPxxP)()()()()()(1)(1)()()(213213132132321321313221321123132312xxPxxxPxxPxxxPxxPxxxPxxxPxxPxxPxxPXXXXXXXXXXXX在区域[0，1]内设f(x)=－xlogx,f(x)在[0，1]内是型凸函数，所以满足詹森不等式qiqiiiiixPfxfP11)()(其中11iqiP现今)|(123xxxPxi,设其概率空间为)|(21xxP，并满足11)|(21XxxP所以根据詹森不等式得)|()|(log)|()|()|(log)|()|(])|(log[])|([]log)[|(213212132121321321212121111111xxxPxxPxxxPxxPxxxPxxxPxxPxxxPxxxPxxxxPXXXXiXiXii所以)()|()()|()()(22322313232111xPxxPxPxxxPxxPxxxPXX上式对所有321,,xxx的取值都成立，所以)|(log)|()|(log)|()|()|()|()|()|(2323213231232132123231111xxPxxPxxxPxxxPxxPxxxPxxPxxPxxxPXXX所以因为222,1)(0XxxP，所以上式两边相乘，等号不变。有)|(log)|()()|(log)|()(2323221323121xxPxxPxPxxxPxxxPxPX上式对所有32,xx都成立，所以对所有32,xx求和下式也成立23123)|(log)()|(log)(2332213321XXXXXxxPxxPxxxPxxxP因为H(X3|X1X2)H(X3|X2)所以是平稳信源H(X3|X2)=H(X2|X1)得H(X3|X1X2)H(X2|X1)只有当)|()|(23213xxPxxxP(对所有321,,xxx)时等式成立。5．设有一概率空间，其概率分布为{p1,p2,…,pq}，且p1p2。若取1'1pp，2'2pp，其中02p1–p2，而其它概率值不变。证明由此得到的新的概率空间的熵是增加的，并用熵的物理意义加以解释。证明：令21212110ppppappa的小数得1221121212122212112121)1()1(pppppppppappappppppppppaap因为f(x)=－xlogx是型函数，根据型凸函数的定义有)()1()(])1([2121pfapafpaapf所以)()1()()(212pfapafpf即]loglog[)log()(222121112122pppppppppppp同理得]loglog[)log()(222111212111pppppppppppp以上两不等式两边相加，不等号不变。所以得22212211loglog)log()()log()(pppppppp6．某办公室和其上级机关的自动传真机均兼有电话功能。根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话占的比例约为3:7，但发传真时约有5%的次数对方按电话接续而振铃，拨电话时约有1%的次数对方按传真接续而不振铃。求：（1）上级机关值班员听到电话振铃而对此次通信的疑义度；（2）接续信道的噪声熵。解：设发传真和打电话分别为事件X1与X2,对方按传真和按电话接续分别为事件Y1和Y2,则P(X1)=30%,P(X2)=70%P(Y1|X1)=95%,P(Y2|X1)=5%,P(Y1|X2)=1%,P(Y2|X2)=99%P(X1Y1)=0.285,P(X1Y2)=0.015P(X2Y1)=0.007,P(X2Y2)=0.693P(Y1)=P(X1Y1)+P(X2Y1)=0.292P(Y2)=1－P(Y1)=0.708H(X)=－P(X1)lbP(X1)－P(X2)lbP(X2)=0.8814bit/符号H(Y)=－P(Y1)lbP(Y1)－P(Y2)lbP(Y2)=0.8713bit/符号H(XY)==1.0239bit/两个信符I(X;Y)=H(X)+H(Y)－H(XY)=0.7288bit/信符（1）听到电话振铃的疑义度H(X|Y2)=－P(X1Y2)lbP(X1Y2)－P(X2Y2)lbP(X2Y2)=0.4575bit/信符（2）接续信道的噪声熵2121)()(jiXiYjlbPXiYjPH(Y|X)=H(Y)－I(X;Y)=0.1425bit/信符7．四个等概分布的消息M1，M2，M3，M4被送入如图所示的信道进行传输，通过编码使M1=00，M2=01，M3=10，M4=11。求输入是M1和输出符号是0的互信息量是多少？如果知道第2个符号也是0，这时带来多少附加信息量？XY00pp11pp图2.6解：信源P(M1)=P(M2)=P(M3)=P(M4)=1/4,信道为二元对称无记忆信道，消息Mi与码字一一对应，所以设)(21iiixxM设接收序列为Y=(y1y2)接收到第一个数字为0，即y1=0。那么，接收到第一个数字0与M1之间的互信息为)0()|0(log)0;(11111yPMyPyMI因为信道为无记忆信道，所以pPxyPxxyPMyP)0|0()0|0()00|0()|0(1211111111同理，得)|0()|0()|0(121111iiiixyPxxyPMyI输出第一个符号是y1=0时，有可能是四个消息中任意一个第一个数字传送来的。所以21)]1|0()1|0()0|0()0|0([41)|0)(()0(1111413121114111xyPxyPxyPxyPMyMPyPiii故得plbyMI1)0;(11比特接收到第二个数字也是0时，得到关于M1的附加互信息为)0;()00;()0|0;(11211121yMIyyMIyyMI其中)00()|00(log)00;(21121211yyPMyyPyyMI同理，因为信道是无记忆信道，所以)|0()|0()|00()|00(2121212121iiiiixyPxyPxxyyPMyyP得21211121)0|0()0|0()0|0()0|0()|00(21pPPxyPxyPMyyP输出端出现第一个符号和第二个符号都为0的概率为41)]1|0()1|0()0|0()1|0()1|0()0|0()0|0()0|0([41)|00)(()00(111111214241323122211211412121xyPxyPxyPxy