第1页/共5页中国海洋大学2008—2009学年第一学期一、填空题(每空2分,共20分)1、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。3、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。4、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是香农编码。5、信道输入与输出间的平均互信息是信道转移概率的下凸函数,是输入概率的上凸函数。6、信道矩阵10002/12/1代表的信道的信道容量C=符号/1bit,达到信道容量的条件是输入符号等概分布。7、设某二进制码{00011,10110,01101,11000,10010,10001},则码的最小距离是2,假设码字等概分布,则该码的码率为0.517比特/符号,这时若通过二元对称信道接收码字为01100和00110时,应译为01101,10110。。二、判断题(每题2分,共10分)1、必然事件和不可能事件的自信息量都是0。(错)2、最大后验概率准则与最大似然准则是等价的。(错)3、如果信息传输速率大于信道容量,就不存在使传输差错率任意小的信道编码。(对)4、连续信源和离散信源的熵都具有非负性。(错)5、相同功率的噪声中,高斯噪声使信道容量最小。(对)三、简答题(第1、2题各6分,第三题10分,共22分)1、简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是什么?答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。(3分)最大熵值为mH2maxlog(3分)2、对于任意概率事件集X、Y、Z,证明下述三角不等式成立ZXHZYHYXH证:因为)|()|(YXHYZXH,(3分)所以:)|()|()|()|,()|()|()|()|(ZYHXZYHZYHZYXIYZXHZXHYXHZXH(3分)第2页/共5页所以原命题得证。3、什么是保真度准则?对二元信源110upu,其失真矩阵00D,求0时率失真函数的minD和maxD?答:1)保真度准则为:平均失真度不大于允许的失真度。(3分)2)因为失真矩阵中每行都有一个0,所以有0minD(2分),而21211,1minmaxD。(5分)四、计算题(第1、2、3题每题15分,第4题10分,共55分)1、黑白气象传真图的消息只有黑色和白色两种,求:(1)黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型,假设图上黑白消息出现前后没有关联,求熵XH;(2)假设黑白消息出现前后有关联,其依赖关系为:P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,P(黑/黑)=0.8,求其熵XH2。答:(1)信源模型为7.03.021白黑xxxpX(5分)符号/881.07.0log7.03.0log3.0log21bitxpxpXHiii(5分)(2)由12121xPxPxxPxPxPjjiji(2,1i)(3分)可得19.02.01.08.021212211xPxPxPxPxPxPxPxP得32)(31)(11白黑xPxP(3分)则符号/5533.09.0log9.01.0log1.0321.0log1.08.0log8.031log)(221212bitxxPxxPxPXHijijiji(4分)2、设有一离散信道,其信道矩阵为7.01.02.02.01.07.0p,求(1)最佳概率分布?(2)当7.01xP,3.02xP时,求平均互信息YXI;和信道疑义度YXH/;(3)输入为等概分布时,试写出一译码第3页/共5页规则,使平均译码错误率Ep最小,并求此Ep。答:(1)是准对称信道,因此其最佳输入概率分布为5.021xpxp(2分)(2)由已知的输入概率空间和信道转移概率,可求得输出概率21iijijxypxpyp(2分)55.02.03.07.07.02111iiixypxpyp1.01.03.01.07.02122iiixypxpyp35.07.03.02.07.02133iiixypxpyp(2分)符号/3367.135.0log35.01.0log1.055.0log55.0log31bitypypYHjjj(2分)符号/1569.17.0log7.01.0log1.02.0log2.03.02.0log2.01.0log1.07.0log7.07.0log3121bitxypxypxpXYHjiiiiii(2分)平均互信息符号/1798.01569.13367.1;bitXYHYHYXI(2分)符号/8813.07.0log7.03.0log3.0log21bitxpxpXHiii(2分)信道疑义度符号/7015.01798.08813.0;bitYXIXHYXH(2分)(3)此时可用最大似然译码准则,译码规则为11xyF,212xxyF或,23xyF(2分)平均译码错误率25.02.01.02.02118,aXYijjEabpryepEp(2分)3、(共20分)某离散无记忆信源符号集为,所对应的概率分别为:0.4,0.2,0.1,0.1,0.07,0.05,0.05,0.02,0.01,码符号集为{0,1,2,3}。1)求信源的熵H(X)及信源剩余度;(2+2=4分)第4页/共5页信源的熵:(2分)信源剩余度:(2分)2)对其进行四元Huffman编码;(5分),其中,若取,可得大于9但与9最接近的正整数10,因此在Huffman编码是加入一个零概率符号。编码为332;编码为331;编码为330;编码为32;编码为31;编码为30;编码为2;编码为1;编码为03)求平均码长,编码效率及编码器输出的信息传输率(码率)R。平均码长:码元/信息符号(2分)编码效率:0.9194(2分)第5页/共5页信息传输速率:1.8388比特/符号(2分)4、已知加性高斯白噪声(AWGN,AdditiveWhiteGaussianNoise)信道,信号的带宽范围为300~3400Hz,信号与噪声功率比为26dB,(1)计算该信道的最大信息传输速率;(2)若信号与噪声功率比降到10dB,且保持信道最大信息传输速率不变,则信道带宽应该变为多少?解:(1)计算该信道的最大信息传输速率;(5分)W=3400-300=3100HzSNR=26dB=398(2)若信号与噪声功率比降到10dB,且保持信道最大信息传输速率不变,则信道带宽应该变为多少?(5分)SNR=10dB=10