信息论练习题目

一、填空1、布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为2、信源熵H(X)表示信源输出后每个消息所提供的。3、平均互信息量与信息熵、联合熵的关系是。4、单符号离散信源是用随机变量来描述的，则多符号离散信源用来描述。5、对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其它唯一可译码的平均码长，则称该码为。6、码字10100001与码字01100000之间的距离是。7、分组码是，它可以在无需重新发射的情况下检测出有限个错码，并加以纠正。8、信息论基础主要研究、以及等问题。9、十六进制脉冲所含的信息量是四进制脉冲的倍。10、若把掷骰子的结果作为一离散信源，则信源熵为。11、当事件ix和jy彼此之间相互独立时，平均互信息量为。12、若二维平稳信源的信源熵为3bit/sign，则其平均符号熵为。13、对于r进制树图，n级节点的个数一般为。14、信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任何时刻的输出符号无关，这种信道称之为15、码字101111101、011111101之间的最汉明距离为。16、单符号离散信源用描述，而多符号信源用17、离散平稳无记忆信源的N次扩展信源的熵等于离散信源熵的倍。18、信源编码的目的是19、信道编码的目的是20、对于香农编码和哈夫曼编码，编码方法唯一的是21、信道无失真传输信息的条件是22、若纠错码的最小距离为dmin,则可以纠错任意小于等于错。23、线性分组码是同时具有的纠错码。24、离散信源的熵越小，则该信源消息之间的平均不确定性25、必然事件的自信息量是不可能事件的自信息量是26、信道的输出仅与当前输入有关，而与过去无关的信道称27、唯一可译码存在的充要条件是28、对某含有7个消息的信源，其熵的最大值为，对应为分布29、编码分为两种。30、条件熵H（x|y）和无条件熵H（X）的关系是31、对于理想信道，H（x|y）等于；I（x；y）=32、信源编码和信道编码的最大区别在于33、M个符号的离散无记忆信源，其最大熵为34、若YZ统计独立，则H（YZ）和H（Y）、H（Z）之间的关系是35、对称信道中，信源的最佳分布为36、离散信源分为，()RD是D的函数。37、对离散无记忆信源来说，当信源呈___________分布情况下，信源熵取最大值。二、名词解释1、离散信源2、无记忆离散信源3、有记忆离散信源4、自信息量5、信源熵6、互信息量7、离散无记忆序列信源8、唯一可译码9、非即时译码10、码树11、平均码长12、信道容量13、无噪无损信道14、有噪无损信道15、输入对称信道16、输出对称信道17、准对称信道18、对称信道19、信道冗余度20、汉明距离21、线性分组码22、循环码三、简答题1、信息、消息、信号及其区别2、简述一个通信系统包括的各主要功能模块及其作用3、简答描述单符号离散信源的数学模型4、自信息量、联合自信息量和条件自信息量三者之间的关系5、信源熵物理含义6、信源熵、条件熵、联合熵之间的关系7、描述最大离散熵定理的内容8、信源编码的实质9、克劳夫特不等式10、费诺编码步骤11、哈夫曼（Huffman）编码方法的编码步骤11、简单叙述无噪无损信道、无噪有损信道、有噪无损信道的信道容量。12、简述香农第二定理的内容13、香农编码的步骤四、综合题1、一个布袋内放有100个球，其中80个球是红色的，20个球是白色的，问：（1）若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。2、画出一个通信系统包括的各主要功能模块3、设信源共7个符号消息,其数学模型如下1234567()0.20.190.180.170.150.10.01XxxxxxxxPX求（1二进制香浓编码、（2利用哈弗曼编码方法进行信源编码，画出其过程。4、画出表格中所对应的两种编码方案的码树信源符号概率方案1的码字方案2的码字5、若已知信道矩阵100100010010010P，根据该信道矩阵画出信道图5、居住某地区的女孩子有20%是大学生，在女大学生中有60%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？6、假设信道的输入、输出符号数相等，都等于r,且信道条件转移矩阵为111111111ppprrppprrppprr求:信道容量。log()log(1)rHppr7、已知X，Y∈｛0，1｝，X，Y构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，计算条件熵H(X/Y)。8、一信源有4种输出符号码，Xi(i=0,1,2,3)，且p(Xi)=1/4。设信源向信宿发出X3，但由于传输中的干扰，接收者收到X3后，认为其可信度为0.9。于是信源再次向信宿发送该符号(X3)，信宿无误收到。问信源在两次发送中发出的信息量各是多少?信宿在两次接收中得到的信息量又各是多少?9、、设随机变量X的概率分布为2221111[,,,,,,]10101010101010随机变量Y是X的函数，其分布为将X的4个最小的概率分布合并为一个:X11/800000X21/801001X31/41001X41/21112224[,,,]10101010(1)显然H(X)＜log27，请解释原因；(2)计算H(X)，H(Y)；(3)计算H(X/Y)并解释其结果。10、一个无记忆信源，随机变量X∈{0；1}等概分布.求(1)以单个消息出现的信源熵;(2)两个消息出现信源熵;(3)信源的平均符号熵.11、设信源符号X∈｛0，1｝,编码器输出符号Y∈｛0,1,2｝,规定失真函数为d(0,0)＝d(1,1)＝0;d(0,1)＝d(1,0)=1;d(0,2)＝d(1,2)＝0.5,求失真矩阵d.12、设输入输出符号X=Y={0，1}，输入概率分布为p(x)={1/3,2/3}，失真矩阵为11122122(,),(,)0,1(,),(,)1,0dxydxyddxydxy求Dmax13、设某信道转移矩阵为3131616161613131P求信道容量14、信道转移矩阵为3161316161613131P求：信道容量。15、某二元离散无记忆信道的转移矩阵为ppppP11求对信道进行二次扩展，扩展后的信道转移矩阵及信道容量。16设某信道的转移矩阵为qpqppqqpP11求：信道容量。17、设有单符号离散信道。信道矩阵为0.40.30.30.50.30.20.20.35.0P求下面译码函数(规则)的pe：2*33*21*1)()()(:abFabFabFA3*32*21*1)()()(:abFabFabFB18、设有离散无记忆信源123456111111448888xxxxxxXP（1）编出平均码长最小的哈夫曼码；（2）计算其平均码长；19、一马尔可夫信源的符号集为{0,1,2}X，其状态集123{,,}Ssss，各状态之间的状态转移改概率为：状态发出符号概率0121s1/2→1s1/4→2s1/4→3s2s1/3→1s1/3→2s1/3→3s3s0→1s2/3→2s1/3→3s(1)求平稳后信源的概率分布；(2)求信源的熵H∞。20、分别写出循环码（7，4）对应于序列0110和1001的码字。