信息论与编码09-10A试卷答案

-1-武汉工业学院课程考核试题参考答案及评分标准学年：2009－2010学期：第2学期课程名称：信号理论与编码（A卷）考核方式：考试（闭卷）任课教师：曾武、温红艳课程所在院（系、部）：电气信息工程系考试班级：07级电子信息、通信工程一、填空（每空3分，共30分）1、信息按其性质可分为语法信息、语义信息和语用信息。2、布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为1bit。3、信源熵H(X)表示信源输出后每个消息所提供的平均信息量。4、平均互信息量与信息熵、联合熵的关系是I(X;Y)=H(X)+H(Y)-H(XY)。5、单符号离散信源是用随机变量来描述的，则多符号离散信源用随机矢量来描述。6、对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其它唯一可译码的平均码长，则称该码为紧致码或最佳码。7、信道可以从工程的物理背景即传输媒介的类型；从数学上的描述方式即信号与干扰描述方式；从信道本身的物理性质即信道参量性质或是用户类型以及记忆特性等进行分类。8、码字10100001与码字01100000之间的距离是3。9、分组码是前向纠错码，它可以在无需重新发射的情况下检测出有限个错码，并加以纠正。二、简答题（每题5分，共20分）1、答：联合熵与条件熵的关系：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)（1分）当X与Y相互独立时有：H(XY)=H(X)+H(Y);H(X/Y)=H(X);H(Y/X)=H(Y)（1分）联合熵与信息熵的关系：()()()HXYHXHY，当且仅当两个集合相互独立时，取等号。条件熵与信息熵的关系：(|)();(|)()HYXHYHXYHX（1分）平均互信息量与信息熵、条件熵的关系：(;)()(|);(;)()(|)IXYHXHXYIXYHYHYX（1分）平均互信息量与信息熵、联合熵的关系：(;)()()()IXYHXHYHXY（1分）-2-2、答：计算步骤如下：211(/)(/)log(/),mmjijjijijjjpbapbapba1）由求；（1分）212log(2)jmjCC）由，求；（1分）3()2,()jCjjpbpb）由求；（1分）214()()log(/),()mjijiijpbpapbapa）由求。（1分）在2）后求解出C计算并没有结束，必须解出相应的()ipa，并确认所有的()ipa都大于等于0时，所求的C才存在，因为在对I(X;Y)求偏导时，仅限制1()niipa＝1，并没有限制()0ipa，所求出的()ipa有可能为负值，此时的C就不存在，必须对()ipa进行调整，再重新求C。（1分）3、答：（3分）信道容量2log3/Cbitsign（2分）4、答：min1dr；（1分）；min21dt；（2分）；min1drt；（2分）三、计算题（每题10分，共30分）1、解：（1）bitxpxIxpiii170.4181log)(log)(18161616161)(（3分）（2）bitxpxIxpiii170.5361log)(log)(3616161)(（3分）-3-（3）两个点数的排列如下：共有21种组合：其中11，22，33，44，55，66的概率是3616161其他15个组合的概率是18161612（2分）symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()(（2分）2、解：（1）根据题意有：111121231321212223233131232333()()(/)()(/)()(/)()()(/)()(/)()(/)()()(/)()(/)()(/)pspspsspspsspspsspspspsspspsspspsspspspsspspsspspss112321233123111()()()()344111()()()()324111()()()()342pspspspspspspspspspspsps（2分）112323()3/11()()()1()4/11()4/11pspspspspsps（2分）111121231321212223233131232333()()(/)()(/)()(/)3/11()()(/)()(/)()(/)4/11()()(/)()(/)()(/)4/11pxpspxspspxspspxspxpspxspspxspspxspxpspxspspxspspxs012()3/114/114/11XPX（2分）-4-（2）33()(/)log(/)ijijiijHpspsspss222311411411(3log4log2log)1133114411222123(+log3)/1111bitsign（4分）3、解：（1）利用霍夫曼编码方法，从而得到123456xxxxxx、、、、、平均码长最小的霍夫曼码为：1、01、001、0001、00001、00000。（6分）（2）该霍夫曼码的平均码长为：511111131()123452248163216iiiLpsl（4分）四、综合题（20分）1、从狭义信息论角度说，虽然将要表演的内容观众已知，但每一次演出不可能完全相同。而观众在欣赏的同时也在接受着新的感观和视听享受。从这一角度来说观众还是可以得到新的信息的。另一种解释可以从广义信息论角度来说，它涉及了信息的社会性，实用性等主观因素，同时受知识水平、文化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论范畴。2、（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡②左倾③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10log9=2log3,所以剩下的2次称重不能获得所需的信息.-5-