1信息论基础课程作业汇总2015/03/23作业11.查资料了解香农的研究生涯及其信息论的主要内容和应用。作业21.用微分或者积分中值定理证明基本对数不等式。2.用Jessen不等式证明对数和不等式。作业31.在伪币称量问题中,若用天平比较两枚金币的重量,则三种结果的信息量分别是多少?2.在掷色子游戏中,当得知两个色子的点数之和为3时获得多少比特的信息?3.已知平均100人中有2人患有某种疾病,为了查明病情,必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的,对于健康的人来说有一半可能为阳性、一半可能为阴性。若x表示有这种病,y表示化验结果为阳性,试计算I(x|y)与I(x;y)并说明其含义。4.试证明;|IxyIxIxy作业41.中科大杨孝先版教材第52页,习题2.3。2.设一条电线上串联了8个灯泡,如图所示。假设其中有且只有一个灯泡坏了,并且各灯泡的损坏概率相同,用万用电表通过测量断路找出坏灯泡。(1)平均需要获得多少信息,才能找出其中的坏灯泡。(2)一次测量所获得的信息的最大期望值是多少?(3)试设计一个最佳测量方案,即测量次数的期望值最小的测量方案。3.伪币称量问题:今有12枚金币,其中1枚是伪币,其重量不同于真币。(1)要找出这枚伪币需获得多少信息?(2)确定伪币比真币重还是轻需多少信息?(3)用一台无砝码的天平称量一次,平均最多可获得多少信息?2(4)试设计一个称量方案,用3次称量找出伪币。4.程序设计1:输入有限概率分布,输出该分布的熵。作业51.设一个信源有6种信号,先后输出的信号是独立同分布的,其概率分布为(1/2,1/4,1/8,1/16,1/32,1/32)(1)该信源输出1个符号所提供的平均信息量。(2)该信源输出100个符号所提供的平均信息量。2.在一段时间内,某城市交通的忙闲天数按天气阴晴和气温冷暖进行分类统计如下:(1)计算交通忙闲状态的无条件熵。(2)计算天气和气温状态下的条件熵。(3)计算从天气和气温状态所获得的关于交通状态的信息。3.世界职业棒球锦标赛为7场赛制,只要其中一队赢得4场,比赛就结束。设随机变量X代表在比赛中A队和B队较量的可能结果(X的可能取值如AAAA,BABABAB和BBBAAAA,其中A,B分别表示A队和B对获胜)。设Y代表比赛的场数,取值范围为4到7。假设A队和B队是同等水平的,且每场比赛相互独立。试计算H(X),H(Y),H(Y|X)和H(X|Y)。作业61.设二元对称信道的误码率为1%,当输入符号的概率分布为均匀分布时,计算该信道的损失熵和信息传输率,并说明其意义。作业71.证明平均符号熵序列是单调递减的,即对于任何n,1212+1()()+1nnHXXXHXXXnn晴忙阴暖8天忙冷27天暖16天晴忙阴暖15天闲冷4天暖12天冷12天冷8天32.设X是一个二元二阶马尔科夫信源,其条件概率矩阵P(X3|X1X2)如下,试画出该信源的隐马尔科夫模型的状态转移图,求其极限分布并计算信源熵率。X3X1X20001101100.80.50.50.210.20.50.50.83.程序设计2:构造英语字母的3-阶马尔科夫模型。输入:英文语料(即英语文章,至少1万个单词,越多越好)。输出:英语符号的2-阶条件概率矩阵。作业81.设X为独立同分布的随机序列,其共同的概率分布为11KKsspp试计算1/12[()]NNPXXX依概率收敛的极限。2.设X为独立同分布的随机序列,其共同的概率分布为010.250.75试计算如下两种情形下长度为n的ε-典型序列的概率。(1)ε=0.10,n=100(2)ε=0.05,n=10作业111.证明定理1.4:若信源S是平稳的,则S的N-次扩展信源也是平稳的,并且NHSNHS2.设计编码方法,根据下列码长构造即时码。logiilp4作业121.设离散无记忆信源的符号概率分布为(0.4,0.2,0.15,0.15,0.1)试根据该分布构造二元霍夫曼码,并计算其平均码长和压缩率。2.程序设计3:霍夫曼编码功能:输入一个信源符号集的概率分布,输出该信源符号集的霍夫曼码本。作业141.设某二元无记忆信源的符号概率分布为p(0)=1/4,p(1)=3/4试对信源序列110010进行2次扩展算术编码。作业151.对cbbcbabcaa分别进行LZ78编码和LZW编码。作业161.设二元对称信道传递符号的速率是1Mb/s,错误概率是0.01。写出该信道的转移矩阵,并计算信道容量。2.设一个均匀分布的二元信源X,产生了一个大小为9Mb的数据w。若直接用上述信道传输该数据会导致大约1%的信息损失。试说明,若对w进行信道编码再发送,能否在10秒钟内以任意小的错误概率发送完该数据。