211-12信息论与编码试卷A答案

第1页共8页暨南大学考试试卷得分评阅人一、选择题（共5小题，每小题3分，共15分）1.下列关于离散随机变量X信息熵()HX的论断中错误的是（D）。A、信息熵表示了信源输出前，信源的平均不确定性；B、信息熵是其概率空间中每个事件所含有的自信息量的数学期望；C、信息熵表示了信源输出后，每个消息或符号所提供的平均信息量；D、信息熵并不反映随机变量X的随机性。2.对于连续信源X，若平均功率受限（方差受限）时，则其概率密度函数是（A）时，差熵具有最大值。A、高斯分布B、均匀分布C、三角分布D、非均匀分布3.下图给出了两个离散信源X、Y的概率空间，其熵值间满足（B）。12341234()0.150.250.40.2()0.250.250.250.25XxxxxYyyyypxpyA、H(X)H(Y)B、H(X)H(Y)C、2H(X)=H(Y)D、H(X)=2H(Y)教师填写2012-2013学年度第一学期课程名称：信息论与编码授课教师姓名：谭晓青考试时间:2013年1月16日课程类别必修[√]选修[]考试方式开卷[]闭卷[√]试卷类别(A、B)[A]共8页考生填写学院(校)专业班(级)姓名学号内招[]外招[]题号一二三四五六七八九十总分得分暨南大学《信息论与编码》试卷A参考答案考生姓名、学号：第2页共8页4.某无记忆信源U为101111()333Upu，接收符号11,22V，其失真矩阵121121D，则该信源的Dmax=（A）。A、43B、23C、13D、535.某一信道，其输入U的符号集为10,,12，输出Y的符号集为0,1，信道矩阵10112201P，现有四个消息的信源通过这信道传输（消息等概率出现）。若对信源进行编码，我们选这样一种码1211:,,,01(1,2)22iCxxxi或其码长为4n。这样编码后信息传输率等于（B）。A、13B、12C、14D、23得分评阅人二、填空题（共5小题，每小题3分，共15分）1.对于离散有噪无损信道，用r表示输入变量X的符号个数，用s表示输出变量Y的符号个数，其信道容量C=logr。2.若连续信源X的取值区间为[0,)，其概率密度函数为()xmepxm，其中0x，m是X的数学期望，则连续信源X的差熵()CHXme2log。3.有噪信道编码定理：有噪信道的信道容量为C，RC若信息传输率，只要码长n足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率EP为任意小。暨南大学《信息论与编码》试卷A参考答案考生姓名、学号：第3页共8页4.已知在GF(2)[x]上有73231(1)(1)(1)xxxxxx，构造(7,4)循环码可以选择生成多项式()gx=332(1)(1)xxxx或。5.若纠错码的最小距离为dmin，要检测f个随机错误，则要求min1df；要纠正e个随机错误，则要求min21de；要纠正e个同时检测f个随机错误，则要求min1def。得分评阅人三、计算题（共6小题，每小题10分，共60分）1.某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符号的平均熵；（3分）(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100–m）个“1”）的自信息量的表达式；（4分）(3)计算(2)中序列的熵。（3分）解：(1)symbolbitxpxpXHiii/811.043log4341log41)(log)()(。。。。。。。。。。。。。3分(2)bitmxpxIxpmiimmmi585.15.4143log)(log)(434341)(100100100100100。。。。。。。。。。。。。4分(3)symbolbitXHXH/1.81811.0100)(100)(100。。。。。。。。。。。。。3分2.求下列可抹信道的容量，其条件概率P(Y/X)为1212211211ssssssss。解：可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下：暨南大学《信息论与编码》试卷A参考答案考生姓名、学号：第4页共8页mikkkkMypjMypjkMypjkmikskkkHypypmCsypmypypsypypmypypmypypsssxypxpxypxpypssssxypxpxypxpypssssxypxpxypxpypHypypmYXICssMssssssMjjkj)(log)(1)()()(2/12)()()()()()(2/2/)/()()/()()(2/12/)1(2/)/()()/()()(2/12/2/)1()/()()/()()()(log)();(max,11221132)(21211)(1)(11123213131212222121212212121111211122122211217分112121122121212221121221222211(2loglog)[(1)log(1)loglog]221(1)log(1)log(1)log/2ssssssssssssssssssssbitsymbol3分3.对信源：01.01.015.017.018.019.02.0)(7654321xxxxxxxXPX，编三进制哈夫曼码，并计算平均码长和码率。解：三进制哈夫曼码：。。。。。。。。。。。。。7分xip(xi)编码码字kis31s20.540s10.261x10.2221x20.190002x30.181012x0.172022x50.150102x60.11112x70.012122暨南大学《信息论与编码》试卷A参考答案考生姓名、学号：第5页共8页%4.913log8.1609.2log)()(8.1)01.01.015.017.018.019.0(22.01)(22mLKXHRXHxpkKiii。。。。。。。。。。。。。3分4.设信源ppxxXPX1)(21（p0.5），其失真度为汉明失真度，试问当允许平均失真度D=0.5p时，每一信源符号平均最少需要几个二进制符号表示？解：因为二元信源率失真函数：aDHpHDR)()(其中a=1（汉明失真）,所以二元信源率失真函数为：)()()(DHpHDR。。。。。。。。。。。。。5分当2pD时，。。。。。。。。。。。。。5分symbolnatpppppppppHpHpR/21ln212ln2)1ln()1(ln2)(25.设有一连续随机变量X，其概率密度函数2301()0xxpx其他，试求Y=2X的熵Hc(Y)。解：01012yx2320202()()(2)()21383()()8YyyyFyPYyPXyPXxdxyfyFyy。。。。。。。。。。。。。4分223()()log()()log83log()()log8cRRRRHYfyfydyfyydyfydyfyydy暨南大学《信息论与编码》试卷A参考答案考生姓名、学号：第6页共8页233loglog84328loglog8321log3log132()log3log1/3RcyydyeeHYebitsymbol。。。。。。。。。。。。。6分6.下面是某(n,k)线性二元码的全部码字：12345678000000000111011001011110101011101100110010110101CCCCCCCC（1）求n,k为何值；（3分）（2）构造这码的生成矩阵G；（3分）（3）构造这码的一致校验矩阵H。（4分）解：(1)因为码字数3822kM，所以3,6kn为(6,3)码线性分组码。3分(2)生成矩阵G为3k行，6n列的矩阵，由3k个线性独立的码字组成，故000111011001101011G。3分(3)设信息位为123(,,)mmmm，则码字123000111()011001101011CmGmmm所以132212332312145411246513416123421000cmcmccccmmccccccmcccccmmcccmmmccc所以111000100110110101H。4分暨南大学《信息论与编码》试卷A参考答案考生姓名、学号：第7页共8页得分评阅人四、证明题（共2小题，每小题5分，共10分）1.证明：31231(/)(/)HXXXHXX,并说明当123,,XXX是马氏链时等式成立。证明：0log1)/()(log)()/()(log1)/()/()()/()/(log)()/(log)()/(log)()/(log)()/(log)()/()/(2123132121233211231321123221313321123213133211231332112321332113133112321332113213exxpxxpexxxpxxpxxpexxxpxxpxxxpxxxpxxpxxxpxxpxxxpxxxpxxxpxxpxxpxxxpxxxpXXHXXXHiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii312313131231312123131212121311232131231(/)(/)(/)10(/)(/)(/)()(/)(/)()()(/)(/)()(/)(/)(/)iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiHXXXHXXpxxpxxxpxxpxxxpxxpxxpxxxpxxpxpxxpxxpxxxpxxpxxpxxx当时等式成立等式成123,,XXX立的条件是是马氏链.………..5分暨南大学《信息论与编码》试卷A参考答案考生姓名、学号：第8页共8页2.若三个随机变量，有如下关系：Z=X+Y，其中X和Y相互独立，试证明：(;)()IXYZHX。证明：)(0)()/()();(0)/(log)/()()/(log)()/(01)/(22XHXHYZXHXHYZXIzyxpzyxpzypzyxpzyxpYZXHyzxyzxzyxpYXZjkikjikjikjijkkjikjijkijkikji………..5分