信息论与编码(第二版)习题答案,陈运,主编

精编WORD文档下载可编缉打印下载文档，远离加班熬夜信息论与编码(第二版)习题答案,陈运,主编篇一：信息论与编码复习资料重点陈运第二版2.3居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历XP(X)x1（是大学生）0.25x2（不是大学生）0.75设随机变量Y代表女孩子身高YP(Y)y1（身高>160cm）0.5y2（身高<160cm）0.5已知：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)?0.75bit精编WORD文档下载可编缉打印下载文档，远离加班熬夜求：身高160厘米以上的某女孩是大学生的信息量即：I(x1/y1)??logp(x1/y1)??logp(x1)p(y1/x1)p(y1)??log0.25?0.750.5?1.415bit2.4设离散无记忆信源???x1?0????P(X)??3/8?Xx2?1x3?21/41/4x4?3??，其发出的信息1/8?为(202120210213001203210110321010021032021223210)，求(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：?3?p???精编WORD文档下载可编缉打印下载文档，远离加班熬夜?8?14?1?????4?25?1?????8?6此消息的信息量是：I??logp?87.811bit(2)此消息中平均每符号携带的信息量是：I/n?87.811/45?1.951bit2.5从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：p(xY)?7%I(xY)??logp(xY)??log0.07?3.837bitp(xN)?93%I(xN)??logp(xN)??log0.93?0.105bit2H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366bit/symbol精编WORD文档下载可编缉打印下载文档，远离加班熬夜i女士：2H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045bit/symboli2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,?,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)p(xi)?16?16?16?16?118118?4.170bitI(xi)??logp(xi)??log(2)p(xi)?16?16?136精编WORD文档下载可编缉打印下载文档，远离加班熬夜136?5.170bitI(xi)??logp(xi)??log(3)两个点数的排列如下：111213142131415161223242526223334353632434445464152535455565162636465666共有21种组合：其中11，22，33，44，55，66的概率是16?16?136其他15个组合的概率是2?16?16?1181111??H(X)???p(xi)logp(xi)???6?log?15?log??4.337bit/symbol精编WORD文档下载可编缉打印下载文档，远离加班熬夜36361818??i(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：?X??P(X2??????1)???36i3118411251965367168536910119121111812??1?36??H(X)???p(xi)logp(xi)111111115511?????2?log?2?log?2?log?2?log?2?log?log?36361818121299363666???3.274bit/symbol(5)精编WORD文档下载可编缉打印下载文档，远离加班熬夜p(xi)?16?16?11?11361136?1.710bitI(xi)??logp(xi)??log2.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：冷12晴晴冷8暖8忙冷27雨雨闲暖15冷5暖16精编WORD文档下载可编缉打印下载文档，远离加班熬夜暖12若把这些频度看作概率测度，求：(1)忙闲的无条件熵；(2)天气状态和气温状态已知时忙闲的条件熵；(3)从天气状态和气温状态获得的关于忙闲的信息。解：(1)根据忙闲的频率，得到忙闲的概率分布如下：?X??P(X?x忙??1???63)???1032x2闲??40?103??634040??63H(X)???p(xi)logp(xi)???log?log??0.964bit/symboli?103103103103?(2)设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量ZH(XYZ)?????p(xiyjzk)logp(xiyjzk)精编WORD文档下载可编缉打印下载文档，远离加班熬夜ijk????12log128827271616?103103?103log103?103log103?103log103?81515103log8103?103log103?5103log512103?103log12?103???2.836bit/symbolH(YZ)????精编WORD文档下载可编缉打印下载文档，远离加班熬夜p(yjzk)logp(yjzk)jk????20log20232332322828??103103?103log103?103log103?103log103???1.977bit/symbolH(X/YZ)?H(XYZ)?H(YZ)?2.836?1.977?0.859bit/symbol(3)I(X;YZ)?H(X)?H(X/YZ)?0.964?0.859?0.159bit/symbol2.11有两个二元随机变量X和Y，它们的联合概率为并定义另一随机变量Z=XY（一般乘积），试计算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解：(1)p(x1)?p(x1y1)?p(x1y2)?p(x2)?p(x2y1)?p(x2y2)?18?精编WORD文档下载可编缉打印下载文档，远离加班熬夜3818??121238?H(X)???p(xi)logp(xi)?1bit/symbolip(y1)?p(x1y1)?p(x2y1)?p(y2)?p(x1y2)?p(x2y2)?18?3818??121238?H(Y)???p(yj)logp(yj)?1bit/symboljZ=XY的概率分布如下：?z?0?Z??1????7P(Z)???8?2精编WORD文档下载可编缉打印下载文档，远离加班熬夜z2?1??1?8??711??7H(Z)???p(zk)???log?log??0.544bit/symbol888??8kp(x1)?p(x1z1)?p(x1z2)p(x1z2)?0p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?H(XZ)???i78?0.5?3818?k13311??1p(xizk)logp(xizk)???log?log?log??1.406bit/symbol28888??2篇二：信息论与编码_陈运主编_无水印完整版答案2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？精编WORD文档下载可编缉打印下载文档，远离加班熬夜解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X1)=logn=log4=2bit/symbol八进制脉冲的平均信息量H(X2)=logn=log8=3bit/symbol二进制脉冲的平均信息量H(X0)=logn=log2=1bit/symbol所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2.2居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：精编WORD文档下载可编缉打印下载文档，远离加班熬夜设随机变量X代表女孩子学历XP(X)x1（是大学生）0.25x2（不是大学生）0.75设随机变量Y代表女孩子身高Yy1（身高>160cm）P(Y)0.5y2（身高<160cm）0.5已知：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)=0.75bit求：身高160厘米以上的某女孩是大学生的信息量/y)=?logp(x/y)=?即：I(x1111p(x1)p(y1/x1)0.25×0.75=?=1.415bitp(y1)0.52.3一副充分洗乱了的牌（含52张牌），试问(1)任一特定排列所给出的信息量是多少？(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1)52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：p(xi)=152!精编WORD文档下载可编缉打印下载文档，远离加班熬夜I(xi)=?logp(xi)=log52!=225.581bit(2)52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：·1·p(xi)=413C5213413I(xi)=?logp(xi)=?13=13.208bitC52x=1x=2x=3??X??x1=02342.4设离散无记忆信源?=??，其发出的信息为?1/8??P(X)??3/81/41/4(202120210213001203210110321010021032021223210)，求(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：614253??1??1??p=??×?×????8??4??8?此消息的信息量是：I=?logp=87.811bit(2)此消息中平均每符号携带的信息量是：I/n=87.811/45=1.951bit2.5从大量统计资料知道，男性中红绿色盲精编WORD文档下载可编缉打印下载文档，远离加班熬夜的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：p(xY)=7%I(xY)=?logp(xY)=?log0.07=3.837bitp(xN)=93%I(xN)=?logp(xN)=?log0.93=0.105bitH(X)