信息论作业

熵1.从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？2..设有一概率空间，其概率分布为{1p,2p,…,qp}，并有1p2p。若取'1p=1p，'2p=2p，其中1202pp，其他概率不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。3.（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同的亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素独立变化，且所有亮度电平等概率出现。（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统的信息率的2.5倍。4.为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元脉冲宽度为5ms。（1）不同字母等概率出现时，计算传输的平均信息速率；（2）若每个字母出现的概率分别为1111,,,2488ABCDpppp，试计算传输的平均信息速率。5.证明：1212()()()()NNHXXXHXHXHX6设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。压缩编码1.有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345CCCCC、、、、和6C。（1）求这些码中哪些是唯一可译码；（2）求哪些是非延长码（即时码）；（3）对所有唯一可译码求出其平均码长。消息概率1C2C3C4C5C6C1a1/20000001012a1/40010110100000013a1/1601001111011010011004a1/160110111111011000101015a1/16100011111111010011101106a1/1610101111111111011111101112.设信源126126()sssSpppPs，611iip。将此信源编码成为r元唯一可译变长码（即码符号集12{,,,}rXxxx），其对应的码长为（126,,,lll）=（1，1，2，3，2，3），求r值的最小下限。3.设一信源有K=6个符号，其概率分别为：123()1/2,()1/4,()1/8PsPsPs，45()()1/20PsPs，6()1/40Ps，对该信源进行霍夫曼二进制编码，并求编码效率。4.某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。若每个消息是等概的，那么发送每个消息最少所需的二元脉冲数是多少？又若四个消息出现的概率分别是1/4，1/8，1/8和1/2，问在此情况下消息所需的二元脉冲数是多少？如何编码？5.若有一信源12,()0.8,0.2ssSPs每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递2个二元符号。试问信源不通过编码能否直接与信道连接？若通过适当编码能否在此信道中进行无失真传输？若能连接，试说明如何编码并说明原因。信道容量：1设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。2已知信源X包含两种消息：12,xx，且12()()1/2PxPx，信道是有扰的，信宿收到的消息集合Y包含12,yy。给定信道矩阵为：0.980.020.20.8P，求平均互信息(;)IXY。3设二元对称信道的传递矩阵为：21331233，（1）若P(0)=34，P(1)=14，求()HX，(/)HXY，(/)HYX和(;)IXY；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。4求下图中信道的信道容量及最佳的输入概率分布。并求当0和12时的信道容量C。001212111XY5有一个二元对称信道，其信道矩阵为0.980.020.020.98。设该信道以1500个二元符号每秒的速率传输输入符号。现有一消息序列共有14000个二元符号，并设在这个消息中，(0)(1)1/2PP。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？6若有一离散非对称信道，其信道转移概率如下图所示。试求：01011/21/21/43/4（1）信道容量1C；（2）若将两个同样信道串接，求串接后的转移概率；（3）求串接后信道的信道容量2C。7设有一离散级联信道如下图所示。试求：0x1x0y1y0z1z2z1134341414（1）X与Y间的信道容量1C；（2）Y与Z间的信道容量2C；（3）X与Z间的信道容量3C及其输入分布()Px。8若有两个串接的离散信道，它们的信道矩阵都是：000100011100220010P，并设第一个信道的输入符号1234{,,,}Xaaaa是等概率分布，求(;)IXZ和(;)IXY并加以比较。9若X，Y，Z是三个随机变量，试证明：（1）;(;)(;/)(;)(;/)IXYZIXYIXZYIXZIXYZ；（2）;/(;/)(/)(/)IXYZIYXZHXZHXYZ；（3）;/0IXYZ,当且仅当（XYZ，，）是马氏链时等式成立。10若三个离散随机变量有如下关系：XYZ+，其中X和Y相互独立，试证明：（1）(;)()()IXZHZHY；（2）(;)()IXYZHZ；（3）;()IXYZHX；（4）;/()IYZXHY；（5）;/(/)(/)IXYZHXZHYZ。