第三章-信道与信道容量-习题解答

1第三章信道与信道容量习题解答1.设信源通过一干扰信道，接收符号为信道传递矩阵为，求；（1）信源中符号和分别含有的自信息量。（2）收到消息后，获得的关于的信息量。（3）信源和信宿的信息熵。（4）信道疑义度和噪声熵。（5）接收到信息后获得的平均互信息量。解：（1）符号含有的自信息量：符号含有的自信息量：（2）根据信道转移概率：计算联合概率：：计算信宿端概率：：计算后验概率：：计算互信息量：：收到消息后获得的关于的信息量：收到消息后获得的关于的信息量：收到消息后获得的关于的信息量：收到消息后获得的关于的信息量：（3）信源熵：信宿熵：2（4）信道疑义度：噪声熵：（5）平均互信息量：2．有一个生产A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和C无误，A以1/4概率传为A，以1/4概率误传为B、C、D，而D以1/2概率正确传输，以1/2概率误传为C，（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？解：（1）先写出：再根据式求各联合概率：同样得求Y端概率空间的各：同样得3，，求联合熵：比特/每对消息信宿熵：比特/消息得可疑度：比特/消息（2）接收可靠的依据是根据下式求，越大表示越可靠：可见接收信号A最可靠。（3）计算信源熵：得散布度：比特/消息3.设二元对称信道的传递矩阵为（1）若，，求，，和；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。解：（1）先写出：根据公式计算联合概率：信宿端符号分布概率：根据公式计算：4求各熵：信源熵：比特/消息信宿熵：比特/消息可疑度：比特/消息平均互信息量：比特/消息噪声熵：比特/消息（2）二元对称离散信道的信道容量：比特/秒信源等概分布时（）达到信道容量。4.某一个二元通信系统，等概率分布发送消息：p(0)=p(1)=0.5，由于噪声干扰，信号对称信道，其差错率为1%，计算该通信系统的可疑度和平均互信息量。解：可疑度=理想观察者提供的附加熵：，信源熵：平均互信息量：5.设有一批电阻，按阻值分70%是2，30%是5，按功耗分64%是1/8W，其余是1/4W。现已知2阻值的电阻中80%是1/8W，问通过测量阻值可以平均得到的关于瓦数的信息量是多少？解：设将电阻按阻值分类看成概率空间X：，按功耗分类看成概率空间Y：，已知：，，通过计算，得通过测量阻值获得的关于瓦数的平均信息量：6.有一以“点”和“划”构成的老式电报系统，“点”的长度为30毫秒，“划”的长度为150毫秒，“点”和“划”出现的5概率分别为0.8和0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划”出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？解：信源熵：比特/消息单位时间的符号数：消息/秒信息速率：比特/秒如果点、划出现的概率相等时，则信源熵：比特/消息单位时间符号数：消息/秒信息速率：比特/秒可见等概率时，信息速率反而降低了。但与理论不矛盾，因为信息速率不光与信源熵有关，还与每秒发送的符号数有关，该信源的两个消息是非同价代码（每个码元(消息)的时间长度不同），等概率时，信源熵提高了，但每秒发送的符号数下降了，因此才有此结果。7.一个通信系统，信源消息由A、B、C、D四个字母组成，采用二元代码对信源编码为A：00、B：01、C：10、D：11，假设系统传输每个二元代码需要5ms，（1）若信源各字母等概率出现，计算其信源熵速率；（2）若信源各字母出现的概率为：p(A)=1/5，p(B)=1/4，p(C)=1/4，p(D)=3/10，计算其信源熵速率。解：（1）信源每秒输出的字母数：信源熵：信源熵速率：（2）信源熵：信源熵速率：8.有一传输“0”和“1”的二元数字通信系统，以1000码元/秒的速率传输，传送“0”和“1”的概率分别为：，由于信道有噪声，误码率为，试求接收的信息速率？解：先写出信道转移概率：6根据公式计算联合概率：求信宿端符号概率分布：根据公式计算后验概率：求可疑度：信源熵：比特/消息平均互信息量：比特/消息得接收熵速率：比特/秒9.有一个传输“0”和“1”的二元数字通信系统，以平均1000码元/秒的速率传输，传送“0”和“1”的概率相等，由于信道有噪声，误码率为0.15，（1）试求信道可疑度；（2）计算信源熵速率和接收熵速率；（3）现有一消息共有4000个二元符号，无失真地传递完该消息需要多少时间？解：（1）信道可疑度：（2）信源熵速率：接收熵速率：（3）一消息共有4000个二元符号，该消息的信息量：无失真地传递完该消息所需的时间：10.有一个二元对称信道，其信道矩阵为，设该信源以1500符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？解：根据信道转移矩阵画出下图：7由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度：比特/消息接收熵速率：比特/秒而系统要求的传信率为：比特/秒，大于1289比特/秒，故10秒内无法无失真传递完。11.已知一个平均功率受限的连续信号，通过带宽的高斯白噪声信道，试求（1）若信噪比为10，信道容量为多少？（2）若要保持信道容量不变，信噪比降为5，信道带宽应为多少？（3）若要保持信道容量不变，信道带宽降为0.5MHz，信号的功率信噪比应为多少？（4）其中有什么规律可总结？解：根据香农公式：（1）信噪比为10倍，信道容量：比特/秒（2）信噪比为5倍，信道带宽：（3）信道带宽为0.5MHz，信号的功率信噪比：（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信噪比，则可降低对信道带宽的要求。12.在一个理想通信系统中，已知信道中功率信噪比为10分贝，为了使功率节省一半又不损失信息量，有几种办法？请计算并讨论各自的优缺点。解：设下标1为原状况，下标2为改变后状况。由可得：，倍如果功率节省一半则倍，为了使功率节省一半又不损失信息量I，根据，可以：（1）加大信道带宽W，用带宽换取信噪比，，8缺点是对设备要求高。（2）加大传输时间T，用传输时间换取信噪比，同理可得：缺点是传输速度降低了。13.已知理想通信系统接收机输入端的功率信噪比为10分贝，为了使接收机输出端的功率信噪比增加到30分贝，信道带宽至少应为多少？假设原始消息带宽为15KHz。如果将功率信噪比改为电压信噪比，分贝数改为倍数，请重新计算.。解：由可得：10dB对应10倍，30dB对应1000倍，利用扩频通信原理：，将各数据代入：解得：如果则将各数据代入：解得：14.在理想系统中，若信道带宽与消息带宽的比为10，当接收机输入端功率信噪比分别为0.1和10时，试比较输出端功率信噪比的改善程度，并说明与之间是否存在阀值效应。解：已知根据公式：前者改善不明显，后者改善明显，故存在阀值效应。15.设加性高斯白噪声信道中，信道带宽3kHz，又设试计算该信道的最大信息传输速率。解：该信道的最大信息传输速率：比特/秒916．设电话信号的信息率为5.6×104比特/秒，在一个噪声功率谱为mW/Hz、限频、限输入功率的高斯信道中传送，（1）若kHz，问无差错传输所需要的最小功率是多少？（2）若，则是多少？解：（1）根据公式，，得，为无差错传输所需最小功率。（2）由于当时，根据，得：作业：1、3(2)、6、7(1)、8、9或10、11、13、15、16(1)