信息论基础——总复习

试题类型判断题共10小题，满分20分；填空题共6小题，满分20分；证明题共1小题，满分10分；计算题共4小题，满分50分：各类熵以及互信息的计算；马尔科夫信源熵及其相关；唯一可译码的判定、D进Huffman编码及其相关；线性分组码综合；二进信道容量的计算及其相关；r元等概分布对称信源的率失真函数与失真度的计算．信息论的基本内容课程特点：以概率论为基础，数学推导较多，学习时主要把注意力集中到基本概念的理解上，不过分追求数学细节的推导。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。信源编码器信道译码器信宿噪声源通信系统模型信息论的研究对象是这种统一的通信系统模型。狭义信息论：主要研究信息的度量、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论香农信息论的核心：揭示了在通信系统中采用适当的编码后能够实现有效且可靠的传输信息，并得出了信源编码定理和信道编码定理。三大定理无失真信源编码定理（第一极限定理）信道编码定理（第二极限定理）有失真信源编定理（第三极限定理）从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。Shannon信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论----狭义信息论编码理论与技术有效性编码：压缩信源的冗余,从而提高信息的传输效率,主要是针对信源的统计性进行编码,故也称为信源编码。可靠性编码：一般增加信源的冗余,有以提高信息传输的可靠性,主要是针对信道的统计性进行编码,故也称为信道编码安全性编码：将信源的明文编码成密文，提高通信的安全性。“信息”的定义仙农从研究通信系统传输的实质出发，对信息做出了科学的定义；仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。因此,对于收信者来说,通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多；“信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。自信息定义：若事件x的概率为p(x)，则称或为事件x的自信息量，简称x的自信息.()log()cIxpx1()log()cIxpx（自）互信息量定义互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量；互信息量可能为正数、负数、0；xiyj信道p(xi):发送端发送xi的概率；P(xi|yj):接收端收到yj后，发送端发送xi的概率)()|(log)|(1log)(1log);(ijijiijixpyxpyxpxpyxI定义:平均互信息量定义与其他熵的关系I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(X,Y)表达平均互信息量的熵I(X;Y),是确定通过信道的信息量的多少，因此称它为信道传输率或传信率。)()|(log),();(),();(ijijijijijijixpyxpyxpyxIyxpYXI熵的含义性质熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。熵表示事件集合中事件发生后，每个事件提供的平均信息量；熵表示事件发生前，集合的平均不确定性；信道中熵的信息流图H(Y|X):信道散布度；H(X|Y):信道含糊度；它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。H(X)H(Y)I(X;Y)H(X|Y)H(Y|X)各类熵与集合图的类比H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)H(X,Y)ABA∩B’A’∩BA∩BA∪B信道容量的计算通常计算一个信道的信道容量是比较麻烦的，甚至是不可能精确计算出来的，这是因为需要对所有可能的输入信号的概率分布来计算I(X;Y)，从中找出最大可能的一个作为信道容量;由于I(X,Y)=H(X)-H(X/Y)bit/符号是输入随机变量X的概率分布p(x)的上凸函数，因此对于一个确定信道，总存在一个信源（某种概率分布p0(x)），使得传输每个符号平均获得的信息量最大，即每个固定信道都有一个最大的信息传输率，定义这个最大值为信道容量C：);(max)(YXICixP当信源和损失（距离）函数给定后，我们总希望寻找平均互信息的最小值。也就是在模拟信道集合C中找一个信道，使平均互信息取极小值；由于平均互信息是转移概率的凹函数（下凸），所以存在信道使得有极小值，它就是信源必须传输的最小平均信息量，即()inf{(;):()}CRdIpQQQd改变模拟信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。率失真函数的计算什么是数据压缩•数据压缩就是在一定的精度损失条件下，以最少的数码表示信源所发出的信号信源编码信道编码信道信道译码信源译码信源信宿多媒体信源引起了“数据爆炸”如果不进行数据压缩传输和存储都难以实用化。多媒体数据数据压缩的必要性数字音频格式频带(Hz)带宽(KHz)取样率(KHz)量化位数存储容量(MB)电话200~34003.2880.48会议电视伴音50~7000716141.68CD-DA20~200002044.1165.292×2DAT20~200002048165.76×2数字音频广播20~200002048165.76×6分钟数字音频信号需要的存储空间1时间域压缩──迅速传输媒体信源频率域压缩──并行开通更多业务空间域压缩──降低存储费用能量域压缩──降低发射功率数据压缩的好处压缩比要大恢复后的失真小压缩算法要简单、速度快压缩能否用硬件实现数据压缩技术实现的衡量标准无损压缩是指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同；无损压缩用于要求重构的信号与原始信号完全一致的场合。有损压缩是指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。有损压缩适用于重构信号不一定非要和原始信号完全相同的场合。数据压缩技术的分类经典数据压缩理论信息论中的信源编码理论解决的主要问题：（1）数据压缩的理论极限（2）数据压缩的基本途径最大离散熵定理的应用对于同一个信源其总的信息量是不变的，如果能够通过某种变换（编码），使信源尽量等概率分布，则每个输出符号所独立携带的信息量增大，那么传送相同信息量所需要的序列长度就越短。