搜索
《信息理论与编码》课程论文题目：信息论的基本理论探究学生姓名：学号：系别：专业：任课教师：年月日1目录摘要...............................................................2关键词..............................................................21前言..............................................................32信息的度量........................................................42.1概述........................................................42.2离散信源及其信息度量........................................42.2.1离散随机信源的自信息与信息熵...........................42.2.2离散平稳信源...........................................52.2.3马尔可夫信源...........................................63离散信道..........................................................63.1概述........................................................63.2平均互信息..................................................73.3离散信道的信道容量..........................................74连续信道..........................................................75无失真信源编码....................................................85.1信源编码到无失真编码的概述..................................85.2定长编码....................................................95.3变长编码....................................................95.3.1概述...................................................95.3.2香农编码..............................................105.3.3费诺编码..............................................105.3.4霍夫曼编码............................................116本次课程论文总结.................................................11参考文献...........................................................122信息论的基本理论探究摘要信息是从人类出现以来就存在于这个世界上，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域，并且应用与众多领域：编码学、密码学与密码分析、数据压缩、数据传输、检测理论、估计理论等。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信源熵；有记忆，无记忆离散和连续信道的信道容量，平均互信息；无失真信源编码相关理论。关键词信息度量；离散和连续信源；信道容量；平均互信息；信源编码31前言被称为“信息论之父”的美国科学家香农于1948年10月发表于《贝尔系统技术学报》上的论文《AMathematicalTheoryofCommunication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。他为信息论奠定了理论基础。后来其他的科学家做出了更深入的探究，使信息论到现在形成了比较完整的理论体系。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。信息不同于情报、知识、消息、信号等概念。信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。知识是人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的价值的、人们所需的信息。消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”。所以信息不等同于消息，而信号携带消息，是消息的运载工具，所以信息也不等同于信号。信息是事物运动状态或存在方式的不确定性的描述，这就是香浓信息的定义。4下面从信息论的一些基本理论研究。2信息的度量2.1概述信息这一概念是比较抽象的，它不像通常的长度，重量等概念，有一个比较直观的印象，信息必须要有一个比较容易用来分析的度量的数学工具。这样才方便人们能够更好的认识和理解它。香农对信息的度量给出了严格的数学定义。2.2离散信源及其信息度量2.2.1离散随机信源的自信息与信息熵在通信系统的各种信源中，离散随机信源是最基本的一种信源，信源输出是单个的符号的消息，并且消息之间是两两互不相容的。我们知道，事件发生的不确定性与事件发生的概率有关：事件的发生概率越小，不确定性就越大，事件发生的概率越大，不确定性就越小，对于发生概率为1的必然事件就不存在不确定性。设一离散信源的概率空间为：X1a2a...qa)(xP)(1aP)(2aP...)(qaP即1)(1qiiaP，如果知道ia已发生，则该事件所含有的信息量称自信息，5表达式为：)(1log)(iiaPaI上面的自信息是指某一信源发出某一消息所含的信息量，但所发消息不同，它们所含信息量也就不同，所以自信息不能作为整个信源的信息测度，我们定义平均自信息量，即对每个事件各自所携带的信息量做一个加权平均，也称信息熵，表示如下：)(log)()(1log)(1iqiiiaPaPaPEXH信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。这里面有一个最大离散熵定理，表明:离散信源情况下，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。2.2.2离散平稳信源离散平稳信源也是一种非常重要的信源。不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。二维离散平稳信源就是信源输出的随机序列…，X1,X2,…,Xi，…，满足其一维和二维概率分布与时间起点无关。这种各维联合概率分布均匀与时间起点无关的完全平稳信源称离散平稳信源。二维离散平稳信源的联和熵为：)(log)()(1121jiqiqjjiaaPaaPXXH，此值表示原来信源X输出任意一对可能的消息的共熵，即描述信源X输出长度为2的平均不确定性，或所含的信息量，因此可用)(2121XXH6作为二维离散平稳信源的信息熵的近似值。2.2.3马尔可夫信源在非平稳离散信源中有一类特殊信源，这类信源输出符号序列中符号之间的依赖关系是有限的，它满足马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源满足下面两个条件：⑴某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。⑵信源某l时刻所处的状态由当前的输出符号和前一时刻)1(l信源的状态唯一决定。m阶有记忆的离散信源用马氏链来描述就成了m阶马尔可夫源，当m=1时就为一阶马尔可夫信源。一般马尔可夫信源的信息熵应该是其平均符号熵的极限值，即：)(1lim)(21NNXXXHNXHH。3离散信道3.1概述信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数7信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。3.2平均互信息先引入信道疑义度：)|(1log)()|(,yxPxyPYXHYX；它表示在输出端收到输入变量Y的符号后，对于输入端的变量X尚存在平均不确定性（存在疑义）。我们已知)(XH代表接收到输出符号以前关于输入变量X的平均不确定性，由此可见，通过信道传输消除了一些不确定性，获得了一定的信息，X与Y之间的平均互信：)|()();(YXHXHYXI。3.3离散信道的信道容量信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，这就是对称离散信道。计算对称离散信道的信道容量公式是：),,(log21spppHC（比特/符号）。右边的第一项是输出符号的最大信息熵，第二项是信道矩阵分布行矢量的熵函数。4连续信道在某一时刻，输出的信号既是连续又是随机的，我们称之为随机波形信源。用连续随机变量来描述输出消息的信源就是连续信源。连续信源的熵为：dxxpxpXhR)(log)()(。和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称之为信道容量。它是信道可靠传输的最大信息8传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道带宽及对信号的各种限制不同，所以具有不同的信道容量。我们先来讨论单符号高斯加性信道的信道容量，单符号高斯加性信道是指信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为：)1log(21nsPPC其中，inP是输入信号X的平均功率，nP是高斯噪声的平均功率。只有当信的输入信号是均值为零，平均功率为sP高斯分布的随机变量时。信息传输率才达到这个最大值。5无失真信源编码5.1信源编码到无失真编码的概述为了减少信源输出符号序列中的剩余度，提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。为了有效的传播信息，最理想状态即为无失真传输。在无失真信源编码中又分为定长编码、变长编码和最佳长编码。95.2定长编码在定长编码中，K是定值，编码的目的即为找到最小的K值。要实现无失真传输的信源编码，不但要求信源符号的码字是一一对应的，而且还要求有码字组成的符号序列的逆变换也是唯一的。由定长编码定理可知，当编码器容许的信息率，也就是当每个信源符号必须输出的码长是K=K1/logm。由定理表明，只要码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真传