信息论与编码课程总结

信息论与编码课程总结08信息（1）班0807011039赵传来信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学。绪论首先引出信息的概念，进而讨论信息论这一科学的研究对象、目的和内容，并简述本学科的发展历史、现状和动向。经总结有以下知识点。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编码、加密编码。理论上传输的最少信息量编码效率实际需要的信息量。在绪论之后，我们徐诶了信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为()ipx的符号ix的自信息量为：()log()iiIxpx。自信息量具有下列特性：（1）()1,()0iipxIx（2）()0,()iipxIx（3）非负性（4）单调递减性（5）可加性。信源熵是在平均意义上来表征信源的总体特征，它是信源X的函数，一般写成H（X）。信源熵：()()log()iiiHXpxpx，条件熵：(|)(,)log(|)ijijijHXYpxypxy联合熵(|)(,)log(,)ijijijHXYpxypxy，联合熵H(X,Y)与熵H(X)及条件熵H(Y|X)的关系：(,)()(|)()(|)HXYHXHYXHXHXY。互信息:,(|)(|)(;)(,)log()(|)log()()jijiijijiijijjjpyxpyxIXYpxypxpyxpypy。熵的性质：非负性，对称性，确定性，极值性。接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根据输入端和输出端可以分为无反馈和反馈信道；根据信道参数与时间可以分为固定参数和时变参数；根据信道受噪声种类分为随机差错信道和突发差错信道根据输入输出信号的特点分为离散信道，连续信道，半离散半连续，波形信道。学习了信道容量的相关计算，信道容量C=()max(;)ipaIXY含义，表征信道能传输的最大信息量，或者信道的最大传输能力。以上是信息论部分的知识，下面就进入到编码的部分，我们首先接触到时是信源编码的相关概念。分组码:将信源消息分成若干组，即符号序列ix，12(,,,,,)lLiiiiixxxxx，序列中的每个符号取自符号集A，123{,,,,,}liinxaaaaa。而每个符号序列ix依照固定的码表映射一个码字iy，这样的码称为分组码，也叫快码。码可以分为固定长度码和变长码；分组码又分为奇异码和非奇异码；若信源符号和码字是一一对应的，该码为非奇异码，反之为奇异码。非奇异码又分为非唯一可译码和唯一可译码；任意有限长的码元序列，只能被唯一分割成一个个码字，称唯一可译码；值得注意的是奇异码不是唯一可译码，而非奇异码中有唯一可译码和非唯一可译码。唯一可译码又分为非即时码和即时码；接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接受后才能判断是否可以译码，称为非即时码，即时码又称非延时码，任意一个码字都不是其他码字的前缀部分，叫异前缀码。唯一可译码的充要条件：11inKim。定长编码定理：由L个符号组成的、每个符号的熵为()LH的无记忆平稳信源符号序列（12,,,,,lLXXXX）,可用LK个符号12,,,,,LkKYYYY(每个符号有m种可能值)进行定长编码。对任意0,0,logm(X)+LLKHL只要,则当L足够大时，必可使译码差错小于；当logm(X)-2LLKHL时，译码差错一定是有限值。当L足够大时，译码几乎必定出错。然后学习了如何计算编码效率，编码效率：(X)logmLLHKL,其中(X)LH为平均符号熵。最佳编码效率：(X),0(X)+LLHH，单个符号变长编码定理：若离散无记忆信源的符号熵为(X)H,每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度K满足下列不等式(X)(X)+1logmlogmHHK.平均输出信息率为logLKKmL。码字平均长度：1niiikpk10码字平均长度：1nLiiiKpk及信源符号的平均码长：logLKKmL。然后了解了集中常见的编码方法。费诺编码：平均码长1()niiiKpaK，iK为码长；信息传输速率：()HXRK。哈夫曼编码：把信源符号ix(i=1,2,…,m)出现的概率ip按由大到小的顺序排列；(2)对两个概率最小的符号分别标“0”和“1”，然后把这两个概率相加作为一个新的辅助符号的概率；(3)将这个新的辅助符号与其他符号一起重新按概率大小顺序排列；(4)跳到第2步，直到出现概率相加为1为止；(5)用线将符号连接起来，得到一个码树，树的m个端点对应m个信源符号；6)从最后一个概率为1的节点开始，沿着码树分别到达每个信源符号，将一路遇到的“0”和“1”顺序排列起来，就是对应端点的信源符号的码字。最后学习了信道的纠错编码，纠错码分类：从功能角度，分为检错码和纠错码；从对信息序列的处理方法，分为分组码和卷积码；从码元与原始信息的关系，分为线性码和非线性码。噪声均化的三种方法：增加码长N，卷积，交错。基底不是唯一的，生成矩阵也就不是唯一的。非系统码的生产矩阵可以通过运算转变为系统形式，此过程叫系统化。与任何一个（n,k）分组线性码的码空间C相对应，一定存在一个对偶空间D.空间的n-k个基底排列起来可构成一个（n-k）n矩阵，将这个矩阵称为码空间C的校验矩阵H.。线性码的任意码字c一定正交于其对偶码的任意一个码字，也必定正交于校验矩阵H的任意一个行矢量，即0TcH,0为零矩阵，若0TcH，则c为码字，反之，则不是码字。校验矩阵的定义[]TnkHPI。信息论是一门较难的课程，先行课程也比较多，特别是对概率论和线性代数的要求较高，课时比较紧，学起来感觉吃力，希望在接下来的过程中能好好的进行全面的复习，以扎实的基础迎接期末考核。