《信息论与编码》复习大纲

《信息论与编码》复习大纲本课程核心内容：一、信息论基础信息量、信息熵、互信息、信息率失真函数以及信道容量的定义、性质与计算二、编码定理及编码技术1、三大编码定理（无失真信源编码定理、有噪信道编码定理，限失真信源编码定理）2、信源编码：无失真和限失真编译码基本原理和方法－香农编码、费诺编码、哈夫曼编码及算术编码3、信道编码：线形分组码、循环码、卷积码（veitebi）等常用码的编译码基本原理和方法章节重点内容：第一章：通信系统模型第二章：信源与信息熵1、马尔可夫信源：转移概率矩阵：QQQQijppppsspP1111)|(符号条件概率矩阵：QqQqijppppsxpP1111)|(稳态分布概率：例题2-2，类题2-1,2-22、自信息量I(xi)=-logp(xi)联合自信息量：I(xi,yj)=-logp(xi,yj)性质及计算条件自信息量：I(xi|yj)=-logp(xi|yj)3、平均自信息量及信源熵（极值条件）条件熵联合熵三者之间的关系：H(X,Y)=H(X)+H(Y|X)H(X,Y)=H(Y)+H(X|Y)类题：例2-8，2-9习题2-7，2-10，2-124、互信息：(极大值和极小值)jiijiWpWiiiiiixpxpxIxpXH)(log)()()()()|()|()|(jiijijyxIyxpyXH)|(log),()|(),()|()()|(jiijjijiijjijjjyxpyxpyxIyxpyXHypYXH),(log),(),(),(),(jiijjijiijjiyxpyxpyxIyxpYXH结论：当p(yj|xi)一定时，互信息I(X;Y)是信源分布p(xi)的上凸函数，有极大值(信道容量)；当p(xi)一定时，互信息I(X;Y)是信源分布p(yj|xi)的下凸函数，有极小值(信源压缩极限)。5、熵的性质：非负性、对称性、确定性、香农辅助定理、最大熵定理、条件熵小于无条件熵6、离散序列信源的熵：(1)无记忆信源：(2)无记忆平稳信源：H(X1)=H(X2)=…H(XL)(3)离散有记忆信源序列的熵（马尔可夫信源熵）：iijiijjiijijijjiijijijjijiijijijixypxpxypxypxpypxypxypxpXYIypxypyxpxpyxpyxpXYIXYHYHYXHXHYXI)/()()/(log)/()()()/(log)/()();()()/(log),()()/(log),();()/()()/()();(,,,,niiiiiiiiiiiiiniiiLLLLLxxxpxxxpHxxxppppH1,,,121212121),,,(log),,,()(),,,()()(log)()(XxxxX其中：LllXHH1)()(X)()(1)(XHHLHLXX例2-11及其结论(4)极限熵：马氏链极限熵的计算：例2-12，2-29，2-32其中：7、连续信源最大熵定理：限峰功率及限平均功率第三章：信道与信道容量（基本概念）1、两个概念：信息传输率：信道在单位时间内平均传输的信息量R=I(X;Y)=H(X)－H(X/Y)Rt=I(X;Y)/t比特/秒信道容量：比特/符号2、离散单个符号的信道容量：(1)无干扰离散信道的信道容量X、Y一一对应C=maxI(X;Y)=logn多个输入变成一个输出);(max)(YXICiap12121312121,,,,,,,LLLXXXXHXXXHXXHXHXXXHHX),,/(lim)(lim)(121LLLLLXXXXHHHLXX当iiisXHspH)/()()(X))/(log()/()/(ijjijisxpsxpsXHC=maxI(X;Y)=maxH(Y)一个输入对应多个输出C=maxI(X;Y)=maxH(X)(要求：掌握达到信道容量时的信源分布)(2)对称DMC信道的信道容量例：(3)准对称信道的信道容量：将转移概率矩阵划分成若干个互不相交的对称的子集3、连续信道及其容量(1)连续单符号加性信道信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值(2)加性非高斯噪声信道的信道容量的上下界：rkkksMNpppHnC121log)',','(log111111111nnnnnnPmjijijippmaYHmC1loglog)|(log＝)1log(212SCSNR1log21)(2log21)1log(212nHePCSc(3)限时限频限功率加性高斯白噪声信道信道容量：单位时间的信道容量(香农公式)：－增加信道容量的措施达到香农限的条件：输入信号是平均功率受限的高斯信号，非高斯信号信道容量小。3-5,3-6,3-10第四章：信息率失真函数（基本概念）1、失真矩阵及平均失真函数2、保真度准则：3、信息率失真函数：对于离散无记忆信源：(1)R(D)的物理意义：)1log()1log(2)2/21log(2000WNPWtWNPLNWPLCSBSSs/bit)1log(lim0WNPWtCCSBttB),(),(),(),(),(),(),(),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbaddnimjjiijinimjjijibadabpapbadbapD1111),()|()(),(),(DD);(min)(YXIDRDPnimjjijijiPPbpabpabpapDRDij11)()|(log)|()(min)(对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值为R(D)。(2)离散R(D)函数的定义域和值域：Dmin=0(3)R(D)的曲线图－性质4-2,4-3,4-4第五章：信源编码1、奇异码、非奇异码、唯一可译码、即时码的判定（表5-2）、Kraft不等式、码树图、平均码长的计算2、无失真信源编码：(1)定长编码定理：(基本概念)由L个符号组成的，信源的符号熵（平均符号熵）为HL(X)的平稳无记忆离散信源序列X=(X1,X2,…,Xl,…,XL)，可用K个符号Y1,Y2,…,YK（每个符号有m种可能值）进行定长编码。对任意ε0，δ0，只要则当L足够大))((22XL时，必可使译码差错小于δ；反之，当)()0()(minXHRDRDDDR0)(maxminniijimjdpD1,,2,1maxminXLHmLKlog2logXLHmLK译码差错一定是有限值。而当L足够大时，译码几乎必定出错。编码效率：(2)最佳变长编码定理(香农第一定理)：最优码的平均码字长度满足：或)()(XHKXHLL—(符号序列)掌握四种编码方法：香农码、费诺码、哈夫曼编码及算术编码(累计概率的计算)及编码效率的计算例5-10，作业5-1,5-5,5-12第六章：信道编码1、基本概念：差错符号、差错比特；差错图样：随机差错、突发差错纠错码分类：检错和纠错码、分组码和卷积码、线性码与非线性码、纠随机差错码和纠突发差错码矢量空间、码空间及其对偶空间有扰离散信道的编码定理：2、线性分组码(封闭性)：生成矩阵及校验矩阵、系统形式的G和H、伴随式与标准阵列译码表、码距与纠错能力、完备码(汉明码)、循环码的生成多项式及校验多项式、系统形式的循环码、CRC码例题6-2，6-3，6-5，6-6；作业6-1，6-3，6-4，6-6,6-8，KXHL)(1XHKXHmmrrpSprSpPSpSPrSP,,()NERePe