信息论与编码复习提纲

信息论与编码复习提纲2010使用试卷构成•选择题•填空题•信源熵计算题•马尔可夫信源计算题•信道计算题•信源编码•失真•信道编码无条件概率、条件概率、联合概率满足下面一些性质和关系：1)()()()()(0jijiijjibapbapabpbpap、、、、mjnijinijibapbap1111)(,1)()()(),()(11imjjijnijiapbapbpbap,1)(,1)(1)(111mjijmjjniiabpbpap，123)()()()()()()(ijijijjijiapbapbpabpbpapbap＝，＝相互独立时与当YX)()()()()(ijijijjiabpapbapbpbapmjjijiijnijijijibapbapabpbapbapbap11)()()()()()(，＝456信源熵–自信息量、联合自信息量、条件自信息量：定义、性质–互信息量、条件互信息量：定义、性质–信源熵、条件熵，联合熵，交互熵（平均互信息量）：定义、性质。–各种熵之间的关系–离散无记忆信源X的N次扩展信源熵–极限熵–一阶时齐马尔可夫信源的熵和极限熵–信源冗余度及其物理意义–信源编码定理信道容量•单符号信道容量的定义与性质•几种特殊离散信道的容量•高斯连续信道的信道容量：先农公式C=W*log2(1+Px/PN)W为带宽，Px/PN为信噪比•信道编码定理信息率失真函数•失真函数与汉明失真函数•平均失真度011101110nimjjiijijibadabpapbadED11),()/()()],([信息率失真函数•信息率失真函数定义);(min)()/(YXIDRDijPabp•信息率失真函数的定义域min1()min(,)niijjiDpxdxymax()1min()jnjjpyjDpyDjnijiiDbadap1),()(信息率失真函数•信息率失真函数的值域当D=Dmin时R（D）=RmaxDmin=0时Rmax=H（X）（离散情况）当D=Dmax时R（D）=Rmin=0•信息率失真函数是连续非负单调递减函数•保真度准则下的信源编码定理信息率失真函数图形DH(X)R(D)maxDDD信源编码•费诺编码•Huffman和最优Huffman编码•信源熵、平均码长、编码效率信道编码•检错、纠错能力的计算•线性分组码–性质–编码法与译码法–最小码间距离的计算–汉明码（r=3、4的情况）•循环码的多项式编码法与译码法（n=7）•循环码的系统码及电路构成