电脑

第3章：信源编码信源编码信源编码是以提高通信的有效性为目的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。编码器}...,{...2121nlLaaaXXXXX}...,{...2121mkKbbb信源编码的基础是信息论中的两个编码定理：无失真编码定理限失真编码定理无失真编码只适用于离散信源对于连续信源，只能在失真受限制的情况下进行限失真编码12LlXXXXX消息序列：nilaaaaX21消息序列码序列定长变长说明}...,{...2121mkKbbb码序列：唯一可译码：要做到无失真传输，信源消息与码序列必须一一对应，既每个信源消息可以编成唯一的码字（码序列）；反过来，每个码子只能译成一个固定的消息。消息太多时，不可能或没必要为每个消息都分配一个码子。给多少消息分配码子可以做到无失真传输？信息率：每个码子能够容纳的信息量，或单位时间内每个符号能够容纳的信息量，码字越多，所需的信息量就越大。希望传送同样的消息时，信息率越小越好。信息率应该为多小才能无失真？0,0,)(logXHmLKRL当足够大，几乎可无失真译码，即译码差错概率小于。反之定长编码定理：10,0,2)(logXHmLKRL当足够大，译码几乎必出错。信息率：log()KmRHXL编码效率：RXH)(m-码序列中每个符号的可能取值，单个符号的信息量为K-定长编码的长度，总信息量L-信源符号的长度，平均每个符号的信息量为logm定理说明logKmlogKmL信息率略大于信源熵，可做到无失真译码例题P35例3.2.1结论：定长编码简单，但要达到一定的差错率不易实现，且编码效率低。离散平稳无记忆序列变长编码定理对于离散平稳无记忆信源，当信源输出长度为L的消息序列时,编码平均码序列长度满足信源平均输出信息率为故有若一离散平稳无记忆序列信源的平均符号熵为H(X)，则必存在一种无失真编码方法，使信息率R满足：H(X)≤R≤H(X)+。22()()1loglogLHXLHXKmmK2logKRmL2log()()mHXRHXL变长编码定理：2编码后的码字为：12,,...,n码长为：12,,...,nkkk设信源编码方法评价1212()()()()nnaaaXpapapaPX(1)平均码长——平均每个信源符号所需的码长(2)信息率——编码后，平均每个信源符号能载荷的最大信息量(3)编码效率2log(bit/)KRmL信源符号1()(/)niiiKpak码符号信源符号2()()logHXHXKRmL单符号变长编码定理单符号变长编码定理若一离散无记忆信源的符号熵为H(X)，对信源符号以m进制码元作变长编码，则必定存在一种无失真编码方法，其码字平均码长满足已知信源平均输出信息率为故有相当于把H(X)bit的信息量装入容量为Ｒbit的容器。22()()1loglogHXHXKmm2logRKm2()()logHXRHXm满则溢效率如何分离码字？1001110？？？变长编码出现的问题要求：码是唯一可译码的分类延时码即时码可分离唯一可译码非唯一可译码非奇异码奇异码码)(1110110100011101101011001010100125.0125.025.05.04321DCBAaaaa码码码码概率消息判断以下码字是否可分离？异前置码即时码可分离有延时可分离分离不可分离不可例即时码的树图结构树与编码的关系树根——码的起点树枝——码的进制数节点——码字或其部分终结点——码字节数——码长满树——等长码非满树——变长码012012012012012克拉夫特不等式m元长度为Ki的异前置码存在的充要条件是11nikim5.1.2香农编码niinnxpxpxpxpxxx121211)(,)(.....)()(.....设有离散无记忆信源个码字的长度为第ikapkapiiii)(log1)(log22的码字作为位数点后的用二进制表示，并取小把iijaakap)(1234香农编码方法的步骤按信源符号的概率从大到小的顺序排队)(......)()(21napapap不妨设100)()()1)((,0)(jiijajaapapiijapap累加概率个码字的表示第用令例05.01.015.02.025.025.0)(654321xxxxxxXPX设有一单符号离散无记忆信源试对该信源编二进制香农码。11110595.005.01101485.01.010137.015.010035.02.001225.025.0002025.0)(654321xxxxxxkxpija码字编码过程10)()(jiijaxpxp（1）617.2)(iiikxpKKmLKR2log42.2)(XH%63.89)(RxH