信道编码中的有关基本概念

第二讲信道编码中的有关基本概念信道概述•回顾：编码是消息到信道波形或矢量的一种映射关系•从数学上看，信道实际上也是从发空间X到收空间Y一个概率映射函数CAB21435发送波形集合接收波形集合PA2PA1PA3PA4PA5信道概述（续）•收发集合可以以符号集的多重形式表示，相当于多维空间。•发空间的维数n与收空间的维数m可以不等–例如当发送波形x(t)通过一个滤波器h(t)时，输出y(t)=x(t)*h(t)，如果x(t)只在[0,T]内有值，而当h(t)有一定的宽度t时，输出的非零长度变成了T+t，也就是说当接收采样率等于或高于发送采样率时，接收的维数增加了。而如果接收时采用了较低的采样率，则有效维数就减低了。信道概述（续）•根据收发空间中每一维所取的数域有限或无限可分为离散信道和连续信道•这里借用了空间的名称，但只用到了它的集合概念而没有用到空间中的运算，只有线性信道才可以直接用线性运算构成一个线性空间。信道特性的描述•离散信道–可用转移概率律描述：P(y=b|x=a),a=(a1,a2,...an)X（发空间）,b=(b1,b2,...bm)Y（收空间）,均为矢量（或n(m)重符号）信道特性的描述•幅度连续信道–可用转移概率密度函数描述：p(y=b|x=a),a=(a1,a2,...an)X,b=(b1,b2,...bm)Y,均为矢量（或n(m)重符号）–可用转移概率密度函数描述：p(y=b|x=a),a=(a1,a2,...an)X,b=(b1,b2,...bm)Y,均为矢量（或n(m)重符号）时间及幅度连续信道•根据奈奎斯特采样定理，带限的时域连续波形可以用采样序列描述。•当发送信号波形的双边谱严格限制在带宽为B的区间内的时候，只需要以B为采样率进行采样，即可得到包含该波形所有信息的时间离散序列。•如果发送波形限制在时间T以内，则表示该波形的序列点数为BT个，也就是说发送波形可以表示成一个BT维复矢量。•当信道是一个线性信道时，接收信号波形也必然限制在带宽B以内无记忆信道•离散信道–当m=n，且P(y=b|x=a)=P(y1|x1)P(y2|x2)...P(yn|xn)时，各维的收符号只与相应的发符号有关，称为无记忆离散信道，简写为DMC•连续信道–当m=n，且p(y=b|x=a)=p(y1|x1)p(y2|x2)...p(yn|xn)时，各维的收符号只与相应的发符号有关（无符号间串扰），称为无记忆连续信道•非时变信道–当各因子具有相同的转移概率形式时有记忆信道•实际的连续信道通常会有符号间串扰（ISI），因此是有记忆的，但在一种较常见的特殊情况下，即在加性平稳白高斯噪声下的线性信道（y=Ax+n）时，可以等效于一个无记忆信道。有记忆信道的无记忆化•对A作线性变换使正交化得：A=UTU，其中为A的特征值对矩阵。代入得y=UTUx+n，令x=UTx’，y’=UTy，n=UTn’，则有y’=x’+n’。于是对x’和y’而言就形成了一个无记忆信道。由于U为正交变换，不会产生信息量丢失，因此可以认为X’-Y’信道与X-Y信道是等价的。于是我们就可以直接利用有关无记忆信道的编码了。非时变无记忆离散信道举例•硬判决的MFSK信道–x与y取自同一符号集合，当y=x时我们说传输正确，当yx时说发生了一次误码。Pe=1-P(y=x)称为误符号率，通常，当ba时有P(y=b|x=a)Pe/(M-1)，即错成其它任一符号的概率相等。成对差错序列概率•发端编码集合中有两个码字x1、x2，当发码字序列x1，错译成码字的x2概率，记为P(x1x2)。二进制对称DMC的成对差错概率•当x1、x2的汉明距为d时，长度为n时d为偶数d为奇数–可以近似认为P(x1x2)PBd/2ddiidBiBdBdBPPidPPddP12/2/2/211212/xxddiidBiBPPidP12/211xx非时变无记忆连续信道举例•AWGN信道中的BPSK相干解调–y=x+n，其中n为零均值，方差为2的高斯随机矢量。–当x1、x2的汉明距为d时有–P(x1x2)==–其中dEu为欧氏距离，A为BPSK幅度。–当BSC中采用BPSK硬判决时，有PB=，因此近似有：P(x1x2)224/AdHameEudQ22AdQHam222/AdHame222/Ae距离在编码中的作用•从上面的例子中可以看出，BSC和AWGM信道中成对错误概率只和编码参数中的码距（分别为汉明距离和欧氏距离）有关，且成单调关系。因此在这些信道中的码设计就是要对码距离进行优化。•具体地说，不同信道的优化目标不同–离散信道：汉明距离–AWGN信道：欧氏距离–衰落信道：汉明距离和欧氏距离要同时考虑。误码曲线未编码的误比特率未编码的误帧率编码后用序列译码的误比特率编码后用逐符号译码的误比特率Eb/N0误码率编码增益编码后序列译码的误帧率编码后逐符号译码的误帧率误码曲线的横坐标•对离散信道而言，误码曲线的横坐标一般为信道误符号率的倒数，因此经过信道编码后的误码性能一般都能有所改善，即误码曲线向左下方移动，但这是以效率降低为代价的。编码曲线的横坐标（续一）•对连续信道而言，也可用信道符号信噪比作横坐标，因此经过信道编码后的误码性能一般都能有所改善，即误码曲线向左下方移动，但这是以效率降低为代价的。编码曲线的横坐标（续二）•但对连续信道，用Eb/N0为横坐标更具有可比性，因为它是用原信息的能量与信道噪声能量进行的比较，从而避免了因冗余的引入使总传输能量增加而造成的不可比性。编码增益•采用逐符号译码的误比特性能要优于序列译码•采用逐符号译码的误帧性能要劣于序列译码•编码后的误帧率总会有所改善•编码后序列译码的误比特率在高信噪比时总要优于无编码而信噪比很低时要劣于无编码，即编码增益在高SNR时大于0，而SNR很低时小于0。•系统编码后逐符号译码的误比特率总要优于无编码，即至少存在一种编码，它的误比特率编码增益总大于0。误码率计算中的常用方法及近似•成对差错概率，对任一对合法码字x1和x2，发送的是码字x1，而根据译码规则判断为x2的概率。记为P(x1x2)•成对差错概率描述的是在特定的信道条件下，给定的译码规则下，合法码字集中特定的一对码字间的差错概率。一般比较容易给出解析表达式或进行数值计算•二进制编码中的成对差错概率P(x1x2)由x1和x2之间的汉明距离决定。码字集的误码率•码字集的误码率描述的是一种编码方案的总体误码性能，是评价编码好坏的标准。但一般较难得到准确的结果，需要用一些近似，得到性能界。•联合界：落在并集中的概率不大于落在各集合中的概率之和。可以用成对差错概率描述误码性能界Pe=x1P(x1)P(e|x1)x1P(x1)x2P(x2)P(x1x2)=x1x2P(x1)P(x2)P(x1x2)距离谱•对BSC信道中误码率联合界进一步分析：•P(e|x1)x2P(x2)P(x1x2)=dhN(dh)F(dh)dhN(dh)Ddh•其中N(dh)是到一个合法码字x1距离为的dh合法码字的平均个数。F(dh)为汉明距离为dh的一对码字间的成对差错概率。•N(dh)作为一个距离的函数来看时就称作该编码相对码字x1的距离谱平均编码界（续）•在证明最优编码的存在性时，常用到这个方法。即我们不要求找到这种编码，但如果在某一类编码集合中的所有编码其误码性能的平均值能达到我们的要求，则必存在至少一种编码，其误码性能能达到要求。平均编码界•即至少存在一种编码C，有Pe(C)Ec(Pe(C))•Ec(Pe(C))=x1P(x1)P(e|x1)=x1P(x1)C’P(C’)P(e|C’,x1)x1P(x1)C’P(C’)x2P(x2|C’)P(x1x2)=x1P(x1)C’x2P(x2)P(x1x2)=|C’|x1x2P(x1)P(x2)P(x1x2)•注意这里的x1和x2均取自于全空间。Bhattacharyya界•对成对差错概率进行一定的近似•P(x1x2)=yD2P(y|x1)yD2P(y|x1)(P(y|x2)/P(y|x1))1/2y(P(y|x1)P(y|x2))1/2•其根本思想是在概率积分中当部分积分较难做时，乘以某个不小于0的函数，该函数在积分区间中的值大于等于1。从而将积分区间扩展到全空间。该函数还可以有参数，通过优化参数，可以使界尽量的紧。例如，这里用到的系数函数为(P(y|x2)/P(y|x1))1/2，也可以推广为[P(y|x2)/P(y|x1)]s，0s1。截止速率R0•在平均码性能界中，令P(x1)=kP(x1k),P(x2)=kP(x2k),同时假设信道为DMC，则可推出：Ec(Pe(C))|C’|{y[yP(x)P(y|x)1/2]}n•其中P(x)为编码输出符号概率律，P(y|x)为信道的符号转移概率，n为编码长度。令R0(P)=-log2{y[yP(x)P(y|x)1/2]}，而k=log2(|C’|+1)为编码前的比特数。则Ec(Pe(C))2k-nR0(P)截止速率R0（续）•其中R0(P)不仅与信道有关，还是编码符号概率律的函数，因此可以通过选择合适的P(x）使其最大，最大值记为R0。•至少存在一种(n,k)编码，使得Pe2k-nR0(P)=2-n(R0-R)。其中R=k/n•同时这也说明只要编码效率R小于R0，只要码长足够长，总存在编码使误字率小于任意值。•在上面的推导中主要用了三种定界方法。可以看出，每一种都可能比较宽松，因此有可能通过其它的定界方法得到更紧的界。信道容量C•将联合界推广为广义联合界，01•利用广义联合界及前面Bhattacharyya界中系数函数的指数从1/2改为参数s，对s和进行优化，得到的新的R0实际上就是香农信道容量C。jjjBPBP小结：信道概述•信道特性的描述•无记忆信道•对非时变无记忆离散信道举例•非时变无记忆连续信道举例•距离在编码中的作用小结：误码曲线与编码增益•有关横坐标•有关编码增益小结：误码率计算中的常用方法及近似•成对差错概率•联合界与距离谱•平均编码界•Bhattacharyya界•截止速率R0