通信原理第2章信息论初步.

第2版《电子工业出版社》第二章信息论初步2.1信息论的两条发展途径2.2信息论研究的主要内容2.3信息的对数量度2.4离散信源与连续信源2.5信道容量与香农公式2.6信道编码Chapter2PreparationofInformationTheory2.1信息论的两条发展途径维纳和香农都认为信号和噪声均可用规定集合的统计规律来描述，但他们探讨的数学模型却大不相同。不过，目的都是要在接收端尽可能地重现原信号。简介研究对象噪声对接收端重现原信号的影响代表人物理论研究侧重应用途径一维纳微弱信号检测理论自动控制过程中的信号预测问题在干扰作用下信号的最佳接收问题，它是通信、雷达、导航、遥测、遥控以及电子对抗等的理论基础。途径二香农信道设计和编码理论重现正时延的原信号信源和信道的统计特性及编码方法，目的是提高信息传输的效率和可靠性。2.2信息论研究的主要内容信息论研究的基本问题则是有关信源、信宿和信道的统计特性，以及信源编码和信道编码等问题。它对通信体制和通信系统的研究具有指导意义。简介◆信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则。信源信源所包含的信息量，以及在单位时间内信源发出的信息量（信息熵）信源编码使信源发出的消息变换成其码长度与信源各消息概率分布达到匹配的代码组，以提高传输消息的有效性信宿在无扰信道和有扰信道上信宿能收到的信息量的多少信道信道传输信息量的能力（信道容量），并叙述了有扰离散信道的信道编码定理信道编码各种纠错编码方式的数学理论、纠错能力和实施方案2.3信息的对数量度一个预先确知的消息不会给接收者带来任何信息，没有传递的必要。为了衡量通信系统的传输能力，需要对被传输的信息进行定量的测度，如互信息量、熵等。简介2.3.1互信息量◆两个随机变量|;logijijiPxyIxyPx——发生事件X——观察事件Y◆事件Y=yj出现，说明事件X=xi提供的信息量：条件概率：事件Y=yj出现时，事件X=xi发生的概率先验概率：事件X=xi发生的概率情况条件概率信息量随机变量X和Y统计独立事件Y=yj的出现唯一地决定事件X=xi的发生——X=xi的自信息量I(xi)ijiPxyPx;0ijIxy|;logijijiPxyIxyPx1ijPxy1;loglogijiiIxyPxPx◆条件自信息量：能在规定条件下唯一地确定该事件必须提供的信息量。logijijIxyPxy随机事件的不确定性（或不肯定性）◆一个随机事件出现的概率接近于1，说明该事件发生的可能性很大，它所包含的不确定性就很小。◆出现概率很小的随机事件，它所包含的不确定性就很大。◆极限情况下，当出现P(xi)=1的确定事件，则有I(xi)=0。出现概率小的随机事件所包含的不确定性大，也就是它的自信息量大。出现概率大的随机事件所包含的不确定性小，也就是它的自信息量小。互信息量的三个特征1）互易性2）当xi与yj相互独立时，互信息量为零3）互信息量可正可负,ijijjijjiiijijjPxyPxyPyPxyPyxPxPxPyPxPyPy;;ijjiIxyIyx——Y=yj的出现提供事件X=xi发生的信息量等于的出现X=xi提供事件Y=yj发生的信息量。;ijiijIxyIxIxy2.3.2通信熵◆信源熵：无记忆信源的平均自信息量是各消息自信息量的概率加权平均值(统计平均值)。logXHXPxPx◆定理1：熵满足不等式，当且仅当当且仅当信源X中各消息的出现概率P(x)都等于1/M时，等号成立。logHXM二元信源：[log1log1]HXPPPP◆条件熵：二维联合空间XY上的条件自信息量的概率加权平均值。||XYHYXPxyIyx联合概率|log|XYHYXPxyPyx或|log|XYHYXPxyPxy同理，◆共熵：(又称联合熵)是联合空间XY上的每个元素对xy的自信息量的概率加权平均值。XYHXYPxyIxylogXYHXYPxyPxy或互换关系|HXYHXHYX|HXYHYHXYOrOr2.3.3各种熵的性质联合集XY上的条件熵H(Y|X)满足下式：◆定理2：|HYXHY当且仅当y和x是相互独立时，即在P(y|x)=P(y)的条件下，等号成立。◆定理3：联合集XYZ上的条件熵，即H(Z|XY)和H(Z|Y)满足下列不等式：||HZXYHZY◆定理4：联合集上的联合熵小于或等于各个集合的熵之和。当且仅当各个集合相互独立时，联合熵等于各个集合的熵之和，并且为联合熵的最大值。||HZXYHZYHZ条件愈多，熵就愈小。2.3.4平均互信息量◆XY联合集上的平均条件互信息量：;|;||logjjjXjjXIXyPxyIxyPxyPxyPx◆定理5：XY联合集上的平均条件互信息量满足下式：;0jIXy当且仅当X集合中的各个x都与yj互相独立，即P(x|yj)=P(x)时，才取等号。And平均互信息量的性质1）互易性;;IXYIYX2）平均互信息量与熵和条件熵的关系;|IXYHXHXYAnd;|IXYHYHYX;HXIXYHY3）4）平均互信息量与熵和共熵的关系;IXYHXHYHXY2.4离散信源与连续信源产生离散消息的信源称为离散信源，其统计特性用离散型随机过程描述；产生连续消息的信源则称为连续信源，其统计特性用概率密度函数描述。简介2.4.1离散信源离散消息可以看成是一种有限个状态的随机序列，它可以用离散型随机过程的统计特性予以描述。◆离散消息xi所携带的信息量logiiIxPx◆如果消息中各符号的出现统计相关，则必须用条件概率来计算平均信息量。条件熵如右定义：111111loglog,logNNjiijijiijNNijijiijNNijjiijHxxPxPxxPxxPxPxxPxxPxxPxx例2.1某离散信源由A、B、C三种符号组成，相邻两符号的出现统计相关，其转移概率矩阵为：910118232114917089PAAPABPACPBAPBBPBCPCAPCBPCC已知，求信源的平均信息量？1141,,3694PAPBPC◆信源的条件平均信息量为：3311loglogloglogloglogloglogloglog0.872/jiijijiijHxxPxPxxPxxPAPAAPAAPBAPBAPCAPCAPBPABPABPBBPBBPCBPCBPCPACPACPBCPBCPCCPCCbit符号◆若A、B、C符号统计独立，则平均信息量为：1.543/Hxbit符号当符号间统计独立时信源的熵高于统计相关时的熵，也就是说，符号间相互关联将使平均信息量减小。说明◆当离散信源中各符号等概率出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。max111loglogNiHNNN◆相对熵：maxHH◆信源的冗余度：无用信息比例max1HRH2.4.2连续信源◆连续信源产生的是连续消息。◆连续消息：实际上是一个统计过程X(t)。◆连续信息的平均信息量：logHXpxpxdx◆若发送的离散消息为xi，而相应的接收消息为yj，那么接收端收到的信息量等于yj接收到之前对发送消息xi的不确定性，减去接收到yj之后对xi余留的不确定性。◆在x和y的全部幅度上的平均信息量：;logpxyIXYpxydxdypxpy2.4.3信源编码◆信源编码的目的：-把信源发出的符号消息（或数字消息）变换为用信道的基本符号构成的代码组；-压缩信息速率，以提高传输消息的有效性。信源编码器的数学模型◆正规编码器：能把信源发出的所有消息一一对应地变换成相应代码组的信源编码器，不会损失能量。◆非正规编码器：会有一部分消息没有相应的代码组，在编码过程中损失掉这部分信息量。VsVs设◆消息能在信道上不失真传输的条件是信息传输速率必须小于或等于信道的信道容量。若信息传输速率大于信道容量，则所传输的消息必然产生失真。◆均匀编码信道：各代码组包含的码元个数相同，即各个代码组的时间长度都相同。代码组时间长度为b秒，包含的码元个数为m个，每个码元为D进制，则Dm个状态，每个状态对应一个代码组。设-等效信源的熵：1loglogmDJjHPjPjPjPj-时间熵：tHHnHb（比特/秒）-信息传输速率：1logttJRHPjPjb（比特/秒）max111111logloglogmmDDtmmmjjmRDmnDbDDbD-最大信息传输速率：◆编码效率：信息传输速率R与信道容量C的比值。RC◆最佳编码的两个原则：-把信源符号集合中出现概率大的符号编成长度较短的代码组，而把出现概率小的符号编成长度较长的代码组；-在信源编码器输出的代码组序列中不必使用码组间隔就能把序列逐个分成代码组。2.5信道容量与香农公式实际的通信信道都是存在着干扰的有扰信道，其信道容量与带宽、干扰有关。香农公式给出了在传输信号的平均功率受限制和峰值功率受限制的条件下的信道容量。简介2.5.1无扰离散信道的信道容量◆信道的信道容量：单位时间内信道上所能传输的最大信息量。loglimtTNTCT若对数的底为2，时间单位为秒，则信道容量的单位比特/秒。◆若给定的无扰离散信道在时间T内能传输的不同消息的总数为N(T)，则此信道的信道容量为2.5.2有扰离散信道的信道容量◆若信道中存在干扰，则输入符号与输出符号之间存在某种随机性，具有一定的统计相关性，取决于转移概率P(yi|xi)，即信道输入符号（即发送符号）为xi，信道输出符号（即接收符号）为yi的条件概率。二进制有扰信道传输特征◆信道矩阵12121|1jiyyxyxxP◆对称信道：信道矩阵的各行和各列分别具有相同集合的元素。◆具有L种消息的有扰离散的对称信道，其信道容量为：LjijijSNDCPPLC1loglog若信源发出的符号序列的各符号之间互相独立，并在无扰信道或弱干扰的信道上传输，则信道输出的各符号之间也是互相独立的，且传送的符号序列的平均互信息量等于各个符号的平均互信息量之和。当信道的输入消息集合与输出消息集合互相独立时，信道不能传送任何信息。对称信道的信道容量在给定信道输入消息概率分布的条件下能使误码率最小的方案称为最佳译码方案，能够实现最佳译码方案的检测器就称为理想观察者。通常使用的最佳译码方案是按照后验概率最大的译码准则设计的，这个准则又称为最大似然判决准则。最佳译码方案Px*||ijijPxyPxy若，把yj译成xi*。◆当信息传输速率R小于信道容量C时，传输消息的误码率为：experPmER码组长度（码元数目）随机编码指数2.5.3有扰连续信道的信道容量◆有扰连续信道中，接收到的信号y是发送信号x和信道噪声n的线性叠加，且x和n在各抽样点上均为独立正态分布。◆条件概率密度函数p(y|x)等于噪声的概率密度函数f(n)。|pyxfyxf