信息论基础总结

1)()()()(2211IIxqxxqxxqxXqXIiixq11)()()()()(2211mqqqqxxxxxxXXmNiixq1)(第1章信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。狭义信息论信息论研究的范畴：实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能：1.信源信源是产生消息的源。2.编码器编码器是将消息变换成适合于信道传送的信号的设备。编码器分为信源编码器和信道编码器两种。3.信道信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。4.译码器译码器是编码器的逆变换，分为信道译码器和信源译码器。5.信宿信宿是消息的接收者，可以是人，也可以是机器。离散信源及其数学模型离散信源—消息集X为离散集合，即时间和空间均离散的信源。连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。无记忆信源—X的各时刻取值相互独立。有记忆信源—X的各时刻取值互相有关联。离散无记忆信源的数学模型—离散型的概率空间：xi∈{a1,a2,…,ak}1≤i≤I0≤q(xi)≤1离散无记忆N维扩展信源的数学模型：x＝x1x2…xNxi∈{a1,a2,…,ak}1≤i≤Nq(x)＝q(x1x2…xN)＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。无记忆信道—信道的输出y只与当前时刻的输入x有关。有记忆信道—信道的输出y不仅与当前时刻的输入x有关，还与以前的输入有统计关系。信源信源编码器信宿信道信道编码器信源译码器信道译码器21)()|()|()()(0jijiijjiyxpyxxypywxqIiJjjiIijiJjijJjjIiiyxpyxxypywxq1111111)(1)|(1)|(1)(1)(JjjijjJjiiIiijijIiijyxywyxpxqxypxqyxpyw1111)()()()()()()()()()()()()(jijijijiyxywxypxqyxp)()()()()()()(jijiijijijywxqyxpxqyxywxyp离散无记忆信道的数学模型—信道转移概率矩阵：信道输入、输出符号集为X、YX＝{x1,x2,…,xI}，xi∈{a1,a2,…,ak}，1≤i≤IY＝{y1,y2,…,yJ}，yj∈{b1,b2,…,bD}，1≤j≤J0≤p(yj∣xi)≤1离散无记忆N维扩展信道的特性：序列的转移概率p(y∣x)＝p(y1y2…yN∣x1x2…xN)通信中常用的概率函数讨论：信道输入符号集X＝{x1，x2，…，xi,…，xI}，输入符号xi∈{a1,a2,…,ak}，1≤i≤I；信道输出符号集Y＝{y1，y2，…，yj,…，yJ}，输出符号yj∈{b1,b2,…,bD}，1≤j≤J；输入符号xi的概率记为q(xi)称为先验概率，输出符号yj的概率记为w(yj)；输入符号为xi输出符号为yj时的概率记为p(yj∣xi)称为信道转移概率，输出符号为yj估计输入符号是xi的概率记为φ(xi︱yj)称为后验概率；在输入输出XY二维联合空间上，xiyj的联合概率记为p(xiyj)。先验概率、信道转移概率、后验概率和联合概率应满足的一些性质及关系输入与输出相互独立时：Niiixypp1)()(xy1)(Yxyp)()()()()()()()()(212222111211IJIIJJxypxypxypxypxypxypxypxypxypPJjijxyp11)(3第2章信息的度量自信息量和条件自信息量一个事件的自信息量就是对其不确定性的度量。自信息量的性质：（1）I(x)是q(x)的单调递减函数；（2）信息量具有可加性；（3）当q(x)=1时，I(x)=0；（4）当q(x)=0时，I(x)→∞。互信息量和条件互信息量互信息量表明两个随机事件的相互约束程度。(2-7)(2-8)式(2-7)的物理意义：在信源发出信号前，信宿收到yj的概率为ω(yj)，其不确定性用Ｉ(yj)度量。而信源发出符号xi后，由于干扰，使信宿收到Y＝{y1，y2，…，yJ}中的哪个符号具有发散性，即信宿是否收到yj仍存有不确定性，用Ｉ(yj︱xi)度量。这二者之差就是事件发生过程中观察者所获得的信息量。式(2-8)的物理意义：通信前X、Y统计独立，联合概率为p(xiyj)＝q(xi)ω(yj)，不确定性用–logq(xi)ω(yj)＝I(xi)＋I(yj)度量。通信后，由于信道转移概率p(yj︱xi)的存在，使符号xiyj有了某种关联，联合概率p(xiyj)＝q(xi)p(yj︱xi)，发xi收yj的不确定性用I(xiyj)=–logp(xiyj)度量，二者之差就是通信过程中，xi与yj所得到的互信息量。互信息量的性质：（1）互易性：I(xi;yj)=I(yj;xi)（2）可加性：I(xi;yjzk)=I(xi;yj)+I(xi;zk︱yj)（3）当xi,yj统计独立时，互信息量I(xi;yj)＝0及条件互信息量（4）互信息量I(xi;yj)可以是正数，也可以是负数。（5）两个事件的互信息量不大于单个事件的自信息量，即有：平均自信息量平均自信息量(熵)平均条件自信息量(条件熵)从通信角度来看：若X为信道输入符号集，Y为信道输出符号集，则称H(X︱Y)为疑义度/含糊度或损失熵；称H(Y︱X)为散布度或噪声熵。)()();(jiijiyxIxIyxI)()(logijixqyx)()()()()()(log);(jijijijijiyxIyIxIyxqyxpyxI)()()()(log);(ijjjijjixyIyIyxypyxI0);(kjizyxI)()();(jijiyIxIyxI)(log)()()()(iiiiiixqxqxIxqXH（比特/符号）ijijijjiijjixypyxpxyIyxpXYH)(log)()()()(（比特/符号）)(log)(xqxI（比特）)(log)(jijiyxyxI（比特）)(log)(jijiyxpyxI（比特）)|(log)()|()()|(jiijjiijijjiyxyxpyxIyxpYXH（比特/符号）4（1）对于无噪信道，X与Y一一对应，不存在疑义H(X︱Y)＝0，也不会产生错位H(Y︱X)=0；（2）在强噪声情况下，X与Y统计独立，H(X︱Y)＝H(X)，H(Y︱X)=H(Y)。联合熵熵、条件熵、联合熵的关系：H(XY)=H(X)+H(Y︱X)=H(Y)+H(X︱Y)当X，Y统计独立时，H(XY)=H(X)+H(Y)极大离散熵定理：设信源消息集X＝{x1，x2，，…，xM}的消息个数为M，则H(X)≤logM，等号当且仅当信源X中各消息等概(=1/M)时成立，即各消息等概分布时，信源熵最大。熵函数的性质：（1）对称性（2）非负性（3）确定性（4）扩展性（5）可加性（6）条件熵小于等于无条件熵，即：H(X︱Y)≤H(X)，X,Y统计独立时等号成立。（7）联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即：H(XY)≤H(X)+H(Y)平均互信息量(交互熵)平均互信息量与信源熵、条件熵的关系（维拉图）I(X;Y)＝H(X)－H(X︱Y)(2-35)I(X;Y)＝H(Y)－H(Y︱X)(2-36)I(X;Y)＝H(X)＋H(Y)－H(XY)(2-37)从通信的角度讨论：(2-35)式的物理意义：设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性，H（X︱Y）是观察到Y后，集X还保留的不确定性，二者之差I(X;Y)就是在接收过程中得到的关于X,Y的平均互信息量。(2-36)式的物理意义：H(Y)是观察到Y所获得的信息量，H（Y︱X）是发出确定消息X后，由于干扰而使Y存在的平均不确定性，二者之差I(X;Y)就是一次通信所获得的信息量。(2-37)式的物理意义：通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)＋H(Y)－H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X;Y)。（1）对于无噪信道，X与Y一一对应，H(X︱Y)=0从而I(X;Y)=H(X)；H(Y︱X)=0从而I(X;Y)=H(Y)；（2）对于强噪信道，X与Y统计独立，H(X︱Y)=H(X)从而I(X;Y)=0；H(Y︱X)=H(Y)从而I(X;Y)=0。平均互信息量的性质：（1）非负性：（2）互易性：I(X;Y)=I(Y;X)（3）极值性：定理2.1当信道给定，即信道转移概率p(y|x)固定，平均互信息量I(X;Y)是信源概率分布q(x)的∩形凸函数。定理2.2当信源给定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道转移概率p(y|x)的∪形凸函数。)()()()(YHXYHXHXYHijjijiyxIyxpXYH)()(ijjijiyxpyxp)(log)(（比特/符号）0;0;ZYXIYXI)(;)(;YHYXIXHYXI)()(log)();()();(ijiijjijiijjixqyxyxpyxIyxpYXI（比特/符号）5第3章离散信源无失真编码信源编码的目的：提高传输效率。无失真编码，压缩信源的冗余度，不改变信源的熵。失真编码，压缩信源的熵。信道编码的目的：增强通信的可靠性。信源编码的功能：（1）将信源符号变换成适合信道传输的符号；（2）压缩信源冗余度，提高传输效率。码的分类平均码长式中nm是码字cm所对应的码字的长度，p(cm)是码字cm出现的概率。信息传输速率信息传输速率为信道单位时间内所传输的信息量／信道中平均每个码符号所能传送的信息量。(比特/码元时间)式中：H(X)为信源熵；为编码后的平均码长；时间以码元时间（传输一个码符号的时间）为单位。等长码及等长编码定理对单符号信源S的L次扩展信源S(L)进行等长编码，要得到长为n的唯一可译码，必须满足KL≤Dn即其中：K为信源符号个数，D为码符号个数，n/L表示信源序列中平均每个信源符号所需要的码符号数。定理3.1等长编码定理设离散无记忆信源S={x1，x2，…，xk}的熵为H（X），S的L维扩展信源为，对信源输出的L长序列si，i=1,2,…,KL进行等长编码，码字是长度为n的D进制符号串，当满足条件，则L→∞时，可使译码差错peδ(ε、δ为无穷小量)；反之当时，则不可能实现无差错编码。编码效率：变长码及变长编码定理对于给定信源及码符号集，使平均码长达到最小的编码方法称为最佳编码。在所有的唯一可译码中，平均码长最小的码称为最佳码（紧致码）。},,,{21)(LkLSsssDXHLnlogDXHLnlogDnXLHlog)(Mmmmcpnn1非奇异码非惟一可译码惟一可译码变长码等长码即时码延长码奇异码码nXHRDnDKLnloglog6克拉夫特不等式：惟一可译码一定满足克拉夫特不等式，满足克拉夫特不等式