信息论复习提纲

第一章1、信息的概念。信息是事物运动状态或存在方式的不确定性的描述。2、信息论的研究对象、研究目的。对象：通信系统模型。目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。3、通信系统模型的组成，及各部分的功能（1）信息源：产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。（2）编码器：信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。4、消息，信号，信息三者之间的关系信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延第二章1、信源的分类，着重单符号信源。信源的概率空间的构成形式。单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。单消息（符号）信源：单消息（符号）信源－－离散信源单消息（符号）信源－－连续信源2、自信息的计算及物理含义，单位与底数的关系，含义。计算：含义：当事件ai发生以前，表示事件ai发生的不确定性当事件ai发生以后表示事件ai所含有（所提供）的信息量单位与底数的关系：通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为哈特（Hart）。它们之间可以引用对数换底公式进行互换。比如：1bit=0.693Nat=0.301Hart)(1logiiaPaI3、互信息的计算。ex：设信源发出消息，通过信道后信宿收到，则互信息量的表达式。（第三章）4、离散单符号信源熵的计算，注意单位，熵的物理含义。计算：单位：（Bit/符号）物理含义：熵是随机变量的随机性的描述。熵是信源输出消息前随机变量平均不确定性的描述信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量5、信源熵的性质，着重非负性(会证明)，对称性，最大离散熵定理，强可加性，上凸性。(1)非负性证明一：而：故：（取底数大于1时）所以：证明二：有：或：所以：(2)对称性①定义：当变量p(x1),p(x2),…,p(xn)的顺序任意互换时，熵函数的值不变，即②含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。(3)最大离散熵定理定理：离散无记忆信源输出N个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/N)，熵最大。H[p(x1),p(x2),…,p(xN)]≤H(1/N,1/N,…,1/N)=log2N结论：出现任何一个符号的可能性相等时，信源的平均不确定性最大。)b(1log)(1logb；jjiiiaPaPaINnnnNpppppH121log),...,,(NnnnNpppppH121log),...,,(10np0lognp0)(PH101xx1logxxxx1log10)1(log)(111nNnnpNnnpppPHnniiixpxpxpHxpxpxpHniiinn,,2,1,,，其中)](,),(),([)](,),(),([212121(4)扩展性(5)确定性(6)可加性H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)(7)上凸性设有一个多元矢量函数f(x1,x2,…,xn)=f(X)，对任一小于1的正数α(0＜α＜1)及f的定义域中任意两个矢量X,Y，若f[αX+(1-α)Y]＞αf(X)+(1-α)f(Y)，则称f为严格上凸函数。设P,Q为两组归一的概率矢量：P=[p(x1),p(x2),…,p(xn)]，Q=[p(y1),p(y2),…,p(yn)]0≤p(xi)≤1，0≤p(yi)≤1，有：H[αP+(1-α)Q]＞αH(P)+(1-α)H(Q)6、什么是离散无记忆信源X的N次扩展信源？扩展信源的符号个数定义：一个离散无记忆信源X，其样本空间为{a1,a2,…,aq}，信源输出的消息可以用一组组长度为N的序列表示。此时信源X可等效成一个新信源XN=（X1,X2,…,XN），其中的每个分量Xi都是随机变量，都取于X，分量之间统计独立，这样的新信源就是离散无记忆信源X的N次扩展信源。结论：离散无记忆信源X的N次扩展信源的熵等于离散信源x的熵的N倍。7、某一二维离散无记忆平稳信源：联合概率：8、联合熵，条件熵之间的关系：H(X1X2)=H(X1)+H(X2/X1)jijijijijijxpiixypijjixpijijiijxypxpjiijyxpjixypxypxpyxpXYHXHXYHxypxpyxpxypxpyxpyxpXYHiijiijiji1)/()/()()(其中)/()()/()/(log)(log)(log)/()(log)(log)()()(12)/(12)(12)/()(12)(12)()(XNHXHN)(),(),(,,)(2121qqaPaPaPaaaxPX)(jiaaPqiqjjijiaaPaaPXXH1121)(log)()(qiqjijjiaaPaaPXXH1112)(log)()(求联合熵H(X1X2)求条件熵H(X2/X1)9、剩余度与信源输出的符号序列的依赖程度之间的关系。信源编码是通过减小剩余度来提高有效性的。剩余度可以衡量信源输出序列中符号间的依赖程度，也表明了信源可压缩的程度。剩余度r越大，表示信源的实际熵越小，即表明信源符号间的依赖关系越强。ajai01209/111/8012/113/42/9201/87/9414.2367log36731log31181log181441log41)(log)()(1121qiqjjijiaaPaaPXXH求条件概率)()()(利用ijiijapaapaap872.0)(log)()(1112qiqjijjiaaPaaPXXH第三章离散信道1、信道的分类，着重单符号信道，离散信道，无噪信道，N次扩展信道(1)根据输入、输出端用户的个数单用户信道——输入、输端出均只有一个用户多用户信道——输入、输出端至少有一端包含两个以上用户(2)根据输入、输出端的关联无反馈信道——输出端无信号反馈到输入端反馈信道——输出端的信号反馈到输入端(3)根据信道的参数与时间的关系固定参数信道——参数不随时间变化而改变时变参数信道——参数随时间变化而变化(4)根据输入、输出随机变量的个数单符号信道——输入、输出均用随机变量表示多符号信道——输入、输出用随机矢量表示(5)根据输入、输出随机信号特点离散信道——输入、输出随机序列均离散取值连续信道——输入、输出随机序列均连续取值半离散(连续)信道——一为离散，另一为连续2、信道的三种数学模型：图示法，信道矩阵法3、单符号离散信道的传递概率；二元对称信道、二元删除的数学模型，传递概率矩阵的特点。概率：模型：二者共同描述一个二维离散平稳信源。XY]),(,[YxyPX)()()(ijijabPaxbyPxyP信道特点：传递矩阵中每一行之和等于1。4、单符号离散信道的各概率关系输出符号的概率：5、信道疑义度的计算，平均互信息的计算，及平均互信息与各熵之间的关系（数学公式和图示两种描述），平均互信息的物理含义信道疑义度平均互信息的计算平均互信息与各熵之间的关系I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)平均互信息的物理含义①观察者站在输出端②观察者站在输入端③观察者站在通信系统总体立场上6、无噪无损信道，全损信道的平均互信息的取值，信道的输入输出信源的熵值7、平均互信息的性质②对称性I(X;Y)=I(Y;X)②非负性即I(X;Y)≥0，当且仅当X和Y相互独立，即p(xiyj)=p(xi)p(yj)I(X;Y)=0③极值性I(X;Y)≤H(X)I(Y;X)≤H(Y)③凸函数性平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数平均互信息量I(X;Y)是输入转移概率分布p(yj/xi)的下凸函数8、信道容量的与平均互信息的关系。信道的信息传输率R(信道中平均每个符号所能传送的信息量)：就是平均互信息R=I(X;Y)。9、无噪无损信道，有噪无损信道，无噪有损信道的信道容量的计算。jijijijibaPbPabPaPbaP)(riijijabPaPbP1)(YXjyxPxyPbXHEYXH,)(1log)()()(YXyPxyPxyPYXI,)()(log)();(10、会判断强对称离散信道，对称离散信道，并会计算其信道容量。