应用信息论-第12讲-率失真函数2

第四章信息率失真函数2020/2/814.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4信息率失真函数与信息价值4.5信道容量与信息率失真函数的比较4.6保真度准则下的信源编码定理4.7信息论“三大定理”总结第四章信息率失真函数第四章信息率失真函数2020/2/82平均失真度离散随机变量X：N维离散随机序列：信息率失真函数离散信息X：概率分布为P(X)，失真度为d(xi,yj)小结第四章信息率失真函数2020/2/83信息率失真函数的性质定义域(Dmin,Dmax)：Dmin是最小允许失真度，Dmax是最大允许失真度下凸性单调递减和连续性小结minmax()()()0RDHURD第四章信息率失真函数2020/2/844.2离散信源的信息率失真函数对离散信源，求R(D)与求C类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；C是求平均互信息的条件极大值，R(D)是求平均互信息的条件极小值。4.2.1离散信源信息率失真函数的参量表达式4.2.2二元及等概率离散信源的信息率失真函数第四章信息率失真函数2020/2/854.2.1离散信源率失真函数的参量表达式(1)求极小值方法用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。已知信源概率分布函数p(xi)和失真度d(xi,yj)，在满足保真度准则的条件下，在试验信道集合PD当中选择p(yj/xi)，使平均互信息4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/86(2)离散信源的信息率失真函数已知平均互信息在(4.2.5)的(n+1)个条件限制下求I(X;Y)的极值，引入拉格朗日乘数S和μi(i=1,2,…,n)，构造一个新函数4.2离散信源的信息率失真函数4.2.1离散信源率失真函数的参量表达式第四章信息率失真函数2020/2/874.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/884.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/894.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/810第一步：求λi4.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/8114.2.1离散信源率失真函数的参量表达式第二步：求p(yj)第三步：求p(yj/xi)将解出的λi和求p(yj)代入式(4.2.10)，可求得mn个以S为参量的p(yj/xi)。4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/812第四步：求D(S)将这mn个p(yj/xi)代入(4.2.5)得到以S为参量的允许平均失真函数D(S)。4.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/813第五步：求R(S)将这mn个p(yj/xi)代入(4.2.4)得到以S为参量的率失真函数R(S)。4.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/814第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如图4.2.1。4.2.1离散信源率失真函数的参量表达式4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/8154.2.1离散信源率失真函数的参量表达式(3)参量S的说明可以证明S就是R(D)函数的斜率。斜率S必然负值；S是D的递增函数，D从0变到Dmax，S将逐渐增加；当D=0时(R(D)的斜率)：S的最小值趋于负无穷。4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/8164.2.1离散信源率失真函数的参量表达式当D=Dmax时：S达到最大；这个最大值也是某一个负值，最大是0。当DDmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域[0,Dmax]内，除某些特例外，S将是D的连续函数。4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/817(1)二元离散信源的率失真函数设二元信源计算率失真函数R(D)4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/818先求出Dmax4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/819第一步：求λi，由式(4.2.12)有4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/820第二步：求p(yj)，由式(4.2.11)有4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/821第三步：求p(yj/xi)，由式(4.2.10)有4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/822第四步：求D(S)，将上述结果代入式(4.2.14)有4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/823第五步：求R(S)，将上述结果代入式(4.2.15)有4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/824对于这种简单信源，可从D(S)解出S与D的显式表达式。4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/8254.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/826第六步：通过以上步骤计算出来的R(D)和S(D)如图4.2.2。4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/827(2)信息率失真函数曲线图说明若α=1，把d(xi,yj)当成了误码个数，即X和Y不一致时，认为误了一个码元，所以d(xi,yj)的数学期望就是平均误码率。能容忍的失真等效于能容忍的误码率。4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/828R(D)不仅与D有关，还与p有关。概率分布不同，R(D)曲线就不一样。当p=0.25时，如果能容忍的误码率也是0.25，不用传送信息便可达到，即R=0，这就是R(Dmax)=0的含义。4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/829当D相同时，信源越趋于等概率分布，R(D)就越大。由最大离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R(D)正是去除信源不确定性所必须的信息传输率。4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/830关于S(D)它与p无直接关系，S(D)曲线只有一条，p=0.5和p=0.25都可以用，但它们的定义域不同；p=0.25时定义域是D=0~0.25，即到A点为止，此时Smax=－1.59。D0.25时，S(D)就恒为0了。所以在A点S(D)是不连续的；当p=0.5时，曲线延伸至D=0.5处，此时Smax=0，故S(D)是连续曲线，定义域为D=0~0.5。4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/831(3)二元等概率离散信源的率失真函数当上述二元信源呈等概率分布时，上面式子分别退化为4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/832这个结论很容易推广到n元等概率信源的情况。4.2.2二元及等概率离散信源的信息率失真函数4.2离散信源的信息率失真函数第四章信息率失真函数2020/2/8334.3.1连续信源的信息率失真函数的参量表达式4.3.2高斯信源的信息率失真函数4.3连续信源的信息率失真函数第四章信息率失真函数2020/2/834条件信源X∈R=(－∞,∞)信源X的概率密度函数为p(x)信道的传递概率密度函数为p(y/x)信宿Y∈R=(－∞,∞)信宿Y的概率密度函数为p(y)X和Y之间的失真度d(x,y)≥04.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数第四章信息率失真函数2020/2/835平均失真度为平均互信息为4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数第四章信息率失真函数2020/2/836PD为满足保真度准则的所有试验信道集合。信息率失真函数为相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。R(D)函数的参量表达式：一般情况，在失真度积分存在情况下，R(D)的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数第四章信息率失真函数2020/2/837(1)高斯信源特性及失真度设连续信源的概率密度为正态分布函数数学期望为方差为失真度为d(x,y)=(x－y)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。4.3.2高斯信源的信息率失真函数4.3连续信源的信息率失真函数第四章信息率失真函数2020/2/8384.3.2高斯信源的信息率失真函数(2)曲线图说明曲线如图4.3.2。当信源均值不为0时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值无关。4.3连续信源的信息率失真函数第四章信息率失真函数2020/2/8394.3.2高斯信源的信息率失真函数当D=σ2时，R(D)=0：这就是说，如果允许失真（均方误差）等于信源的方差，只需用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出；当D=0时，R(D)→∞：这点说明在连续信源情况下，要毫无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量；4.3连续信源的信息率失真函数第四章信息率失真函数2020/2/8404.3.2高斯信源的信息率失真函数当0Dσ2时：即允许一定的失真，传送信源的信息率可以降低，意味着信源的信息率可以压缩，连续信源的率失真理论正是连续信源量化、压缩的理论基础。当D=0.25σ2时，R(D)=1比特/符号：这就是说在允许均方误差小于或等于0.25σ2时，连续信号的每个样本值最少需用一个二进制符号来传输。由香农第三定理证明了这种压缩编码是存在的，然而实际上要找到这种可实现的最佳编码方法很困难的。4.3连续信源的信息率失真函数第四章信息率失真函数2020/2/8414.4信息率失真函数与信息价值信息价值比信息量更难定义，它与信息的接收者有关。同样的信息对不同的使用者，信息量相同但价值却不一样。香农信息论研究的是客观信息量，一般不涉及接收者的情况。从信息率失真理论出发，如果把平均失真理解成平均损失，则损失的大小就与接收者的情况有关了，在此基础上可定义信息价值，从而用信息论解决实际问题。例子说明：信息价值随着信息率的增加而增加；获取信息要付出代价，得到信息会获得利益。一般来说，获得的信息越多，付出的代价也越大；信息价值的概念从理论上定量地证明了信息是财富的假说；进一步的研究还证明：信息还可以代替人力、物质、能源和资本，从