使用最大值最小值方法判断概率密度函数

西北民族大学专业班级:13级电气2班学号:P131813682姓名:邓千使用最大值最小值方法判断概率密度函数MunirathnamSrikanth,H.K.Kesavan,andPeterH.Roe摘要—初始概率分配符合可用的概率信息系统的问题称为一个直接的问题。Jaynes的最大熵准则(MaxEnt)提供了一种当可用信息存在矩约束形式问题时的直接求解方法。另一方面,考虑到概率分布,找到一组约束使给定分布有最大熵分布的问题被称为逆问题。这里提出了一种基于最大最小值测量去解决上述逆问题的方法。由Kapur,BaciuandKesavan[1]定义的最大值最小值数值测量，是一种定量测量包含在一个给定的一组约束的数值的方法。它基于最大值和最小值熵。在到达最小熵（MinEPD）的概率分布的复杂性所产生的最大测量测定计算问题进行了讨论。使用最大值最小值方法解决逆问题表明了估算概率密度函数的方法是基于样本数据的随机变量。关键词—熵优化，最大熵原理，最小熵，最大最小值方法，香农熵估算。I.简介概率系统分析的主要目标是确定一组事件的离散概率（或连续概率密度函数在一个区间上的连续概率密度函数）条件时可用的要点。可用的信息的初始概率分配一致问题，称为直接问题。用概率学和统计学的各种手稿于1998年10月29日完成；1999年六月21日修改。这部分工作由加拿大自然科学和工程研究委员会支持。MSrikanth就读于美国纽约布法罗14228-2583号纽约州立大学布法罗分校计算机科学与工程系。H.K.Kesavan和P.H.Roe就读于加拿大滑铁卢大学系统设计工程系。出版商项目标识符S1094-6977（00）02040-X。方法解决这个问题。本文从信息论的角度出发，探讨了这一问题。Jaynes(1957)的最大熵原则(MaxEnt)[2]提供了一个当可用的信息的形式时刻约束时解决直接问题的方法。使X为一个概率系统的离散随机变量，它的值来自{x1,x2,x3,...xn}和概率P=(p1,p2,p3,...pn)，假设信息是概率的自然约束形式和矩约束。gri和ar是已知的常数。直接的问题是通过条件(1)和(2)确定P。最大熵法通过香农熵（不确定性度量）给定的一组概率约束最大化解决了这个问题。最大熵分布（MaxEPD）是取决于有效的信息的最公正、最均匀的概率分布。我们不能说通过最大熵得到的概率分配接近系统，因为不知道（1）和（2）所提供的数据是否足以完全描述概率的系统行为。确定一个“最佳”约束集，描述所观察到的行为的系统问题被称为逆问题。概率统计学科中的一个逆问题的例子是，确定一组给定的概率分布的时刻，[4]，[5]。概率分布的特征矩是概率分布得到最大熵概率分布的矩约束条件。例如，均值和方差的高斯分布的特征矩。香农熵最大化测量给出高斯分布受到这些约束条件。逆问题也出现在统计学中一个给定的样本数据的识别。逆问题的搜索行为是概率在系统观察到的原因。这就需要一个包含在给定集合中的约束的信息量的度量。Kapur,Baciu,和Kesavan[1]介绍了极大极小方法包含在一个给定的一组约束作为定量措施的方法。极大极小方法是基于最大和最小熵。极大极小测量和最小熵的意义在第二节综述。熵的最小值（MinEPD）的概率分布评估问题受特定条件是众所周知的NP-难题。第三部分讨论了获得极大极小量的计算问题,提出了一种算法来生成最小熵问题的近似解。极大极小值的方法解决这个问题的一个应用示例数据的概率密度函数(p.d.f.)估计见第六部分。II.最小熵和最大最小值估算以前试图解决逆问题和包含在一组约束集中基于MaxEnt定义的信息。Kapur,Baciu和Kesavan确认这种方法的模糊性[1]和定义了基于最大和最小熵的最大最小值法。当唯一可用的信息是由自然约束确定的(1),MaxEPD是均匀分布的((1/n)(1/n)...(1/n))与熵值lnn。对应的n-degenerate最小熵概率分布就像(1,0...,0),(0,1...,0),...(o,o...,1)与熵值0。这相当于随机变量n-distinct的值或结果。最小熵概率分布表明了大多数的偏向和均匀分布符合可用的数据。在存在附加信息的情况下，概率分布的选择是约束的。一组受限的概率分布具有较小的最大熵值，比原始集合，在一般情况下Smax比Smin有更大的最小熵价，因此,pi的每个额外信息形式的限制基于Smax的减少（或至少没有变化）和Smin的增加（或没有变化）。在一般情况下，每一个额外的约束，减少了Smax—Smin的不确定性差距。把C1，C2作为双约束集，极大极小程度的信息包含在C2对C1的差距，并减少C2到C1的不确定性：对任何约束，最佳的措施是相对于自然的约束条件进行评估，并给出以下公式：III.计算问题对于一个给定的约束，C的该指标的计算，包括计算Smax和Smin的值为C。在这里提出的方法涉及到获得对应响应C的最大和最小熵概率分布。熵最大化问题是凸极小化问题。拉格朗日乘数法[7]，[5]可以用来为MaxEPD获得解析解。使用这种方法，最大化的熵测量主体由（1）和（2）给出：其中λ0，,λ1，...λm是对应于m+1个约束的拉格朗日乘子。拉格朗日乘子是由（6）和（1）和（2）替代pi，并简化得到的：方程（8）在m个未知数中形成m个非线性方程组，这些方程可以用一种更方便的形式表示为余值例如r=1,2,3,...m.最小二乘法[7]可用于确定拉格朗日乘子。这是通过最小化残差的平方和达到的：这个例子说明在第VI部分，采用Levenberg–Mar-quardt的方法[7]，[8]求解最小二乘问题。求取MinEPD的值的问题是从给定约束条件下对香农熵全局极小值的估算。这是一个约束全局优化问题，具体而言，是一个可分离的目标函数约束凹最小化问题。这个问题被称为NP-Hard问题。初步尝试解决最小熵问题已经通过特定的约束条件获得解析解，如均值或方差[9]，[10]。一个获得最小熵数值方法的近似解就像作者在[11]里表达的。这种方法是Phillips和Rosen[12]提出的基于可分离的目标函数的凹最小化算法。这里考虑的最优化问题是是否是P∈Π={P：Ap≤b,p≥0},A∈Rm*n,b∈Rm和Si(pi)=-pilnpi：熵的最小值问题的一个重要属性是全局最小点始终是基础凸多面体π的一个顶点。因此，线性规划是解决这个问题的任何计算算法的一个重要部分。由Phillips和Rosen提出的使用一个矩形连续划分方法的算法[13]求解可分离的目标函数凹的最小化。这是利用间接信息的分支定界技术，用目标函数值下限的形式来决定一个全局最小值是否包含在目标分区中。此外，一些充分的条件被用来识别这个问题的全局最优解局部最小值。在[12]和[14]中讨论了求解最小熵问题的算法和实现的具体细节。