[原创]用冯向军知觉模型实现HARTLEY信息

[原创]用冯向军知觉模型实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一(待续)冯向军2006/01/29于美国(甲)信息最终要被信息接受者所反映。这就是为什么冯向军要在WEBER-FECHNER的基础上建立起更一般的知觉模型deltaS=a(deltaOS/OS)+b(deltaOS)(1)这其中a、b为待定常数。OS为某种客观的刺激；deltaS为因客观刺激的变化而引发的感官变化；a(deltaOS/OS)是因客观刺激的相对变化而引发的感官变化；deltaOS是因客观刺激的绝对变化(或相对于某种不变的客观标准的变化)而引发的感官变化；通过这些日子的讨论，我已逐步展示确实可以用上述模型来实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一。(乙)(一)我们从WEBER-FECHNER对数律推导出广义的相对信息的一种一般形式，从冯向军的知觉模型得到了更一般的形式.现在再把视野稍微扩展一点。把U视为刻划与信息有关的{不确定性，复杂性，可区分性...}的某种参数.我们诚恳地认为，几乎所有比较流行的信息测度模式均可归于如下方程、定律、模型(A)RI=log2(U/Ub)(1-1)(广义相对信息的一种一般形式)(B)REs=p1*log2(U1/Ub)+p2*log2(U2/Ub)+...+pn*log2(Un/Ub)(2-1)(具有单独可变门槛Ub的广义相对熵。)REm=p1*log2(U1/Ub1)+p2*log2(U2/Ub2)+...+pn*log2(Un/Ubn)(3-1)(具有多种可变门槛的广义相对熵。)(C)WEBER-FECHNER对数律deltaS=a(deltaU/U)(4-1)(D)冯向军的知觉模型deltaS=a(deltaU/U)+b(deltaU)(5-1)这其中U为描述与信息密切相关的{不确定性，复杂性，可区分性......}的某种参数，Ub,Ub1,Ub2,...Ubn为这种参数的可控达门槛。p1,p2,...pn是一概率分布，p1+p2+...+pn=1(二)现举例说明。当U为1/p,而p为符号的概率，Ub=1/max(p)=1，按(1-1)我们就有RI=log2(1/p)(1-2)这RI就是汉明先生给出的信息的工程定义。当U为张学文玻尔兹曼状态数W，而Ub=min(W)=1，按(1-1)我们就有RI=log2(W)(2-2)这RI就是张学文广义集合的一种很好的复杂度。当U=1/N，而N为N种可能性，Ub=1/min(N)=1，按(1-1)我们就有RI=log2(N)(3-2)这RI就是HARTLEY信息。当Ui=1/pi,pi为符号i的概率，i=1，2，...,nUb=1/max(p)=1,按(2-1)式就有REs=-p1log2(p1)-p2log2(p2)-...-pnlog2(pn)(4-2)这REs就是SHANNON信息熵。当Ui=pi,pi为符号i的概率，i=1，2，...,nUb=1/n,按(2-1)式就有REs=log2(n)–[-p1log2(p1)-p2log2(p2)-...-pnlog2(pn)](5-2)这REs就是于宏义先生的风险熵，我称之为聚集熵。(表面两者矛盾，实际上在不同条件下两者在某种程度上相通。)当Ubi=1/pi,而Ui=1/qi，qi是另一概率分布，i=1，2，...,n，按(3-1)式就有REm=p1log(p1/q1)+p2log(p2/q2)+...+pklog(pk/qk)(6-2)这REm就是Kullback-Leibler相对熵。当U=混淆概率Q(Aj/xi),Ub=Q(Aj),按(1-1)就有鱼罩子广义互信息RI=I(xi,Aj)=log2(Q(Aj/xi)/Q(Aj))(7-2)当U=观控隶属域f(I)，Ub=任意指定的门槛隶属域fb，按(1-1)就有观控互信息GKI(xi,I)=log2(f(I/xi)/fb)(8-2)当pi=p(xi/zk),Ui=Qk(xi/zk),Ubi=Q(xi),按(3-1)就有鱼罩子广义Kullback公式REm=p(x1/zk)log2(Q(x1/zk)/Q(x1))+p(x2/zk)log2(Q(x2/zk)/Q(x2))+...+p(xn/zk)log2(Q(xn/zk)/Q(xn))(9-2)互信息不过是对广义相对信息RI求2次数学期望而已。于宏义先生的观控隶属度和我的观控隶属域新公式都能从WEBER-FCHNER感觉模型和冯向军的知觉模型推出.我的本质信息也可以从冯向军的知觉模型推导出来。......://www.qiji.cn/forum/ftopic3392.html信息熵的基本数学性质的简单数学证明定理1.2.1当正数p---0,p*log(p)-----0证明：将p*log(p)写成log(p)/(1/p),当p---0用罗必塔法则求导，即有log(p)/(1/p)---(1/p)/(-1/p^2)---p----0.证毕。定理1.2.2对于两个事件组成的分布，若其中一个事件(符号)的概率为p,那么信息熵H=-pLOG(p)-(1-p)LOG(1-p),H取最大值1比特，当且仅当p=0.5。当p---0或1，H取最小值0。其中LOG表以2为底的对数。证明：对于两个事件组成的分布，当其中一事件的概率为p,则另一事件的概率为1-p.于是按信息熵H的定义H=-p*LOG(p)-(1-p)*LOG(1-p)考虑到不等式loge(x)=x-1,对于x0均成立，且等号只在x=1成立，有H-1=H-LOG(2)=p*LOG(1/p)+(1-p)*LOG(1/(1-p))+(p+1-p)LOG(1/2)=p*LOG(1/(2p))+(1-p)*LOG(1/(2(1-p)))=lOG(e)[p*(1/(2p)-1)+(1-p)*(1/(2(1-p))-1)]=LOG(e)[1/2-p+1/2-(1-p)]=lOG(e)[1-p-1+p]=0所以H=1且等号只在1/(2p)=1且1/(2(1-p))=1成立也就是说等号只有在p=0.5时成立，这时两个符号的概率相等。当p---0,按定理1.2.1,H=0;当p---1,按定理1.2.1,H=0.[证毕]定理1.2.3对于任何x0,恒有loge(x)=x-1,其中loge表以e为底的对数。且等号只在x=1时成立。证明：对于所有的x0,定义函数f=loge(x)-x+1则有df/dx=1/x-1令df/dx=0则有极值点x=1但是，当x=1时二阶导数d^2f/d^2x=-1/x^20所以x=1是极大值点。有f=loge(x)-x+1=loge(1)-1+1=0或loge(x)=x-1且等号仅在x=1时成立。[证毕]定理1.2.4对于满足x1+x2+...+xq=1;y1+y2+...+yq=1的两组概率分布xi,i=1,2,...,q以及yi,i=1,2,...,q恒有x1*LOG(y1/x1)+x2*LOG(y2/x2)+...+xq*LOG(yq/xq)=0且等号只在yi=xi(i=1,2,...,q)时成立。证明：根据定理1.2.3有x1*LOG(y1/x1)+x2*LOG(y2/x2)+...+xq*LOG(yq/xq)=LOG(e)[x1*(y1/x1-1)+x2*(y2/x2-1)+...+xq*(yq/xq-1)]=LOG(e)[(y1+y2+...+yq)-(x1+x2+...+xq)]=LOG(e)[1-1]=0且等号仅在xi=yi时成立，i=1,2,...,q.证毕。定理1.2.5对于满足p1+p2+...+pk=1;q1+q2+...+qk=1的两组概率分布pi,i=1,2,...,k以及qi,i=1,2,...,k恒有Kullback-Leibler距离p1*LOG(p1/q1)+p2*LOG(p2/q2)+...+pq*LOG(pk/qk)=0且等号只在pi=qi(i=1,2,...,k)时成立。证明：根据定理1.2.3有p1*LOG(p1/q1)+p2*LOG(p2/q2)+...+pk*LOG(pk/qk)=-[p1*LOG(q1/p1)+p2*LOG(q2/p2)+...+pk*LOG(qk/pk)]=-LOG(e)[(q1+q2+...+qk)-(p1+p2+...+pk)]=-LOG(e)[1-1]=0且等号仅在pi=qi时成立，i=1,2,...,k.证毕。定理1.2.6对于q个符号的以比特为单位的信息熵H，恒有H=LOG(q)其中等号只能在q个符号具有等概率分布才成立。此时p1=p2=...=1/q,其中pi为第i个符号的信息，i=1,2,...q。[证明]H-LOG(q)=-p1LOG(p1)-p2LOG(p2)-...-pqLOG(pq)-(p1+p2+...+pq)LOG(q)=p1LOG(1/(p1*q))+p2LOG(1/(p2*q))+...+pqLOG(1/(pq*q))=lOG(e)[p1(1/(p1*q)-1)+p2(1/(p2*q)-1)+...+pq(1/(pq*q)-1)]=lOG(e)(1-p1-p2-...-pq)=(1-1)=0等号当且仅当p1=p2=...=pq=1/q时成立。证毕。定理1.2.7信息熵H给出了唯一可译码的平均码长(L)的下限，或H=L。这里等号只有在二元情况才成立。证明：要证明上述定理，就要证明很有意思的Kraft不等式：一个具有q个符号si(i=1,2,...q)，码字长为L1=L2=...=Lq的即时码存在的必要和充分的条件是1/r^L1+1/r^L2+...+1/r^Lq=1.对于最大码长为1的即时码，可以用最大长度为1的即时树来描述。我们有1条或两条长度为1的支路。所以对于1个符号的情况有：1/2=1而对于2个符号的情况有：1/2+1/2=1。所以对于最大码长为1的即时码Kraft不等式成立。假定Kraft不等式不等式对所有长度小于n的树皆成立。那么当树的最大长度为n时，第一个节点引出一对长度不超过n-1的子树，对于子树我们有不等式K1=1K2=1但是当子树接入主树时所有长度Li均增加1。所以在不等式中就增添了系数1/2。于是有1/2(K1+K2)=1。Kraft不等式证毕。经典信息论的一种关于信息的理解和信息的工程定义式我一直认同并采用汉明码发明人汉明(R.W.Hamming)对信息的工程定义式。汉明先生说：假定我们有一个含有q个符号s1,s2,...,sq的信源字母表，每个符号的概率各为p(s1)=p1,p(s2)=p2,...,p(sq)=pq.当我们接受其中一个符号时，我们得到多少信息呢？例如，若p1=1(当然此时所有其它的pi=0),那么收到它就毫不“意外”。所以没有信息，因为我们知道消息必定是什么。反之，若这些概率差异很大，那么在小概率事件发生时我们会感到比较意外，因而我们获得的信息比大概率事件发生时获得的信息要多。所以信息与事件发生的概率有点象反比例关系。我们还直观地感到：“意外”是可加的---由两个独立符号得到的信息是分别从各个符号所得信息和。由于复合事件的概率是两个独立事件概率的乘积，所以很自然地把信息量定义为I(si)=log2(1/pi)这样就得到如下的结果：I(s1)+I(s2)=log2(1/(p1p2))=I(s1,s2)此式清楚地表明如果概率取积那么信息量就取和。所以这一定义和我们头脑中关于信息应该是什么的概念大致吻合。这是根据符号的概率来建立的一个工程定义,而不是根据这个符号对人的实际意义来建立的定义。对信息论一知半解的人在这一点上认识往往非常模糊。他们根本不明确