jensen不等式

1.Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。Jensen不等式表述如下：如果f是凸函数，X是随机变量，那么特别地，如果f是严格凸函数，那么当且仅当，也就是说X是常量。这里我们将简写为。如果用图表示会很清晰：图中，实线f是凸函数，X是随机变量，有0.5的概率是a，有0.5的概率是b。（就像掷硬币一样）。X的期望值就是a和b的中值了，图中可以看到成立。当f是（严格）凹函数当且仅当-f是（严格）凸函数。Jensen不等式应用于凹函数时，不等号方向反向，也就是。先验概率与后验概率事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。二、Apriorprobabilityisamarginalprobability,interpretedasadescriptionofwhatisknownaboutavariableintheabsenceofsomeevidence.Theposteriorprobabilityisthentheconditionalprobabilityofthevariabletakingtheevidenceintoaccount.TheposteriorprobabilityiscomputedfromthepriorandthelikelihoodfunctionviaBayes'theorem.三、先验概率与后验概率通俗释义事情有N种发生的可能，我们不能控制结果的发生，或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。新发一个物种，到底是猫,还是小老虎呢（朱道元的经典例子）？是由于我们的无知才不能确定判断。先验概率(Priorprobability)先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率p,在进行民意调查之前,可以先验概率来表达这个不确定性。后验概率(posteriorprobability)Probabilityofoutcomesofanexperimentafterithasbeenperformedandacertaineventhasoccured.后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。四、一道经典概率题的终极解法——后验事实与先验概率的关系经典题目：有三个门，里面有一个里有汽车，如果选对了就可以得到这辆车，当应试者选定一个门之后，主持人打开了另外一个门，空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。经典解法：第一次选择正确的概率是1/3，因此汽车在另外两个门里的概率是2/3。主持人指出一个门，如果你开始选错了(2/3概率)，则剩下的那个门里100%有汽车；如果你第一次选对(1/3)了，剩下那个门里100%没汽车。所以主持人提示之后，你不换的话正确概率是1/3*100%+2/3*0=1/3，你换的话正确概率是1/3*0+2/3*100%=2/3。对于这个解法的诘问就在于，现在主持人已经打开一个空门了（而且主持人是有意打开这个门的），在这一“信息”出现后，还能说当初选错的概率是2/3吗？这一后验事实不会改变我们对于先验概率的看法吗？答案是会的。更具体地说，主持人打开一扇门后，对当初选择错误的概率估计不一定等于2/3。从头说起。假设我选了B门，假设主持人打开了C门，那么他在什么情况下会打开C门呢？若A有车（先验概率P=1/3），那主持人100%打开C门（他显然不会打开B）；若B有车（先验概率P=1/3），那此时主持人有A和C两个选择，假设他以K的概率打开C（一般K=1/2，但我们暂把它设成变量）；若C有车（先验概率P=1/3），那主持人打开C的概率为0（只要他不傻。。。）已知他打开了C，那根据贝叶斯公式——这里P（M|N）表示N事件发生时M事件发生的概率：P（B有车|C打开）=P（C打开|B有车）*p（B有车）/P（C打开）P（C打开|B有车）*p（B有车）=P（C打开|A有车）*p（A有车）+P（C打开|B有车）*p（B有车）K*1/3=1*1/3+K*1/3K=-------K+1该值何时等于1/3呢（也就是经典解法里的假设）？只有K=1/2时。也就是一般情况下。但如果主持人有偏好，比方说他就是喜欢打开右边的门（假设C在右边），设K=3/4，那么B有车的概率就变成了3/5，不再是1/3，后验事实改变了先验概率的估计！但这并不改变正确的选择，我们仍然应该改选A门，解释如下：P（A有车|C打开）=P（C打开|A有车）*p（A有车）/P（C打开）P（C打开|A有车）*p（A有车）=------------------------------------------------------------P（C打开|A有车）*p（A有车）+P（C打开|B有车）*p（B有车）=1*1/3/1*1/3+K*1/3=1/k+1而K1（假设主持人没有极端到非C不选的程度），所以永远有P(B有车|C打开)P(A有车|C打开).A有车的概率永远比B大，我们还是应该改变选择。