信息检索导论第十一章

Lecture-11概率检索模型提纲11.1概率论基础知识11.2概率排序原理11.3二值独立模型(BIM)11.4概率模型的相关评论及扩展(OkapiBM25权重计算方法、基于贝叶斯网络的IR模型)11.1概率论基础知识随机试验与随机事件概率和条件概率乘法公式、全概率公式、贝叶斯公式随机变量随机试验：可在相同条件下重复进行；试验可能结果不止一个，但能确定所有的可能结果；一次试验之前无法确定具体是哪种结果出现。随机事件：随机试验中可能出现或可能不出现的情况叫“随机事件”概率：直观上来看，事件A的概率是指事件A发生的可能性，记为P(A)条件概率：已知事件A发生的条件下，事件B发生的概率称为A条件下B的条件概率，记作P(B|A)•乘法公式：P(AB)＝P(A)P(B|A)P(A1A2…An)＝P(A1)P(A2|A1)...P(An|A1…An－1)•全概率公式：A1A2…An是整个样本空间的一个划分•贝叶斯公式：A1A2…An是整个样本空间的一个划分1()()(|)niiiPBPAPBA＝1()(|)(|),(1,...,)()(|)jjjniiiPAPBAPABjnPAPBA两事件独立：事件A、B，若P(AB)=P(A)P(B)，则称A、B独立三事件独立：事件ABC，若满足P(AB)=P(A)P(B),P(AC)=P(A)P(C),P(BC)=P(B)P(C),P(ABC)=P(A)P(B)P(C)，则称A、B、C独立多事件独立：两两独立、三三独立、四四独立….随机变量：若随机试验的各种可能的结果都能用一个变量的取值（或范围）来表示，则称这个变量为随机变量，常用X、Y、Z来表示(离散型随机变量)：(连续型随机变量)11.2概率排序原理对查询q和文档集中的一篇文档d，假定变量Rd,q代表d和查询q是否相关，当文档d和查询q相关时Rd,q的取值为1，不相关时Rd,q的取值为0。在不造成上下文歧义的情况下，我们将Rd,q简记为R。于是，可以利用概率模型来估计每篇文档和需求的相关概率P(R=1|d,q)，然后对结果进行次序。这就是PRP。11.3二值独立模型1()(|)(|),(1,...,)()(|)jjjniiiPAPBAPABjnPAPBA11.3.1排序函数的推导常数朴素贝叶斯条件独立性假设在给定查询的情况下，认为一个词的出现与否与任意一个其他词的出现与否是互相独立的常数用于排序的量称为RSV（retrievalstatusvalue，检索状态值）ct是查询词项的优势率比率（oddsratio）的对数值。当查询词项出现在相关文档时，优势率为pt/（1-pt）；当查询词项出现在不相关文档时，优势率为ut/(1-ut)。优势率比率是上述两个优势率的比值，最后对这个值取对数。如果词项在相关和不相关文档中的优势率相等，ct值为0。如果词项更可能出现在相关文档中，那么该值为正。ct实际上给出的是模型中词项的权重查询文档的得分就是11.3.2理论上的概率估计方法对于输出结果为类别型（比如词项出现或不出现两个类别）的试验来说，往往可以通过事件发生的次数除以试验的总次数来从数据中估计出事件的概率。这被称为事件的相对频率。由于相对频率使得观察数据出现的概率最大，所以这种估计称为MLE（最大似然估计）。但是，如果我们只是简单地使用MLE，那么在观察数据中出现过的事件的概率估计值总是非常高，而那些没有在观察数据中出现的事件的相对频率则为0，这不仅低估了这些事件的概率值，往往也损害了模型本身，因为0乘以任何数得0。在减少出现事件的概率估计值的同时提高未出现事件的概率估计值的方法称为平滑（smoothing）。一种最简单的平滑方法就是对每个观察到的事件的数目都加上一个数α。这样得到的伪数目相当于在所有词汇表上使用了均匀分布作为一个贝叶斯先验11.3.3实际中的概率估计方法一、评估不相关文档有关的量二、评估相关文档有关的量1、已知某些相关文档，利用这些已知相关文档中的词项出现频率来对pt进行估计。2、Croft和Harper（1979）在他们的组合匹配模型（combinationmatchmodel）中提出了利用常数来估计pt的方法。3.Greiff（1998）pt会随dft的增长而增长11.3.4基于概率的相关反馈方法11.4概率模型的相关评论及扩展11.4.2词项之间的树型依赖11.4.1概率模型的评论在BIM模型中，假设：11.4.3OkapiBM25：一个非二值模型如果存在相关性判断结果11.4.4IR中的贝叶斯网络方法贝叶斯网络是通过有向图来表示不同随机变量之间的概率依赖关系，对于任意有向无环图，已经发展出多种在节点之间传递影响度的复杂算法，可以基于任意知识在图上面进行学习和推理。Turtle和Croft利用了一个复杂的图模型来对文档和信息需求之间的复杂依赖关系进行建模。模型文档集网络查询网络词项概念：文档中出现的词项的某种基于同义词的扩展形式基于贝叶斯网络的系统能够支持大规模信息的高效检索，是麻省大学建立的InQuery文本检索系统的基础。在TREC评测中，该系统也取得了很好的效果，并且一度商业化。另一方面，为了进行参数估计和计算，上述模型仍然使用了许多近似和独立性假设。该模型的后续工作已经很多，但是需要指出的是，该模型实际上建立于现代贝叶斯网络理论的早期阶段，目前的贝叶斯网络理论已经取得了很多进展，也许现在正是利用新理论建立新一代基于贝叶斯网络的信息检索系统的最佳时机。