现代信息检索技术与策略

第2章现代信息检索技术与策略•信息检索概述•信息检索的发展历程及其进展•信息检索技术•信息检索语言•信息检索策略一、信息检索概述•什么是信息检索？信息检索（InformationRetrieval）有广义和狭义之分。广义的信息检索是指将信息按一定的方式组织和存储起来，并根据信息用户的需要查找出特定信息的技术和过程，所以，其全称是信息存储与检索（InformationStorageandRetrieval）。狭义信息检索仅指该过程的后半部分，即根据信息用户的检索需求，利用已有的检索工具或数据库，从中找出特定信息的过程，相当于人们所说的信息查寻（InformationSearch）。信息存储•信息的采集：根据数据库或检索工具的内容和性质要求，对广泛且分散的信息资源进行有针对性的采集。•信息的著录：对所搜集的原始信息的外表特征（如题名、著者、文献出处等）和内容特征（如分类号、主题词、摘要等）进行描述，形成一条条款目或记录的过程。•信息的标引：根据一定的规则和程序，对文献内容进行分析，然后赋予每篇文献以一定数量的内容标识（分类号、主题词、关键词等），作为存储与检索的依据。•信息的整序：将采集到的无序信息进行有序化组织的过程，形成可直接用于手工检索的检索工具或计算机检索的数据库。信息检索•将描述特定用户所需信息的提问特征与信息存储的检索标识进行异同的比较，从中找出与提问特征一致或基本一致的信息。•在计算机检索系统中，该工作是由“系统-用户接口”来完成的，它是一种面向系统的人-机接口，承担用户与系统之间的通信功能。负责处理用户输入的检索词与提问式，并将它们与数据库中存储的数据进行比较运算，最后将检出结果以一定的形式输出。信息检索类型•数据信息检索（DataRetrieval）：电话号码、观测数据、统计数据、参数、市场行情、图表、化学分子式等•事实信息检索（FactRetrieval）：事物（事件）的性质、定义、原理以及发生的时间、地点、过程等。•文献检索（LiteratureRetrieval）：以文献为检索对象的信息检索信息检索工具•信息检索工具是用来存储信息和提供查找信息线索的工具，它实际上是对众多分散的无组织的信息进行筛选、积累、组织、加工和整理，并按一定的科学体系组织编排，使其成为有序化、系统化的信息集合，从而方便人们检索和利用。•按不同的标准，检索工具可划分成不同的类型。按按存储内容划分有目录型、题录型、文摘型和全文型检索工具；按载体划分有印刷型、缩微型和电子型检索工具。•目录型：是对相关信息外表特征的揭示和报道，通常以一个出版单位或收藏单位为基本的著录单位，对文献的描述比较简单。•题录型：是将图书、报刊等文献中论文的篇名按一定的排检方式编排而成的•文摘型：是揭示信息外表特征和内容特征的信息系统，其著录项在题录的基础上加上文摘内容。•全文型：是以一次文献即原始文献为存储对象，著录项目包括了文摘和全文，能够直接为用户提供原始资料或具体数据二、信息检索的发展历程及进展•手工信息检索：印刷型检索工具•机械信息检索：是手工检索向计算机信息检索的过渡阶段，（穿孔卡片）。•计算机信息检索：目前，计算机信息检索已成为用户获取信息的主要方式，我们所说的现代信息检索一般指计算机信息系检索。计算机信息检索可划分为脱机检索、联机检索、光盘检索和网络检索4个阶段。现代信息检索的几种方法•全文检索：就是以文本数据为主要处理对象，根据数据资料的内容而不是外在特征来实现的信息检索手段•字段检索：把检索对象按一定标准在不同字段中进行著录，并把不同字段作为检索依据•基于内容的多媒体检索：按检索内容可分为图像检索、视频检索和声音检索等类型•数据挖掘：从大量的、不完全的、模糊的、随机的数据中，提取隐含在其中人们事先不知道的潜在有用的信息和知识的过程三、常用的信息检索技术•布尔逻辑检索技术•截词检索技术•邻近检索技术•限定字段检索技术•限制检索布尔逻辑检索•逻辑与：也称逻辑乘，用关系词“and”或“*”表示。AandB（或A*B）表示两个概念的交叉和限定关系，只有同时含有这两个概念的记录才算命中信息•逻辑或：也称逻辑和，用关系词“or”或“+”表示。AorB（或A+B）表示两个概念的并列关系，记录中只要含有任何一个概念就算命中信息，即凡单独含有概念A或单独含有概念B或者同时含有A、B两个概念的信息均为命中信息•逻辑非：也称逻辑差，用关系词“not”或“－”表示。AnotB（或A－B）表示两个概念的排除关系，指记录中含有概念A而不含概念B的记录为命中信息•布尔算符的优先执行顺序一般是：逻辑非、逻辑与、逻辑或，但用括号可以规定或改变其执行顺序。三个逻辑算符和括号的配合使用，可将检索词组配成较为复杂的逻辑提问式，以满足复杂概念信息检索的需要。（A*B）－C：截词检索•所谓截词检索，是指在检索式中用专门的符号（截词符号）表示检索词的某一部分允许有一定的词形变化。截词符一般用“？”或“*”表示，不同系统，不同数据库，其代表的含义有所不同。计算机在检索中遇有截词符时，将不予匹配对比，只要其他部位字符匹配，即算命中。•联机检索中一般对截词符号没有统一标准，根据数据库不同其检索符号也有差异，如DIALOG系统用“？”，BRS系统用“＄”，ORBIT系统用“#”等。网络信息检索工具中绝大多数都支持截词功能，有的是自动截词，有的是在一定条件下才能截词。截词检索的方式有多种，按截词位置可分为前截词、后截词、前后截词和中间截词•前截词：也称左截词或后方一致。如?computer可检索computer、minicomputer、microcomputer等•后截词：也称右截词或前方一致。如computer？可检索出computer、computers、computerize、computerized、computerization等结果•前后截词：词干的前后各有一个截词符，如?computer？可检索computer、computers、computerize、computerized、computerization、minicomputer、minicomputers、microcomputer、microcomputers等结果•中间截词：也称“通用字符检索法”，凡前后方一致的词，都能检出，通常用在英美对某些词的不同拼写法。如：defen*e可同时检出defence和defense按截断字符数的不同，可分为有限截断和无限截断•无限截断：在检索词的词干前后，加一个“？”，表示在此位置上可能出现的字符数量不受限制，可查找词干相同的所有词。按截词符的位置分为前截词、后截词和前后截词•有限截断：在检索词的词干前后，加几个“？”，表示在此位置上最多允许出现的字符数。两个“？”之间空一格，即“??”，表示该位置允许出现0－1个字符，在空格前每增加一个“？”，表示增加一个字符，“???”表示该位置允许出现0－2个字符，依此类推。按截词符的位置同样分为前截词、后截词和前后截词。邻近检索•邻近检索又称位置检索，主要是通过检索式中的专门符号来规定检索词在结果中的相对位置。在某些情况下，若不限制检索词之间的位置关系则会造成误检，影响查准率。例如检索“生物防治”的文献，若用检索式“biological*control”检索，则会将“抑制生物”（controlbiological）的文献也查出来，因此，在大部分检索系统中设置了位置限定运算符号以确定检索词之间的位置关系。常用的相邻位置算符有（W）、（nW）、（N）、（nN），句子位置算符（S），字段算符（F）、（L）等。但在不同的检索系统所采用的位置运算符是不一样的，功能也有差异。（W）与(nW)算符•（W）算符：（W）是with的缩写，可简写为“()”，表示此算符两侧的检索词必须按此前后顺序相邻排列，词序不可变，且两词之间不许有其它的词或字母，但允许有一空格或标点符号。如biological(W)control相当于检索biologicalcontrol，CD(W)ROM相当于检索CDROM或CD-ROM。•(nW)算符：(nW)是nwords的缩写，表示此算符两侧的检索词之间允许插入最多n个词，且词序不可变。如wear(1W)material相当于检索wearmaterials、wearofmaterials等词。（N）和（nN）算符•（N）是near的缩写，表示此算符两侧的检索词必须紧密相连，词序可变，词间不允许插入其它词或字母，但允许有一空格或标点符号。（nN）表示两词间可插入最多n个词，词序可变，如检索式environment(2N)protection就可检索出包含“environmentprotection”、“environmentoftheprotection”、“environmentofwaterprotection”、“protectionofforestenvironment”等内容的结果。（S）、（F）、（L）算符•（S）算符：（S）是sentence的缩写，表示两个检索词须同时出现在文献记录的同一子字段中，两词的词序不限，两词间插入词的数量不限。•（F）算符：（F）表示此算符两侧的检索词必须同时出现在信息记录的同一个字段内，两词的词序不限，两词间插入词的数量不限。用此算符时须指定所要查找的字段，例如digital(F)computer/TI表示在题名字段（TI）中同时出现这两个检索词的才算命中信息。•（L）算符：（L）算符要求检索词同在叙词字段中出现并且具有词表规定的等级关系，因此，该算符只适用于有正式词表、且词表中的词具有从属关系的数据库或文档。限定字段检索•限定字段检索即指定检索词在记录中出现的字段即检索入口。检索时，计算机只对限定字段进行匹配运算，以提高检索效率和查准率。不同数据库和不同种类文献记录中所包含的字段数目不尽相同，字段名称也有区别。在一些网络数据库中，字段名称通常放置在下拉菜单中，用户可根据需要选择不同的检索字段进行检索。•常见的检索字段：题名TitleTI文摘AbstractAB作者AuthorAU作者单位CorporateSourceCS刊名JournalJN叙词DescriptorDE语种LanguageLA文献类型DocumentTypeDT限制检索•限制检索是通过限制检索范围，达到优化检索的方法。常用检索符有：•包含，用“：”或“–”表示•大于，用“”表示•小于，用“”表示•等于，用“=”表示•大于或等于，用“=”表示•小于或等于，用“=”表示•范围之外，用“！：”表示四、信息检索语言把存储与检索两个过程、标引员与检索者两个方面联系起来表达相同概念和主题的语言就是检索语言，也叫索引语言、标引语言。检索语言在表达概念上具有单义性和唯一性，可以保证不同标引者和检索者对信息特征表达上的一致性，还可使内容相同或相关的信息集中，使大量分散无序的信息系统化、有序化，便于进行有规律的检索。信息检索工具中经常使用的检索语言主要有分类检索语言和主题检索语言。分类检索语言•分类检索语言是指用分类号表达各种概念，并将各种概念以学科性质为主加以划分和系统排列的检索语言。按编制方式可分为体系分类语言和组配分类语言，目前信息检索采用的大多为体系分类语言。•体系分类语言是以科学分类为基础，运用概念划分的方法，把具有某种或某些共同属性的事物集合划分为一类，用概括该类事物所共有的本质属性的概念作为类目，并给出相应的标记符号作为分类号。体系分类语言集中体现了学科的系统性，反映事物的从属、派生关系，从上至下、从总体到局部层层划分、展开。主题检索语言•主题检索语言是指描述文献主题的语词标识并按字顺序列排检的检索语言。主题检索语言具有直观、专指性强、使用灵活、适合计算机检索等优点，是现代信息检索中使用最为频繁的一种信息检索语言。•在现阶段，主题检索语言按照选词方式划分，主要有标题词语言、单元词语言、叙词语言和关键词语言等四种。•标题词语言：是主题检索语言中最早出现的一种语言。•标题词并非文献“题名”中的词，而是指经过规范化处