搜索
南昌航空大学自考本科毕业论文11南昌航空大学NanchangHangkongUniversity毕业论文题目_搜索引擎原理及发展趋势__________________学院_江西工业工程职业学校_____________________专业__________计算机网络________________________姓名周文飞___________学号036811100078指导老师李国忠______________职称__________________2012__年_5__月_5_日_南昌航空大学自考本科毕业论文22目录第一章搜索引擎的概述31.1搜索引擎31.2搜索引擎的发展史3第二章搜索引擎基本常识92.1搜索引擎工作原理92.2搜索引擎分类92.3全文搜索引擎10第三章使用搜索引擎的一些基本规则和技巧123.1搜索引擎的一些基本规则123.2搜索引擎的一些基本技巧12第四章搜索引擎的评测164.1搜索引擎缺陷164.2搜索速度16第五章搜索引擎的未来发展动向及趋势185.1搜索引擎的未来发展动向185.2搜索引擎趋势19结束语23致谢24参考文献25南昌航空大学自考本科毕业论文33第一章搜索引擎的概述1.1搜索引擎搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。百度和谷歌等是搜索引擎的代表。搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。百度和谷歌等是搜索引擎的代表。1.2搜索引擎的发展史互联网发展早期，以雅虎为代表的网站分类目录查询非常流行。网站分类目录由人工整理维护，精选互联网上的优秀网站，并简要描述，分类放置到不同目录下。用户查询时，通过一层层的点击来查找自己想找的网站。也有人把这种基于目录的检索服务网站称为搜索引擎，但从严格意义上讲，它并不是搜索引擎。1990年，加拿大麦吉尔大学（UniversityofMcGill）计算机学院的师生开发出Archie。当时，万维网（WorldWideWeb）还没有出现，人们通过FTP来共享交流资源。Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页（HTML文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。所以，Archie被公认为现代搜索引擎的鼻祖。起源所有搜索引擎的祖先，是1990年由Montreal的McGillUniversity三名学生（AlanEmtage、PeterDeutsch、BillWheelan）发明的Archie（ArchieFAQ）。AlanEmtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。由于Archie深受欢迎，受其启发，NevadaSystemComputingServices大学于1993年开发了一个Gopher（GopherFAQ）搜索工具Veronica（VeronicaFAQ）。Jughead是后来另一个Gopher搜索工具。发展（1）Excite的历史可以上溯到1993年2月，6个StanfordUniversity（斯坦福大学）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全投资项目，他们还发布了一个供南昌航空大学自考本科毕业论文44webmasters在自己网站上使用的搜索软件版本，后来被叫做ExciteforWebServers。注：Excite后来曾以概念搜索闻名，2002年5月，被Infospace收购的Excite停止自己的搜索引擎，改用元搜索引擎Dogpile发展（2）1994年4月，斯坦福大学的两名博士生，美籍华人杨致远和DavidFilo共同创办了Yahoo！。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。因为Yahoo!的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。Yahoo!中收录的网站，因为都附有简介信息，所以搜索效率明显提高。注：Yahoo以后陆续有Altavista、Inktomi、Google提供搜索引擎服务Yahoo!－－几乎成为20世纪90年代的因特网的代名词。发展（3）1995年，一种新的搜索引擎形式出现了——元搜索引擎（MetaSearchEngine）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。第一个元搜索引擎，是Washington大学硕士生EricSelberg和OrenEtzioni的Metacrawler。元搜索引擎概念上非常好听，但搜索效果始终不理想，所以没有哪个元搜索引擎有过强势地位。发展（4）智能检索的产生：它利用分词词典、同义词典，同音词典改善检索效果，进一步还可在知识层面或者说概念层面上辅助查询，通过主题词典、上下位词典、相关同级词典检索处理形成一个知识体系或概念网络，给予用户智能知识提示，最终帮助用户获得最佳的检索效果。例：（1）查询“计算机”，与“电脑”相关的信息也能检索出来；（2）可以进一步缩小查询范围至“微机”、“服务器”或扩大查询至“信息技术”或查询相关的“电子技术”、“软件”、“计算机应用”等范畴；（3）还包括歧义信息和检索处理，如“苹果”，究竟是指水果还是电脑品牌，“华人”与“中华人民共和国”的区分，将通过歧义知识描述库、全文索引、用户检索上下文分析以及用户相关性反馈等技术结合处理，高效、准确地反馈给用户最需要的信息。发展（5）个性化趋势是搜索引擎的一个未来发展的重要特征和必然趋势之一。一种方式通过搜索引擎的社区化产品（即对注册用户提供服务）的方式来组织个人信息，然后在搜索引擎基础信息库的检索中引入个人因素进行分析，获得针对个人不同的搜索结果。自2004年10月yahoo推出myweb测试版，到11月a9推出个性化功能，到2005年Googlesearchhistory基本上都沿着一条路子走，分析特定用户的搜索需求限定的范围，然后按照用户需求范围扩展到互联网上其他的同类网站给出最相关的结果。另外一种是南昌航空大学自考本科毕业论文55针对大众化的，Google个性化搜索引擎，或者yahooMindSet，或者我们都知道的前台聚类的vivisimo。但是无论其中的哪一种实现方式，即Google的主动选择搜索范围，还是yahoo，vivisimo的在结果中重新组织自己需要的信息，都是一种实验或者创想，短期内无法成为主流的搜索引擎应用产品。发展（6）网格技术（greatglobalgrid)：由于没有统一的信息组织标准对网络信息资源进行加工处理，难以对无序的网络信息资源进行检索、交接和共享乃至深层次的开发利用，形成信息孤岛。网格技术就是要消除信息孤岛实现互联网上所有资源的全面连通。国全球信息网格（GlobalInformationGrid)Robot（机器人）一词对编程者有特殊的意义。ComputerRobot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。由于专门用于检索信息的Robot程序像蜘蛛(spider)一样在网络间爬来爬去，因此，搜索引擎的Robot程序被称为spider程序。1993年MatthewGray开发了WorldWideWebWanderer，这是第一个利用HTML网页之间的链接关系来检测万维网规模的“机器人（Robot）”程序。开始，它仅仅用来统计互联网上的服务器数量，后来也能够捕获网址（URL）。1994年4月，斯坦福大学（StanfordUniversity）的两名博士生，美籍华人JerryYang（杨致远）和DavidFilo共同创办了Yahoo。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。因为Yahoo！的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。雅虎于2002年12月23日收购inktomi，2003年7月14日收购包括Fast和Altavista在内的Overture，2003年11月，Yahoo全资收购3721公司。1994年初，华盛顿大学（UniversityofWashington）的学生BrianPinkerton开始了他的小项目WebCrawler。1994年4月20日，WebCrawler正式亮相时仅包含来自6000个服务器的内容。WebCrawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎，在它之前，用户只能通过URL和摘要搜索，摘要一般来自人工评论或程序自动取正文的前100个字。1994年7月，卡内基·梅隆大学（CarnegieMellonUniversity）的MichaelMauldin将JohnLeavitt的spider程序接入到其索引程序中，创建了Lycos。除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，Lycos第一个在搜索结果中使用了网页自动摘要，而最大的优势还是它远胜过其它搜索引擎的数据量。1994年底，Infoseek正式亮相。其友善的界面，大量的附加功能，使之和Lycos一样成为搜索引擎的重要代表。南昌航空大学自考本科毕业论文661995年，一种新的搜索引擎形式出现了——元搜索引擎（AMetaSearchEngineRoundup）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理，提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。第一个元搜索引擎，是Washington大学硕士生EricSelberg和OrenEtzioni的Metacrawler。1995年12月，DEC的正式发布AltaVista。AltaVista是第一个支持自然语言搜索的搜索引擎，第一个实现高级搜索语法的搜索引擎（如AND、OR、NOT等)。用户可以用AltaVista搜索新闻组（Newsgroups）的内容并从互联网上获得文章，还可以搜索图片名称中的文字、搜索Titles、搜索Javaapplets、搜索ActiveXobjects。AltaVista也声称是第一个支持用户自己向网页索引库提交或删除URL的搜索引擎，并能在24小时内上线。AltaVista最有趣的新功能之一，是搜索有链接指向某个URL的所有网站。在面向用户的界面上，AltaVista也作了大量革新。它在搜索框区域下放了“tips”以帮助用户更好的表达搜索式，这些小tip经常更新，这样，在搜索过几次以后，用户会看到很多他们可能从来不知道的的有趣功能。这系列功能，逐渐被其它搜索引擎广泛采用。1997年，AltaVista发布了一个图形演示系统LiveTopics，帮助用户从成千上万的搜索结果中找到想要的。1995年9月26日，加州伯克利分校助教EricBrewer、博士生PaulGauthier创立了Inktomi，1996年5月20日，Inktomi公司成立，强大的HotBot出现在世人面前。声称每天能抓取索引1千万页以上，所以有远超过其它搜索引擎的新内容。HotBot也大量运用cookie储存用户的个人搜索喜好设置。1997年