搜索
山东科技大学本科毕业设计（论文）I摘要随着计算机网络在世界范围的飞速发展，互联网作为最具潜力与活力的媒体已经被公认是继报纸，广播，电视之后的“第四媒体”，成为反映社会新闻热点的重要载体。为了及时了解网络新闻热点，相关机构引入了新闻热点分析系统。本文设计的新闻爬虫系统是新闻热点分析系统的数据源，负责新闻信息的采集。本文借助于爬虫领域的相关技术与工具，结合新闻热点分析系统的需求从原理或工作流程上详细论述了爬虫系统中核心模块的具体实现。本文所描述的新闻爬虫系统其数据来源主要是新浪新闻，首先利用爬虫工具将新闻数据获取到本地数据库中，然后将新闻信息以及新闻分析的结果将在前台网页中进行可视化输出。本文主要进行了以下几个方面的工作：1）利用Java语言结合HTTPClient开源工具编写了一个针对新浪新闻的可扩展的网络爬虫，该爬虫程序能够按照广度优先的爬行策略对新闻数据（包括图片信息）进行全面的定向抓取以及周期性的增量抓取；2）采用HTMLParser对获取到的新闻信息进行元数据抽取，将新闻的编号、标题、内容、发布方、发布时间等元数据以及新闻图片等元数据解析出来并存入SQLServer数据库中；3）前端界面利用开源AJAX框架ExtJS结合Servlet进行实现，兼顾用户交互方式的多样性以及系统的跨浏览器兼容性。通过使用该新闻爬取系统，用户能够实时的更新新闻信息，及时、全面、准确地掌握新闻热点动态，提高对于重大突发事件的处理能力，对于更及时，全面的了解各地的实时信息具有重要意义。关键词：新闻热点，网络爬虫，元数据抽取，可视化山东科技大学本科毕业设计（论文）IIABSTRACTWiththerapiddevelopmentofWorldWideWeb(),itiswidelyacceptedthattheinternet,calledtheFourthMedia,willbethemostpotentialandenergeticmediaafternewspaper,radioandtelevisionasanimportantcarrierofthehotsocietynews.Inordertoknowtheinternethotnewsintime,therelatedorganizationsintroducedthehotnewsandanalysissystem.Thenewsspidersystemisintheinformationcollectionlayerandisthefundamentalpartofhotnewsanalysissystem.Itisresponsiblefortheinformationcollection.Inthehelpofrelatedtechnologiesandtoolsandwiththeneedsofthesystemitself,thepaperdiscusstheconcreterealizationofthecodemoduleindetail.Thedataofthenewsspidersystemcomesfromnewsofsina.Firstusingwebcrawlertogetdatafromnewstolocaldatabase,finallyvisualizethepublicopinioninformationonthefrontpage.Thisarticlemainlyhascarriedonthefollowingseveralaspectswork:1)UsingJavaandHTTPClientdevelopedascalablewebcrawlerwhichfocusonDISCUZBBS.Besides,thiscrawlercanconductacomprehensiveorientationoffetchingandperiodicincrementoffetchingfromBBSdata(includingtheBBSpostinformationandallitsreplies)underbreadth-firststrategy.2）UsingHTMLParsertoextractmeta-datafromtheBBSinformation,parsedandstoredthemeta-data,suchasnumber,title,content,poster,postingtimeandthecorrespondingreplyinaSQLServerdatabase.3）front-endinterfacecombinedwiththeuseofopensourceAJAXframeworkExtJSServletbeachieved,takingintoaccountthediversityofuser山东科技大学本科毕业设计（论文）IIIinteractionandsystemcross-browsercompatibility.Byusingthisnewscrawlingsystem,userscanreal-timenewsandinformationupdated,timely,comprehensiveandaccurategraspofhotnewsdevelopments,improvethehandlingcapacityofmajoremergencies,formoretimelyandcomprehensiveunderstandingofanimportantreal-timeinformationacrosssignificance.KeyWords:Hotnews，Webcrawler，Metadataextraction，Visualization山东科技大学本科毕业设计（论文）IV目录1绪论.................................................................................................................11.1开发背景及目的...................................................................................11.2国内外相关研究现状...........................................................................31.3论文主要内容和章节安排...................................................................42系统开发知识准备.....................................................................................62.2J2EE技术简介......................................................................................72.3SQLServer2005简介........................................................................82.4ExtJS简介..........................................................................................102.5开源工具简介......................................................................................122.5本章小结..............................................................................................133系统需求分析............................................................................................143.1系统可行性研究.................................................................................143.2用户对象分析.....................................................................................153.3用户用例分析.....................................................................................163.4功能需求分析.....................................................................................203.5性能需求分析.....................................................................................213.6本章小结.............................................................................................214系统总体设计............................................................................................234.1数据库结构设计.................................................................................234.2系统功能模块设计.............................................................................254.3本章小结.............................................................................................315系统详细设计与实现..............................................................................325.1数据获取模块.....................................................................................325.2数据可视化模块.................................................................................365.3本章小结.............................................................................................436系统测试与发布.......................................................................................446.1软件测试的目标和方法................