搜索
学校代码：10491研究生学号：120080939中国地质大学硕士学位论文基于网络数据包的HTTP网页信息还原存储系统的实现硕士生：何伟学科专业：计算机软件与理论指导教师：孙斌二○一一年六月ADissertationSubmittedtoChinaUniversityOfGeosciencesfortheMasterDegreeofEngineeringTheimplementationofhttpwebpageinforestoringsystemwhichbasedonthenetworkdatapacketMasterCandidate：heweiMajor：ComputerSoftwareandTheorySupervisor：ProfsunbinChinaUniversityofGeosciencesWuhan430074P.R.China中国地质大学（武汉）研究生学位论文原创性声明本人郑重声明：本人所呈交的硕士学位论文《XXXXX》，是本人在导师的指导下，在中国地质大学（武汉）攻读硕士学位期间独立进行研究工作所取得的成果。论文中除已注明部分外不包含他人已发表或撰写过的研究成果，对论文的完成提供过帮助的有关人员已在文中说明并致以谢意。本人所呈交的硕士学位论文没有违反学术道德和学术规范，没有侵权行为，并愿意承担由此而产生的法律责任和法律后果。学位论文作者（签字）：日期：年月日作者简介何伟，男，2007年12月毕业于合肥工业大学，本科专业是计算机科学与技术。2008年9月考取中国地质大学（武汉）信息工程学院计算机软件与理论系的硕士研究生。在攻读硕士期间，完成了专业规定的硕士英语（口语、阅读、听力、写作）、自然辩证法、高级操作系统，算法设计与分析、计算几何及现代图形学等共计12门学位课程，同时学习了青年心理学、科学方法论、空间数据库、管理经济学等共计5门选修课程，修满30.5个学分，成绩优秀，学位课平均分81.9，选修课平均分83.2。本人于2009年12月进入上海白虹软件公司实习。参加了上海公安局基于基于网络数据包的HTTP网页信息还原存储系统的实现的研发工作。基于网络数据包的HTTP网页信息还原存储系统的实现硕士生：何伟导师：孙斌摘要随着通讯技术和计算机网络的发展，网络已日益成为人们生活中不可或缺的工具，在给用户带来方便的同时，也使得网络安全变得越来越困难。为了网络安全各种技术被提出。网络监听成为安全领域的重要技术之一。首先，在网络监控中，网络数据包的捕获成了最重要的一部分，但由于CPU的性能、不同操作系统的处理机制不同等原因，传统的数据包抓捕方式己经不能再适用于千兆网络，尤其是在网络流量超大时，系统将会出现大量的丢包现象，形成了系统级的瓶颈。NAPI，devieepolling，零拷贝等技术被提出来用来解决这个问题，零拷贝技术己经被成熟的应用于路由器、防火墙等硬件的设计中，它可以通过修改网卡驱动程序使应用程序直接访问网卡在内核中的内存，但是其移植性和通用性都比较不方便。所以LucaDeri在零拷贝的基础上提出了一种新的解决方案:PFRNG机制。PF_RING机制则不必修改网卡驱动。在内核中，它以一种带缓存的协议簇PF_RING为依托，结合NAPI技术，改善网卡中断响应频率:在用户空间，应用程序可以通过mmap手段，将网络数据包直接传送给应用层的用户程序。PF_RING是一种面向普通PC普通网卡的、接口丰富的、性能表现优异的软件解决方案。其次，本文在分析TCP/IP报文结构的基础上介绍了协议分析技术。协议分析是网络监听程序的重要功能之一，通过对网络数据流的实时或事后的解码分析，可以了解到网络上运行的协议和服务、数据帧的源地址和目的地址、数据帧的格式等。成功的解决了POST请求消息体的提取和解码问题，并且成功的实现了HTML网页还原。。最后对本文作内容作了总结，并对下一步工作提出了展望。关键词：数据包捕获数据包过滤数据包重组HTTP数据还原PF_ring套接字TheimplementationofhttpwebpageinforestoringsystemwhichbasedonthenetworkdatapacketMasterCandidate：heweiSupervisor：sunbinWiththedevelopmentofcommunicationtechnologyandcomputernetwork,thenetworkhasalreadybecomeatoolwhichindispensableinthedaylifeofpeople.Itmakestheguaranteeofthenetworksecuritybecomemoredifficultthanbefore.Tomaintainthenetworksecurity,variouskindsoftechnologyareproposed.Networknetworkmonitortool.Networksniffingislikeonedouble-edgedsword.Itmakesthenetworkadministratorconvenience,butitalsooffersthehackeratooltostealnetworkinformation.Innetworkmonitoring,networkpacketcaputrehasbecomethemostimportantpart.Nowadays,manyapplicationlayerservices,whickoverloadtheinternet.TraditionalpacketcapturearchitectureisnolongerefficientinGigabitNetwork,itlostmostofthepacketswhenfloodedbyhighspeeddatatransfer.Therearevariousreasonsforthis,CPUfrequencyandthepackethandlingmechanisminOperatingSystemarethoughttobethemostimportantproblem.Basedonzero-copy,LucaDeribroughoutanewarchitecturenamed“PF_RING”.Inthisnewarchitecture,NICdrivermodifyingisnolongerneeded.Inkernelspace,allywithNAPI,anewlydesignedpacketbufferisdeployed,andtheNICinterruptresponseisimprovedtoo.Whileinuserspace,packetsreceivedfromtheNICaredirectlytransferredtoo.Whileinuserspace,packetsreceivedfromtheNICaredirectlytransferredtoapplicationprocessesbymemoryre-mapping(“mmap”).”PF_RING”isdesignedforPC,itisahighperformancesolutionforhighspeedpacketcapture.Ithasvariousinterfaces,anditcanbesuedinvarioussystemswithoutmuchrework..secondly,thispaperhasstudytheprotocolanalysisbasedonTCP/IPprotocol.Protocolanalysisisoneoftheimportantfunctionsofnetworksniffing.Bythereal-timedecodingoranalysisdatafile,sniffercangetthesourceanddestinationaddress,theformatofdataframeandsoonSuccessfullysolvedthePOSTrequestmessagebodyoftheextractionanddecodingissues,andthesuccessfulrealizationoftheHTMLpagerestore..Atlast，thisPaperdrawsaconclusionandmakeaviewoftheprospect.Keywords:datapacketcapturepacketfilteringofdatapacketsre-socketHTTPdatareassemblingPF_RING目录第一章绪论.....................................................................................................................................1§1.1．选题的来源、目的和意义.........................................................................................11.1.1课题来源：............................................................................................................11.1.2目的和意义：........................................................................................................1§1.2课题研究的任务和目标................................................................................................2§1.3论文结构........................................................................................................................4第二章TCP/IP协议及其重组..................................................................................................5§2.1TCP/IP协议..................................................................................................................52.1.1TCP/IP协议原理..................................................................................................52.1.2IP协议..................................................................................................................62.1.3TCP/IP整体构架概述..........................................................................................7§2.2传输层的协议........