基于大数据集的学生上网行为分析

QQ：792042913毕业设计说明书基于大数据技术的学生上网行为分析系统设计学生姓名：xx学号：xxxxx学院：计算机与控制工程学院专业：计算机科学与技术指导教师：xx2016年6月QQ：792042913基于大数据技术的学生上网行为分析系统设计摘要伴随着互联网的普及与发展，人们通过网络交流日益频繁，同时，互联网已经日益成为人们获取信息的重要渠道。学生用户使用搜索引擎查询一些信息的时候，会产生相应的查询日志。而这些查询日志中包含着用户有用的信息，可以从这些信息中分析出用户的真实需求及隐形需求。随着Hadoop分布式处理框架的兴起，给海量用户上网日志的研究带来了巨大的希望。基于以上的技术发展与查阅大量相关期刊，本论文通过对用户搜索引擎搜索日志进行详细的分析，利用hadoop框架为基础，运用HDFS分布式文件系统存储日志与MapReduce计算框架，同时配合可视化技术，设计了一个基于大数据的学生上网行为分析系统。该系统主要包含了三个模块，日志分析模块，日志存储模块，可视化展示模块。其中对日志的分析从四个维度进行，即学生用户搜索次数排行，关键词排行分析，时间分析。其中日志的存储模块分为HDFS存储模块与Mysql存储模块。可视化展示模块是对分析得的结果进行直观的展示。最终通过测试验证了系统的可行性。关键词：Hadoop，javaee，查询日志，学生行为分析QQ：792042913TheDesignoftheStudentBehaviorAnalysisSystemBasedOnBigDataAbstractWiththepopularizationanddevelopmentoftheInternet,peoplecommunicatewitheachotherthroughthenetworkfortheexchangeofinformationwerefrequent.However,Internethasincreasinglybecomeaveryimportantchannelfortheaccesstoinformation.Studentusersusingasearchenginequerysomeinformationwillproducethecorrespondingquerylog,AndtheseuserquerylogWhichcananalyzetheuser'srealdemandandstealthrequirementscontainsusefulinformation.WiththeriseoftheHadoopdistributedprocessingframework,themassiveuser'sweblogresearchareofgreathope.Basedontheabovetechnologydevelopmentandalargenumberofrelevantjournals,thispaperusethehadoopframeworkasthebasisthroughadetailedanalysisoftheusersearchlog,andapplythehadoopdistributedfilesystemHDFStostoringlogandthegraphscomputingframeworkofMapReduce,atthesametimecooperatewithvisualizationtechnologytodesignastudentonlinebehavioranalysissystembasedonbigdata.Thesystemmainlyincludesthreemodules:loganalysismodule,thelogstoragemodule,visualdisplaymodule.theanalysisofthelogisfromfourdimensions,whichincludethestudentnumberofusers'searchranking,keywordrankinganalysis,timeanalysis.ThelogstoragemoduleisdividedintoHDFSstoragemoduleandMysqlstoragemodule.Visualdisplaymoduleintuitivelydisplaytheanalysisoftheresults.Finallythefeasibilityofthesystemisverifiedbytest.Keywords：hadooop,javaee,Querylog,Studentbehavioranalysis2016届毕业设计说明书QQ：792042913第I页共II页目录1绪论................................................................11.1研究背景及意义....................................................11.1.1研究背景........................................................11.1.2研究意义........................................................11.2国内外研究现状....................................................11.3论文主要工作......................................................21.4论文结构..........................................................22相关技术介绍........................................................42.1Hadoop概述........................................................42.1.1HDFS介绍........................................................52.1.2MapReduce介绍...................................................62.2可视化技术概述....................................................73学生行为分析系统总体设计............................................83.1需求分析.........................................................83.1.1开发背景与目的..................................................83.1.2系统功能需求分析................................................93.2系统总体架构设计.................................................103.2.1Hadoop集群层...................................................113.2.2HDFS存储层.....................................................113.2.3MapReduce计算层................................................123.2.4Mysql数据库存储层..............................................123.2.5用户接口层.....................................................144学生行为分析系统详细设计...........................................154.1日志存储模块详细设计.............................................154.1.1HDFS分布式存储模块.............................................154.1.2Mysql数据库存储模块............................................164.2日志分析模块详细设计.............................................182016届毕业设计说明书QQ：792042913第I页共II页4.2.1学生搜索次数排行分析...........................................194.2.2学生搜索关键词排行分析.........................................214.2.3学生点击URL排行分析...........................................214.2.4学生上网时间排行分析...........................................214.2.5学生上网日期排行分析...........................................224.3可视化模块详细设计...............................................234.3.1可视化数据来源设计.............................................234.3.2数据可视化工具.................................................245学生行为分析系统实现...............................................265.1实验环境介绍.....................................................265.2实验环境搭建.....................................................265.2.1配置java环境..................................................265.2.2配置SSH无密码登陆环境.........................................275.2.3配置hadoop集群................................................295.2.4配置eclipse编程环境...........................................325.3实验过程与结果展示...............................................335.3.1数据来源.......................................................335.3.2数据导入展示...................................................345.3.3登陆界面.......................................................365.3.4实验数据分析展示...........................