网络舆情数据采集系统开发

网络舆情数据采集系统开发指导教师:张璞09级信息安全张现2013.5.28提纲课题简介需求分析系统具体设计及实现总结与展望12课题简介选题的背景和意义网民习惯通过互联网来表达自己的观点诉求政府通过舆情了解民生商家通过舆情提升产品研究机构通过舆情实现价值3需求分析通过对系统进行功能需求和性能需求分析，最终确定系统用例图如右图所示：系统用户查看微博查看粉丝查看关注查看评论查看转发4需求分析网络舆情信息采集系统用户粉丝查看用户微博查看用户关注查看用户关注搜索用户粉丝搜索用户微博展示用户微博存储微博用户存储微博用户存储用户粉丝展示用户关系存储微博用户存储用户关注展示用户关系存储微博转发查看微博评论查看微博评论展示微博评论存储微博转发展示微博转发存储细化系统功能需求，得出系统层次模块图如右图所示：5系统具体设计及实现数据库表的设计授权认证的实现查看微博的实现查看粉丝的实现查看关注的实现查看评论的实现查看转发的实现6系统具体设计及实现数据库表的设计名称类型说明User基本表存储微博用户的基本信息Weibo基本表存储微博的基本信息Friendship基本表存储微博用户之间的关系信息（关注）Comment基本表存储微博的评论信息Repost基本表存储微博的转发信息详细表字段见备注7系统具体设计及实现授权认证的实现1.注册应用（在新浪微博开放平台注册应用）2.下载微博SDK（Java版本）3.填写配置信息（config.properties文件）4.运行OAuth4Code.java文件，获取code5.通过code获取access_token详细说明见备注8系统具体设计及实现查看微博的实现1.输入微博昵称2.点击查看微博3.访问微博服务器4.分页展示微博9系统具体设计及实现关键技术设置窗体背景获取微博数据数据分页1.授权2.调用微博API接口3.处理数据1.加载图片2.把图片放入标签3.添加标签到frame第二层4.设置frame第一层透明1.按既定格式组装数据2.计算分页参数（总页数、表列数等）3.获取当前页数据4.生成当前页面详细代码见备注10系统具体设计及实现查看粉丝的实现1.输入微博昵称2.点击查看粉丝3.访问微博服务器4.分页展示粉丝11系统具体设计及实现关键技术获取粉丝数据搜索粉丝设置窗体背景数据分页1.授权2.调用粉丝API接口3.处理数据1.输入搜索微博昵称2.连接数据库3.模糊查询用户4.分页展示查询结果详细代码见备注12系统具体设计及实现查看关注的实现1.输入微博昵称2.点击查看关注3.访问微博服务器4.分页展示关注13系统具体设计及实现关键技术获取关注数据搜索关注设置窗体背景数据分页1.授权2.调用粉丝API接口3.处理数据1.输入搜索微博昵称2.连接数据库3.模糊查询用户4.分页展示查询结果详细代码见备注14系统具体设计及实现查看评论的实现1.点击查看评论2.访问微博服务器3.分页展示评论15系统具体设计及实现关键技术获取评论数据设置窗体背景数据分页1.获取微博id2.授权3.调用评论API接口4.分页展示评论列表详细代码见备注16系统具体设计及实现查看转发的实现1.点击查看转发2.访问微博服务器3.分页展示转发17系统具体设计及实现关键技术获取转发数据设置窗体背景数据分页1.获取微博id2.授权3.调用转发API接口4.分页展示转发列表详细代码见备注18总结与展望总结本系统是一个针对新浪微博、具有一定实用性的舆情信息采集系统。它主要完成对微博的一系列操作，包括微博、粉丝、关注、评论、转发的查看与存储，粉丝和关注的搜索展望解决微博api访问次数限制扩大数据采集范围（论坛、新闻评论等）进一步做舆情分析19完毕