搜索
数据创造价值、创新驱动未来高校大数据分析和落地建设演讲人：伍剑时间：2017.4.22三盟科技01大数据核心价值建设大数据模型与算法大数据平台与实施落地020304研发实力与合作三盟科技高校大数据建设方向与产品行为画像轨迹分析综合预警管理大数据校领导驾驶舱大数据报告学生大数据教学大数据就业指导人事大数据分析学生大数据分析资产大数据分析学工大数据分析信息化大数据分析财务大数据分析科研大数据消费习惯成绩借阅高分课程选修课自习活动爱好科研大数据三盟科技高校大数据建设内容三盟大数据管理软件数据采集与清洗学生微观数据仓库教师微观数据仓库综合行为画像智慧校园推荐异常预警心理健康预警行为轨迹分析学生个人大数据报告群体行为分析互联网舆情分析精准就业推荐教务分析学工分析学业分析人事分析资产分析实验室分析学校信息化管理分析科研分析科研分析与横向对比三盟科技学生个人数据中心涵盖大学生活所有信息，保证学生个人数据中心的数据全面精准。包括以下5个方向：•基础信息•学习•生活•毕业•就业三盟科技学生数据来源举例体育场馆门禁信息门户有线网管Wifilocation认证计费系统无线网管理系统SSL-vpn系统学生电子邮箱教师电子邮箱校园一卡通宿舍通道机Itservice系统信息网络呼叫中心系统DNSDhcpURL审计教务系统数据中心工作进展：数据全部抽取完成接入的系统数量—18个接入的数据占用磁盘空间约700G增加数据保持定时同步三盟科技个人数据中心内容展示与查询个人基础信息个人课程信息图书借阅信息网络访问信息校园消费信息校园轨迹信息个人成绩信息在线学习信息……•内容丰富•界面直观•支持移动化APP•操作简易内容展示特点：通过可视化方式，可以让学生、老师直观的查询与了解个人学校的所有数据三盟科技查看具体个人的行为轨迹可选择某个学生，查看学生一天的行为轨迹，显示轨迹序号、楼宇名称、时间点、停留多长时间、做了些什么图上箭头按照学生行为轨迹动态移动可查看某个时间点学生的位置状态，便于学校定位失联学生备注：•地图上的动态icon还需优化•学生在某个轨迹点的行为还需进一步分析•轨迹行走的痕迹还需优化•数据跳变问题行为轨迹-个人行为轨迹三盟科技三盟科技分析全校所有学生的在校轨迹，发现学生校内的热门访问地点可按照集群过滤，包括民族、性别、培养层次、学生类型、生源地等可以选择统计时间间隔，分为30min、1h、，按照时间间隔轮播学校人流变化情况可选择热力图、标注图两种显示方式，其中标注图会显示楼宇名称、人数点击某楼宇可查看该楼宇各层各室人员分布备注：•轮播时间展示效果还未达到理想效果•时间间隔数据待优化行为轨迹-全校行为轨迹分析三盟科技行为轨迹-全校行为轨迹分析-热力图三盟科技学生沉迷预警学生失联预警贫困生预警上网预警一卡通消费预警学位异常预警各类预警详细报告报告分析总结预警信息配制基于微观大数据分析的综合预警三盟科技一卡通视频监控通道机门禁WiFi指纹识别考勤校领导教师学生家长辅辅员学工处预警用户APP电脑短信微信邮件校园大数据管理计算平台数据预处理/去重校园安全算法计算匹配校园安全数据结论标签校园安全预警算法区配校园安全预警处理中心预警内容权限分配原始数据采集库个人基础数据库预警方式数据源计算处理逻辑架构大数据安全设计整体架构互联网数据三盟科技14电子信息学院信息安全12级电子信息学院04级学生个人标签：学霸、上网达人、理科高手个人行为画像张某某综合成绩水平80%个人综合分析综合消费水平60%综合评估画像70%自律性分析90%通过大数据微观分析学生的个人特点，进行学生个人画像和数据分析，用于学生管理和综合评价、就业等的辅助。“学生行为画像”详细介绍三盟科技分析全校学生访问该楼宇的情况，包括访问人员画像、访问的高峰时间月数据总结：总访问次数、访问人数、人均访问次数、全校排名日数据总结：访问人数、人员标签、日高峰时间段粘度高用户画像：显示经常访问该楼宇的人员标签使用人员趋势：显示该楼宇的访问趋势访问热度：显示该楼宇的楼层访问热度群体\楼宇人流画像分析三盟科技支持用户、班级、学院、学校等，可以按时间段，成长周、月、年导出按照A4风格进行设计与排版，美观简洁，支持导出成PDF、图片用于打印或者朋友圈分享。学生大数据分析报告学生大数据分析报告个人数据中心大数据报告业内数据最丰富的学生大数据报告，涉及生活、教学、图书、网络、消费、习惯等超过10类指标。三盟科技课堂计划—活动进度签到情况进入每个活动可进行详情查询、开展教学督促学生答题情况随堂测试情况学习进度情况小组讨论进度智慧管理、智慧教学分析三盟科技智慧管理、智慧教学分析三盟科技校领导大数据指挥舱效果示意图三盟科技三盟科技核心部门核心管理大数据大数据核心KPI涉及财务、教务、科研、人事、学工、学生、资产、实验室、图书、信息化、综合….等超过10个管理的核心指标分析10+类别400+指标总共涉及10+大的管理类别，400+的核心指标和分析内容三盟科技人事分析—人事能力分析-1岗位工作量分析分析不同岗位教学工作量、科研工作量占比以及趋势各单位科研绩效统计分析各单位教职工的人均学术作品情况教职工培训情况统计分析学校教职工的历年培训次数趋势论文发布刊物分布统计分析教职工发表论文时选择刊物的倾向性教职工培训分布显示培训次数最多的前八类培训类型…校内薪资福利分析统计分析各岗位的薪资福利情况校内薪资福利对比通过对全校、各类岗位的薪资福利进行对比分析，发现学校教职工的待遇发展趋势情况学校支出工资情况将教职工拿到工资和学校支出部分进行对比分析各级领导情况分析统计分析年龄、学历、职称分布情况各单位人才引进的绩效统计分析高层次人才的人均学术作品情况教职工科研画像显示每个教职工科研的核心指标，包括科研项目数量、论著发表数量、学术影响因子学院职称评审画像根据某学院职称评审情况，分析人员情况和规律，包括通过职称人数、男女比例等教职工行为画像根据某学院职称评审情况，分析人员情况和规律，包括通过职称人数、男女比例等三盟科技人事分析—人事能力分析-2校内薪资福利分析统计分析各岗位的薪资福利情况各级领导情况分析统计分析年龄、学历、职称分布情况岗位工作量分析分析不同岗位教学工作量、科研工作量占比以及趋势校内薪资福利对比通过对全校、各类岗位的薪资福利进行对比分析，发现学校教职工的待遇发展趋势情况各单位科研绩效统计分析各单位教职工的人均学术作品情况教职工科研画像显示每个教职工科研的核心指标，包括科研项目数量、论著发表数量、学术影响因子教职工培训情况统计分析学校教职工的历年培训次数趋势各单位人才引进的绩效分析统计分析高层次人才的人均学术作品情况论文发布刊物分布统计分析教职工发表论文时选择刊物的倾向性教职工培训分布显示培训次数最多的前八类培训类型…学校支出工资情况将教职工拿到工资和学校支出部分进行对比分析学院职称评审画像根据某学院职称评审情况，分析人员情况和规律，包括通过职称人数、男女比例等为学校人员晋升、培训工作，以及人事需求预测提供服务。三盟科技01大数据核心业务建设大数据模型与算法大数据平台与实施落地020304研发实力与合作三盟科技学生成绩（仅本科生的成绩分析）专业、年级、科目的不同会使得成绩不具可比性，因此将学生各科成绩进行学时加权标准分换算，每个学生某科目成绩的换算公式如下：𝑧𝑖=500+100×𝑥𝑖−𝑋𝑖𝜎（其中𝑥𝑖为该生某科成绩，ഥ𝑋𝑖为该科成绩在专业中的均值，𝜎为该科成绩在专业中的标准差）因此，每个学生的全部科目加权公式：Z=σ𝑇𝑖∗𝑧𝑖σ𝑇𝑖（其中𝑧𝑖为每科换算后成绩，𝑇𝑖为学科的学时）通过观察，成绩服从偏态分布，故进行boxcox变换转换为正态分布后，按标准差划分区间，分为学霸（Z成绩573.355224分以上），学优（544.503381分Z成绩573.355224分），学良（471.681551分Z成绩544.503381分），学中（422.806076分Z成绩471.681551分），学差（Z成绩422.806076分以下）5个等级。三盟科技学生成绩（性别）0%10%20%30%40%50%60%学差学中学良学优学霸男女生学习成绩占比分布男女男女生成绩差异大，女生优于男生检验男女生成绩差异度：•男生成绩均值：477.21•女生成绩均值：507.46通过等均值非参数检验差异度，算得P(Z=z)双尾=0.000.05检验结果：男女成绩差异显著三盟科技学生成绩分布（经济消费）0%5%10%15%20%25%30%35%40%45%50%学差学中学良学优学霸不同经济差异的成绩占比分布一般普困生特困生•一般生成绩均值：501.31•普困生成绩均值：497.12•特困生成绩均值：491.22通过等均值非参数检验差异显著度：•一般生与普困生差异小可忽略•特困生与其他学生差异显著一般生和普困生的成绩差异较小。特困生成绩较为显著，学差多、学优学霸少。三盟科技学生成绩分布（地域）教育资源丰富度与学生成绩呈现正相关各区域学生成绩分布基本呈正态，分布大致相同。显著性检验结果如下：•西北学生成绩较差，学差多，学霸少；•华东学生成绩较高，学差少，学霸多。原因分析：教育资源丰富度与学生成绩呈现正相关0%10%20%30%40%50%60%学差学中学良学优学霸各区域学生成绩占比分布华北东北西南华东华南华中西北三盟科技学生群体聚类分析常用的聚类技术主要有：•基于分区的方法。其基本思路是，首先列举出不同的分区，然后根据某种标准对不同的分区进行评价。常用的方法有K-Means方法、K-Prototypes方法、K-Medoids方法、PAM方法、CLARA方法、基于密度的方法等。•基于层次的方法。其基本思路是，通过某种标准创建数据（对象）集合的层次分解结构。常用的方法有BIRCH方法等。•基于模型的方法。其基本思路是，对每个类簇假设一个模型，并寻求相互之间模型的最佳合适程度。常用的方法有神经元网络方法（如SOM）方法、统计方法（高斯混合模型方法、自动归类方法），蚁群聚类。这些方法当中，k-means最为常用，快捷，但有三个缺点：•K需要预先给定，通过实验，本次分析数据运用k-means，在不同的k的聚类平均误差拐点不明显，难以确定适合的k值。•在复杂环境下，模型聚类中心容易受随机情况影响，尤其特征多，k偏少的情况。同一个k的结果也不稳定•聚类结果往往难以解释。自适应聚类算法，属于深度学习领域，通过竞争进化，让样本自动聚集，常用有蚁群算法，神经网络。利用神经元网络的聚类方法在管理领域得到广泛的重视和大量的应用。本分析采用神经元网络（SOM）方法对学生属性进行聚类。三盟科技学生群体聚类步骤1.数据转换：补全缺失值，消除异常值，boxcox转换，[1-2]标准化。--通过转换后选取分类数据（如男女，贫困程度），选取符合分布条件的特征。2.主基底变量筛选，剔除多重相关性数据，现有的数据中，保留了性别，生活日均消费，周末出行，贫困程度，Z成绩等14个特征。3.SOM神经网络聚类。4.模型解释，结果呈现。三盟科技学生群体SOM聚类1.模型训练，随机选取90%数据进行训练，聚类结果如右上图，每个颜色代表一个特征响应，相同颜色代表一个类别，图中颜色度大概7个，故划分7类。2.各个特征分类图谱如右下图：从左到右分别为：性别，生活日消费强度，周末出行，宵夜日消费强度，购物日消费强度，上网时长，生活消费日占比，早餐消费日占比，学习消费日占比，购物消费日占比，Z成绩，贫困程度。SOM总体结果SOM归类结果SOM各特征图谱三盟科技学生群体聚类结果聚类群体中心与平均值差异如下图：其中，性别，周末出行，贫困程度，Z成绩，早餐消费日占比，学习消费日占比六个类型差异较大故单独抽出这些特征进行群体划分。-50%0%50%100%SOM聚类中心与平均值差异系列1系列2系列3系列4系列5系列6系列7三盟科技学生群体聚类结果三盟科技学生群体聚类结果三盟科技学生群体聚类结