搜索
版本：060500大数据分析与挖掘科研教学解决方案基于大数据的人力资源优化管理设计与实现一、项目背景某大型知名地产集团起步于1998年，2009年11月在香港联交所主板上市，目前已全面完成基于未来移动互联网、客户大数据时代的业务战略布局，成为中国领先的以金融为驱动、社区服务为平台、开发为工具的金融控股集团，业务涉及社区金融服务、彩生活住宅社区服务、房地产开发、国际商务物业及度假物业运营、社区文化旅游、社区商业管理、社区养老、社区教育产业等八大增值服务领域，覆盖中国内地109个城市，并在香港、台北、新加坡、东京设立分公司，在新加坡、美国、台湾进行项目投资。体系内拥有XXX控股（01777.HK）和XXX（01778.HK）两家上市公司平台，跻身中国最大的社区服务运营商。为了切实有效掌握员工行为，分析我司员工DNA，合理引导员工及组织提升工作效率，信息部结合中国集团IT信息化建设重点规划及HR部门的需求，依托2016-2018年集团战略发展方向，拟建设所有员工的行为大数据平台项目（以下简称本项目），进一步提高集团员工行为数据的精细度与准确度，为后续组织结构、用人编制、企业文化等相关建设工作的决策提供坚实的数据基础。二、建设目标本项目需达到的建设目标如下：1.分析员工工作行为数据供HR部门做人力决策参考（如部门人员编制、员工晋升、调岗等），为年度评优、员工管理等提供量化数据与指标，提供改善措施的数据支持和实际的降低人力成本；2.真实的反映员工的工作状态数据，公平公正的评价员工；3.实现通过分析员工作行为数据优化公司的管理制度，如奖金制度，以工作饱和度、工作效率、工作质量、员工的忠诚度与归属感量化数据提供客观考核；版本：060500大数据分析与挖掘科研教学解决方案4.分析员工的生活圈、工作圈、兴趣爱好等寻找我司员工DNA，针对性的进行企业文化的建设，形成“分析-提升-检查-调整”的人力资源优化循环。三、现状和需求分析(一)现状分析经过分析，某大型知名地产集团在员工行为管理方面面临的现状如下：1)员工从进入公司到离开公司所有的工作和非工作行为无法采集，无法对每一个员工的素质能力、工作过程、工作饱和度、工作效率、工作成果无法细粒度的量化；2)无法对每一个员工进行客观的评价，无法进行评优评先，划定等级类别；3)无法衡量分析每一个员工岗位胜任力，无法客观地决定员工工资升降；4)员工在岗培训和考核，无法科学地决策员工的职位晋升，辞退挽留，招聘引进；5)无法科学用工，人尽其才，发挥所长；无法发挥员工创造创新能力；6)无法科学优化岗位编制和岗位责任，人力投入巨大而效率低下；人资管理、优化、决策主观性导致的人力成本的提高；7)无法融合集团、部门、岗位的战略目标和KPI，建立科学的绩效考核制度，完成经营管理目标；8)无法在科学和谐的用工制度下建立“以人为本、以利润最大化”的企业版本：060500大数据分析与挖掘科研教学解决方案文化。(二)功能性需求针对以上问题，我们确定本项目功能性需求包括如下内容：1.员工行为数据全过程收集员工行为数据是在员工终端PC机上常驻内存运行的Agent程序，该程序收集员工的上网行为（购物网站、色情网站、新闻网站、游戏网站、QQ聊天等网站）、文件操作数据（修改、拷贝、阅读、删除、打印、下载、上传等）、邮件操作数据（收发邮件对象、时间、标题、附件大小、文件保密级别等）等，记录行为数据的操作用户、进程名称、进程路径、文件名、文件操作类型、标题、URL地址、开始时间、结束时间、活跃时长等信息，并提交给后台大数据平台。员工行为特征提取员工行为特征提取是按照员工行为管理的业务需求，从海量的员工行为数据中提取员工行为分析所需的特征数据。员工行为特征数据如下图所示：员工行为特征提取包括两部分内容：1)员工行为标签和指标元数据管理：为了进行员工行为特征提取，需建立员工行为标签和指标数据，定义标签+设置权重+建标签体系，由业务人员对员工行为标签和指标进行定义和调整，系统根据这些标签、权重和指标，对员工行为版本：060500大数据分析与挖掘科研教学解决方案进行分析建模；2)员工行为特征数据提取：使用大数据实时处理技术，根据以上业务用户定义的员工行为标签和指标元数据，实时增量地从员工行为数据中提取各种员工行为统计分析建模所需的特征数据。2.员工行为分析建模为了从员工行为数据中，提取有价值的员工工作状态、能力素质、兴趣爱好、工作绩效等信息，需要建立相应的员工行为分析模型。这些模型包括：1)员工行为画像模型：基于员工行为特征数据，对每个员工进行动态画像，形成每个员工量化的标签云和指标集合，通过员工行为画像，实现员工特征的定性和定量分析。2)员工能力素质矩阵：应用聚类分析等算法，根据员工履历数据中抽取的年龄、学历、专业、户籍、住址、家庭、兴趣爱好等人口地理信息，结合员工过往的工作绩效评价数据，对员工的能力素质进行分群，建立员工能力素质矩阵模型；3)员工工作效率模型：根据员工行为数据中抽取的出勤效率、工作效率、工作饱和度等指标，简历员工工作效率模型，对员工工作效率进行分类；4)员工绩效评定模型：基于员工能力素质和平时工作效率，结合公司内部版本：060500大数据分析与挖掘科研教学解决方案举行的员工绩效评定数据，建立员工绩效评定模型，确定每个员工的能力素质和工作行为模式，利用推荐匹配算法，提出每个员工的工作岗位调动、薪资调整、升职辞退等的建议，供人资管理部门决策参考使用；5)员工流失预警模型：根据员工流失历史数据，结合流失员工的工作行为数据特征，利用机器学习的决策树或随机森林等监督式算法，建立员工流失预警模型，通过员工行为数据监控，对公司重要的骨干员工的可能流失风险进行预警，以便人资管理部门及时进行员工挽留等干预措施，降低员工流失对公司造成的损失。3.员工行为数据展现和驱动员工行为数据的统计和分析结果，需要通过丰富的数据图表进行展示，供业务部门浏览和统计分析，同时系统需提供员工行为数据分析的接口，供其他信息系统查询，以及驱动其他信息系统，启动相关的业务流程。(三)非功能性需求1.系统安全和个人隐私保护1)用户角色权限控制：系统需提供各级用户角色的权限控制，不同部门和不同岗位的用户，只能拥有相应的操作权限和数据权限，严格控制用户角色管理，防止非授权用户操作相关功能或浏览非授权数据。2)数据安全和个人隐私保护：公司的员工行为数据，属于公司人力资源数据的一部分，系统需提供数据安全保护措施，在系统设计和开发过程中，防止数据丢失和外泄；同时，在系统运行维护期间，必须建立定期的数据安全稽核制度，对数据库、数据集等关键数据存储领域，进行定期和不定期的数据安全监测和检查。甲方提供的员工基本信息及员工行为数据，属于甲方资产，乙方不得以任何理由或方式，对这些数据造成丢失和外泄，具体数据安全和个人隐私保护请参考双方签订的《数据保密协议》相关条款。2.系统可用性和易用性本项目系统可用性和易用性包括以下内容：1)员工终端Agent：员工终端需保证安装容易，操作简单，不能对员工终端其他程序的使用造成影响，不能对甲方网络造成太多的额外负担，导致网络响版本：060500大数据分析与挖掘科研教学解决方案应速度变慢；2)系统功能界面：系统功能界面需保持操作简单，支持不同终端（PC机、智能手机和平板电脑）的访问，保证相同的操作方式，系统响应速度不得低于5秒；3)系统可用性：系统需保证7x24的可用性，平均每年宕机时间比例不得超过0.3%（此指标双方可进一步协商设定）。(四)进一步的需求调研本项目的需求还包括以下内容，需进一步开展需求调研和分析：1)某大型知名地产集团现有部门组织架构，以及与本项目相关的用户角色岗位设定；2)某大型知名地产集团内部现有信息系统，以及能够提供的员工基本信息、人资绩效评定等数据接口；3)某大型知名地产集团内部网络设置，以及相关的网络协议和数据传输限制等；4)某大型知名地产集团内部对本项目的数据接口需求，包括各种报表模板样式、报告周期、数据字段等；5)某大型知名地产集团使用本项目后的数据增长预测，需根据用户人数、每条记录数据量、每天数据增长量等，确定数据容量增长情况。四、系统技术路线本项目建设的技术路线选型包括以下内容：1.员工终端PC行为数据收集Agent1.1采集方式采用服务器/客户端工作模式。在员工PC机上装代理程序，实现员工日常行为数据的采集，代理程序实时将行为数据上报到服务器端，然后服务器端进一步分析处理行为数据，最终得到有效可用的行为数据。方式的优点：服务器/客户端分离：简化客户端的功能，将分类的处理放在服务器来处理，集中分析数据；版本：060500大数据分析与挖掘科研教学解决方案实时数据上报：防止用户误删除日志数据、防止用户篡改日志数据、保障采集数据的传输；1.2采集方法客户端：基于windows内核编程技术的应用层Win32函数的detour方法，在2进制的层次上，对win32函数进行拦截，从进程、窗口、焦点、鼠标键盘消息、网络连接、网络报文等方面来获得上网行为数据、文件操作数据（修改、拷贝、阅读、删除、打印、下载、上传等）、邮件操作数据（收发邮件对象、时间、标题、附件大小、文件保密级别等）等，以操作用户、进程名称、进程路径、文件名、文件操作类型、标题、URL地址、开始时间、结束时间、活跃时长来记录行为数据并上报服务器。服务端：服务端再对各客户端上报的行为数据进一步分析归类，处理信息，对上网行为数据进一步分析出购物网站、色情网站、新闻网站、游戏网站、聊天网站，对所有行为数据最终定性工作类和非工作类；1.3网络结构图说明：a.在员工PC上装PC行为采集代理完成原始数据采集；b.代理与服务通讯，将采集数据上报服务器；版本：060500大数据分析与挖掘科研教学解决方案c.服务器对代理上报的数据做一步处理，得到最终结果数据；2.wifi访问行为数据采集监听的客户端，不安装在普通客户机上，而是为每个wifi选择一台服务器，安装wifi监控客户端，采用底层网络捕包算法，内核监控模块进行监听。使用wifi的其他客户感受不到干扰。监听工作内容主要涵盖IP、mac地址、机器类型、协议重组、协议内容解析等。3.员工行为大数据平台使用Hadoop+Spark建立大数据集群，集群各部分构成和功能如下：Kafka分布式消息组件：收集实时的员工行为数据；HBase数据库：提供员工基本信息和人资相关数据的存储，以及海量的员工行为数据的高速存储和读取；Sqoop数据提取组件：定期增量方式，从现有人力资源管理系统数据库中，提取员工基本信息、岗位设定、绩效评定等数据；Spark计算引擎：通过SparkStreaming对Kafka消息流进行处理，提取相关特征，存入HBase数据库，建立相关模型，定期运行模型进行分析等；Hive数据仓库：加载HBase数据，提供HiveQL和UDF用户定义函数，对常用员工行为数据统计提供支撑；4.员工行为数据展现使用ArcPlan8.x提供各种员工行为数据分析图表的制作、发布、展现，以及输出和打印功能。5.员工行为数据管理平台员工行为数据管理平台使用JavaEE的MVC框架进行搭建，提供以下几方面的功能：员工行为标签管理：对员工行为数据的标签和指标等元数据进行定义、设置和调整等管理；用户权限角色管理：管理本项目所有用户、角色和权限，管理用户-角色的授权；数据接口管理：管理本项目对内和对外数据接口的定义和更新设置。版本：060500大数据分析与挖掘科研教学解决方案AgentAgentAgentKafka消息组件员工行为大数据集群HDFSHBase数据库Spark流处理JobHive员工行为数据管理平台数据展现ArcPlanServer标签+用户角色数据库员工行为分析模型人力资源数据库（OA，ERP）Sqoop五、系统设计(一)系统总体架构本项目系统总体架构包括数据收集Agent、大数据处理集群、ArcPlan图表展现服务和平台管理应用四部分，总体架构示意图如下：(二)系统数据流程员工PC行为数据收集员工电脑（agent）Agen