数据分析与挖掘技术实验室建设方案

虚拟化、数据分析与挖掘技术实验室建设方案-1-智云开放平台，做最务实的云计算与大数据教学实验系统!目录1实验室项目建设背景....................................................................................................-2-1.1项目建设背景....................................................................................................-2-1.2项目建设目标....................................................................................................-2-1.3项目建设内容....................................................................................................-2-1.4项目建设原则....................................................................................................-3-2实验室项目建设方案....................................................................................................-4-2.1项目方案介绍....................................................................................................-4-2.2项目配置清单...............................................................................错误!未定义书签。3实验室项目产品介绍...............................................................................错误!未定义书签。3.1大数据与虚拟化教学实验平台..............................................................................-6-3.2智云硬件库实时大数据源..................................................................................-17-4大学计划与培训服务..................................................................................................-20-4.1中智讯大学计划...............................................................................................-20-4.2中智讯师资人才培养........................................................................................-22-4.3工程师认证及再就业培训..................................................................................-23--2-智云开放平台，做最务实的云计算与大数据教学实验系统!1实验室项目建设背景1.1项目建设背景随着全球数据量的爆炸式增长和数据挖掘技术的发展，数据分析与数据挖掘技术正在以空前的速度产生和积累，对数据分析和数据挖掘的人才需求也快速增加。进入2014年，大数据（BigData）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。目前，大数据正在开启一次重大的时代转型，其影响力包括传统的金融、医疗保健、市场业、零售业、制造业、司法、工程和科学、保险业等等行业。数据挖掘致力于从大型数据库中发现隐藏知识、未知模式和新规则，以指寻人们做出正确决策。数据挖掘在数据处理中有独到的优势，但随着“大数据”旪代的到来，传统的数据挖掘经验受到了严重的挑战，如何从纷繁复杂的海量数据中提取有用的信息，变数据为财富，挖掘数据中的金矿，提升企业竞争力以及提高企业风险管理水平，是当前企业和教育工作的重要课题。1.2项目建设内容数据分析与挖掘实验室旨在培养具备海量数据采集、管理、分析与挖掘等方面专业素养的应用型、复合型、创新型人才，要求学生具有良好数学基础和较强编程能力，掌握信息科学与计算科学的基本理论方法与技能，具备定量分析、科学预测和应用软件开发能力，以胜任银行、零售商、电商、医院、供应链管理公司和电信公司等多个行业的相关工作。同时，实验室又要满足大数据技术及应用、各行业理论和复杂性等前沿领域研究的需要，将研究成果应用于我国各企业的发展与改革的深化，为政府和企业提供相关决策咨询和技术支持。实验室主要的功能如下：科研实验：结合大数据技术及应用、应用数学、统计、经济等领域的研究力量，在中心框架下利用创新实验室的平台条件，开展前沿的大数据技术及应用方面的统计分析和实证研究，实现宏观经济、行业研究、金融研究、能源研究、通信研究等领域研究水-3-智云开放平台，做最务实的云计算与大数据教学实验系统!平提升。培训教学:结合国际流行的数据挖掘、统计分析工具和专业精准的数据库，培养学生的数据挖掘、数据分析、数据检验、程序设计等实践技能。1.3项目建设原则数据分析与挖掘技术实验室建设遵循以下原则：1）可靠性：系统稳定、可靠的运行是系统具有实用性的前提。要求系统具有高稳定性，当系统出现故障和突发事件时，具有保障正常运行的措施。2）易用性：系统应尽可能的减少系统维护人员的工作量。经过短期培训后，一般工作人员可掌握系统使用方法，这是为系统在使用过程中的实际需要考虑的。系统交付使用以后，应该便于各种日常维护工作，能够方便地进行软件的重新配置、系统的智能预警监测、硬件备品备件的更换和软件系统的升级。3）扩展性：扩展能力是云计算应用基础服务平台最重要的原则之一，作为云计算行业应用的基础服务平台，平台应具备充分、灵活的适应能力、可扩展能力和自动升级能力，提供可视化的二次开发、配置工具，并充分考虑接口的标准化、协议的标准化。4）可管理性：系统应具备完整的统计、分析、授权和预警等功能，并提供打印、短信、邮件、视频监控、GPS定位等通用服务。-4-智云开放平台，做最务实的云计算与大数据教学实验系统!2实验室项目建设方案2.1项目方案介绍针对目前高校大数据分析与挖掘教学与科研现状，经过大量高校教学需求调研，中智讯推出专业实用的大数据与虚拟化教学平台，帮助学生熟悉和掌握大数据及云计算领域的前沿技术，掌握云计算与大数据的开发方法，学习数据分析、数据挖掘、数据建模、数据仓库等知识。结合中智讯在物联网和移动互联网技术的多年积累，提供支持云计算的大量真实物理大数据源，以及提供大量的大数据分析与挖掘的项目案例，能够让学生由浅入深的学习虚拟化、大数据分析与挖掘技术的专业课程；实验室方案框架说明：1)大数据与虚拟化教学实验平台：该部分作为大数据和虚拟化基础知识的主要学习平台，是高校主要建设的部分。实验主机将4台高配的专业服务器集中在一台机柜内，通过千兆交换机互联，学生可通过该平台做大数据和虚拟化的“建”、“管”、“用”等一系列实验。系统专业服务器包含：管理主机、计算主机、主存储主机、二级存储主机、千兆交换机等硬件构成，主机分区设计，直观的展示云计算的硬件构成及部署。实验平台采用一对一服务，每个学生独享一套硬件资源，方便管理和教学。2)虚拟化技术教学资源：该部分主要用于学习云计算虚拟化技术及相关的IAAS自动化管理、部署、监控软件，支持大部分主流虚拟机的学习：KVM、Xen、Vmware、OracleVM等。教学资源包含：Linux操作系统配置与使用（CentOS）、KVM虚拟化、Xen虚拟化、Vmware虚拟化、OracleVM虚拟化、CloudStack安装部署、CloudStack虚拟机资源管理、CloudStack平台运维与优化等。3)大数据技术教学资源：该部分主要学习基于Hadoop架构的大数据教学，涵盖数据分析、数据挖掘、数据建模、数据仓库等知识。教学资源包含：Hadoop集群的部署/管理/监控、分布式文件系统HDFS安装配置与使用、大数据并行计算框架MapReduce安装配置与调优、基于Eclipse的HDFS/MapReduce程序开发与调试、HBase/Hive数据库系统的数据仓库开发与使用、基于Hiveapi的数据查询分析程序开发、大数据挖掘系统Mahout程序开发等。4)大数据教学项目案例：该部分通过构建完整的行业综合应用实例来辅助教学，提供的项目包含：个人存储私有云综合实验、气象数据分析云综合实验、微信人物关系-5-智云开放平台，做最务实的云计算与大数据教学实验系统!综合实训、云图书馆实例综合实训。结合智云硬件库实时大数据源，独创支持智云物联数据中间件系统的开发，涉及物理世界大数据的接入、分析、仓储、挖掘等功能，支持海量最近1小时、最近1天、最近1周、最近1月、最近1年及任意时间段数据的快速挖掘及数据分析使用，同时配合智云应用API，与上层移动互联网应用开发结合，构建从数据源端-大数据处理中心-行业应用完整的一套系统。5)智云硬件库实时大数据源：该部分提供真实的物理硬件支撑大数据的接入，包含各种商用/工业感知器、执行器、采集器、摄像头、门禁、显示屏、电机设备、气象站、M2M路由、Android网关、Zigbee工业无线节点等各种设备，为学生提供行业真实应用的硬件数据源，可以构建各种应用场合：环境雾霾监测系统、仓库温度火灾监测系统、公共场合人流密度监测系统、工厂无人自动化生产系统、气象站天气预测系统等。6)中智讯大数据源样本库：中智讯一直致力于移动互联网物联网行业开发，并运营独立的开放数据共享平台“智云物联”，能够为大数据科研及教学提供各种长期的数据样本，通过真实的物理数据支撑数据分析、数据挖掘的可靠性。实验室方案课程体系：大数据与虚拟化实验室所构建的实验：课程类别课程名称学时公共基础课高等数学48离散数学48概率论与统计48Java程序设计与面向对象编程48数据库系统原理64操作系统48数据结构64软件工程48C语言程序设计64云计算虚拟化云计算概念及其模型48Linux操作系统48云基础架构及虚拟化36网络管理及网络安全36CloudZstack云计算平台部署48数据分析与挖掘大数据概论48分布式计算系统48-6-智云开放平台，做最务实的云计算与大数据教学实验系统!数据建模与数据仓库关键技术48Hadoop/MapReduce数据分析48HBase/Hive数据库系统48大数据挖掘系统Mahout程序开发48大数据行业应用移动互联网与物联网技术36传感器与无线传感网络36多网络信息融合技术及应用36移动互联网物联网数据中心48商业智能应用数据挖掘362.2大数据分析与挖掘教学实验平台介绍ZCloudEduSysV1大数据与虚拟化教学实验平台提供完整的云计算虚拟化、大数据信息处理教学解决方案，采用独立工业机柜设计，在教学上每个学生可独享一套硬件资源，方便教学及云架构的体验。ZCloudEduSysV1教学系统包含云计算虚拟化系统、云计算服务管理系统、云计算大数据教学系统、云计算