高校大数据专业教学科研平台建设方案

高校大数据专业教学科研平台建设方案第1页共51页高校大数据专业教学科研平台建设方案一、项目建设的意义及目的芝诺数据自主研发的高校大数据教学科研平台以校企联合培养模式为手段，通过校企合作联合培养机制，让企业、行业深度参与人才培养过程，逐步实现校企共同制定培养目标、共同建设课程体系和教学内容、共同实施培养过程、共同把控培养质量，全面提升学生的应用实践能力。该平台以应用型人才培养为目标定位，在以解决现实问题为目的的前提下，使培养的学生有更宽广和跨学科的知识视野，注重知识的实用性，有创新精神和综合运用知识的能力。注重培养学生具有在创新中应用、在应用中创新的能力，让学生真正学会大数据行业各个岗位真正的职业技能。二、功能模块和建设思路芝诺大数据教学科研平台构建总体分为三大部分，一是平台硬件，二是教学与实验支撑系统（包括：芝诺数据综合分析ZDM平台、芝诺数据教学实训平台），三是产品服务体系。具体如下：组成部分序号名称型号规格与说明单位数量平台硬件1大数据教学科研一体机大数据教学科研一体机作为芝诺大数据教育产品的台1高校大数据专业教学科研平台建设方案第2页共51页载体，是一体化大数据教育科研的解决方案，采用新型技术体系架构，整合软硬件系统，涵盖数据存储、数据处理、数据展现等全环节。每套教育大数据一体机能够为40个用户提供计算支撑服务，面向客户的业务需求，集海量数据存储、多源异构数据整合、统一数据目录、数据分析与挖掘、数据可视化等功能。1.1计算集群Master节点24核心CPU/48G内存/900GSAS硬盘台21.2计算集群Slave节点24核心CPU/48G内存/900GSAS硬盘台31.3机柜+交换机+配件42U千兆交换机套1教学实验支撑系2芝诺数据综合分析ZDM平台芝诺数据综合分析ZDM平台是全面基于ApacheHadoop及ApacheSpark计算框架的高性能大数据分析平台，提套1高校大数据专业教学科研平台建设方案第3页共51页统供一站式大数据开发环境和工具，包括数据存储、分布式计算、分析挖掘及数据可视化的整套支持。用户可以在大数据综合分析处理平台上采集、存储、分析、挖掘海量数据及其内在价值。2.1大数据行业应用数据包超过20亿条以上具备商业价值的真实项目数据套13芝诺数据教学实训平台芝诺数据教学实训平台能够为大数据教学及科研提供一个完整的、一体化的实验教学环境，从而打造出全方位的专业大数据实训室。学员登录平台后按照实验指南完成大数据教学实训,教师通过对学员学习情况进行大数据分析析，统计各个班级总体学习进度、每门课程学习进度、学生登录时间统计、所有学生学习情况统套1高校大数据专业教学科研平台建设方案第4页共51页计。3.1大数据实训项目实验包括大数据系统和大数据应用2个方向共计60个实验项目，每个项目实验材料包括：实验数据、实验指导、实验原理、实验环境、实验考核等内容。套1产品服务体系4系统维护提供软硬件平台系统维护。年15师资培训提供免费师资培训机会（每套产品有2个免费名额）。年16案例支持提供真实大数据项目实战案例，不断完善和补充。年17数据提供提供具有商业价值的数据，每年更新10%。年18项目众包提供大数据项目的技术支撑。年1教学与实验支撑系统由芝诺数据综合分析ZDM平台和芝诺数据教学实训平台构成，教学与实验支撑系统部署在大数据教学科研一体机中。高校大数据专业教学科研平台建设方案第5页共51页二、项目建设的目标及内容1、项目建设目标1）平台的建设能让高校大数据专业与实际应用相结合，提高学生的学习、实践和创新创业能力，能够培养实用性人才所需的专业能力，提升教学效果与就业率，为“大数据时代”的创新人才培养做出贡献。2）平台的建设将支撑大数据去冗降噪、大数据融合、大数据可视化等关键技术研究，能够服务于学校的教学和科研，有助于大数据方向发展和自主创新，有利于创新团队培育和高水平研究成果积累，有利于提升教师的教学和科研水平，推动教学和科研团队建设。3）平台的建设搭建可以发挥学校的行业优势，体现学校办学特色，推进与国内外高校、科研机构和企业间的产学研合作，开展项目合作研究和人才培养，促进科研成果转化，促进产学研协同创新。4）平台的建设有利于促进学科交叉与融合。2、项目建设内容1）模块一：平台相关硬件建设本模块主要包含：大数据教学科研一体机高校大数据专业教学科研平台建设方案第6页共51页技术参数：作为一个可供大量学生完成大数据实训的集成环境，该平台同步提供了配套的培训服务，对于教学组件的安装、配置、教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方高校大数据专业教学科研平台建设方案第7页共51页面需求，并在一定程度上缓解大数据师资不足的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据的教学、实验与科研。2）模块二：教学与实践支撑系统芝诺大数据教学科研平台由芝诺数据综合分析ZDM平台及芝诺数据教学实训平台联合搭建。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练，从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实践教学体系。（1）芝诺数据综合分析ZDM平台芝诺数据综合分析ZDM平台是全面基于ApacheHadoop及ApacheSpark计算框架的高性能大数据分析平台，提供一站式大数据开发环境和工具，包括数据存储、分布式计算、分析挖掘及数据可视化的整套支持。用户可以在大数据综合分析处理平台上采集、存储、分析、挖掘海量数据及其内在价值。ZDM平台包含的Hadoop生态组件：高校大数据专业教学科研平台建设方案第8页共51页①平台构成：i.ZenoContainer分布式实时数据库：支持结构化、半结构化和非结构化数据的存储；采用分布式存储，支持海量数据存储，支持高并发的快速查询。ii.ZenoMonitor服务器监控套件：服务器监控是利用Ganglia和Nagios对集群机器进行资源监控，包括CPU内存，硬盘，网络资源等进行实时监控，方便用户实时掌握集群机器资源的利用情况。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练，从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实验体系，以满足不同学校的实践需求。iii.ZenoMining数据挖掘套件：支持多种数据挖掘工具相结合，支持Mahout，MLlib自带的并行化的高性能机器学习高校大数据专业教学科研平台建设方案第9页共51页算法库；同时也致辞基于R自定义的编程算法；也有强大的主流数据统计个绘图语言R以及Web图形化开发界面R-Studio。iv.ZenoAnalysis数据分析套件：使用Sqoop和Flume支持数据迁移和采集；采用多计算框架模型，可满足不同数据的计算要求。及支持Hadoop离线大数据的计算，也支持Stream实时流式处理，还支持Spak内存快速计算；支持多语言的数据分析工作，支持SQL、Java、Python、Scala等。v.ZenoCoop协作管理引擎：基于Zookeeper的协调服务机制，采用Yarn的管理模式，支持同时运行多个计算框架，可同时部署Hadoop、Storm、Spark等计算框架。ZDM平台工作流：高校大数据专业教学科研平台建设方案第10页共51页②平台优点：I安装方便友好的图形化安装界面，使用户可在1小时内，零基础搭建基于Hadoop/Spark的大数据存储、分析、监控及可视化平台。确保安装100%成功。Ⅱ功能完备提供一站式大数据开发环境和工具，解决从数据源采集/清洗/存储/分析/挖掘/机器学习到数据流处理/可视化/集群监控等问题。Stream分布式实时流处理引擎提供强大的流计算能力，可支持复杂的实时处理逻辑，满足企业实时告警、风险控制、在线统计和挖掘等应用需求Ⅲ性能保障高校大数据专业教学科研平台建设方案第11页共51页计算速度比传统关系型数据库快50-100倍。例如，一个集群包括13个Spark节点，每个256G内存的服务器，1个计算任务30秒以内处理200M数据，处理过程包括数据入库、逻辑计算、结果展现。同时，系统可线性扩充存储容量或提高处理性能，只需要简单地向集群中增加机器，无需停机。Ⅳ使用方便图形化的数据分析和挖掘界面，令使用者不用理会Hadoop底层技术，只需专注于自身业务逻辑。③基于Hadoop的ZDM分布式存储与计算的优点Ⅰ高可扩展性Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。不同于传统的高校大数据专业教学科研平台建设方案第12页共51页关系型数据库系统不能扩展到处理大量的数据，Hadoop是能给企业提供涉及成百上千TB的数据节点上运行的应用程序。Ⅱ成本效益Hadoop还为企业用户提供了极具成本效益的存储解决方案。传统关系型数据库管理系统并不符合海量数据的处理器，不符合企业的成本效益。许多公司过去不得不假设哪些数据最优价值，根据这些有价值的数据设定分类，如果保存所有的数据，那么成本就会过高。Hadoop的架构则不同，其被设计为一个向外扩展的架构，可以经济的存储所有公司的数据供以后使用，节省的费用是非常惊人的。Ⅲ灵活性更好Hadoop能够使企业访问新的数据源，并可以分析不同类型的数据，从这些数据中产生价值，这意味着企业可以利用Hadoop的灵活性从社交媒体、电子邮件或点击流量等数据源获得宝贵的商业价值。Ⅳ处理速度更快Hadoop拥有独特的存储方式，用于数据处理的工具通常在与数据相同的服务器上，从而导致能够更快的处理器数据。如果处理大量的非结构化数据，Hadoop能够在几分钟内处理TB级的数据，而不是像以前都需要以小时为单位。Ⅴ容错能力更强高校大数据专业教学科研平台建设方案第13页共51页Hadoop的一个关键优势就是它的容错能力，Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。。当数据被发送到一个单独的节点，该数据也被复制到集群的其它节点上，这意味着在故障情况下，存在另外的副本可供使用。④ZDM平台安装界面截图：ⅠZDM平台登陆界面高校大数据专业教学科研平台建设方案第14页共51页用户名密码登陆后，可以看到如下的首页。Ⅱ系统管理界面高校大数据专业教学科研平台建设方案第15页共51页在系统管理界面中，“用户管理”和“角色管理”中，可以定义角色（管理员、操作员等）、添加用户、修改用户密码等。此外，在“资源管理”页面中，可以为每一个用户指定允许安装的组件或者模块。Ⅲ组件安装界面在“组件安装”界面中，具有以下功能：基础信息配置（主机名映射）、Hadoop组件安装、Spark组件安装、数据挖掘工具安装、集群监控及HUE安装。以下逐一进行介绍。ⅰ基础信息配置基础信息配置，也即主机名映射，在初次安装Hadoop集群前需要配置各服务器的IP地址与主机名的映射。点击“配置”按钮后，系统会在后台完成以下配置。修改各服务器的主机名，完成映射。高校大数据专业教学科研平台建设方案第16页共51页完成各服务器之间的SSH互信。完成各服务器javaJDK环境配置。ⅱHadoop基础组件在Hadoop基础组件页面，可以点击各个Hadoop基础组件的图标，完成相应组件的安装及配置。说明：由于组件之间有相互依赖关系，因此，如果某个组件的前序依赖组件没有安装，系统会提示用户安装前序依赖组件。高校大数据专业教学科研平台建设方案第17页共51页ⅲSpark基础组件安装在Spark基础组件页面，可以点击Spark基础组件的图标，完成Spark集群（包括，SparkSQL，SparkStreaming，MlLib，GraphX）的安装及配置。ⅳ数据挖掘工具安装在数据挖掘工具安装页面，可以点击各个数据挖掘工具的图标，完成相应工具的安装及配置。高校大数据专业教学科研平台建设方案第18页共51页ⅴ集群监控及HUE在集群监控及HUE安装页面，可以点击