基于Hadoop的云教学资源平台设计与实现

第34卷第16期企业技术开发2015年6月VoL34No．16TECHNOLOGICALDEVELOPMENTOFENTERPRISEJun．2015基于Hadoop的云教学资源平台设计与实现张拥华(湖南工业职业技术学院，湖南长沙410208)摘要：随着教学资源的不断增加，海量的数据资源如何实现有效的管理已经成为高校研究的一个新难题。文章的研究内容是基于Hadoop的云教学资源平台的研究和设计。目标在于经过实现基于Hadoop的云教学资源平台，提高系统的安全性，解决教育资源在存储方面的问题，给教学提供一个安全、稳定、方便的教育资源平台。关键词：Hadoop；教学资源；云平台中图分类号：TP333文献标识码：A文章编号：1006—8937(2015)16—0024—04DoI：10．141650．cnki．hunansci．2015．16．008．DesignandimplementationofcloudbasedteachingresourceplatformbasedonHadoopZHANGYong-hua(HunanIndustryPolytechnic，Changsha，Hunan410208，China)Abstract：Withthecontinuousincreaseoftheteachingresources，howtorealizetheeffectivemanagementofthehugeamountofdataresourceshasbecomeanewresearchintheuniversitydifficultproblem．TheresearchcontentofthispaperisbasedontheresearchanddesignofthecloudplatformofteachingresourcesbasedOilHadoop．GoalisthroughimplementationbasedonHadoopcloudplatformofteachingresources，improvethesecurityofthesystem，solveproblemofeducationalresourcesinstorage，forstudentstoprovideasafe，stableandconvenientplatformfortheresourcesofeducation．Keywords：Hadoop；teachingresources；cloudplatform云计算，是当前现代信息技术领域非常前沿的一种年2月，NDFS(Nutch分布式文件系统)和MapReduce由于技术，利用云计算技术可以将分布在不同地理位置的计在Nutch项目中应用良好，所以，分离出来成为一套命名算机集成在一个平台下，实现大型的超级计算机，获得为Hadoop的独立而完整的软件。强大的计算能力，并且可以实现对所管辖的计算机资源Hadooop是Apache旗下的用于分布式计算的一个开全方位的管理和控制【11，目前，全球众多研究人员、科研源平台[21。HDFS(Hadoop分布式文件系统)和MapReduce机构致力于云计算的研究，并获得了不少成果。(谷歌MapReduce的开源实现)是Hadoop的核心，使用利用云计算的优势，将其应用到教学领域将有利于Hadoop的用户可以清晰地了解系统底层的分布式架构[3]。促进学生自主学习，提升教学质量和效果，作为云计算Hadoop的整合资源的能力可以使用户轻松构建自己的的常用框架Hadoop，目前已经在很多应用中被广泛使用，分布式云计算平台，同时，Hadoop集群存储和计算的能本文将利用Hadoop技术设计并实现一个云教学的资源力，也使用户更好地处理海量的数据。平台，从而有效的整合学校的各类教学资源，保证教师随着Hadoop的发展，越来越多的项目加入到这个大和学生都能便捷的从该资源平台获取教学资源，提高教集合中，除了HDFS和MapReduce#]，HBase、Hive、Chukwa、学质量，提升教学效果。Common、Pig、Avro等项目也已经成为其不可缺少的一部分，它们之间协同工作，为用户提供更好的服务[41。1Hadoop平台概述2系统设计框架Hadoop是在ApacheNutch的基础上发展起来的，Nutch项目作为Lucene项目的一部分开始于2002年。20062．1系统需求分析基：J：Hadoop的云教学资源平台主要是需要为用户提收稿日期：2015—04—27供所需要的教学资源，因此，平台必须资源丰富、功能完作者简介：张拥华(1977一)，女，湖南宁乡人，硕士研究生，讲师，研究整、用户具有良好的体验，通过对笔者所在学院进行调方向：大数据分析和云计算研究。项目基金：湖南省教育厅科学研究项目“云计算环境下的精准营销团研走访，可以将本系统的需求总结为以下六个方面。购网站关键技术研究”(12C1032)①降低存储成本。教学资源随着信息技术在教育领万方数据第34卷第16期张拥华：基于Hadoop的云教学资源平台设计与实现域的发展呈现爆炸式增加，传统的教学资源平台存储这观地使用系统，将自己的请求发送给系统，系统接收到些海量数据的成本是非常高的。因此，新的系统应该严格请求后就会产生响应将用户所需要的东西发送给用户。控制存储成本，用比较低的成本来存储海量的教学资源。本系统主要的功能就是能够存储并管理海量的教学②要保证教学资源数据以及用户信息的安全性。任资源。该教学资源平台主要是由教学资源管理、系统平何一个系统的安全性都是非常重要的，特别是用户的个台管理、管理员模块和用户模块4个功能模块构成，如图人资料信息。2所示。工③要能够整合教学资源。将各种教学资源进行统一角色。教辑、学生、院梭、企业、社会存储，整合旧有的教学资源，并不断添新，丰富平台的教学资源。基于H·d∞口的云教学④在完成基本功能的基础上，要能够给用户提供个资霉平台性化的服务。比如，能够自动为用户推荐自己感兴趣的平台管瑶ll教学资源管瑶教学资源以及要为用户提供自己的专属空间等。用户在资源平台的发展。到国斟剧剧圉引圉l||||l圉目剖圉匡这个平台上应该是可以相互交流的，这样更有利于教学⑤这个系统应该是一个开放的系统，而不是封闭的。图2平台的功能模块设计虽然系统的服务对象主要是教师和学生，但是对于其他教学资源模块：包括教学资源的分类管理、教学资的群体也应该是来者不拒的。源的上传、查询、下载和删除等功能；⑥要保证系统具有很好的扩展性。用户的需求是不平台管理模块：包括报警管理、故障管理以及服务停变化的，该系统要能够具备良好的扩展性，使系统上器管理等功能；线后仍能继续增加满足用户需求的功能。管理员模块：包括普通用户的权限管理、用户的日2．2系统总体框架志管理、用户管理等功能；本教学资源平台从下到上大致分为4层：数据资源用户管理模块：包括用户的注册、用户的登陆、用户层、数据存储层业务逻辑层以及用户层。基：]=Hadoop的个人资料的编辑以及用户文件的增删改查功能。＼，f’云教学资源果毛采的总体框架模型，如图1所示。2．3系统功能设计在基于Hadoop的云教学资源平台中，管理员和用户都可以通过浏览器注册登录后按照自己的意愿进行一定的操作，这些操作都是在他们各自权限允许的范围内。I普通用户使用本系统时的情况，如图3所示。和普通用户目录管理系统管理安全臂蓬用户管理相关的功能有：文件评价、文件下载、文件上传、查看教资源管理权限臂瑾l，㈣芋学资源详细信息、查看教学资源列表、登录与注册、修改i个人资料以及密码找回等。i图1平台整体框架的设计数据资源层：主要用于管理和存储大量的教学资源数据，由多台廉价的Pc构成，属于系统的硬件资源，是整个系统的最底层。数据存储层：为教学资源平台提供分布式存储和计图3用户用例图算，主要负责任务的分配和数据的管理，是由MapReduce普通用户在注册通过之后，可以通过登录本系统来和HDFS共同组成的。获取自己所需要的教学资源，同时也可以将自己的拥有业务逻辑层：提供了系统平台的资源管理、目录管的教学资源共享给其他的用户。理、安全管理和设置等功能，主要用于存储系统和应用在设计开发本系统的时候，我们要在实现基本功能程序之间的沟通。的基础上更多地为用户考虑。因此，我们设计了资源关用户层：是整个系统的最顶层。用户可以在这一层直注和资源评价功能。在教学资源平台中，有很多教学资源是持续更新的，用户可以使用系统的资源关注功能来万方数据企业技术开发2015年6月关注自己喜欢的教学资源，当这些教学资源更新后，系表2mapred-site．mall的配置信息表统会自动提醒关注该教学资源的用户。另外，用户下载ParameterValue资源之后需要对该资源进行评价，系统会根据评价的高mapred．job．trackerhttp：／／192．168．1．4：9001低来对不同用户上传的相似资源进行排序。同时，其他(要)hdfs—site．xml文件的配置。用户也可以根据资源评价来判断某一资源是不是自己这个文件主要的作用是设置HDFS相关的信息，该想要的，资源评价功能的推出能让用户更快、更好地找文件在基=J：Hadoop的云教学资源平台中的具体配置信到最优的教学资源。息，见表3。管理员使用本系统时的情况，如图4所示。与管理表3hdfs—site．xml的配置信息表员相关的功能有：审核教学资源、管理普通用户信息、普ParameterValue通用户权限控制以及集群信息管理等。坐!：堡￡!!!塑!!!core—site．xml文件的配置。这个文件主要的作用是设置Hadoop集群的全局性参数，如I，O属性、日志文件以及临时目录等，该文件在基于Hadoop的云；教学资源平台中的具体配置信息，见表4。裹4core—site．mall的配置信息表ParameterValRehadoop．tmp．dir／usr／Hadoopltmp图4管理员用例图fs．default．nalnehdfs：192．168．1．4：9000与普通用户相似，系统也只对管理员开发器权限之3．2分布式计算模型实现内的功能模块。管理员可以查看和更改系统的某些配置，本文所设计的基于Hadoop云-教学资源平台的分布式还可以管理用户的信息和教学资源，监控系统运行的错计算模型包括两部分，分别是Map和Reduce，其模型，如误日志信息，保证系统的正常运行，给用户带来最佳的图5所示。体验。A土，＼④(毒)／主＼3系统实现f乡(M，审(MjU丫3．1Hadoop平台搭建1(4：黼：v“：vKI：V蛆：y为了完成本文所设计的基=f：Hadoop的教学资源平，上、KI：vl【l：v眨：7Kl：vK3．y酣：Y如n·p姆K々＼台，首先，需要搭建Hadoop平台。Hadoop的配置文件分为L———一一l只读类型的默认文件和定位设置文件两类，默认文件包Grelt喇lKl：VK2：v髓：vl【3：v．T94：v,vK5：T括mapred—queues．xml、mapred—default．xml、hdfs—default．xml牵牵({)孛牵以及core—default．xml，定位设置文件包括mapred—queues．xml、mapred—site．xml、hdfs—site．xmlVA及core—site．xml。我们owttmt通常使用configuration类来读取hadoop的配置文件，通过图5系统分布式计算模型xml形式的resource来定位Hadoop的配置，每个resource都将云教学资源平台中的海量资源数据分割为M个片包含很多的name／value对。下面对需要重点进行配置的文段进行Map映射操作，产生键值对，然后，对k值进行Group件进行说明。操作，产生新的元组，将这些新产生的元组分给为R个片(!)Hadoop—env．sh文件的配置。段进行Reduce归约操作，将输出的数据保存到分布式数这个文件主要的作用是设置安装在计算机上的JDK据库中，从而实现