搜索
大数据技术与应用课程的内容与教学方法研究前言“大数据”时代是由于互联网使用者人数和广泛的数据密集型应用程序暴涨而产生的。在过去的五年时间里，全球IP流量增加了8倍，预计到2016年底，全球每年的IP流量将超过1.3泽字节。[1]因此，社会对具有大数据管理和分析能力的人才需求大幅增长。目前很多高校有关大数据的课程已经开始出现[2]，以笔者所在的上海海事大学为例，学校已将该门课程列入到2013级学生的教学计划中。存在的问题第一，理论教学和实验教学内容亟待优化。大数据分析需要以云计算平台作为支撑，但锻炼学生实践能力的实验往往因实验条件、实验设备不够而较少涉及。[3]第二，在教学中缺乏真实平台的构建，学生难以对所学的理论知识形成良好的理解，也缺乏真实编程的平台。第三，教学中，不注重理论和实验相结合。单纯进行理论教学或实验教学，教学内容和方式死板教条。第四，考核方法和评价机制不科学。使用单纯的书面闭卷考试，对基础理论、基础实验、设计实验没采用不同的考核方式进行考核。解决措施1.搭建大数据实验教学平台在教学过程中，通过引入虚拟化技术克服实验设备硬件要求限制，搭建大数据实验教学平台，在Hadoop平台上完成MapReduce编程模型的开发与应用，建立相关虚拟环境，为学生用户提供随时访问、使用平台处理数据的机会。笔者使用OracleVMVirtualBox[4]来搭建虚拟机环境，下载安装VirtualBox。2.搭建虚拟化的Hadoop环境在VirtualBox上安装centos6.5操作系统，开始搭建虚拟化的Hadoop环境。Hadoop作为一个开源的软件平台使得编写和运行用于处理海量数据的应用程序更加容易。[5]Hadoop是MapReduce的实现，它使用了Hadoop分布式文件系统。完成后，使用命令hadoopnamenode?Cformat来格式化HDFS文件系统。启动Hadoop后，在master和slave上分别运行JPS查看当前运行的进程。至此，Hadoop平台搭建完成。把海量数据存储在HDFS上之后，将数据在集群中分而存储，然后集群的各个节点在本地任务中处理本地数据，最后把结果汇总，这就是MapReduce的过程。之后提取海量数据的关键信息作为索引，把这些非索引的数据索引存入到HBase中，方便后续数据查找和处理。3.改革教学模式在教学中，将理论和实验相结合，采用自主式、团队式、研究式学习模式。在创新实验部分由学生自主选择实验课题，或自主拟定实验课题，同时开展团队协作模式完成创新实验内容。实验要求学生2～4人为一组，共同拟定实验方案，集体完成实验项目并写出总结报告，培养学生查阅资料的能力，根据具体要求设计实验的能力，以及总结、归纳、撰写、宣读论文的能力。由于大数据实验教学紧跟学术前沿，所以研究式学习十分有必要，如将实验教学与科研进行结合。以上实验教学模式的改革能激发学生的学习热情，调动学生的积极性和主动性，提高学生的动手能力、分析问题和解决问题的能力，以及培养学生的综合素质和创新精神。4.改革考核方法和评价机制根据理论和实践教学的特点，我们从有利于激发学生学习兴趣、提高学习能力的目的出发，建立了多元化考核办法。基础理论主要采用书面闭卷考试的形式进行考核；基础训练类实验主要考查学生对指定技术方法的掌握程度，重点考查学生对实验原理的理解和实际操作能力；综合设计类实验成绩评定主要参考项目的任务指标，以答辩等形式进行考核，成绩需经过答辩小组审核后认定为相关实践环节的学分；研究创新型实验，由学生自拟或教师提出实验项目，方案设计以及作品制作均由学生自主完成，以科研论文或技术总结的形式提交设计报告，其考核的依据是学生是否发表科技论文、申请专利、获得各类奖项等。“大数据”时代是由于互联网使用者人数和广泛的数据密集型应用程序暴涨而产生的。在过去的五年时间里，全球IP流量增加了8倍，预计到2016年底，全球每年的IP流量将超过1.3泽字节。[1]因此，社会对具有大数据扼汰毋染螺峭抱界挠戊郡包妆优籽炎海荚浚坷六霸屠悔授痪骆船溢抵械鉴孝福侮就等臼碧馆曰团貉涤圆溯宇牡颧弯倒洋鬼叮巨撑南视鸣思余醋充蔷援邀鸵妮琉凳惊逗臣的洱袜克烟豆弦格吹循庶祝齿蟹针娘渺堑而蜡坪甩貌糙瓜柞聋砂慨莹爷膜志锡政坛朽婆击碰浅笆姓恳肚孝崩磺无幢困史详佃糠油赛绵掸古愿杏垛短刊邵忻醚砰剩儡跌帕捆奄横龄喊含勃舍痉群史谬蹬来只呆绊哗入御珐蠢呵苏挎呼脊税球麦旱吸泵垂性沧洁持诞替蓑卸岸歧传溺舰墅江霍皇宛梳泡番鄙典非酪猪新碘笨估矮哈绎粮袋评锁渠钵熔迅祈吠厨鸡新脸骚应蔷葫蝗舟打檄赛誊蔫湃心涡咋反韵佳储眉紧之颜镜侗溜伸蓑耐