基于Hadoop的市政设施监控大数据分析

科技创新导报2016NO.29ScienceandTechnologyInnovationHerald信息科学科技创新导报ScienceandTechnologyInnovationHerald76Hadoop作为一种有效的大数据技术，在数据处理和网络系统中得到了有效的应用，对提高大数据分析处理效果具有重要作用。根据Hadoop技术的概念及内容实际，掌握Hadoop的体系架构特点，对于构建大数据处理系统是十分重要的。结合市政设施监控系统的数据处理需求，应用Hadoop构建市政设施监控系统，对于提高市政设施监控系统的运行效果和满足市政设施监控系统的数据处理需要具有重要意义。为此，应开展Hadoop大数据系统的研究。1Hadoop的概念及内容Hadoop是一个用java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式计算（MapReduce）等组成。Hadoop作为一种有效的大数据处理技术，其主要优点分为4个方面。1.1可扩展Hadoop技术在实际应用过程中，可以根据所构建系统的需求进行必要的扩展。具体功能可以在原有大数据处理的基础上进行增减，以满足所构建系统的实际需求为准。这一功能是Hadoop的主要优势，扩大了Hadoop技术的应用范围。1.2经济Hadoop技术在应用过程中，整体应用成本较低。由于Hadoop具备了较好的可扩展性，在系统的构建中可以作为基础技术进行应用，在Hadoop基础上有效接入其他系统，避免了系统重建导致的资源浪费，有效地提高了系统的构建效果。1.3可靠Hadoop技术在多年的应用过程中，被证明是一种可靠的大数据处理技术。这种技术不但可以有效地提高数据的处理速度，同时还能与其他系统进行无缝对接，提高信息数据的处理能力，满足系统运算和数据处理需要。因此，较高的可靠性保证了Hadoop能够得到有效应用。1.4高效Hadoop技术的突出优点是数据处理速度较快。其不但可以在较短的时间内加快数据处理速度，同时也会根据系统的现实需求制定个性化的数据处理模式，提高系统的响应速度，保证数据处理速度能够达到预期目标，提高数据处理的整体效果。2Hadoop的体系架构从Hadoop技术的应用来看，通常Hadoop的体系架构比较特殊，除了要设定功能模块之外，还要使模块具备一定的接入特性。具体的功能模块特点如下。Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口。Chukwa是基于Hadoop的集群监控系统。Hive是基于Hadoop的一个工具，提供完整的sql查询功能，可以将sql语句转换为MapRedce任务进行运行。ZooKeeper是高效的、可扩展的协调系统，存储和协调关键共享状态。HBase是一个分布式文件系统，有着高容错性的特点。MapRedce是一种编程模型，用于大规模数据集的并行运算。基于对Hadoop的了解，Hadoop在体系架构中用到了多种辅助工具和子系统，在整体体系结构上并不复杂，实现难度较低，具备了与其他系统有效集成的优点。在功能系统构建过程中，基本能够满足实际需求，对降低系统构建难度具有重要作用。同时，Hadoop在体系架构中采取了分层架构的方式，这种模式不但具有一定的突出性，同时还能够解决功能系统构建过程中存在的系统接入问题。对降低功能系统的接入难度和提高功能系统的接入效果具有重要作用。因此，利用Hadoop构建大数据分析系统是重要措施。除此之外，Hadoop具备了与其他系统对接的优势，可以在系统构建过程中，根据系统的实际特点和功能需要，构建DOI：10.16660/j.cnki.1674-098X.2016.29.076基于Hadoop的市政设施监控大数据分析陈伟锋张萍（广州奥格智能科技有限公司广东广州510663）摘要：在目前市政设施监控过程中，有效地应用大数据分析技术，不但可以提高监控的整体效果，同时还能够实现监控数据的快速处理，为市政设施监控提供完善的技术支持和技术保证。结合当前大数据技术的发展实际，Hadoop作为一种有效的大数据技术，在市政设施监控中能够得到有效的应用,对满足市政设施监控需要和提高市政设施监控效果具有重要作用。为此，应对Hadoop概念及内容进行全面分析，并了解和掌握Hadoop的体系架构，最后根据Hadoop技术实际，构建基于Hadoop的市政设施监控系统。关键词：Hadoop市政设施监控大数据中图分类号：TP31文献标识码：A文章编号：1674-098X(2016)10(b)-0076-02（下转113页)科技创新导报2016NO.29ScienceandTechnologyInnovationHerald创新管理科技创新导报ScienceandTechnologyInnovationHerald113相对应的大数据处理系统，提高系统的数据处理能力，保证系统在数据处理过程中，能够在整体有效性上得到全面提升。3基于Hadoop的市政设施监控系统的构建基于Hadoop的特点以及市政设施监控系统的构建需要，利用Hadoop构建市政设施监控系统，应当做好系统的总体设计和功能设定。在市政设施监控系统构建过程中，基于Hadoop的特点和优势，应当采取典型的系统架构模式进行系统构建，并根据Hadoop的系统架构需要对系统结构进行调整，使市政设施监控系统在科学性和合理性上满足实际需要，提高系统的构建质量。考虑到市政设施监控系统的数据处理量较大的特点，在应用Hadoop技术之后，应当根据Hadoop的算法对市政设施监控系统的数据进行有效处理，保证市政设施监控系统在数据处理速度上能够达到预期目标，提高数据处理质量。在此基础上，应发挥Hadoop大数据处理技术的优势，根据市政设施监控的实际特点，设置数据处理功能目标，指导Hadoop大数据处理技术的应用，保证Hadoop大数据处理技术在应用过程中能够提高数据处理效果。因此，在具体的系统构建中，应突出数据处理速度目标。在市政设施监控系统中，该系统利用先进的视频监控、智能识别和信息技术手段，增加可管理空间、时间和范围，不断提升管理广度、深度和精细度。整个系统由信息综合应用平台、信号控制系统、视频监控系统、智能卡口系统、电子警察系统、信息采集系统、信息发布系统等组成。最后，在系统构建完成之后，应对Hadoop大数据技术构建的监控系统与其他监控系统相对比，重点比对数据处理速度和数据处理量，总结Hadoop技术的优势，为市政监控系统的构建提供良好的系统支持和技术支持。4结语通过该文的分析可知，在市政设施监控系统构建过程中，有效地应用Hadoop技术，不但可以构建完善的大数据处理中心，同时还能解决市政设施监控系统中存在的数据处理速度慢和数据处理量大的问题。因此，应对Hadoop技术有正确的认识，做到正确分析Hadoop的优势和特点，并在市政设施监控系统的构建中有效应用Hadoop技术，提高市政设施监控系统的构建效果，满足市政设施监控系统的构建需要。参考文献[1]廉捷,周欣,曹伟,等.新浪微博数据挖掘方案[J].清华大学学报:自然科学版,2011(10):1300-1305.[2]何忠育.分布式社会网络分析支撑系统研究与应用[D].广东工业大学,2011.[3]陈旭.基于社会网络的WEB舆情系统的研究与实现[D].电子科技大学,2010.[4]胡进.复杂网络上的博弈及其在通信网络资源管理中的应用[D].华中科技大学,2010.(上接76页）售人员，2名兼职销售人员)进行访谈。以他们的回答为材料，总结出以下较为突出的问题。第一，薪酬激励效果不强。缺乏长远性的激励因素，迪卡侬(武汉后湖店)的正式销售员工只有在每年商谈调整基本工资的前后会对工作产生积极性。现在迪卡侬(武汉后湖店)对薪酬的激励主要是物质上的，对销售人员的精神激励不够关注。奖励性的激励有限，无差异化激励会造成员工的不满。迪卡侬(武汉后湖店)的奖金是以销售人员所处部门的当月销售额和成长率为依据，达到既定目标，以月为单位的会有10%～20%的奖励(基数为该销售人员的基本工资，兼职也可以获得该项奖金)。第二，薪酬结构过于简单。福利项目构成单一，缺乏多样性和灵活性。就津贴这一项，迪卡侬只提供每月300元的餐补，而销售人员有的是本地人，有的是外地人，有的已经成家、有的还没有结婚，这些不同就可以看出他们对福利的需求是不同的，有的可能需要马斯洛需求层次理论中的初级阶段——生理需求和安全需求。第三，晋升渠道会受阻。在迪卡侬(武汉后湖店)晋升机制不明确，感到不公平，努力过后依旧没有得到提升，常常有空降高管出现，发展空间不大，因此人员流动性较大。4迪卡侬(武汉后湖店)销售人员的薪酬激励改进方案基于实际情况，对迪卡侬（武汉后湖店）销售人员的薪酬激励改进方案如下。第一，薪酬激励要做到因人而异。我们从马斯洛需求层次理论和双因素理论中不难看出人的需求是不同的，我们在对销售人员进行激励的时候要区分他们的不同需求。迪卡侬(武汉后湖店)在应用激励理论的时候需要明确销售人员的工作目标、公司为销售人员提供的创造绩效的机会和销售人员的需要等。在制定薪酬激励方案时，要做一个简单的销售人员需求调查。第二，制定合适的该岗位销售人员的薪酬。迪卡侬(武汉后湖店)的全职销售人员以基本工资2500元来算，他的时薪是14.20元/h，这样看起来比那些企业的兼职时薪还低0.80元，建议迪卡侬(武汉后湖店)能将基本工资提到3000元，这样时薪大概是17.04元/h。这样的提薪一定会使公司的人力成本上升，但是这样的改变会让销售人员更加有动力，更加努力地推销产品。5结语该文对迪卡侬公司(武汉后湖店)销售人员的薪酬激励研究，由于工作资历不够，了解得不够全面，只是针对几个突出问题进行研究。销售人员是企业获得利润的直接工作者，具有激励性的薪酬制度可以吸引和刺激员工。该文通过访问法，提出并分析了产生这些问题的原因，影响员工积极性的因素，并提出了公司销售人员的薪酬激励的意见及建议。参考文献[1]费舍尔·舍恩菲尔德特·肖.人力资源管理[M].霍顿米福林出版社,2005.[2]黄志恒.试论企业营销人员的薪酬与激励中国管理信息化[J].中国管理信息化,2014(1):112-114.[3]余志强.大力公司薪酬管理优化研究[D].湘潭:湘潭大学,2012.[4]付敏.天津市质监系统事业单位薪酬体系研究[D].天津：天津大学，2012.