用大数据平台实现煤炭运销领域企业级数据全景视图研究

用大数据平台实现煤炭运销领域企业级数据全景视图研究【摘要】煤炭煤炭运销企业数据量巨大、数据类型多，目前对这些数据处理不仅工作量大而且精确度不高。为了解决这个问题，本文分析了在煤炭运销企业中应用大数据的服务对象和关键技术，提出了煤炭运销企业中大数据的总体架构，展望了大数据在煤炭运销领域经营管理中的推广应用。【关键词】煤炭运销企业；大数据；全景视图【Abstract】CoalCoalTransportationEnterprisehugeamountofdata，datatypes，dataprocessingisnotonlythecurrentworkloadandtheaccuracyisnothigh.Tosolvethisproblem，thispaperanalyzestheapplicationoflargedatainacoaltransportationenterpriseclientsandkeytechnologies，theoverallarchitectureproposedcoaltransportationenterprisebigdata，bigdataapplicationprospectofcoaltransportationinthefieldofbusinessmanagement.【Keywords】Coaltransportationbusiness；Largetransactions；Panoramicview1.引言（1）“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是大量、高速、多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与优化处理。（Gartner定义）。（2）大数据的发展经历了三个阶段。第一阶段，主要是技术研发概念推广、商业模式尝试阶段；第二阶段，主要是大数据的完善，行业应用，用户认可，数据资产化进程阶段；第三阶段，大数据解决方案成熟，大数据应用渗透各行业，数据驱动决策，信息社会智能化程度大幅度提升阶段。（3）当前在内外部形势的变化，要求煤炭运销企业必须要转变思路、加快企业的转型升级，通过大数据应用变革，推动业务转变，驱动企业战略转型。基于大数据平台能力实现煤炭运销领域企业数据全景视图，是一项系统性、战略性、全局性工作；它涉及到市场营销、生产调运、物流发展、运营管理等各环节；是对跨单位、跨专业、跨业务的数据分析、挖掘和实施数据可视化。对满足煤炭运销企业数据量大、处理速度快、数据类型多、价值大、精确性高的基本要求有着十分重要的意义。2.数据全景视图的服务对象及能力通过建立企业数据全景视图，时刻掌握企业的运营状况。通过多层次的数据下钻，直达执行末梢；通过多角度、多维度数据的分析，定义数据异常的原因，采取针对性措施。面向集团内部人员，提供精确化的分析服务，缩短工作流程，提高工作效率。面向外部客户，提供精准化营销服务，提升客户感知。面向产业链合作伙伴提供商情报告和目标客户，推进销售和服务向电子商务转移（见表1）。3.实现企业级数据全景视图的关键技术和总体架构3.1数据采集与交换。数据采集与交换是构建大数据平台的基础，实现数据采集和数据交换的功能。大数据平台中的数据采集与交换框架涉及三部分内容：（1）数据范围，包括自有业务系统、煤化集团相关系统、互联网和外部合作伙伴三个数据来源；（2）数据采集，支持多种数据源类型、实时/定时的、海量的数据获取；（3）数据交换，通过数据交换平台保障数据获取的有序、一致。根据高价值数据优先、客户数据优先和内部数据优先的原则，逐步扩展数据采集范围。同时，在数据采集中，应高度重视数据交换平台的作用。3.2数据质量管理。数据质量管理实现对数据源、处理过程、模型和指标等对象的数据质量进行监控和分析，以及相关问题的处理和跟踪。数据质量监控贯穿整个数据加工生产全流程。在数据生产及维护过程中设置监控采集点，结合数据标准化要求和元数据工具等，实现大数据全过程透明管控。建立企业级数据标准体系和建立数据质量责任矩阵，确保数据从产生到使用的各个环节均有监控、稽核、处理流程和责任人。编码管理流程是企业数据质量管理的核心流程，是提升企业数据标准化支撑能力的起始阶段。3.3数据生命周期管理。数据生命周期管理是指在数据生产的不同阶段采用相应处理方法，以提升数据存储管理效率和降低成本。通过对数据使用情况分析及数据迁移工具，实现对不同层级生命周期数据的管理。3.4数据安全管控方面。利用管理和技术手段，对数据管理全过程的数据资产、传输、环境、访问控制、人员等方面进行有效安全管控。管控阶段包括数据接入、数据处理、数据提供三个阶段。从系统的管理过程、组织和人的管理过程、数据安全的管理过程三个维度建立立体的数据安全管理体系。3.5企业级数据全景视图平台架构。打造六层架构的大数据平台。基于大数据平台的服务能力，构建贯穿企业管理域（M域）、业务域（B域）的数据全景视图管理和应用。面向决策层、管理层、执行层、市场一线、外部用户和产业链合作伙伴，提供多层级、多渠道、360度的数据和应用服务能力，达到服务对象多元化、服务内容精细化、服务水平高效化（企业大数据平台架构图见图1）。4.企业级数据全景仪表盘在经营管理中的应用（1）利用数据可视化技术展现关键业务指标，“横向看全、纵向看深”，反映企业经营健康情况及绩效状况，更好的服务于企业经营决策，实现透明管控。（2）全景仪表盘的业务设计，以EVM为依据，按照物流管理、营销管理、运营管理、调运管理、客户感知五大主题进行指标梳理展现。以分析模型为支撑，完成指标关联、指标预测。基于价值体系的全景指标体系，形成指标库。基于指标库实现指标的可视化、可配置，以满足后续扩展的需要。（3）全景仪表盘的实施服务于“管理上收、服务下沉”的思路，逐步将仪表盘扩展到分子公司、市场一线，形成分角色仪表盘。（4）后期，可以依托大数据平台形成的能力，实现企业精准营销、在线业务管控等大数据扩展应用（企业数据全景仪表盘应用见图2）。5.结语针对煤炭运销企业中海量数据所带来的诸多问题，本文提出了将大数据应用于煤炭运销企业中，分析了煤炭运销企业中构建大数据平台的服务对象和关键技术，提出了煤炭运销企业数据全景视图得分价格和应用。通过对大数据的推广、应用，实现用数据透视企业、感知客户、提升管理、体现价值。参考文献[1]《大数据时代》英.维克托?迈尔?舍恩伯格，英.肯尼思?库克耶著盛杨燕，周涛译浙江人民出版社.[2]中国联通大数据平台规划.[3]神华集团信息化建设SH217工程报告.[4]陕西煤业化工集团有限责任公司信息化总体规划纲要.[5]《数据挖掘概念与技术》JiaweiHan，MichelineKamber著范明，孟小峰译机械工业出版社.[文章编号]1619-2737（2015）07-29-008