大数据在物流管理中的应用

大数据在物流管理中的应用[摘要]当前，随着电子商务的发展物流业也随之迅猛的发展起来。仅在2015年“双11”期间，快件业务量或将突破5亿件，比去年同期增长近五成；最高日处理量或将达到9000万件，比去年增长38.5％。因此如何及时、准确地收集和分析各种信息与数据,对于制定科学的物流解决方案、提高物流企业管理水平和效益,具有积极重要的作用。在技术趋于成熟下，带动了以大数据应用为基础的智能物流的兴起，极大的促进了产业优化，实现物流产业各个环节的信息共享和协调合作，优化配置。本文的研究意义在于，如何在大数据技术的基础上对于物流产业产生的数据进行分析，整合，做出科学的决策。[关键词]大数据；物流；管理目录引言…………………………………………………………………………………………1一、大数据概述……………………………………………………………………………1（一）大数据的定义……………………………………………………………………1（二）大数据的特征……………………………………………………………………1（三）大数据的关键技术………………………………………………………………2二、物流管理及物流管理系统概述………………………………………………………4（一）物流管理的定义…………………………………………………………………4（二）物流管理的特点…………………………………………………………………4（三）物流管理的基本内容……………………………………………………………4（四）物流管理系统……………………………………………………………………5三、物流管理现状…………………………………………………………………………7四、大数据在物流管理中的应用…………………………………………………………9（一）物流管理系统数据库……………………………………………………………9（二）物流管理系统中大数据技术的应用……………………………………………11（三）大数据应用于物流管理的重要意义……………………………………………12五、总结与展望……………………………………………………………………………13致谢语………………………………………………………………………………………16参考文献……………………………………………………………………………………171引言电子商务已越来越深入人心，随之发展的首要问题就是物流的问题。当前，我国的物流业也保持着高速的增长，物流的各个环节产生的数据正已爆炸性的增长。在现今物联网、云计算、大数据等技术的发展下。如何运用大数据技术运用到物流管理上，对物流数据进行挖掘、分析、提炼、整合，以便了解物流的状况和业务情况，并进行战略规划，制定物流企业决策，提升物流业的服务水平。本文介绍大数据的相关术语和技术；介绍现代物流管理以及分析物流管理的现状；分析大数据在物流管理的前景，研究大数据技术可运用在物流管理的技术；发现如今在物流管理中存在的问题并提出相关的对策建议。一、大数据概述（一）大数据的定义大数据技术(Bigdata）[1]，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。（二）大数据的特征（1）体重（Volume）：体重是大数据的空间属性。数据体量巨大，非结构化数据的超大规模和增长，从TB级别跃升到PB级别。（2）多样性（Variety）：多样式大数据的结构属性。数据类型繁多，有很多不同类型的数据，如文本、图像、视频、机器数据、地理位置信息等。（3）价值密度（Value）：价值密度是大数据的内容属性。价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。（4）速度（Velocity）：速度是大数据的时间属性。处理速度快，遵循1秒定律，2实时分析而非批量式分析。（三）大数据的关键技术大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各个处理环节中都可以采用MapReduce[2]等处理。如下图1所示：图1适用MapReduce的各环节处理1.大数据的并行处理利器——MapReduce如下图2所示大数据可以通过MapReduce这一并行处理技术来提高数据的处理速度。MapReduce的设计初衷是通过大量廉价服务器实现大数据并行处理，对数据一致性要求不高，其突出优势是具有扩展性和可用性，特别适用于海量的结构化、半结构化及非结构化数据的混合处理。MapReduce将传统的查询、分解及数据分析进行分布式处理，将处理任务分配到不同的处理节点，因此具有更强的并行处理能力。作为一个简化的并行处理的编程模型，MapReduce还降低了开发并行应用的门槛。MapReduce是一套软件框架，包括Map（映射）和Reduce（化简）两个阶段，可以进行海量数据分割、任务分解与结果汇总，从而完成海量数据的并行处理。3图2MapReduce工作流程MapReduce的工作原理其实是先分后合的数据处理方式。Map即“分解”，把海量数据分割成了若干部分，分给多台处理器并行处理；Reduce即“合并”，把各台处理器处理后的结果进行汇总操作以得到最终结果。如右图所示，如果采用MapReduce来统计不同几何形状的数量，它会先把任务分配到两个节点，由两个节点分别并行统计，然后再把它们的结果汇总，得到最终的计算结果。数据处理方式如下图3所示：MapReduce适合进行数据分析、日志分析、商业智能分析、客户营销、大规模索引等业务，并具有非常明显的效果。通过结合MapReduce技术进行实时分析，某家电公司的信用计算时间从33小时缩短到8秒，而MKI的基因分析时间从数天缩短到20分钟。图3使用MapReduce进行形状计数2.大数据技术在数据采集方面采用的方法（1）系统日志采集方法很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。（2）网络数据采集方法：对非结构化数据的采集网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。4除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。（3）其他数据采集方法对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。二、物流管理概述（一）物流管理的定义物流管理（LogisticsManagement）[3]是指在社会再生产过程中，根据物质资料实体流动的规律，应用管理的基本原理和科学方法，对物流活动进行计划、组织、指挥、协调、控制和监督，使各项物流活动实现最佳的协调与配合，以降低物流成本，提高物流效率和经济效益。现代物流管理是建立在系统论、信息论和控制论的基础上的。（二）物流管理的特点（1）以实现客户满意为第一目标；（2）以企业整体最优为目的；（3）以信息为中心；（4）重效率更重效果。（三）物流管理的基本内容1.物流作业管理物流作业管理是指对物流活动或功能要素的管理，主要包括运输与配送管理、仓储与物料管理、包装管理、装卸搬运管理、流通加工管理、物流信息管理等等。2.物流战略管理物流战略管理（logisticsstrategymanagement）[4]是对企业的物流活动实行的总体性管理，是企业制定、实施、控制和评价物流战略的一系列管理决策与行动，其核心问题是使企业的物流活动与环境相适应，以实现物流的长期、可持续发展。53.物流成本管理物流成本管理是指有关物流成本方面的一切管理工作的总称，即对物流成本所进行的计划、组织、指挥、监督和调控。物流成本管理的主要内容包括物流成本核算、物流成本预测、物流成本计划、物流成本决策、物流成本分析、物流成本控制等等。4.物流服务管理所谓物流服务，是指物流企业或企业的物流部门从处理客户订货开始，直至商品送交客户过程中，为满足客户的要求，有效地完成商品供应、减轻客户的物流作业负荷，所进行的全部活动。5.物流组织与人力资源管理物流组织是指专门从事物流经营和管理活动的组织机构，既包括企业内部的物流管理和运作部门、企业间的物流联盟组织，也包括从事物流及其中介服务的部门、企业以及政府物流管理机构。6.供应链管理供应链管理（SupplyChainManagement），是用系统的观点通过对供应链中的物流、信息流和资金流进行设计、规划、控制与优化，以寻求建立供、产、销企业以及客户间的战略合作伙伴关系，最大程度地减少内耗与浪费，实现供应链整体效率的最优化并保证供应链成员取得相应的绩效和利益，来满足顾客需求的整个管理过程。（四）物流管理系统1.物流管理系统结构设计物流管理系统[5]是信息的主要组成部分，对物流信息经过收集、储存、加工、处理和传输来实现对物流活动的有效控制和管理，并通过对数据的挖掘、分析，为物流企业提供战略规划、沟通协调、运营管理、行为分析和决策支持的交互系统。系统由基础管理、仓储管理、销售管理和结算管理四大子系统构成，主要功能如下：（1）基础管理：对货主进行身份注册、验证、注销等管理，及时将产品物流相关信息通过网页、论坛、微博、微信等方式进行发布。基础管理保证物流管理的操作和有效的运行。（2）仓储管理：对仓库内的物资进行入库、出库、作业、流程、安全和库存进行管理，根据销售管理系统提供的数据，对库存进行补货或订货劝告，适时适量调整订货的6信息。仓储管理是物流管理系统的功能模块，实现企业及货主实时对仓库的状况掌握相关信息，不盲目的进行进货，保证仓库安全等事宜。（3）销售管理：对订货信息的完整及其准确度进行校验，并对订单的相关制约条件进行审查。根据销售的产品销售情况和客户询价情况，及时反馈给仓储管理系统，适当控制存库。销售管理是物流管理系统的功能模块，利于企业及其使用者掌握销售信息，做出正确的决定，降低商业风险。(4)结算管理：对合同进行管理，对合同的订立、履行、解除、转让等情况进行管理。根据数据分析结果、客户行为分析和市场导向，合理设定费率和费用，并根据设定的费率和费用，计算相关产品物流管理费用。合同管理是物流管理系统的一个至关重要的模块，有效的帮助企业规避风险等重要事宜。物流管理系统如下图4所示：图4物流管理系统2.物流管理系统工作流程1.信息采集物流管理系统首先通过GPS、无线射频、条码扫描等方式从运输载体、人员、货物中实时采集数据输入到系统中，在处理之前，保存在系统数据库中，以保证数据的完整性、实时性和准确性。1.信息处理有些数据在处理之后还有利用价值，要将其保存下来，以供以后分析使用。同时，物流数据在系统中，要准确、及时地传输到各个职能环节，保证数据的使用价值。之后，系统将输入的数据加工处理成系统所需要的物流信息，并进行数据挖掘、分析和利用，7形成大数据价值链。3.信息发布信息发布是通过网站、微博、微信等方式实现物流信息发布，力求在输出形式上力求易读易懂，直观醒目。工作流程如下图5所示：图5物流管理工作流程三、目前物流管理的基本现状1.企业对物流管理没有足够重视目前很多企业对物流的管理理解不深,认为物流管理只是简单的运输和仓储,忽略了现代物流管理的重要目标,即最大限度地满足顾客要求,提高企业经济效益[6]。随着社会经济分工的细化,客户对物流服务的要求也越来越高,追求个性化与多样化的服务。企业对物流管理的不重视,会使企业物流管理缺乏宏观上的把握,管理松懈,不利于提高物流服务的质量。2企业物流基础设施陈旧落后大多数企业的物流基础设施没有足够的资金投入,