中投顾问产业研究中心中投顾问·让投资更安全经营更稳健第1页2016-2020年中国大数据行业投资分析及前景预测报告中投顾问产业研究中心中投顾问·让投资更安全经营更稳健第2页内容简述继物联网、云计算之后,大数据已经成为当前信息技术产业最受关注的概念之一。大数据是为了更经济地从高频率获取的、大容量的、不同结构和类型的数据中获取价值,而设计的新一代架构和技术。人们普遍将该定义概括为四个“V”,即更大的容量(Volume,从TB级跃升至PB级,甚至EB级)、更高的多样性(Variety,包括结构化、半结构化和非结构化数据),以及更快的生成速度(Velocity)。前面三个“V”的组合推动了第四个因素——价值(Value)。云计算、物联网、智慧城市、移动互联,新技术与应用的不断涌现,加速了“大数据”时代的到来。统计数据显示,2015年国内大数据产业市场规模已达1105.6亿元,较2014年增长44.15%。其中,大数据基础设施建设、大数据软件和大数据应用分别占比64.53%、25.47%和10%。近年来,大数据应用带来了令人瞩目的成绩。大数据在互联网、金融、零售、电商、政务服务等领域的作用越来越广泛。数据也逐渐成为不少行业中新的生产力及新的价值来源。2015年9月,国务院发布《促进大数据发展行动纲要》,旨在大力促进中国数据技术的发展,数据被作为战略性资源加以重视。大数据产业“十三五”发展规划编制小组2015年11月25日在京召开专题研讨会。工信部强调,要把《大数据产业“十三五”发展规划》作为贯彻国家大数据战略、落实《促进大数据发展行动纲要》、加快建设数据强国的重要抓手。随着政策的不断加码,大数据产业相关投资领域得到追捧。目前我国大数据产业还处于发展初期,市场规模仍然比较小,而且主导厂商仍以外企居多。2016年我国大数据应用的整体市场规模将突破百亿元量级,未来将形成全球最大的大数据产业带。然而,相对于发展前景的乐观预测,我国发展大数据产业面临的现实挑战更值得认真分析和对待。中投顾问发布的《2016-2020年中国大数据行业投资分析及前景预测报告》共十一章。中投顾问产业研究中心中投顾问·让投资更安全经营更稳健第3页首先介绍了大数据和大数据产业的定义、特点、地位等,接着分析了大数据的发展背景及影响因素,然后重点分析了国内外大数据行业的发展及行业格局,并对行业主要设备市场及重点行业大数据的应用进行了细致的透析。随后,报告详细解析了国内外大数据行业重点企业的发展形势,最后重点分析了大数据行业的投资状况,并对其未来发展前景做出了科学的预测。本研究报告数据主要来自于国家统计局、中投顾问产业研究中心、中投顾问市场调查中心以及国内外重点刊物等渠道,数据权威、详实、丰富,同时通过专业的分析预测模型,对行业核心发展指标进行科学地预测。您或贵单位若想对大数据行业有个系统深入的了解、或者想投资大数据行业,本报告将是您不可或缺的重要参考工具。中投顾问产业研究中心中投顾问·让投资更安全经营更稳健第4页报告目录一、大数据行业的内涵及主要环节.......................................................................................4二、大数据产业链及战略地位分析.......................................................................................6三、全球大数据产业发展规模...............................................................................................9四、我国大数据产业发展提速...............................................................................................9五、大数据产业盈利模式分析.............................................................................................10六、我国大数据行业迎来发展机遇.....................................................................................13七、中投顾问对2016-2020年中国大数据市场规模预测.................................................14附:报告详细目录.........................................................................................................................16一、大数据行业的内涵及主要环节(一)大数据的基本内涵早在1958年,信息产业的蓝色巨人IBM公司就提出商业智能(BusinessIntelligence)的概念。商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。学术界认为商业智能是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合,其主要目标是将企业所掌握的信息转换成竞争优势,提高企业决策能力、决策效率、决策准确性。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘(DataMining)等技术。然而,随着越来越多的企业利用这些技术,数据的增长已经完全失去控制,对业务运行也造成了影响。这就使得企业不仅要关注自身数据的流失,也要有意识地开始积累数据,并且寻求新的方法来解决大量数据无法存储和无法计算的问题。由此,在IT业界诞生了一个新名词——大数据(BigData)。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。该定义可以从两个角度来分析:一方面是数据容量的不断扩大,数据集合的范围已经从兆字节(MB)到吉字节(GB)再到太字节(TB),甚至还有拍字节(PB)、艾字节(EB)和泽字节(ZB)的计数单位出现。未来十年全球大数据将增加50倍。仅在2011年,就有1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条微博,而且还是不停地写2.6976万年。在未来十年,管理数据仓库的服务器的数量将增加10倍以便迎合50倍的大数据增长。另一方面,日益增长的集成式大数据已不再适宜于用当前管理数据库的工具来进行分析处理。其难点包括:数据的抓取,存储,检索,共享,分析以及可视化等。这一趋势将持续发展,其原因在于越来越庞大的数据集合可以使信息分析员更准确而地预测商业活动趋势,预防疾病的爆发,打击犯罪活动等。(二)大数据的各个环节中投顾问产业研究中心中投顾问·让投资更安全经营更稳健第5页1、数据准备环节:在进行存储和处理之前,需要对数据进行清洗、整理,传统数据处理体系中称为ETL(Extracting,Transforming,Loading)过程。与以往数据分析相比,大数据的来源多种多样,包括企业内部数据库、互联网数据和物联网数据,不仅数量庞大、格式不一,质量也良莠不齐。这就要求数据准备环节一方面要规范格式,便于后续存储管理,另一方面要在尽可能保留原有语义的情况下去粗取精、消除噪声。2、数据存储与管理环节:当前全球数据量正以每年超过50%的速度增长,存储技术的成本和性能面临非常大的压力。大数据存储系统不仅需要以极低的成本存储海量数据,还要适应多样化的非结构化数据管理需求,具备数据格式上的可扩展性。3、计算处理环节:需要根据处理的数据类型和分析目标,采用适当的算法模型,快速处理数据。海量数据处理要消耗大量的计算资源,对于传统单机或并行计算技术来说,速度、可扩展性和成本上都难以适应大数据计算分析的新需求。分而治之的分布式计算成为大数据的主流计算架构,但在一些特定场景下的实时性还需要大幅提升。4、数据分析环节:数据分析环节需要从纷繁复杂的数据中发现规律提取新的知识,是大数据价值挖掘的关键。传统数据挖掘对象多是结构化、单一对象的小数据集,挖掘更侧重根据先验知识预先人工建立模型,然后依据既定模型进行分析。对于非结构化、多源异构的大数据集的分析,往往缺乏先验知识,很难建立显式的数学模型,这就需要发展更加智能的数据挖掘技术。5、知识展现环节:在大数据服务于决策支撑场景下,以直观的方式将分析结果呈现给用户,是大数据分析的重要环节。如何让复杂的分析结果易于理解是主要挑战。在嵌入多业务中的闭环大数据应用中,一般是由机器根据算法直接应用分析结果而无需人工干预,这种场景下知识展现环节则不是必需的。中投顾问产业研究中心中投顾问·让投资更安全经营更稳健第6页图表大数据技术框架资料来源:工业和信息化部电信研究院二、大数据产业链及战略地位分析(一)大数据产业链分析大数据从源到流到汇聚应用,包含数据入口、数据融合处理、数据应用三个主要过程。从前到后看,这三个过程分别对应于数据资产领域、数据融合与处理相关领域、数据应用相关领域。1、数据资产领域“数据正在成为一种(战略)资产”已经是行业的共识。大数据很大程度上是随着社会信息化程度提高而产生的,即是以前没有或无法获取且正在不断生成的“新(fresh)”数据。不同的公司把握着各个数据入口,而把握数据资产的企业也必然成为大数据的首批和直接受益者。从公司业务模式上,数据资产公司可以区分为纯数据资产公司和兼数据资产公司;从数据类型上,数据可以区分为交易数据(含询价等)和交互数据。纯数据资产公司指其产品和业务即为数据本身,代表企业如友盟和个信互动等。友盟(Umeng)将核心代码植入各种移动应用,向移动应用创业者提供应用统计分析、用户反馈等服务,目前,国内主流开发者大多是友盟的用户,超过18万的移动应用从友盟服务中获益。个信互动的个推平台,面向公众提供专业的手机推送解决方案,并向开发者提供推送的BI数据,目前的接入用户已经超过6.8亿。中投顾问产业研究中心中投顾问·让投资更安全经营更稳健第7页图表大数据产业主要数据资产类企业资料来源:中投顾问产业研究中心表格中所列示的都是规模较大、有所成绩的明星企业,因为如果数据没有相当深度和广度的累积,价值将非常低。但是,我们看到不断有新的企业成长起来,百花齐放百家争鸣,抢夺已有的入口或者开辟全新的入口。2、数据融合与处理相关领域在数据融合与处理相关的领域,主要解决包含两个方面的问题:一是数据标准化与有效性整理;二是面向过程(具体目的)的数据处理与粗提取。典型的案例如征信数据库,商业银行与各信贷主体之间每天都在发生着海量交易,交易一旦发生则记录进入各商业银行数据库(录入人员通过人机交互过程完成数据的标准化和预处理),每天晚上各商业银行后台对数据进行整理和加密,次日将信贷主体与信用数据加密通过专用接口将数据包提交到征信数据中心,然后征信中心将各数据包加成导入到征信数据总库进行更新,完成数据标准化和有效性整理并形成更新后的数据状态。而面向过程的数据处理与粗提取,比如对某信贷主体的征信数据进行查询后,可通过插件进行破产风险(企业)或信用评分(个人)的简单核算,不同金融机构可设置不同的标准,根据自身风险政策完成初步的可否授信、授信额度大小的批量化评估。中投顾问产业研究中心中投顾问·让投资更安全经营更稳健第8页较成熟的类似机构包括彭博、万得、同花顺等,目前均局限于金融行业,但每个行业都有不同的数据整合入库的需求,而数据标准的制定及数据汇聚的执行是其难点所在。另外,在大数据的融合与处理相关领域,两个绕不开的点为基础软件(数据库软件)和云计算。3、数据应用相关领域掌握数据资产的企业群是大数据的首批和直接受益者,因为他们会自然、方便的对大数据进行把玩、加工、消化、利用。而随着应用价值的逐步体现及大数据产业