如何营造大数据产业生态环境

江苏赛联信息产业研究院院长如何营造大数据产业生态环境祁晓荔博士2013年10月10日南京目录江苏赛联信息产业研究院大数据概念与应用1大数据产业生态2大数据产业培育3大数据背景-数据量快速增加江苏赛联信息产业研究院2011年5月，EMCWorld2011大会主题“云计算相遇大数据”，抛出了“大数据”（BigData）概念。2011年6月，IDC发布年度数字宇宙研究报告《从混沌中提取价值》(ExtractingValuefromChaos)，提出三点重要论断：根据IDC过去五年的研究发现，全球数据量大约每两年翻一番；2010年全球数据量跨入ZB时代；未来全球数据增速将会维持，预计到2020年全球数据量将达到令人恐怖的35ZB。2011年6月底，IBM、麦肯锡等众多国外机构发布“大数据”相关研究报告，予以积极跟进。2011年10月，Gartner认为2012年十大战略技术将包括“大数据”。2011年11月底，IDC将“大数据”放入2012年信息通信产业十大预测之一。TBPBZBEB大数据根源：人、机、物三元世界的融合江苏赛联信息产业研究院数据为中心的传统学科物联网的快速发展个人与企业的经营活动天文观测获取信息量的速率至少在1015bit/周的数量级高能粒子加速器具有109张图片/秒的信息量分子生物学中DNA、蛋白质分子长链的刻画城市的视频监控工业设备的状态实时采集车联网智慧城市社交网络个人照片、视频电子商务B2C/B2B/C2C...ERP大数据的特征“4V”数据量巨大快速（增长、处理响应）多样性（结构化数据、半结构化数据和非结构化数据）低价值密度社交博客物联网101100101001001001101010101011100101010100100101每天新增：7TB,Twitter10TB,Facebook全球在2010年正式进入ZB时代，IDC预计到2020年，全球将总共拥有35ZB的数据量以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。1.Volume2.Velocity3.Variety4.Value如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据的价值-对企业江苏赛联信息产业研究院海量数据和消费者需求变化对企业经营带来巨大挑战信息化时代，围绕内外用户数据整合成为企业核心竞争力来源之一基于大数据的用户立体洞察，将为企业带来三大战略价值。支持精细化营销支持产品优化和创新支持新商业模式的拓展内部数据外部数据……渠道数据营销服务数据产品使用数据网络底层数据微博数据SNS数据搜索数据IM数据电子商务数据浏览数据……用户洞察大数据的价值-对政府江苏赛联信息产业研究院大数据的发展，将改变政府的治理模式，向数据的分析者与分享者转变，催生智能政务。由数据“收集者”向数据“分析者”转变由数据“被索取者”向服务“推送者”转变政府决策由“预报”走向“实报”、“精报”江苏赛联信息产业研究院大数据技术：在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value）大数据是IT领域新一代的技术与架构大数据将在多个行业有广泛的应用；大数据将为企业在市场营销与科学管理提供的核心支撑力，应用大数据的能力将是未来企业核心竞争力的重要组成部分。大数据涉及的主要技术江苏赛联信息产业研究院数据分析技术主要包括数据挖掘、机器学习等核心技术，涉及关联规则挖掘、集成学习、遗传算法、神经网络、优化、模式识别、预测模型、回归、统计、时间序列分析、关联规则学习、聚类分析等。数据存储与管理技术主要包括关系型和非关系型数据库技术、数据融合和集成技术、数据抽取技术、数据清洗和数据过滤技术。数据处理技术包括分布式计算技术、内存计算技术、流处理技术、云计算技术。数据呈现技术包括可视化技术、历史流展示技术、空间信息流展示技术等核心技术融合技术信号处理技术语义处理技术大规模分布式存储技术统计学相关知识社会科学相关知识大数据应用市场江苏赛联信息产业研究院基于云计算的大数据分析能力得到越来越多企业的关注•基于大数据分析，可以支持企业精细运营，提升管理决策效率。•沃尔玛对销售额、定价和天气及人口数据比对，选择上架产品；•UPS公司根据卡车交货时间和交通模式优化路线等越来越多IT巨头建立统一的大数据分析技术，服务于行业客户IBM、EMC、Oracle大量收购BI、分析类企业结合新的大数据需求（引入外部数据），主要服务于传统行业客户的企业分析200720082009201020112012201312.0%522.8590.7665.7749.0838.81038.0935.3全球”大数据”分析市场规模单位：百万美元能源金融医疗生命科学制造业娱乐专业服务公共部门零售电信交通其他38.117846.320.391.421.824.78065.2122.354.16.855.9228.26830.4130.280.136.6114.797.5164.974.37.1123456789101112“大数据”分析在重点行业的收入规模（百万美元）20102013数据来源：BI全球预测2013数据来源：DeteconCompanyLogo大数据应用领域应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）•纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；•横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；•注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造目录江苏赛联信息产业研究院大数据概念与应用1大数据产业生态2大数据产业培育3战略性解读大数据产业江苏赛联信息产业研究院国家层面的竞争力将部分体现为一国拥有大数据的规模、活性以及对数据的解释、运用的能力。分析问题的思维由“分析事件之间的因果关系”转化为“通过数据挖掘事件之间的相互关系”，加快技术创新•云计算：进入“分析即服务（AssA）”的Cloud2.0时代•原有产业（如生物制药、新材料研制）生产的流程会发生革命性的变化关系到国家核心利益的战略资源引发知识与技术创新模式的变革促进新老产业裂变与升华的动因大数据的产业生态江苏赛联信息产业研究院广义来看，大数据的产业链贯穿数据的整个生命周期，即从产生、采集到存储，到管理再到分析，直至最终的呈现与应用。狭义来看，大数据的产业链主要涵盖数据存储与管理、数据安全、数据分析、数据呈现、应用算法、数据应用等环节硬件主要涉及数据总线、内存、CPU、显示设备等。大数据要求CPU的指令集更适合非结构化数据的处理，内存或主板的逻辑结构更适合进行内存计算等高速计算，硬件设备内部的数据总线带宽和硬件设备间的网络带宽更宽，显示设备能给用户更明显的浸入感。软件主要涉及关系型和非关系型数据库管理系统、分布式文件系统、分布式处理系统、商业智能软件、多媒体加工处理软件等基础软件和应用软件；信息技术服务主要涉及两个方面，一方面是大数据信息系统集成的服务，另外一方面则是以大数据为对象或基础的数据分析、数据加工等信息服务。信息安全则横跨硬件、软件和信息技术服务领域。围绕数据的产业链涉及的信息产业生态链大数据生态中的种群-信息搜索服务类企业江苏赛联信息产业研究院Google——大数据核心技术引领者和应用先驱者百度——国内大数据技术的领先者•2012年，百度日均抓取约10亿网页，处理超过100PB（1PB=1024TB）的数据。百度在大数据的现有优势，是它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，这实质上就是一个数据的获取、组织、分析和挖掘的过程。•除了网页外，百度还通过阿拉丁计划吸收第三方数据，通过业务手段与药监局等部门合作拿到封闭的数据。•Google基于针对大数据存储访问和计算的三项关键技术：分布式文件系统GFS、专属数据库系统BigTable、并行计算的软件框架MapReduce，进行海量数据的搜索和分析挖掘，保证了其在搜索领域的主导地位。•2011年底，Google向公众发布了它的大数据服务“BigQuery”，降低了数据分析门槛大数据生态中的种群-社交网络类企业江苏赛联信息产业研究院Facebook——通过大数据从社交网络运营盈利Twitter——以收购为途径打造大数据竞争力•但社交只是表面，Facebook的核心技术和商业化布局与大数据紧密相关。•创始人马克·扎克伯格表示，Facebook营销的未来取决于复杂的数据分析•Facebook目前已成为仅次于谷歌的第二大互联网广告公司•Twitter把大数据技术视为其核心竞争力•2013年5月，Twitter收购了知名的大数据分析公司LuckySort•Twitter还收购了数据分析公司Ubalo、音乐发现服务WeAreHunted、视频分享服务Vine等大数据技术与应用开发商腾讯——拥有数据金矿潜力巨大新浪——期待大数据中挖掘收益•腾讯目前注重于QZONE、微信、电商等产品的后端数据打通，正在加快向内容数据专业化、用户数据细分化、交互化的发展，最终构建一个高效营销平台，以实现通过该平台把腾讯的用户变成客户的用户的目标•新浪基于大数据关联算法，一方面为用户提供兴趣匹配度高的新闻与微博的推荐和分享，更好地满足用户对社交化的需求；一方面挖掘用户兴趣内容与广告内容的结合点，制定匹配的投放策略，从而提升广告实际转化效果，使流量更加有效率大数据生态中的种群-电子商务类企业江苏赛联信息产业研究院亚马逊——在大数据领域全面布局阿里巴巴——把数据、金融和平台作为企业战略•在数据挖掘和分析方面加大投入，不断挖掘浏览数据、交易数据、信用数据背后的金矿，推出数据魔方、量子统计、推荐系统、排行榜、时光倒流等产品，在技术、用户体验、模式创新等多个角度引领国内电子商务的发展•战略性投资新浪微博的社交及媒体数据、高德的地图数据和线下数据、友盟的移动应用数据•提出了更远大的“数据、金融和平台”战略•亚马逊开发出的云基础设施处于盈利状态，可以资助零售业务的运营；•亚马逊的移动设备和内容可以通过用户网络进行传播；•亚马逊正致力于把网络渠道、大数据需求、来自物流的供应链情况、来自各个接口的支付技术、数字签章技术进行集成大数据生态中的种群-软件与数据服务类企业江苏赛联信息产业研究院IBM——打造以数据分析为核心的综合集成能力甲骨文——以数据库为中心的一体化大数据机策略•推出硬、软件集成解决方案“Oracle大数据机”•“智慧地球”核心是数据；•大数据全套解决方案：云存储、流计算、数据仓库、数据挖掘与业务分析工具Intel——结合硬件优势主推大数据软件解决方案EMC——以云计算为平台的大数据战略•成立数据计算产品部进行大数据方案与产品开发，•收购了Greenplum、PivotalLabs等•融合在计算处理器、固态硬盘、网络适配器领域领先的技术，推出基于Hadoop的大数据发行版软件平台SAP——围绕大数据需求进行技术创新托尔思（TRS）——国内企业代表•企业位于北京•TRS机器数据挖掘引擎、TRS社会媒体分析云服务、TRS大数据一体机等•围绕解决客户的大数据需求进行了重大的技术创新，推出第一个商用的内存计算产品HANA大数据生态中的种群-直接用户企业江苏赛联信息产业研究院沃尔玛——用数据挖掘来创造用户需求中国电信运营商——大数据