搜索
大数据的概念,计算及产业未来潘正祥福建工程学院信息科学与工程学院2015.10.23报告提纲大数据的概念大数据的计算方案大数据的产业未来facebook社交网络…淘宝、ebuy电子商务…微博、Apps移动互联…互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”的诞生：进入21世纪，数据信息大发展，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。产生了“大数据”的概念。特种行业：航天、航空？大数据的概念GBTBPBEBZB大数据的数据量地球上至今总共的数据量：2006年：个人用户才刚迈进TB时代；全球一共新产生了约180EB的数据；2011年：数字达到了1.8ZB。据预测：2020年：数据总量将会增长44倍；达到35.2ZB（1ZB=10亿TB）。1PB（拍字节）=2^50字节1EB（艾字节）=2^60字节1ZB（泽字节）=2^70字节大数据的概念VolumeVarietyvalueVelocity结构样式多样今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求冗余大，有价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题处理要求实时大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率也是重要的问题之一。数据量巨大2020年：数据总量将会增长44倍；达到35.2ZB（1ZB=10亿TB）。大数据的概念大数据的4V特征大数据的构成大数据=海量+复杂类型海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的ApacheHadoop。大数据的概念技术领域的挑战1、数据库技术传统的数据库部署不能处理数TB级别的数据，急速膨胀的数据体量即将超越传统数据库的管理能力。如何构建全球级的分布式数据库，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行数据。经典数据库技术并没有考虑数据的多类别（variety），在设计的一开始是没有考虑非结构化数据的。2、实时性的技术挑战：大的数据量对目前的处理器的实时性要求；3、数据分析技术目前的分析技术不能适用于大数据量的分析技术；大数据的概念分析技术：•数据处理：自然语言处理技术•统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析•数据挖掘：关联规则分析；分类；聚类•模型预测：预测模型；机器学习；建模仿真数据采集存储技术：•数据采集：ETL工具•数据存取：关系数据库；NoSQL；SQL等•基础架构支持：云存储；分布式文件系统等•计算结果展现：云计算；标签云；关系图等相关技术数据采集数据储存数据管理数据分析与挖掘（计算）大数据的概念通过大数据计算，从大数据中提取有意义的信息，是大数据应用的终极目标。报告提纲大数据的概念大数据的计算方案大数据的产业未来大数据计算面临的主要技术问题：需要提供一个高效稳定的存储和计算引擎如何支撑1万、10万台以上的机群规模？•多集群架构，运维和管理系统如何在一个平台上支持多个组织的多个用户进行开发？•多租户支持，安全隔离，权限控制如何了解业务运行状态？•元数据管理，指标系统如何管理不同种类的任务？•服务化，统一计算入口，可度量和控制的计算资源快速查询，精准搜索，智能分析…大数据的计算方案海量结构化数据存储系统(SQL)分布式文件系统海量非结构化数据存储系统(SQL)机器学习分布式文件系统海量数据存储大规模计算智能分析大数据计算架构-模型分布式并行计算系统数据挖掘语义搜索……大数据的计算方案大数据计算的支持技术：云计算•云计算被认为是大数据计算的最有前途的技术；•数据是资产，云为数据资产提供存储、访问和计算。•当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析。大数据的计算方案举例：阿里巴巴□淘宝主站（2011年）：•30亿店铺、宝贝浏览•10亿计的在线宝贝数•千万量级交易笔数□数据产品（2011年）：•50G统计汇总结果•千万量级数据查询请求•平均20.8ms的响应时间数据来源：阿里相关技术介绍ppt大数据的计算方案举例：阿里技术架构总览数据来源：阿里相关技术介绍ppt大数据的计算方案举例：百度数据来源：2011年百度云计算总工程师林仕鼎讲座《百度云计算总体介绍》数据来源：2012.10百度杨毅讲座《百度的下一代计算系统》大数据的计算方案举例：百度技术架构数据来源：2011年百度云计算总工程师林仕鼎讲座《百度云计算总体介绍》大数据的计算方案17大数据挑战发卡量增长迅速：2008年发卡约500万张，2010年增加了一倍。业务数据增长迅速：随着业务的迅猛增长，业务数据规模也线性膨胀。数据存储、系统维护、数据有效利用都面临巨大压力。需求可扩展、高性能的数据仓库解决方案能够实现业务数据的集中和整合；可以支持多样化和复杂化数据分析提升信用卡中心的业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。采用大数据方案后价值体现实时的商业智能可以结合实时、历史数据进行全局分析,风险管理部门现在可以每天评估客户的行为，并决定对客户的信用额度在同一天进行调整；原有内部系统、模型整体性能显著提高秒级营销Greenplum数据仓库解决方案提供了统一的客户视图，更有针对的进行营销。2011年，中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动，每个营销活动配置平均时间从2周缩短到2-3天。EMCGreen-plum大数据的计算方案举例：中信银行信用卡中心18大数据挑战农夫山泉数据量变得越来越大，分销表中数据基数大，增速快，数据展现速度越来越慢；数据运算速度越来越慢，已经让人无法忍受，影响业务的正常进行；数据更新慢，采用传统的ETL(数据抽取、转换、装载)，农夫山泉的分析系统数据基本上一天才能更新一次。需求能够应对海量数据的挑战，实现高效的逻辑运算、实时的数据分析以及快速的数据展现的解决方案。采用大数据方案后价值体现实现了快速的数据展现与原有商业智能报表展现方案相比，新方案数据展现速度快25-30倍；形成了强大逻辑计算能力测试了120多张已经上线的报表，基本上速度提升100～150倍；SAPHANA和BusinessObjects4.0组合只用了46秒就完成原来需要24小时才能完成的逻辑计算；实现了数据的实时、同步HANA使得数据从业务系统中转换到HANA中时基本上没有任何延迟。SAPHANA大数据的计算方案举例：农夫山泉19大数据挑战数据激增，IT系统负担加重；地域分隔，信息孤岛拉低效能；无法共享，数据同步成为难题；标准各异，数据规范有待统一。需求制定短期和长期技术规划，以适应未来信息系统的发展。采用大数据方案后价值体现解决跨平台异构应用系统的数据共享与集成问题黄河水利委员会各部门随时获取其权限范围内的最新数据，而无须将其存储在本部门系统中；消除信息孤岛，实现数据统一管理有效消除了各业务系统和各组织结构之间的信息孤岛，简单获取黄河数据资源的单一视图，并确保了数据的完整性、及时性、准确性和一致性，同时首次实现元数据的可视化统一管理IBMInfo-Sphere大数据的计算方案举例：IBM“数字黄河”报告提纲大数据的概念大数据的计算方案大数据的产业未来•重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；•在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；•在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；•解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；政府投入将形成示范效应，大大推动大数据的发展。政府的重视大数据的产业未来•国外，美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式”；•国内，中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”“智慧大脑”智能感知互联互通智能运营协同共享数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。大数据价值链的3大构成：数据本身、技能与思维其中三者兼具的又谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不光是为了创建谷歌地图，也是为了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。《大数据时代》传统行业最终都会转变为大数据行业，无论是金融服务也、医药还是制造业。大数据的产业未来应用企业的重视23应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）•纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；•横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；•注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造大数据的产业未来产业分布24互联网行业拥抱大数据的关键因素网络终端设备•网络技术的升级和终端设备的爆发，使今天的用户能够使用多种设备、从不同位置、通过多种手段来接入互联网，并在这一过程中不断创造新内容在线应用和服务•越来越丰富的在线应用和服务，不断激励用户创造和分享信息，尤其是社会化媒体业务，带动图片、视频等非结构化数据飞速增长与各垂直行业的融合•互联网作为一个高渗透力的行业，正在与各垂直行业发生深度的融合，原本隐藏于先下的孤岛信息，源源不断的输入到线上。互联网行业对数据实时分析要求较高，例如广告监测、B2C业务，往往要求在数秒内返回上亿行数据的分析，从而达到不影响用户体验和快速准确营销的目的。目前互联网企业面对大数据，会普遍感觉到实时分析能力差、海量数据处理效率低、缺少分析方法、分析软件能力差等问题。互联网行业大数据分析面临的主要问题互联网大数据技术的应用，会首先带动社会化媒体、电子商务的快速发展，其他的互联网分支也会紧追其后，整个行业在大数据的推动下将会蓬勃发展。大数据的产业未来互联网行业25医疗行业产生的数据量主要来自于PACS影像、B超、病理分析等业务所产生的非结构化数据。人体不同部位、不同专科影像的数据文件大小不一，PACS网络存储和传输要采取不同策略。