大数据与NOSql概述

信息技术部大数据与NOSql概述(2016年12月18日)第2页主要内容•大数据概述•大数据的定义•大数据的4V特征•大数据的系统要求•大数据的典型架构•大数据的应用•大数据的发展第3页主要内容•Nosql概述•什么是NoSQL•NoSQL的优势和不足•NoSQL的CAP理论实现•NoSQL数据模型及分类第4页大数据的定义大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2]中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。第5页大数据的4V特征Volume（海量）、Variety（多样）、Velocity（实时）、Value(价值)•海量——数据量巨大，对TB、PB数据级的处理，已经成为基本配置。•多样——处理多样性的数据类型，结构化数据和非结构化数据，能处理Web数据，能处理语音数据甚至是图像、视频数据。•实时——在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时•价值——价值密度低，商业价值高。一条数小时的监控视频，可能有用的数据仅有一两秒。能从海量数据中发掘出这些数据，将成为企业竞争力的重要来源。第6页大数据的系统需求•高新能（Highperformance）高并发读写实时动态获取和更新数据•海量存储（HugeStorage）海量数据的高效率存储和访问类似SNS网站•高可扩展性和高可用性（HighScalability&&HighAvailability）需要拥有快速横向扩展能力能提供7*24小时不间断服务第7页大数据典型架构第8页大数据典型架构第9页大数据典型架构数据计算用时对比离线计算流式计算实时计算第10页大数据的应用•大数据与互联网•大交易数据：来自电商的数据，包括B2B、B2C、C2C、团购等•大交互数据：来自社交网络的数据，SNS、微博等•两类数据有效融合将是大势所趋，更能增强企业的商业洞察力第11页大数据的应用•大数据与金融——银行第12页大数据的应用•大数据与金融——保险第13页大数据的应用•大数据与金融——证券•股价预测•客户关系管理•投资景气指数分析第14页大数据的发展第15页NOSql的概念•什么是NoSQL？NoSQL是NotOnlySQL的缩写，而不是NotSQL；它不一定遵循传统数据库的一些基本要求，比如SQL标准、ACID属性、表结构等等。相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。NoSQL数据库主要应用于web2.0的大规模系统，具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。第16页NOSql的优势•易扩展NoSQL数据库种类繁多；共同的特点都是去掉系型特性；数据之间无关系，容易横向扩展；甚至可以NoSQL之间的整合。•数据模型灵活无需事先为要存储的数据建立字段随时可以存储自定义的数据格式•高可用NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过复制模型也能实现高可用。•大数据量，高性能NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据结构简单。第17页NOSql的CAP原理实现•分布式数据系统的CAP原理的三要素：•一致性(Consistency)•可用性(Availability)•分区容忍性(Partitiontolerance)•NOSql的CAP原理实现：•在分布式系统中，三个要素最多只能同时实现两点考虑CP，主要是一些Key-Value数据库，典型代表为Google的BigTable，将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。考虑AP，主要是一些面向文档的适用于分布式系统的数据库，如Amazon的Dynamo，Dynamo将数据按key进行Hash存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性——最终一致性第18页NOSql数据模型及分类•NoSQL的两个核心理论基础：•Google的BigTableBigTable将各列数据进行排序存储；数据值按范围分布在多台机器；数据更新操作有严格的一致性保证。•Amazon的DynamoDynamo使用的是另外一种分布式模型；模型更简单，将数据按key进行hash存储；其数据分片模型有比较强的容灾性；实现的是相对松散的弱一致性(最终一致性)。第19页NOSql数据模型及分类存储类型NoSQL产品特性列式存储Hbase、CassandraHypertable按列存储数据，最大的特点是方便存储结构和半结构化数据，方便做数据压缩，针对某一列或者某几列的查询有非常大的I/O优势键值存储Redis、TokyoCabinetTokyoTyrant、Flare可以通过键快速查询到值。一般来说，存储不管值的格式，照单全收文档式存储MongoDB、CouchDB文档存储一般用类似JSON格式存储，存储的内容是文档类型的，这样也就有机会对某些字段建立索引，实现关系型数据库的某些功能对象式存储db4oVersant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据第20页NOSql数据模型及分类•NOSql使用情况第21页NOSql数据模型及分类DB-Engines发布了2016年12月份的数据库排名第22页NOSql数据模型及分类综合来看，NoSQL数据库正在逐渐地成为数据库领域中不可或缺的一部分，它弥补了关系型数据库在某些应用场景的不足但是它也并非万能，方法得当的话，能获得很多的好处。企业应该结合自己的业务需求与数据类型，来考量选型搭建NOSql大数据平台。Thankyou!