大数据架构设计

范钢互联网架构设计案例分析与最佳实践课程内容简介高可靠的架构设计什么是高可靠如何实现高可靠应对大数据架构设计什么是云计算大数据相关技术应对大并发架构设计讲解相关技术讲解设计思路高质量软件架构设计什么是架构设计怎样做架构设计云计算大数据知识•云计算的主流技术与框架•云计算的主流技术与框架技术•国内相关的云计算应用•国内相关的云计算应用厂商•传统业务系统的云技术转型•传统业务系统的云技术转型案例对于云技术两种截然不同的看法正方：云计算是一个里程碑意义的、跨时代的产物云计算将引领一场新的技术革命云计算将是未来技术发展的趋势反方：云计算毫无新意，就是对久技术的一种堆砌云计算太虚了，就是开发商的一种忽悠云计算已是昨日黄花、过眼云烟电厂模式云计算的初始概念不要自己购买服务器而使用云计算自购服务器将带来高额的运营成本自购服务器将带来资源的浪费服务器与网络的规模化运营将带来高效更加合理地分配社会资源削峰填谷、合理分配资源，以提高性价比可以提供更加高效地运营团队让专业的人做专业的事，提高社会分工基础设施即服务（IaaS）各应用系统不再使用专用服务器各应用系统只需向云平台申请资源虚拟服务器由此产生应用系统与硬件资源间的“桶”被打破硬件资源包括运算资源、存储资源等等硬件集中式管理的云基地由此产生云平台采用分布式计算方式运行用户的运算申请在哪里运算的谁都不知道大运算量的任务被迅速分配到各个设备中打破应用与硬件的“桶”解读基础设施即服务没有产生任何新的技术设备虚拟化分布式计算产生了新的理念服务器集中式管理服务租住与托管应用与使用设备的分离就像建立电厂一样地建立云基地就像插上插头就能用电一样使用服务器资源就像你不必关心到底用的是哪家电厂的电一样公有云vs.私有云公有云不要自购服务器而租住云平台维护成本更低，性价比更高不再自己雇佣团队进行运营维护信息安全不能保证私有云自购服务器但云平台下合理分配运行在自己的服务器与网络中，安全有保障广泛应用在集团、政府系统、连锁企业中公有云：正宗云技术面临安全问题：服务器放你那里就是不放心企业信息化建设面临尴尬重复建设每个系统都有用户管理、系统管理等功能用户每进一个系统就要登陆一次信息孤岛系统与系统之间信息不能互通与共享无法将各个环节打通形成一个整体系统与系统之间需要互通时才临时开发接口缺乏统一规划系统与系统的开发各自为政缺乏一个全局的视角规划整个企业的信息化平台即服务（PaaS）站在全局的视角统一规划企业信息化建立一个规划部门统领各部门的建设规划一个统一的布局分步骤建设定义好各个系统间的交互接口搭建统一的平台框架支持各系统的开发搭建一个插件式的框架支持各系统的开发拥有统一的用户权限管理与门户各系统如同插件一样插上即可相互交互打破各系统间的“桶”解读平台即服务各系统在统一的平台下开发各应用系统间的“桶”被打破各应用系统不再是各自为政而是分工协作平台即服务并没产生新的技术平台化的软件开发SOA系统整合的思路单点登录技术平台即服务带来的是一种思路站在全局的角度建设信息化系统案例：国家金税三期的业务规划国家金税三期的架构设计在互联网模式下的软件企业面向更多更广的用户群体从全市到全省，再到全国跨区域间的信息交互越来越频繁跨系统的大范围整合成为大势所趋业务范围越来越大，影响越来越深越来越多的业务依赖于互联网软件互联网软件当机对社会的影响越来越大软件承载的业务逻辑越来越复杂未来发展的趋势越来越集中地进行管理由市集中向省集中、全国集中发展建立面向全国的应用接口建立大型的数据中心集中式管理面临着大并发、大数据量的技术压力越来越迫切地呼唤系统整合以统一的服务推送给用户用户只要申请就能得到相应的服务需要将各个系统整合成一个有机体软件即服务（SaaS）在云端提供用户软件服务软件系统被搭建在了云端用户只要提出申请即可使用服务软件以组件化的形式提供给各类用户软件企业拥有更加广阔的市场用户不再有地域与类别的限制用户与应用系统的“桶”被打破就像家里的电插座一样方便就像插上插头一样简单就像使用开关按钮一样简便打破了用户与软件间的“桶”如何软件即服务建立数据中心统一化管理将各个业务系统的数据集中在一起将各个地区的数据集中在一起整合各业务系统于统一云平台将各个业务系统通过接口予以整合将各个业务系统集中部署于云平台中提供更加广阔的云服务因数据集中而引申出的数据分析与挖掘服务因系统整合而发掘出的新的产品与服务面临的难题高并发、大数据量环境下的稳定运行分布式计算非结构化数据库数据缓存与可扩展性设计数据与服务的合理划分读写分离的设计……互联网模式下的数据安全数据传输安全备份与恢复机制•解读云计算的概念与发展历程•解读云计算的概念与发展历程知识技术•国内相关的云计算应用•国内相关的云计算应用厂商•传统业务系统的云技术转型•传统业务系统的云技术转型案例OpenStackOpenStack是由Rackspace和NASA共同开发的、处于IaaS层面的云计算平台旨在为公共及私有云的建设与管理提供软件的开源项目。它的社区拥有超过130家企业及1350位开发者OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。OpenStack是处于IaaS层面的云计算开源平台CloudStackCloudStack是一个开源的具有高可用性及扩展性的、处于IaaS层面的云计算平台同时又是一个开源云计算解决方案，可以加速高伸缩性的公共和私有云的部署、管理、配置CloudStack是一个开源的云操作系统，可以通过组织和协调用户的虚拟化资源，向用户提供一个安全的多租户云计算环境可以让用户快速和方便地在现有的架构上建立自己的云服务被思杰收购，同时英特尔、阿尔卡特-朗迅、瞻博网络、博科等都已宣布支持•解读云计算的概念与发展历程•解读云计算的概念与发展历程知识•云计算的主流技术与框架•云计算的主流技术与框架技术厂商•传统业务系统的云技术转型•传统业务系统的云技术转型案例阿里云你不需要自己买服务器你不需要运维团队租住阿里云就O啦12306网上订票系统前端DNS前端页面静态化负载均衡缓存异步分区内存数据库云端弹性扩展比格达塔：云数据•解读云计算的概念与发展历程•解读云计算的概念与发展历程知识•云计算的主流技术与框架•云计算的主流技术与框架技术•国内相关的云计算应用•国内相关的云计算应用厂商案例数据集中化管理1.云基地建设2.建立数据中心3.逐步的数据迁移传统业务系统的云转型进行业务整合1.梳理现有业务2.逐步改造现有架构3.各个业务系统逐步整合4.逐步开展数据分析与BI业务传统业务系统的云转型提供云端服务1.更加个性化的云端产品2.更加网络化的产品营销3.更加集中化的运营管理传统业务系统的云转型云架构带来的开发模式的变化1.迭代式的软件开发2.自动化的软件测试3.持续的软件交付传统业务系统的云转型云计算大数据Hadoop是Apache开源软件基金会中的一个项目用于大数据存储与分布式计算可以将大规模存储与运算，运行于大规模的普通PC服务器上，提高横向扩展能力Hadoop在云计算平台中位于PaaS层Hadoop的核心由2部分组成分布式文件系统HDFS分布式运算框架MapReduceHadoop生态环境现有的架构不能自由扩展RAC节点扩容极其昂贵不能无限扩容存储空间有限不能无限扩展查询越来越慢弹性的云端架构Hadoop集群合理地任务拆分运算与存储结合Hadoop分布式文件系统Foo.txt:blk_001,blk_002,blk_003NameNodeDateNode1DateNode2DateNode4DateNode3DateNode5Foo.txtRack1Rack2MapReduce分布式计算模型软件架构设计软件系统重构辅助设计软件软件架构设计软件系统重构辅助设计软件软件，1架构，1设计，1软件，1系统，1重构，1辅助，1设计，1软件，1软件，1软件，1软件，1设计，1设计，1架构，1系统，1重构，1辅助，1架构，1系统，1重构，1辅助，1软件，3设计，2软件，3架构，1设计，2系统，1重构，1辅助，1InputSplittingMappingShufflingReducingOutputMapReduce的优势与劣势优势对数据的离线分析处理大数据文件批量数据导入可扩展性强适用场景海量数据导入离线数据分析ETL过程劣势对数据的随机查询处理大量小文件在线业务处理事务一致性差不适用场景在线业务操作随机数据查询Hive编写MapReduce的难题开发人员不熟悉MapReduce编程模式开发人员不熟悉分布式计算的设计原理设计与开发分布式计算平台很麻烦需要大量的业务数据需要分析与处理开发人员数据SQL语句解决方案提供一个开发平台可以使用SQL语句编写分布式数据分析与处理程序可以将写好的SQL语句转换成MapReduce程序Hive的部署Hbase数据库HBase是一个开源的、分布式、面向列的NoSQL数据库Apache软件基金会Hadoop项目的一部分运行于HDFS文件系统之上为Hadoop提供类似于BigTable规模的服务Hbase的特点高可靠性、高性能、面向列、可伸缩的分布式存储系统可在廉价PCServer上搭建起大规模结构化存储集群基于Hadoop平台的数据分析平台业务特点分析用户对历史数据查询的操作特点对历史数据的查询主要以统计分析为主越靠近当前的历史数据，查询内容越细越远离当前的历史数据，查询内容越粗用户对数据分析统计功能的操作特点首先查询大范围的分析统计结果（频繁）然后查询某个小范围的分析统计结果（一般）最后查询某个小范围的明细数据（偶尔为之）数据仓库时间购买者商品数量金额2014.4.25关二锅菜刀3600.002014.4.27葛二蛋童车1600.002014.5.30小明剃须刀5100.002014.5.30何洁洗发水4120.002014.6.1张三笔记本18,000.002014.6.1张三打印机12,500.002014.6.5王五小米手机26,400.002014.7.8葛二蛋鸡蛋面1040.002014.7.9小明培训费21,200.002014.7.9何洁化妆品35,000.002014.7.9王五打印纸502,500.00时间葛二蛋关二锅何洁王五小明张三总计2014.4.256006002014.4.276006002014.5.301201002202014.6.110500105002014.6.5640064002014.7.840402014.7.95000250012008700总计6406005120890013001050027060年月葛二蛋关二锅何洁王五小明张三总计2014.460060012002014.51201002202014.6640010500169002014.7405000250012008740总计6406005120890013001050027060年月金额2014.41200.002014.5220.002014.616900.002014.78740.00总计27060.00数据仓库的设计维度表事实表属性刻度Hbase解决历史数据存储与随机查询海量数据存储自建索引查询机的集群架构历史数据明细汇总数据挖掘结果历史数据随机查询Mahout数据挖掘工具稽核系统金三征管电子底账纳税风险评估税收欺诈行为预警监控指标交流时间