云存储与云服务关键技术

PartTwo:云存储与云服务关键技术云存储概念云存储结构IaaS服务、PaaS服务、SaaS服务云存储概念——什么是云存储云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云计算系统可以认为是以数据处理、数据运算为中心的系统。在云计算系统中配置相应的存储设备，那么该计算系统就转变成为一个云存储系统。云存储概念——什么是云存储云存储概念——云存储与传统存储的不同(1)功能需求云存储系统面向多种类型的网络在线存储服务传统存储系统则面向如高性能计算、事务处理等应用(2)性能需求数据的安全性、可靠性、效率等技术挑战；(3)数据管理云存储系统不仅要提供传统文件访问，还要能够支持海量数据管理并提供公共服务支撑功能，以方便云存储系统后台数据的维护。云存储概念——云存储与云计算的不同云计算是卖计算，类似国家那几个大的计算中心，给我数据，我给你结果，云计算与大计算中心计算我推断会更灵活更具扩展性，成本也会低而且更大众化。云存储现阶段是卖存储空间，就类似卖web空间，只不过云存储卖的是一个LUN或者一个基于NAS协议的vol，加之更多的服务细节比如带宽，速度，io属性，是否常驻cache等，反正能卖钱的全拿出来卖。云存储概念——云存储与云计算的架构模型对比云存储概念——云存储的功能(1)随着容量增长，线性地扩展性能和存取速度。(2)将数据存储按需迁移到分布式的物理站点。(3)确保数据存储的高度适配性和自我修复能力，可以保存多年之久。(4)确保多租户环境下的私密性和安全性。(5)允许用户基于策略和服务模式按需扩展性能和容量。(6)改变了存储购买模式，只收取实际使用的存储费用，而非按照所有的存储系统，包含未使用的存储容量，来收取费用。(7)结束颠覆式的技术升级和数据迁移工作。[云存储概念——云存储的优点更容易扩容(包括带宽)更易于管理成本更低廉数据更安全，服务不中断云存储概念——云存储的隐性成本向云存储上迁移数据•数据量大小•元数据的功能•操作次数提前预估云存储的费用完善的数据迁移计划（病毒扫描、索引服务以及备份软件）云存储概念——云存储的种类云存储分成两类：块存储(BlockStorage)与文件(FileStorage)。BlockStorage：单笔的数据写到不同的硬盘，得到较大的单笔读写带宽.优点：对单笔数据读写很快，缺点：成本较高，无法解决真正海量文件的储存，像EqualLogic3PAR的产品属于这一类。适合应用？1、快速更改的单一文件系统:包括数据库、共用的电子表单，在这些例子中，好几个人共享一个文件，文件经常性地、频繁的更改。为了达到这样的目的，系统必须具备很大的内存、很快的硬盘及快照等功能，市场上有很多这样的产品可以选择。2、针对单一文件大量写的高性能计算（HPC）某些高性能计算有成千上百个使用端，同时读写单一个文件，为了提高读写效能，这些文件被分布到很多个节点，这些节点需要紧密地协作，才能保证数据的完整性，这些应用由集群软件负责处理复杂的数据传输。例如石油探勘及财务数据模拟。云存储概念——云存储的种类FileStorage是基于文件级别的存储，把一个文件放在一个硬盘上，即使文件太大需要拆分时，也放在同一个硬盘上。优点：是对一个多文件、多人使用的系统，总带宽可以随着存储节点的增加而扩展，它的架构可以无限制的扩容，并且成本低廉；缺点：是对单一文件的读写会受到单一硬盘效能的限制，代表的厂商如Parascale。适合应用？1．文件较大，总读取带宽要求较高—例如网站、IPTV2．多个文件同时写入–例如监控3．长时间存放的文件–例如文件备份、存放或搜寻云存储能提供什么样的服务取决于云存储架构的应用接口层中内嵌了什么类型的应用软件和服务。云存储服务可以分为：1、个人级应用（1）网络磁盘（网盘）（2）在线文档编辑（3）在线的网络游戏2、企业级应用（1）企业空间租赁服务（2）企业级远程数据备份和容灾（3）视频监控系统云存储概念——云存储的应用云存储结构——云存储的架构云存储是一种架构，而不是一种服务。架构方法分为两类：一种是通过服务来架构;另一种是通过软件或硬件设备来架构。紧耦合对称(TCS)架构构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进，需要一定程度的技术经验才能安装和使用。云存储结构——云存储的架构松弛耦合非对称(LCA)架构LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处，允许进行新层次的扩展：●存储节点可以将重点放在提供读写服务的要求上，而不需要来自网络节点的确认信息。●节点可以利用不同的商品硬件CPU和存储配置，而且仍然在云存储中发挥作用。●用户可以通过利用硬件性能或虚拟化实例来调整云存储。●消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要，如光纤通道或infiniband，从而进一步降低成本。●异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储，同时还能提供永久的数据可用性。●拥有集中元数据意味着，存储节点可以旋转地进行深层次应用程序归档，而且在控制节点上，元数据经常都是可用的。云存储结构——云存储的应用领域备份归档分配共享协作云存储的应用领域公共云、私有云与混合云的对比云服务概述云服务的商业模式是通过繁殖大量创业公司提供丰富的个性化产品，以满足市场上日益膨胀的个性化需求。其繁殖方式是为创业公司提供资金、推广、支付、物流、客服一整套服务，把自己的运营能力像水和电一样让外部随需使用。这种服务类型是将网络中的各种资源调动起来，为用户服务，是未来的主流。例如，苹果在WWDC2011上，正式发布了iCloud云服务，微软的云服务平台——WindowsAzure云服务优缺点云服务的优点•规模经济•成本相对较低•通过中央位置管理，更方便•升级一个云应用更方便KVM的缺点•安全性令人怀疑•云计算宿主离线所导致的事件云服务的类型整个云计算服务集合被划分成4个层次，即应用层、平台层、基础设施层和虚拟化层。这四个层次每一层都对应一个子服务集合，如图：云服务的类型应用层对应SaaS软件即服务如：GoogleAPPS、SoftWare+Services；平台层对应PaaS平台即服务如：IBMITFactory、GoogleAPPEngine、Force.com；基础设施层对应IaaS基础设施即服务如：AmazoEC2、IBMBlueCloud、SunGrid；虚拟化层对应硬件即服务结合PaaS提供硬件服务，包括服务器集群及硬件检测等服务。因此，云计算按照服务类型大致分为三类：IaaS、PaaS和SaaS。云计算的三个服务模式IaaS、PaaS、SaaS1、IaaS(Infrastructure-as-a-Service)IaaS(Infrastructure-as-a-Service)：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。2、PaaS(Platform-as-a-Service)PaaS(Platform-as-a-Service)：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。3、SaaS(Software-as-a-Service)SaaS(Software-as-a-Service)：软件即服务。它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。相对于传统的软件，SaaS解决方案有明显的优势，包括较低的前期成本，便于维护，快速展开使用等。基础设施服务-IaaS，InfrastructureasaServices存储服务网络服务虚拟机服务软件服务-SaaS，SoftwareasaService办公应用信息化应用通讯应用互联网应用平台服务-PaaS,PlatformasaService开发环境运行环境（Lib）身份认证云计算对外提供的服务包括三种类型：IaaS、PaaS和SaaS云计算的三个服务模式IaaS、PaaS、SaaS大规模分布式物理资源SaaS：通过网络向最终用户提供软件应用服务。SaaS能降低企业信息化成本，提高企业信息化水平，为用户提供一站式服务。PaaS：通过网络向用户提供可定制，可开发的平台服务。例如应用开发环境、数据库服务、电信能力开放等。IaaS：通过网络为用户提供IT基础设施服务。包括计算存储和网络资源出租、以及灾备、负载均衡、网络加速、综合信息等服务。28IaaSIaaS:提供给消费者的服务是对所有设施的利用，包括处理、存储、网络和其它基本的计算资源，用户能够部署和运行任意软件，包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施，但能控制操作系统的选择、储存空间、部署的应用，也有可能获得有限制的网络组件(例如，防火墙，负载均衡器等)的控制。29IaaS最具代表性的IaaS产品:①AmazonEC2②IBMBlueCloud③CiscoUCS④Joyent30IaaS核心技术——服务器虚拟化概述虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术，其将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中虚拟化通过其管理软件将多个物理设备纳入统一的资源池进行管理，从而增强物理设备和物理设备之间的耦合性。传统计算系统计算模式虚拟化计算系统计算模式•软件必须与硬件相结合•每台机器上只有一个系统运行•操作系统只能管理本地服务器•软件相对于硬件独立•每台机器上可以有多个系统运行•虚拟化管理软件能管理多台服务器虚拟硬件资源池31IaaS核心技术——服务器虚拟化概述服务器虚拟化带来的意义：32IaaSIaaS其他常用技术:①分布式存储。为了承载海量数据，同时也要保证这些数据的可管理性，需要一整套分布式存储系统。Google的GFS是典范之作。②关系型数据库。基本上是在原有关系型数据库的基础上做了扩展和管理等方面的优化，使其在云中更适应。③NoSQL。为了满足一些关系数据库所无法达到的目标，如支持海量数据等，一些公司特地设计一批不是基于关系数据库的数据库，如Google的BigTable和Facebook的Cassandra等。33SaaSSaaS：提供给客户的服务是运营商运行在云计算基础设施上的应用程序，用户可以在各种设备上通过瘦客户端界面访问，如浏览器。消费者不需要管理或控制任何云计算基础设施，包括网络、服务器、操作系统、存储等等。34SaaS最具代表性的SaaS产品:①GoogleApps②SalesforceCRM③OfficeWebApps④Zoho35SaaSSaaS优势:①使用简单。在任何时候或任何地点，只要接上网络，用户就能访问这个SaaS服务，而且无需安装、升级、维护。②支持公开协议。现有的SaaS服务在公开协议（如HTML4、HTML5）的支持方面做得很好，用户只需一个浏览器就能使用和访问SaaS应用。③安全保障。SaaS供应商需要提供一定的安全机制，不仅要使存储在云端的用户数据绝对安全，也要通过一定的安全机制来确保与用户之间的通信安全。④初始成本低。使用SaaS服务时，不仅需要在使用前购买昂贵的许可证，而