云时代的存储及虚拟化技术交流

宏杉科技西区总监李涛[e-mail]交流前几个小问题•有多少台服务器？存储？备份和容灾是怎么做的？•有没有以下现象：–多数服务器利用率很低，却需要经常购买新的服务器–上线一个应用要很长时间–实际业务热点与规划不符–PC维护工作量大–个人端数据涉密管理难–有应用要发布到移动设备•数据中心运营过程中最头疼的问题有哪些？•您认为服务器加硬盘做RAID和存储有什么区别？目录•宏杉科技简介•为什么要用专业存储•云时代的IT架构建设方向•虚拟化数据中心及存储相关技术•小结服务器、PC：天河一号、曙光、浪潮、联想….网络通信：华为、中兴、H3C、锐捷…存储需要自主创新：全球存储市场每年$500亿，中国存储市场每年￥100亿；是未来最大、增长最快的市场。中国当前排名前列的IBM、EMC、HP、HDS、DELL全部为国外企业，占据超过90%的市场，合资品牌和OEM产品占据8%的市场，自主厂商严重缺失；存储是决定数据安全、系统整体性能、IT系统架构的关键性产品；存储是自主创新空白，中国数据安全面临巨大风险。传输存储计算三大IT基础设施存储：？中国IT基础设施产业格局5宏杉科技的管理、研发、市场、供应链、用服团队骨干均来自原H3C公司存储产品线，是中国企业级存储产品开发经验最丰富、市场成就卓著的团队。2010年5月成立宏杉科技、总部在杭州。•H3C自2005年进入存储领域，到2009年Q4，H3C自主开发存储产品年销售收入约$50M，超越HDS、Netapp、SUN等存储业界老牌厂商，销售份额排名中国市场第五（前四名分别为：IBM、EMC、HP、DELL），国产第一。•在iSCSI存储领域，H3C开创了中国IPSAN市场，从2006年Q4H3C推出第一代存储产品后，连续三年在中国IPSAN市场排名第一(市场份额30%以上)。•在存储市场最大的中端Midrange市场中，H3C已超越DELL位居第四，国产第一。•截止到2009年12月，H3C在线运行的存储系统总和超过9000台，存储总装机容量超过70,000TB。•在把握中国需求，帮助中国用户实现共享灾备和物联网时代的监控存储2个领域结合本土需求进行创新，从技术和市场上均超越国际品牌。——数据来自IDCChinaStorageReport2009历史成绩卓越的本土专业化团队目前中国唯一具有存储软、硬件全面核心自主知识产权的全内资、专业存储厂商。产品技术自主、可控。•世界领先的硬件能力，MS5000主控板为12层设计，超4000元器件。•自主设计的底层存储架构,百万行C语言代码。•已申报18项国家专利，多项软件著作权。中央政府采购入围企业；中直机关采购入围企业。目前是SNIA（国际存储工业协会）唯一中国内资企业投票会员，是IEEE（国际电子电器工程师协会）会员，拥有专有的OUI地址段。国家十二五电子政务规划起草单位之一。国家电子政务内网方案起草和评审专家单位。专业、自主：中国唯一7MS5000MS3000MS1000ICMTCRAIDIDDC全系列硬件产品ODSP软件平台快照复制镜像IDSM存储中间件•面向云计算•面向物联网流媒体应用(广域监控)•面向共享灾备IDSM:IntelligentDataServiceManagement，智能数据服务管理自主可控ODSP:OpenDataStoragePlatform，开放式数据存储平台高性能硬件架构，高/中/低端三大系列主要研发方向MS3300高端存储中端存储低端存储MS5080MS1000•拥有国内存储企业中最完整的企业级存储产品线；•单台设备覆盖10万～数百万的产品区间；MS5020/5040单控制器最大16GB缓存最大266块硬盘CRAID0/1/10/5/6支持4个GE低功耗MS3100Intel64位处理器单、双控制器选配最大16GB缓存最大266/516块硬盘CRAID0/1/10/5/64个主机接口插槽Intel多核64位处理器双控制器最大32GB缓存最大516/1016块硬盘CRAID0/1/10/5/64个主机接口插槽IntelJasper处理器双控制器最大144GB缓存最大516/1016块硬盘CRAID0/1/10/5/64个主机接口插槽IntelJasper处理器双控制器最大288GB缓存最大516/1016块硬盘CRAID0/1/10/5/64个主机接口插槽唯一能与国外巨头抗衡的从高到低全线产品打造最适合云计算时代的数据中心存储•田忌赛马，打造最优秀的中端存储–将最先进的技术下移到用量最大的中端市场，打破国外巨头为中端存储人为制造的技术封锁•针对虚拟化设计，轻松应对云计算时代的需求–MS5000缓存容量高达288G，是国外同档次存储的5倍以上，系统内部带宽达到百G级，是国外同档次产品的2-3倍，特别适合虚拟化环境–以CELL为中心的ICMT，轻松的应对云计算时代无处不在的动态热点。–更有远程复制容灾，WSAN，SRM，CDP等方案保障虚拟化数据中心的数据安全和业务连续。研发级现场服务，让用户高枕无忧•存储有其特殊性，对服务的要求比其他硬件都高–存储目前是IT领域标准化和兼容性最差的产品。–相比网络设备等硬件，存储跟上层服务器、操作系统、数据库等结合紧密，疑难杂症出现的概率相比其他硬件产品要高。–国外厂商不可能派“大鼻子”研发到国内提供现场服务，远程登录导致的泄密屡见不鲜。•宏杉与其他国内品牌不同宏杉其他品牌软件系统、核心电路板自主研发，技术上自主、可控OEM国外产品，或者软件、硬件部分OEM来自国外厂商，技术上不可控委托富士康、飞旭制造，高品质为了降低成本自己攒产品，质量差研发级现场服务，有任何问题都可以快速解决掌握不了核心技术，疑难杂症老外不来，只能“拖”和“躲”CRAID5组Cell1Cell2Cell3重建CRAID:20年来RAID技术最重要的创新90%的存储故障与硬盘相关CRAID5在多块磁盘发生介质错误时，保证数据不丢失！大幅度改进RAID算法，将RAID重建时间减少85%！保留Cell重建整盘重建拷贝面向本土客户需求的快速创新能力WSAN:唯一规模应用的、适合国情的“灾备云”方案站点1…站点2站点nWAN中心站点灵活的实现多点到一点灾备组网。有40-50用户共享统一灾备中心的历史案例。灵活的数据同步技术，各分支机构的应用系统相互独立，互不干扰。国家级部委国家级电子政务内网国家水利部国家计生委国家住建部国家民政部东区浙江省建设厅浙江省公安厅浙江省计生委委浙江省监狱管理局浙江省经济信息中心浙江省台州档案局浙江省余姚城建档案馆浙江省海盐档案馆浙能温州电厂乔司监狱容灾备份12吴兴农村合作银行杭州市交通警察支队南昌铁路中院数字法庭南区广州荔湾区政府广州省高速公路管理局广东外语艺术职业学院广东省高速公路公司广东外语艺术职业学院广东药学院附属第二医院中山市公安局南头分局南宁市交警支队存储项目西区中国兵器工业集团公司中石油长庆油田采气五厂中钢集团西安重机有限公司甘肃省陇南市地震局咸阳师范学院中国人民解放军边防学院中国兵器工业第203研究所西安市碑林区政府云南省运输管理局某军区三甲医院HIS系统文山州财政保山市财政文山市公共卫生信息管理曲靖供电公司云南艺术学院新校区北区中国航天科工集团信息研究院用友软件集团公司私有云IT黑龙江检察院信息查询系统赤峰电力SG186济南锅炉集团宏杉新产品各行业典型案例目录•宏杉科技简介•为什么要用专业存储•云时代的IT架构建设方向•虚拟化数据中心及存储相关技术•小结为什么需要专业存储？•1、容量？–有多少用户的业务数据超过2T？–为服务器增加硬盘数量即可解决–服务器外挂JBOD（盘柜）•2、性能？–数量众多的服务器使用率在10%以下–服务器内多块硬盘通过RAID卡做RAID也提升性能（RAID卡诞生的原因：通过多个廉价磁盘实现更大容量、更快性能和坏盘容错）某品牌JBOD某品牌服务器RAID卡•3、设备共享，提升利用率？•4、数据共享？–文件服务器就可以做–NAS的本质就是文件服务器，所谓NAS机头都是服务器，或者把NAS服务器虚拟化到存储控制器中为什么需要专业存储？如果只因为以上这4点原因，绝大多数用户都只需要服务器为什么需要专业存储？•数据能丢吗?–“我在服务器内部也可以做RAID，数据一样不会丢。”–真是这样的吗？•业务能停吗？双机高可用（HA）-盘阵诞生，大量应用–服务器厂商高兴了，可以卖更多的服务器，顺便也卖点盘阵–盘阵对服务器厂商来说是附属，从来没有花太多精力：OEM–低端盘阵的产品形态：面向单一业务，小缓存，性能低，数据管理功能几乎没有或不可用服务器与专业存储有啥区别？——看硬件（控制器）17有的厂商把能装很多硬盘的服务器做成存储服务器当存储卖，能买吗？存储服务器/存储服务器/服务器存储存储服务器服务器和专业存储有啥区别？—看系统架构SATADiskSASDiskSSDDiskDDRIII内存DDRIII内存...Jasper多核处理器SAS控制器SASExpanderPCIex840GbSASx424Gb南桥管理GE口串口指示灯按键SAS接口SAS接口SASx424Gb存储控制器RAID引擎DMI9根256Gb1GbiSCSI10GbiSCSI10GbFCoE8GbFCIO模块(IOH)QPIIOSlotIOSlotPCIex840Gb100Gb主机通道DDRIII内存DDRIII内存...Jasper多核处理器SAS控制器SASExpanderPCIex840GbSASx424Gb南桥管理GE口串口指示灯按键SAS接口SAS接口SASx424Gb存储控制器RAID引擎DMI9根256Gb1GbiSCSI10GbiSCSI10GbFCoE8GbFCIO模块(IOH)QPIIOSlotIOSlotPCIex840Gb100Gb主机通道PCIex840Gb缓存镜像服务器和专业存储有啥区别？——看数据管理19前端总线后端总线读缓存写缓存前端总线后端总线磁盘CPUCPUCPUCPU读缓存写缓存镜像通道主机接口主机接口磁盘接口磁盘接口数据流数据管理涉及很多方面，在此仅以数据写入流向为案例进行分析前端总线后端总线内存磁盘CPUCPU主机接口磁盘接口数据流服务器存储全面看待服务器和专业存储的区别服务器（含服务器存储/存储服务器）专业外置存储硬件架构本质与PC类似，是一套单机系统，故障单点多。CPU，主板，内存，RAID卡，缓存等任何单一部件故障都可能引起数据丢失和业务宕机本质上是一套完全冗余的、面向容错的双机系统。硬件构成：2套高端服务器做控制器+硬件全冗余的盘阵+负责双机之间内存镜像和内存掉电保护的专业系统。任何单一部件故障都不会引起数据丢失和业务宕机。内嵌操作系统本质是一套单机操作系统。类似一套Linuxserver本质是2套操作系统，增加双活机制，再增加缓存镜像和掉电保护机制。类似2套Linuxserver+双机HA软件+专业的双机缓存镜像和缓存掉电保护软件。支持的数据管理功能单纯的计算、存取功能面向“万无一失”的、强大的数据管理功能：写缓存镜像缓存掉电保护快照同步、异步复制/镜像自动数据迁移/分层自动精简配置……为什么需要专业存储？•大集中、虚拟化、云计算、物联网……•应用数量和数据量迅速膨胀，数据中心走向大型化；•存储从原来的前端只需接1-2台单任务服务器变成需要接入众多的物理或虚拟服务器、虚拟终端，众多高IO和高带宽应用混合，缓存、带宽、性能急需上台阶•虚拟化环境下的漂移和HA等高级功能要求将原来装在服务器端的操作系统和数据完全虚化后转移到存储中，服务器端只承担简单的计算功能，存储成为整个IT系统性能、弹性、数据保护、业务连续的核心•存储还需要支持众多的数据管理和保护功能：快照、镜像、远程容灾、自动精简配置、自动数据迁移等，更对缓存和性能提出新的要