东湖存储的理念和研发策略11

东湖存储的理念和研发策略ThethoughtfordatastorageandtheR&DstrategyofEastLake谢长生ChangshengXieCTO,EastlakeStorageCo.ltd.Prof.AndDirectorStateKeyLaboratoryofDataStorageSystemHuazhongUniversityofScienceandTechnology东湖存储技术有限公司技术总监华中科技大学信息存储系统国家专业实验室暨教育部重点实验室主任深圳伟大的历史性转移和数据爆炸Greathistorictransferanddataexplosion具有历史意义的现象:数字化大转移世纪之交的信息技术大转移：数字化大转移时间：世纪之交前后50年50年前开始，50年后成熟，信息领域数字技术一统天下目前正是转移的高峰期：数字控制、数字录音、数据通讯（目前主干，即将用户）、数字计算、数字电视、数字广播、数字相机、数字摄像、数字城市、数字流域、数字地球……...数字化生存50年后，不是数字的信息产品很难见到（成熟原因：数字具有特别强大的信息表达能力！“数字”是人类至今为止找到的最佳信息媒介！(终于找到了！）数字的神奇力量thepowerofdata可与各种信息形式进行转化（人能接受的信息：文字、声音、图形、图像、视频；触觉？嗅觉？味觉？；机器能接受的信息：电流、电压等）可表达人的思想、办法、事物的规律（程序的巨大能力）可以单一的形式进行处理、传输、存储，是唯一可以承担三种信息任务的媒介理论基础：图灵机希尔伯特问：存不存在一个解决所有数学问题的一般算法？图灵答道：有！图灵理论的俗解：如果不考虑时间，只要按某种规律对bit进行处理、传输、存储三种简单操作，就能在理论上解决任何数学计算问题！这个理论指明了bit的强大功能，也包含了计算机的设计思想数字的力量到底有多大？后图灵理论（推论）只要对bit进行处理、传输、存储，就能解决一切信息问题！只要处理和传输的速度足够快，存储的容量足够大，一切信息问题都能解决！（存在着这样的可能性）一种新科学美美国科学家StephenWolfram2002年出版了一部科学巨著:ANewKindofScience传统的科学建立在数学基础上新的科学建立在计算机程序上数学只能表达相对简单的科学规律，不能描述复杂现象：生物世界，湍流，社会，思维，经济，股票M新科学的要点：宇宙的一切规律都可以由简单的程序经过反复计算而得到!可能揭示了前所未知的科学本质!数字的潜力还没有被充分认识!信息科学给予我们的终极信念数字化信息世界一定能实现！数字信息技术的总轮廓第一步：现实域－－数字域第二步：数字域三种简单的操作处理（计算），传输，存储第三步：数字域－－现实域软硬件新论硬件新定义硬件：对数字操作的机器系统不论多么复杂的硬件系统，基本原理极为简单即:操作数字!数字硬件：对数字进行处理、传输、和存储的硬件转换硬件：将各种形式的信息转换为数字信息，或者将数字信息转换为各种形式的硬件（图像、声音、文字输入输出设备，目前重要的设备是显示器）数字技术的三分天下处理：CPU,DSP,ASIC,FPGA,Gate传输：总线(CPU内部、系统总线,I/O总线),网络（机器内部网，LAN，WAN，INTERNET,无线网）存储：RAM，ROM，FLASH，硬盘，光盘，存储系统（RAID，NAS，SAN）软件新定义（可运行的）思想和内容的数字化思想：算法、规律、办法------程序表达内容：图形、图像、数据、声音、文字等归结为程序和数据软件的核心:算法(一个好的算法可以代替大量的硬件:FFT,MPEG,王选)所有的硬件都是相似的，软件则各有各的不同各种硬件在数字域都有相同或相似的内脏（只有三个部分：处理、传输、存储）今后的各种信息工具和设备外部虽然千变万化，内部都是一样的（统一性）软件是思想和内容的数字化，各个领域都有自己的软件，所以是各不相同的真正的价值体现在软件，存储也是如此当前硬件的发展规律硬件发展的6个规律1．Moore定律：微处理器内晶体管数每十八个月翻一番；2．Bell定律：如果保持计算能力不变，微处理器的价格每十八个月减少一半；3．Gilder定律：未来25年（1996年与预言）里，主干网的带宽将每6个月增加一倍；4．Metcalfe定律：网络价值同网络用户数的平方成正比。5.半导体存储器发展规律：DRAM的密度每年增加60%，每三年翻四倍。6。硬盘存储技术发展规律：硬盘的密度每年增加约一倍后PC时代的计算--普适计算PervasiveComputing后PC时代计算机发展的特点：1.无所不在的含有智能的小装置；2.支持服务的后台服务器和巨型计算机无所不在的信息终端对应于后PC时代两极分化的存储移动存储—瓶装水的比喻网络海量存储----自来水的比喻，水库数据存储技术的技术发展新摩尔定律(容量)存储系统是可靠性\可用性要求最高的部分(安全)最需加强的性能瓶颈(性能)技术发展的总体思路新的技术与发展方向新摩尔定理从现在起，每18个月,新增的存储量等于有史以来存储量之和!———1998年图灵奖获得者JimGrayWirelessOnlineVideoE-CommerceCustomerMgmt.DATADataAnalysisEnterpriseApplicationsClient/Server70’s80’s90’s00’s10’sBasicAccountingExplosioninDataVolumes数据信息爆炸式增长第一爆发点：单机多媒体第二爆发点：Internet第三爆发点:宽带第四爆发点：空间影像和虚拟现实普遍应用空间影像另一种模式：不断的增长即使处理、传输能力固定不变，随着数据不断产生，存储能力也需要动态单调地增加。（水泵、水管、水桶的比喻）处理和传输速度越高，容量的增加的梯度就越高，这就是存储系统的不断扩展特性。结论：无限的容量需求和动态扩展需求数据物理安全：存储最重要处理部件、传输部件损坏：损失有限，更换可恢复存储部件损坏：数据丢失！巨大的损失！两个亲身经历的例子：同济医院信息系统，广东石龙医院火灾建筑行业安全系数，80%的信息系统没有安全系数数据是最宝贵的财富对很多领域，数据是比硬件设备宝贵得多的资源:银行、电信、保险、电子商务、网站、企业信息………信息安全（数据备份，灾难恢复）三种级别的可用性1.数据不丢失（最起码的要求）2.系统不停机（7×24服务的保障）3.性能不下降（优质服务的保障）基本技术：冗余、备份性能：瓶颈的转移应用的转移CPU瓶颈70年代90年代网络瓶颈80年代内存瓶颈00年代海量存储瓶颈共享处理机共享存储器里的数据Makethecommoncasefast!网站的存储：几十万用户同时点击到一个站点去获得海量存储系统中的信息。变为worldwidewait信息存储系统的技术发展思路（处理与存储的对比）单处理器---多处理器---多计算机----网格硬盘-------阵列-------存储网-----数据网格由软件和硬件共同实现单个硬盘的技术进展的进展硬盘是最重要的大容量存储设备，50年代由IBM发明以来容量增加了10，000倍，到目前为止，还没有找到能与之竞争的对手最近的密度超过100Gb/in2，主要技术：超低飞行磁头10nm，加钌超稳定介质，光磁混合纪录，垂直磁记录硬盘的进展-密、快、小、廉微硬盘Microdrive应用领域移动计算数码相机、数码摄像机磁盘阵列（多个硬盘）容量、速度、可用性网络存储的核心设备—磁盘阵列（RAID)高性能服务器的必须配置，高可用性是构成更大规模网络存储的基本单元市场量巨大高\中端:由世界著名品牌垄断低端:由台湾品牌占领我国目前没有自己核心技术的产品东湖存储开发出第一个具有商业价值的磁盘阵列核心控制器软件StorageAreaNetworks（SAN）存域网结构图系统结构必须和软件相配合存储虚拟化软件（单一逻辑映像）存储资源管理软件（容量、级别，性能）存储备份、数据迁移软件东湖存储的研发策略背景:IT业的三次浪潮:第一次:PC浪潮世界出了Intel,Microsoft,Compaq,Dell中国出了联想\浪潮…第二次:网络浪潮世界出了Cisco,3COM中国出了华为\中兴…第三次:存储浪潮世界出了EMC,Veritas…中国:谁能抓住这次机会?为什么要自己研发?网络领域的启示巨大的存储市场,完全由境外品牌和技术占领,与十多年前大型程控交换机领域八国联军的情况十分类似十多年前,谁相信国产大型程控交换机当年代理国外大型程控交换机的公司如今全部消亡研发自己产品的产品已成为世界级的公司为什么要自己研发?快速增长的巨大市场,要有民族品牌参与数据是最宝贵的财富和资源,国家安全的要求带来自主技术的机会用户的多种特定要求,定制系统创新技术开拓新的市场，走出国门目前已研发成功的产品1.DCD(DiskCachingDisk)存储系统加速卡独创技术2.磁盘阵列核心控制器,市场量最大的存储产品,价值最高的部分:核心控制器软件3.虚拟光盘库:光盘资源网络化两类资源:网上资源,光盘资源(中国极为丰富)，技术领先，已打入美国市场正在研发和计划研发的产品HA高可用性存储软件网络数据备份软件iSCSI存储系超大容量廉价硬盘视频备份系统国家存储专业实验室的前沿技术储备统一存储网（统一SAN和NAS)进化存储系统全局文件系统存储虚拟化软件存储产业是IT业新近的利润增长点PC热--网络热--存储热，IT业的第三次热潮和淘金机会IT设施的７５％投资花在存储系统上IT业存储股票上升趋势斜率最大企业级和超级海量存储系统也是一个国家科技实力的表现我国能研制和生产万亿次超级计算机我国能研制和生产万兆交换机和路由器就是没有企业级的大容量存储系统，市场完全由国外产品占领巨大的、急剧增长市场，我国应该有自己的存储核心技术和具有自主知识产权的产品东湖存储的研发团队由国际国内知名专家领衔担纲三个研发中心:美国\武汉\深圳30余名博士和硕士的研发团队20余年的研发经验积累市场为导向的研发规范的研发管理结论数字是人类找到的最佳信息媒介数字技术中,处理\传输\存储三分天下存储是继PC\网络之后,IT业新的一次淘金机会在存储领域,我国应该并且有能力发展有自己知识产权的产品东湖存储致力于发展具有自主知识产权的存储软硬件产品,在IT新的一轮浪潮中建功立业,创造辉煌!谢谢！