面向复杂应用环境的数据存储系统理论与技术基础研究

项目名称：面向复杂应用环境的数据存储系统理论与技术基础研究首席科学家：冯丹华中科技大学起止年限：2011.1至2015.8依托部门：教育部二、预期目标3.1总体目标本项目的总体目标是针对异构和并发服务的大规模数据存储面临的高效性、安全性、可靠性、低能耗等理论和实践挑战，围绕面向复杂应用环境的数据存储系统中的关键科学问题开展研究；研究面向服务的异构融合存储体系结构和存储服务支撑架构，研究自组织的动态数据对象管理和资源共享方法、存储服务QoS和效用评价方法，并进行大规模的试验和验证，最终建立面向复杂应用环境的数据存储系统理论与技术基础；坚持自主创新，形成一批有自主知识产权的国际标准和专利，逐步建立适应未来存储服务发展趋势的存储体系结构和方法的理论体系，使我国进入本领域的前沿科学技术先进行列；为我国大规模存储系统及其按需服务的技术创新提供基础理论支持，为未来国家信息化发展做出贡献。3.2五年预期目标本项目的五年预期目标如下。（1）研究面向复杂应用环境的大规模数据存储系统理论和方法，力争在面向服务的异构融合存储体系结构的基本组成、工作原理和实现机制的总体研究上取得新突破。研究存储服务支撑架构，力争在服务需求表达、服务自动适配、服务质量保障机制和效用评价方面取得突破，形成泛在存储按需服务的基本理论。（2）在面向复杂应用环境下的存储系统高效性、安全性、可靠性和低能耗四个方面取得理论、方法和关键技术的突破，并在实验系统上进行验证，获得对实际具有指导价值的成果，形成能反映安全、节能等需求的高效能价格比的面向服务的异构融合存储系统。（3）积极参与国际合作和国际标准制定，争取在存储服务方面关于数据服务需求描述、资源对象化方面等成果成为存储领域国际标准。（4）培养和建立一支学术水平高、创新能力强的学术研究队伍，使我国在该领域的研究进入国际先进行列，为未来国家需求的大规模存储系统组建和服务部署做出实质性的贡献。3.3考核指标五年内将提出以下几项标志性成果作为考核的指标。（1）融合存储体系结构和服务架构建立复杂应用环境下融合存储体系结构理论；建立需求表达与特征抽取模型，建立服务适配与按需服务模型；建立网络数据存取复杂性理论；提出一种大规模并发存储服务的支撑架构并建立服务评价模型；提出一类存储智能化方法，包括大规模异构存储系统中多层面信息的发现、感知和融合，以及基于感知的存储部件的自治、协作方法。设计并完成一种基于新型存储器件（如Flash/PCRAM）且支持自治的存储控制器，验证相应的理论和方法；建立面向服务的高效智能化存储体系。（2）海量数据组织与资源共享在海量数据组织方面，提出可适应复杂环境下不同应用的自组织、动态数据对象定义和描述方法；多层次多粒度的可信数据对象安全参考模型及验证方法；提出异构环境下的动态数据对象的自组织方法；实现自组织的动态数据对象统一发现、查询、检索、定位和加载的算法；起草统一的动态数据对象管理与访问接口标准规范；在资源共享方面，实现按需服务的存储虚拟化算法、实现数据共享、存储资源共享。（3）高效能存储系统组建方法重点研究支持节能与安全的高效智能化存储系统组件方法，以及大规模存储系统性能优化技术；提出数据高效、安全、可靠存储的保障技术；建立能定量化评价存储设备属性、数据集特性和存储服务质量三方面的协同竞争评价模型。建立存储系统能耗测试基准程序集；建立具有自调节特性的能耗调度机制。组建原型系统：支持多种异构器件、设备和系统；统一管理，支持多应用多用户，提供按需服务；针对典型负载优化操作数/千焦的性能能耗比，能效指标达到：对于单个存储节点，能耗指标达到1.2MB/焦耳以上。（4）存储服务关键支撑技术提出一种可高效支撑多类型存储服务的文件系统。该文件系统具有数据对象和存储资源对象动态组织能力，支持对不同典型应用进行存储服务优化，支持存储服务的资源共享、有效区隔以及存储服务质量保障。（5）混合云存储服务研究云存储服务，提出开放服务环境下的存储安全、存储服务质量保障机制和方法。重点关注云存储服务外延空间亟待解决的问题，提出面向云存储服务质量优化的新的用户协作机制，及协作有效性的评估方法。（6）面向数字城市的实时跨媒体信息存储与公众服务建立充分反映异构融合和泛在服务理论与技术的原型系统，系统的规模为128个节点以上，最大聚合带宽达到100GB/s，融合多种异构的存储设备和存储子系统，包括相变存储、闪存等非易失存储器件与传统磁盘融合构成的智能存储节点等，实现高效能、低能耗，提供不同服务接口。在此原型系统上，通过应用示范“面向数字城市的实时跨媒体存储与公众服务系统”，集成和显示项目的研究成果。针对数字城市系统的信息存储与服务的需求，通过大型城市（如武汉市）规模的海量的多源异构空间数据的存储和管理来实验和验证异构融合存储服务体系架构；支持WEB、文本、高清图片、流媒体、实时视频等不同类型数据的融合存储，支持大规模动态并发访问的跨媒体信息共享和泛在服务，提升当前数字城市的服务能力，并为面向未来的智慧城市系统提供存储服务技术支持。提出并获批准的10~20项发明专利和20项软件著作权，发表高质量论文（国际检索）100篇以上，专著1～2部，培养博士60名，提出国际标准（或协议）1～2份，提出可开发和转化的产品、技术5～10种。三、研究方案本项目针对复杂应用环境下存储按需服务的需求，研究支持异构和并发服务的大规模数据存储体系结构和核心技术。以建立“异构融合存储体系理论”为核心，改造现有的存储体系，适应泛在的按需存储服务需求。采用“服务适配模型”实现系统对复杂应用环境的适应。用建立的融合存储理论、服务支撑架构及关键技术实施面向服务的高效能存储系统。由于数据存储规模庞大，系统异质异构，而且运行在复杂的应用环境中，并要支持异构和并发的服务，研究目标是高水平且很具挑战性的。4.1学术思路存储系统发展至目前阶段，其数据访问模式仍然沿用着缺少交互、被动管控的主从模式，其内部组织基本依赖于传统的分层体系结构。主从数据访问模式灵活性不足，当应用需求发生变化时，存储系统难以作出相应调整。分层体系结构在一定程度上考虑到了构成系统的多种资源特性，包括成本、速度、容量这三个要素，但多种新型存储介质的出现则带来了更多未被这种体系涵盖的内容，比如数据易失性、可靠性、能耗等方面。基于“异构存储融合理论”不仅能够实现支持节能和安全的智能化存储体系，为高效性、安全性、可靠性、低能耗研究奠定基础，而且可以针对在异构和并发服务中多样化的存储需求，更好地发挥多种存储介质的优势，实现自适应服务适配及按需服务。研究自组织的动态数据对象管理和资源共享方法，为提升存储系统在复杂应用环境中的适应性提供支持，研究存储服务QoS、效用评价方法、以及多目标优化理论，为按需服务提供依据，从融合存储和泛在服务两个层面展开研究。按照这个思路，可以在存储系统的层面上配合存储介质上的进展，以新的异构存储融合体系丰富传统的分层体系结构，针对存储服务化趋势，用“服务支撑架构”满足国家对大规模存储系统及服务的需求。我们将按照上述学术思路，解决面向复杂应用环境的数据存储系统理论与技术问题。4.2技术途径本着追求原理上创新和方法上创新的原则，进行存储理论和核心技术的研究。跟踪国际新动向，实现跟踪、消化、再创新。用理论研究指导实践工作，以实践结果进一步检验、修正和丰富理论。围绕面向复杂应用环境的数据存储系统面临的关键科学问题进行研究，重点突破核心技术，在核心技术研究的基础上提高存储智能性和构建面向服务的异构融合存储系统，并用“数字城市”系统作为应用示范，验证其正确性和有效性。实施过程中从理论、核心技术、和示范应用系统三个层面进行创新。（1）系统的理论研究。本项目以复杂应用环境下支持异构和并发服务的大规模数据存储面临的高效性、安全性、可靠性、低能耗等需求为出发点，充分考虑现有存储系统种类繁多的现况，研究异构融合存储系统理论，研究存储服务架构、QoS和效用评价方法；研究高效能存储系统构建方法；研究自组织的动态数据对象管理和资源共享方法；研究混合云存储模式及云存储外延服务，为解决面向复杂应用环境的数据存储系统提供理论基础。（2）构造存储感知和提供定制服务的核心技术研究。其一是研究存储感知的途径和方法、存储感知的内容以及基于感知的存储智能化方法等。其二是结合存储服务质量保证，建立对存储数据和存储空间统一评价的代价模型指导存储资源分配，建立存储安全代价模型指导存储安全部署，研究规则管理方法，在上述基础上提供定制服务。研究自适应存储优化策略融合和优化调度。系统能够具有多种存储优化机制，可以根据当前的需要改变正在执行的优化策略。系统的优化策略和数据集热点的变化都会导致数据的重新布局，在全局实现数据优化调度。关注数据重新布局本身和优化重新布局的触发机制、目的位置的选择等一系列问题。（3）研究用户需求提取、表达、传递和自适应的服务适配方法。借鉴SNIA云数据管理接口标准中关于元数据的描述机制，扩展服务质量需求、应用需求方面的形式化、规范化描述，如访问带宽、响应时间、应用程序上下文环境等，建立描述接口；在存储感知的技术支持下，根据典型应用的数据访问行为规律，研究自动化的应用需求分析和提取方法，并适应用户需求动态变化的特点；在我们前一期973项目中提出的基于主动服务的存储对象基础上，进一步丰富对象的属性和方法，用作载体传递用户需求；最后，建立多目标优化理论，研究服务需求与存储资源的自适应适配方法，实现按需服务。（4）研究高效能存储系统组建方法。结合动态数据组合管理和多级异构存储融合机制，通过提取异构服务需求和负载特征，综合大规模数据存储高效性、安全性、可靠性、低能耗等全局多目标，以应用服务质量为导向，通过数据在存储系统内的自组织高效分布和重组，建立面向服务且支持节能和安全的高效智能化存储体系。研究协同竞争评价模型和实现机制。建立协同竞争评价模型，对存储系统协同竞争机制的理论体系、建模方法和具体应用等方面进行系统深入的研究，深入挖掘协同竞争机制。研究协同竞争存储系统的组织结构，提出协同竞争评价模型的体系架构和仿真模型，建立了资源分配体系；同时，根据评价体系中所检测的属性指标进行分析，形成一个高可维护性的、高可用的、高性能的协同存储系统。（5）研究解决异构和并发服务的大规模数据存储面临的高效性、安全性、可靠性、低能耗问题的存储核心技术。从数据存取过程安全和数据高可靠性两个方面研究大规模存储系统的安全性机制。从存储安全系统结构的层面结合考虑安全策略和存储机制，研究安全存储访问的原理及其关键支撑技术，确定数据存取通道的安全控制点；研究数据访问安全认证机制（如凭证标识机制），确定安全访问策略，设计相应的安全存储访问协议。研究大规模存储系统中数据的高效可靠保证。建立全局的可靠性模型，并分析各种可靠性策略；在设备、子系统和全局系统多个层面平衡考虑性能、能耗等目标和数据冗余之间的关系。研究大规模存储系统节能技术。针对部件、结点和系统建立相应的负载能耗模型；设计实时、高效、无干扰的测试方法和实现系统；开发针对大规模数据存储系统的能耗仿真系统；建立具有自调节机制的能耗调度机制；设计面向大规模数据存储系统的数据中心节能设计方案和评价机制。实现多能级、可调节的低功耗存储系统原型。（6）在理论和核心技术研究的基础上，建立一个实验和验证平台。为了对理论研究成果进行实验和验证，本项目结合“数字城市”的实际应用需求特点，构建自适应应用环境的存储服务系统，验证智能存储系统的性能和不同应用环境的适用性。同时研究“数字城市”系统中面向数字城市的多源空间数据存储与管理技术、面向数字城市的实时动态信息存储与内容管理技术、时间框架的时态表示模型，建立四维的数字存储技术，为“数字城市”系统提供高效的海量数据存储和管理方法。本项目将实现三个层次的创新：面向复杂应用环境的异构融合存储体系和服务架构基础理论的创新；一系列围绕解决关键科学问题的理论、方法、技术、机制和策略的创新；一个创新的面向服务且支持节能和安全的智能化存储体系及支持云存储等存储服务的系统实验平台。4.3主要创新处和特色