高效可信的虚拟计算环境基础研究

项目名称：高效可信的虚拟计算环境基础研究首席科学家：卢锡城中国人民解放军国防科学技术大学起止年限：2011.1至2015.8依托部门：国防科技大学二、预期目标3.1总体目标以我国经济社会发展对信息网络科学技术的战略需要为牵引，解决规模化网络资源按需聚合模式的效能问题和公用环境下多样化服务的可信问题；建立多尺度的互联网新计算模式和支撑技术，构建高效可信的虚拟计算环境，为互联网新型应用的发展提供基础理论和关键技术支撑。具体包括:（1）探索互联网新型应用的规模化和公用化现象与规律，在互联网计算的效能与可信理论、多尺度的虚拟计算环境体系结构、支持互联网新型应用模式的软件运行机制和面向互联网新型应用模式的程序设计等方面取得具有长远影响的创新成果；（2）获得一系列关键技术的发明专利，形成自主知识产权，提升我国在互联网计算领域的自主创新能力与核心竞争力；（3）培养和建立一支学术水平高、创新能力强的研究人才队伍，使我国在该领域的研究进入国际领先行列；（4）为互联网新型应用和产业的创新发展提供基础理论、关键技术和基础软件支撑，为促进基于互联网的数据和知识产业成为重要新兴支柱产业，推进国民经济和社会信息化做出实质性贡献。3.2五年预期目标（1）理论模型方面在规模化网络资源按需聚合模式的效能问题、公用环境下多样化服务的可信问题两个关键科学问题研究上取得重大突破，提出互联网计算弹性效能模型和可信演化模型，以及评估分析方法，在国际学术界产生重要影响，在互联网计算领域形成流派。具体包括：互联网新型应用的规模变化模型、互联网计算的效能模型和理论、适用互联网计算特点的信任管理模型、分布式交互算法设计及复杂性理论、支持在线扩展和可信演化的计算模型；以及互联网计算体系结构的尺度模型、面向多约束的资源聚合模式、资源协同的代数理论及自适应演化机理、面向弱一致性的并发计算模型、面向大规模并行数据处理和大规模协同服务等特定领域的程序设计理论、公用环境下的可信性评估理论等。（2）支撑技术方面建立多尺度的互联网新计算模式和体系结构，在多粒度的资源虚拟化、多耦合度的资源交互、自适应的弹性绑定、用户为中心的可信保障和领域特定的程序设计等支撑技术体系方面取得具有核心竞争力的专利技术。具体包括：资源聚合策略和资源间计算/数据的多级结构，基于混合互连网络拓扑的资源调度、协调、协作等共享策略与机制，基于事件驱动与虚拟网络事件服务相结合的虚拟执行与并发服务，信任管理、多层次安全隔离、冗余备份和动态演化相结合的可信保障，领域特定的程序设计语言设施、框架和工具等。（3）实验验证方面建立仿真级、准生产级（结点数在103量级）和生产级（结点数在104以上量级）三种类型的互联网计算实验环境，支持中心资源、边缘资源和终端资源相互融合的多尺度互联网计算效能分析和可信验证。（4）软件平台方面构建高效可信的虚拟计算环境基础软件平台，其企业版本在我国大型互联网服务企业或国家互联网管理机构部署应用，其开源版本在国际开源社区取得广泛影响，成为知名品牌。通过五年的研究，使项目组的总体研究水平进入国际领先行列，成为一支具有国际影响力的研究队伍，培养一批自主创新能力强的中青年学术带头人和学术骨干。五年共发表高质量的学术论文300篇以上，其中重要国际学术刊物论文30篇以上，拥有10项以上具有自主知识产权的核心关键技术，申请国内外发明专利、标准或软件著作权15项以上。其中，前两年发表论文120篇以上（重要国际学术刊物论文12篇以上），申请国内外发明专利、标准或软件著作权6项以上。三、研究方案4.1学术思路本项目针对互联网新型应用的规模化和公用化特点，将围绕两个关键科学问题，以高效和可信的互联网计算为目标，在虚拟计算环境基础理论、核心机制和实验验证等方面开展研究。项目的总体学术思路具体表现在以下几个方面：（1）面向“规模化，公用化”，以“按需聚合，自主协同”成果为基础，针对“高效伸缩，可信服务”的目标展开研究。项目组在上期973项目“虚拟计算环境聚合与协同机理研究”中已取得重要研究成果，对互联网资源的特性和行为规律有了更深入的认识，提出了以自主元素、虚拟共同体和虚拟执行体为核心的概念模型，以及资源按需聚合和自主协同等关键机制。本项目将以虚拟计算环境的已有研究成果为基础，面向中心、边缘和端资源相结合的环境，针对规模化的互联网新型应用需求，系统研究互联网新型应用对虚拟计算环境的高效和可信所带来的理论和技术挑战。项目将基于前期研究的按需聚合和自主协同机制，针对互联网新型应用需求，研究建立多角色规模化资源聚合和高效服务机制，提出跨虚拟共同体的高效协同机制；面向中心、边缘和端资源相结合的环境，通过对自主元素的角色精化和虚拟共同体的分层、协同，研究建立多尺度的虚拟计算环境体系结构和程序设计模型，提出互联网计算的效能模型与评估方法；通过深化和发展虚拟执行体模型，研究任务类型驱动的虚拟执行体执行环境定制，设计虚拟执行体的运行隔离技术，提出面向多数据中心的资源高效虚拟化机理；面向虚拟计算环境的公用化发展需求，研究虚拟共同体的安全管理和容错容变等可信机制。（2）研究互联网新型应用和计算模式的特点，聚焦现实挑战问题，突破高效可信虚拟计算环境的理论和关键技术。互联网新型应用快速发展，呈现出很多新的特点。例如，互联网用户访问环境（如地理位置、接入方式、网络带宽等）的多样性使得用户体验更加不确定，用户对数据安全和服务质量等更加敏感，单一的资源聚合与服务模式难以满足用户的多样化需求，需要考虑引入中心、边缘和端资源相结合的计算与服务模式；与传统应用不同，很多互联网新型应用以数据为中心、采取“尽力而为”的服务模式，通常只要求返回统计意义上正确的结果，通过放松传统精确计算的假设与约束（如一致性要求）来提高计算系统的效能成为可以接受的途径；一批新型应用（如C2C电子商务应用和信息搜索等）面向海量公众、符合长尾现象，具有单个任务小、并发量大等特点，应用粗粒度并发和并行处理的潜力巨大，使得计算系统的大规模并行成为可能；互联网计算中的资源数量众多，使得通过多个资源的冗余来增强计算系统的可信性成为可能。项目将深入研究互联网新型应用的模式和特点，通过松弛互联网计算的一致性、支持规模化资源的海量并发和冗余计算等技术途径，突破高效可信的虚拟计算环境面临的瓶颈性问题，为互联网新型应用提供有效的软件支撑，采用案例分析和构造性验证的研究方法，在互联网计算的效能与可信评估理论上取得突破。（3）构建大规模实验床，理论、实验和应用相结合，以典型应用验证推动研究的深入和成果的转化。项目将依托国家计算机网络与信息安全管理中心覆盖全国的计算资源、阿里巴巴集团大型数据中心、蓝汛内容分发网络以及PlanetLab国际实验床等，构建多个层次的实验床，通过大规模的实验测试和评估，迭代改进完善项目成果。在此基础上，面向互联网舆情分析的重大国家需求和大型电子商务系统的实际业务需要，开发互联网规模的虚拟计算环境示范应用，通过应用的开发、运行、监控和评估，针对性地改进和完善项目成果，加深对互联网计算特点和需求的理解，推动项目研究的深入开展和成果的应用转化。4.2研究方案和技术途径下面将围绕关键科学问题，遵循实证评估的研究方法，从体系结构、运行支撑、可信保障、程序设计和实验验证等方面来阐述项目的具体研究方案和技术途径。（1）体系结构面向具有规模化和公用化特点的互联网新型应用，聚焦高效和可信目标，在上期973项目“虚拟计算环境聚合与协同机理研究”的基础上，继承“按需聚合，自主协同”的思想，围绕“高效伸缩，可信服务”的目标，从互联网资源的角色分类、聚合与协同等方面，研究虚拟计算环境的体系结构。VCVC中心资源边缘资源端资源VCVCVCVCVC虚拟共同体图1中心资源、边缘资源、端资源构成的多级虚拟共同体针对互联网资源的多样性特点，以上期973项目中提出的自主元素为基本分类单元，分析互联网新型应用的规模、服务质量需求和服务成本等特征，对自主元素的角色从多个粒度进行分类，进而针对不同自主元素角色的计算性能、稳定性和组织强度等特性设计统一的描述规范和框架，建立自主元素角色的粒度模型。例如在网络视频服务等大规模互联网应用中，自主元素的角色可以分为：具有强处理能力的、高可信的中心资源（如大规模集群服务器），具有较强处理能力的、可管可控的、分布式的边缘资源（如边缘服务器等），具有一定处理能力、可信程度一般、分散程度较高、成本较低的端资源（如客户端资源等），如图1所示。相应地，由中心资源、边缘资源或端资源进行的互联网计算分别称为中心计算、边缘计算或端计算。针对互联网资源的聚合与协同问题，拟借鉴传统并行计算系统中的多级存储/缓存结构进行研究。①分析不同自主元素角色之间的关系，在服务质量需求和成本控制等约束下，针对不同的问题规模，研究多种角色自主元素的同构/异构聚合模型，提出按需伸缩的多级虚拟共同体聚合结构。②设计多种角色自主元素之间的交互协议，建立“调度-协调-协作”等不同耦合强度的自主元素互操作规范，提出以中心计算、边缘计算和端计算融合为典型代表的高效能的虚拟执行体协同模型。③设计自适应的容变/容错结构，建立体系结构层面的可信保障框架，提出安全可靠的虚拟执行体协同模型。例如，在图1所示的虚拟计算环境中，分别研究中心与中心之间，边缘与边缘之间，端与端之间，中心、边缘以及端之间的分层网络拓扑、交互协议和互操作规范等。围绕互联网应用的规模、服务质量需求、成本/效益等问题，深入研究虚拟计算环境体系结构的效能和可信评估理论。①研究互联网用户的行为特点、互联网应用的业务特性和规模增长特性以及互联网运营商的策略等，结合大规模的互联网测量，研究面向服务质量需求的资源规模估计模型与理论。②定义并量化包括效能和可信等在内的评价指标体系，研究多尺度体系结构的效能评估方法，结合资源利用效率和服务质量效果的博弈关系，研究网络计算的机制设计算法。③基于评测结果，结合博弈、多目标优化等理论，从规模、服务质量和成本等多个尺度改进虚拟计算环境的体系结构设计。（2）运行支撑针对互联网新型计算模式的特点，从运行状态管理、资源虚拟化、大规模并发管理、协同管理、资源调度与分配等方面，研究虚拟计算环境的高效软件运行支撑机制。针对公用环境下大量应用共享资源、并发运行的需求，将在上期973项目提出的执行抽象模型“虚拟执行体”基础上，进一步拓展和深化虚拟计算环境的运行管理机制，研究任务类型驱动的虚拟执行体运行环境定制方法，支持对应用的运行时状态及其资源使用情况的多粒度刻画与管理。以虚拟执行体作为虚拟计算环境运行时管理的基本单元，围绕其创建、部署和管理，研究高效的资源虚拟化技术。以虚拟化技术为基础实现对物理资源封装、隔离和动态绑定的一体化支持，并通过虚拟网络实现基于虚拟执行体的运行隔离。通过研究虚拟网络的虚地址映射方法和对等数据传输机制，实现虚拟网络下的跨域互联和高效通信。通过研究虚拟网络的运行监控和拓扑优化方法，提出基于事件驱动的虚拟网络事件服务机制，为自组织虚拟网络的构造和管理提供支持。针对互联网新型计算模式中规模化资源蕴含的海量并发潜力，从自主元素的按需聚合机制跃升至规模化聚合资源的高效服务机制，研究基于虚拟执行体的大规模并发管理模型和并发服务机制，以此为基础支持粗粒度的大规模并发计算，提升计算系统的服务容量和效能。针对具有非精确计算特点的新计算模式，研究异步事件机制以及面向弱一致性的分布式通信和交互算法，结合问题特点，通过适当放松计算结果的一致性与完整性约束，提高虚拟计算环境中资源协作的效能。以虚拟共同体内的自主协同机制为基础，研究虚拟共同体间的高效协同机制，提出面向不同耦合强度与服务质量的协同协议。借鉴进程代数理论的思想，研究虚拟执行体的代数理论模型和协同演化机理，实现对虚拟执行体协同关系的有效建模与描述，解决传统进程代数理论难以描述多维度并发的问题。针对多样化应用对服务质量的不同要求，研究分布式资源及执行环境的监控和感知机制，在此基础上，研究灵活可编程的资源宏调度机制和负载感知的应用运行时动态配置方法。借鉴经济学及博弈论相关理论与方法，研究多目标的资