分布式文件系统简介_v12

亦云分布式文件系统简介亦云XXX云解决方案2013年12月广州亦云信息技术有限公司1内控页方案名称保密等级方案版本V0.1共x页项目负责部门负责人日期拟制产品部审评人批准签发方案使用说明表编号提要内容1AbcdAbcd亦云分布式文件系统简介I目录1广州亦云公司介绍.................................................................错误!未定义书签。1.1公司简介......................................................................错误!未定义书签。1.2公司文化......................................................................错误!未定义书签。2XXX行业背景概述...............................................................错误!未定义书签。2.1行业背景......................................................................错误!未定义书签。2.2行业发展趋势..............................................................错误!未定义书签。2.2.1市场发展趋势....................................................错误!未定义书签。2.2.2产品技术发展趋势............................................错误!未定义书签。3亦云XX云解决方案.............................................................错误!未定义书签。3.1市场分析......................................................................错误!未定义书签。3.1.1现状与挑战........................................................错误!未定义书签。3.1.2客户需求............................................................错误!未定义书签。3.1.3XX需求.............................................................错误!未定义书签。3.1.4XX需求.............................................................错误!未定义书签。3.1.5运营需求............................................................错误!未定义书签。3.2设计原则（理念）......................................................错误!未定义书签。3.3XX云主要功能...........................................................错误!未定义书签。3.3.1上传....................................................................错误!未定义书签。亦云分布式文件系统简介II3.3.2互转....................................................................错误!未定义书签。4亦云XX云介绍.....................................................................错误!未定义书签。4.1技术架构......................................................................错误!未定义书签。4.2亦云XX云优势..........................................................错误!未定义书签。4.2.1平台优势............................................................错误!未定义书签。4.2.2xxx能力.............................................................错误!未定义书签。4.2.3XX保障.............................................................错误!未定义书签。4.2.4XX优势.............................................................错误!未定义书签。5案例展示.................................................................................错误!未定义书签。5.1客户介绍......................................................................错误!未定义书签。5.2客户需求......................................................................错误!未定义书签。5.3亦云XX云方案..........................................................错误!未定义书签。5.4实现价值......................................................................错误!未定义书签。亦云分布式文件系统简介III图例列表未找到图形项目表。亦云分布式文件系统简介1广州亦云自主研发的分布式文件系统Xnode，主要基于以分布式技术存储数据并提供了与本地文件系统相同的访问方式（包括linux和windows系统）。和普通文件系统相比，分布式系统可以提高数据安全性，支持海量数据以及几乎无限制的扩展性。Xnode原理类似于Google的GFS系统以及开源的Hadoop系统，会将文件数据分块存储，进行多块同时读写，从而提高文件读写速度。对于每个文件块，分布式文件系统都会多份存储，从而提高文件数据的安全性。Xnode支持多个IDC之间的数据强一致性以及多个IDC之间的数据同步。Xnode1.0的工作原理图见下图（Xnode目前版本为3.0）。图错误!文档中没有指定样式的文字。-1Xnode工作原理图Xnode文件系统主要由一个NameNode集群和DataNode集群组成。NameNode作为中心控制集群，负责管理文件系统的名字空间（Namespace）以及客户端对文件的访问。集群中的DataNode一般是一个节点一个，负责管理它所在节点上的存储。Xnode提供了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组DataNode上。NameNode执行文件系统的名字空间操作，例如打开、关闭、重命名文件或目录。它也负责确定数据块到具体DataNode节点的映射。Data亦云分布式文件系统简介2Node负责处理文件系统客户端的读写请求。在NameNode的统一调度下进行数据块的创建、删除和复制。用户在写文件时，首先将请求发送给NameNode，NameNode接收请求，更新元数据信息，将DataNode的IP返回给客户端，因此客户端在进行写数据时直接将数据写到对应的DataNode上。读写文件时，同样的道理，请求发送到NameNode，NameNode返回请求文件的元信息及请求块的信息，然后从DataNode读取相应块的数据。Xnode有以下特性：A.无限扩展最大支持30000个节点，可轻松达到500PB以上，最大支持容量仅受限于物理节点数；B.较强的数据完整性在动态的分布式存储系统中，结点在任意时刻可能表现出任意的错误，从而导致数据传输过程中会出错。Xnode文件系统中对每个块传输中都要进行CRC校验，确保数据传输过程中完整性。C.较强的数据可靠性每一个数据块在系统中都有三个冗余备份，这样即使某个DataNode损坏，也不会导致文件丢失，大大提升数据存储的可靠性。D.较强的数据一致性实际运行中，经常会发生多个节点并发访问数据的情况。多个用户只要都有文件操作权限，极有可能同时操作同一个文件，这样就会导致数据的不确定性。在并行数据存储系统，由于数据是分散存储在不同的节点上的，对不同节点上的数据进行版本信息区分是一件比较繁琐的事情，这涉及到不同节点之间的同步问题。亦云的Xnode系统通过使用时间戳策略很好地缓解了这一问题：Xnode为每一份或一组数据附加一个时间戳标记。在进行数据版本比较或数据同步的时候，亦云分布式文件系统简介3Xnode通过比较每一份或一组数据的时间戳就可以区分他们之间的版本。但是分布式系统中不同节点之间的物理时钟可能会有偏差，这样就可能导致较晚更新的数据其时间戳却比较早。为了解决这个问题，云平台设置了一个全局时钟来进行时间同步。当一份数据更新之后，该数据所在节点会向全局时钟请求一个时间戳，这样各节点的时间戳的准确性将得到保证。E.与传统方式良好的兼容性Xnode提供了与本地文件系统相同的访问方式，用户迁移应用时可以不需改造代码。有些云计算提供商为使架构简单化，提供了以RESTful为主的方式来访问的文件系统。用户如果想使用这类文件系统需要对现有代码中涉及到文件访问的进行修改，这会导致较大的改造成本。但使用广州亦云云平台的分布式文件系统就不需要改造，可以直接使用旧代码即可。