书生安全云存储技术及解决方案2015年3月目录公司介绍及云技术架构IaaS平台PaaS平台SaaS平台书生集团简介书生集团是成立了近20年的技术型企业,曾承担过863、核高基等重大项目,牵头制定的UMOL标准是中国首个软件国际性标准。自主研发的“基于SAS交换架构的安全云存储系统”是得到业界认可的下一代云存储技术,全球申请了200多项专利,是Oracle、360等IT巨头全球合作伙伴获得美国《云计算》杂志“云存储卓越奖”、被美国CIOSTORY列为全球二十大云公司之一,中国唯一通过美国HIPAA医疗信息安全认证的云服务商和得到FDA批准的云服务商(注册号:3010831822)企业安全云技术体系企业云盘视频监控医疗影像电子政务PaaS元数据管理对象存储数据加密行业应用云管理和监控体系硬件X86服务器SAS交换机高密度磁盘柜重复数据删除存储控制管理书生分布式存储系统(IaaS)集群管理企业级存储文件存储块存储SaaS目录公司介绍及云技术架构IaaS平台PaaS平台SaaS平台存储架构的进化企业级存储(EMC,IBM,HDS)•控制器和磁盘柜之间通过专有交换网络或SAS线连接,数据读写效率高。•提供很高性能和可靠性,广泛用于关键应用环境•专有硬件,厂商绑定,采购和维护成本高云存储系统V1.0•采用x86服务器内置本地硬盘作为硬件平台,x86服务器之间通过普通以太网互联•存储服务器只能访问本地硬盘•为了保证数据可靠性,采用多副本或纠删码机制,数据读写需要网络传输,效率差基于SAS存储网络的云存储架构V2.0•引入SAS交换机,将高端存储架构引入云存储平台,既保证了读写效率,又具有云存储低成本、易于扩展优势。云存储硬件架构基于x86服务器管理底层磁盘扩展柜存储空间高密度磁盘扩展柜基于SAS交换机的专用数据交换网络,可进行横向扩展SAS交换架构优势低时延•与企业级存储一样,后端采用原生SAS通道•提供相当于本地硬盘访问效率的低延迟数据传输通道高带宽•专用数据全交换网络,每端口带宽24Gb/s•基于SCSI协议的SAS网络比基于IP的以太网传输损耗小全局存储池•控制器与所有磁盘都是互联互通的•不像传统云存储,只能访问本地硬盘计算与存储聚合支持云存储软件以虚拟机方式进行部署,云存储VM通过SAS交换机连接到后端磁盘柜,直接读写硬盘或SSD,提高SSD应用效率应用VM与云存储VM部署在一台物理服务器上,无需额外采购应用服务器和网络交换机,计算到存储之间通过CPU总线进行数据传输,比传统通过物理交换机传输性能得到大幅度提高支持计算和存储的横向扩展,当前端应用数量迅猛增长后,不会出现存储瓶颈;支持计算VM和存储VM高可用计算与存储聚合架构云存储软件动态管理•软件划分每个控制器所管理的磁盘,类似于Zone,VLAN的概念•实际使用过程中,从每个磁盘柜中平均选择若干硬盘构建虚拟存储池•支持控制器宕机或扩容时,实时调整控制器管理的磁盘范围,不需要数据的物理迁移•实现了存储的高可用和快速在线扩容数据本地访问•数据读写时,不涉及与其他节点交互,降低网络传输流量•不存在NUMA架构中数据对远端内存的读写访问延迟云存储软件模块SSD加速读写访问SSDSSDSSDSSDSASSASSASSASSASSASSASSAS①SSD命中,从SSD中读取数据②SSD不命中,从硬盘读取数据,并缓存到SSD中SSDSSDSSDSSDSASSASSASSASSASSASSASSAS①数据写入硬盘②批量写入硬盘②数据写入SSD数据可靠性跨JBOD纠删码N+M技术:最多同时允许在不同的磁盘柜上丢失3块盘,或者丢失3个节点,数据可靠性11个9Disk1Disk2Disk3Disk4Disk5Disk6纠删码N+M:N-原始数据条带,M-校验条带,图示为5个原始数据条带+1个校验条带,相当于RAID5A1PC5A2B1PA3B2C1A4B3C2A5B4C3PB5C4虚拟存储池纠删码与传统RAID比较条带大小固定存在WriteHole重构时需整盘恢复条带大小根据数据块大小可变不存在WriteHole重构时只需恢复有数据部分RAID纠删码元数据管理高可靠•基于数据库的事务级读写•可设置2-3份元数据副本分别存储在不同的存储控制器上高性能•存储在存储控制器本地SSD硬盘上•每台存储控制器对外都可以提供元数据服务,无热点高扩展性•支持分区,满足海量文件元数据的存储要求基于OpenStack的云计算基础平台解决方案采用基于SAS交换的云存储架构,提升Openstack原有存储方式的性能、稳定性和扩展性支持计算与存储的聚合,提高应用访问数据效率,计算和存储同时横向扩展,避免存储瓶颈提供数据加密、防隐私泄露和重复数据删除等增值存储功能提供书生云计算统一管理界面,方便用户进行配置和监控成功案例-内蒙呼市政务弹性云平台内蒙呼市平安城市项目项目名称:玉泉区社会服务治理综合信息平台建设项目弹性云平台弹性云平台上承载的业务包括:平安城市、综治网格、应急指挥、电子政务4大业务平台,还有与数字城管系统的并网按照2倍目前使用容量设计,保证未来业务增长时不再新采购硬件设备,而直接利用该平台已有资源进行扩充作为试点先行在玉泉区开展,成功后向全市进行推广项目总体配置情况CPU512核内存1792GSSD缓存9T+数据容量1.3PSAS交换机2台磁盘扩展柜12台核心交换机2台10G网卡(含模块)12套40G网卡(含模块)8套云平台管理系统1套目录公司介绍及云技术架构IaaS平台PaaS平台SaaS平台数据加密加解密都在客户端完成,云端不存储用户任何明文•一文一密:随机生成对称密钥,作为存储密钥对数据进行加密。•对存储密钥的加密:采用用户公钥加密存储密钥,保证只有自己的私钥才能解开存储密钥•对私钥的加密:采用用户口令对用户私钥进行加密•即使系统管理员和内部开发人员也无法看到用户文档做到了用户数据的真正安全隐私保护云端在任何情况下都不会对文件暂时或永久解密•传统方式在做数据去重时需要对文件暂时解密再重新加密•我们的解决方案–引入共享密钥,保持加密状态下实现跨用户数据去重客户端通过明文计算共享密钥,用共享密钥加密存储密钥通过比对共享密钥,判断是否为重复文件重复文件,客户用共享密钥解密存储密钥,再用自己的公钥加密存储密钥2014年9月,书生安全云在互联网安全大会上公开挑战天下黑客,大胆敞开服务器权限放黑客进来,100多名参赛黑客都不能偷走服务器上的用户数据,成功经受了有史以来最为苛刻的黑客挑战书生安全云黑客挑战赛成功案例-51.com2013年底开始,为51.com网盘业务提供开放存储服务整个数据迁移过程不中断原有业务支持用户用原有51.com账户直接访问开放存储服务通过使用开放存储服务,大大降低了客户存储设备采购和维护成本目录公司介绍及云技术架构IaaS平台PaaS平台SaaS平台书生SaaS平台书生自成立以来,一直在企业级信息系统领域精耕细作,是互联网领域唯一拥有国家密码管理局、国家保密局、公安部、军队的安全认证的单位公司主要企业级信息系统应用于所有国家部委,所有省级政府和百强企业,用户遍布海外二十多个国家和全国除台湾外100%的城市、90%以上的县书生SaaS平台利用自有的云计算基础平台和PaaS平台,并结合互联网时代应用特点开发,目前已有产品化的个人云盘和企业云盘服务书生同时为医疗影像、视频监控和电子政务等有海量数据存储及共享需求的行业提供定制解决方案企业云盘解决方案为企业用户提供统一的数字资产存储管理平台支持组织架构管理,支持通过激活邮件激活用户并通知其部门领导,支持一个用户隶属于多个部门。支持文件上传、下载、移动、复制、重命名和删除,文件上传大小不受限制,支持部门内共享和指定用户分享,支持数据实时备份和同步,历史版本恢复支持公有云和私有云部署,支持基于用户已有硬件的纯软件部署集中存储备份作为企业数据资产存储平台,将分散在员工各种终端设备中的企业数据集中存储备份在书生企业云盘中,避免数据不必要的流失对于工作场所经常变更或BYOD员工能够实现随时随地访问数据对于企业一些重要应用如ERP、CRM等系统和文件,实现在线实时备份安全交换分发支持企业内部文件的安全交换和分发,采用加密方式进行数据传输和存储对于上传文件大小没有限制,支持超大文件分段上传、断点续传、秒传通过日志审计全程监控,降低数据泄露风险协同办公支持用户根据需要将文件放到共享文件夹中,便于部门内其他人员的访问支持文档在线浏览,批注,方便随时随地查阅文件支持跨数据中心部署,自动为用户选择最近的访问节点进行文件访问专为企业用户设计的数据资产保险柜独有的Truprivacy数据加密,CA认证与对称加密结合,无论网络传输还是数据存储都是以加密的形式进行的,把数据管理权彻底交给用户,保证即使云端管理员也无法查看用户明文自动将员工各种终端中的重要文件进行实时备份,当文件不可用时,可随时通过云端进行恢复,同时有效防止因员工离职而造成的企业数字资产损失数据保留:当用户修改文件后,会生成该文件的一个新版本,用户可以在需要的时候,进行历史版本回滚;即使用户从回收站删除文档后,也只是对该文档进行标记,不会物理删除。基于书生公司20余年在政府、大型企业和金融电信机构用户服务经验积累,专门对云盘在企业级应用领域作为优化,使企业能放心将数据存储到云端简单灵活的系统管理方式权限与角色的统一:系统管理员创建用户分配角色时,自动根据角色匹配用户权限;当企业架构发生变化后,系统管理员在调整用户新的组织关系后自动完成权限再分配灵活的组织架构:允许临时组织的创建、特别适用于项目等临时性组织,用户可属于多个组织,并在每个组织中拥有不同角色和权限;支持部门嵌套。配置了功能强大的日志审计模块,日志审计模块记录了所有登录和文件操作信息,并提供日志查找功能,保证在出现问题后能及时找到根源目前企业网盘在设计时为了保证数据的安全,往往设置了非常复杂的权限管理造成管理难度很大,降低了用户使用的积极性。书生公司采用了优化的权限管理机制,既保证了数据安全又提升了用户体验系统管理员的权限限制系统管理员除了管理部门、用户和日常日志审计权限外,遵从系统权限管理机制,即隶属于某个部门的普通员工对于关键操作,如用户激活、用户组织关系调整以邮件的方式通知相关部门经理,防止潜在的数据泄露风险通过Truprivacy数据加密技术,保证上传的文件不会被系统管理员查看或泄露配置了功能强大的日志审计模块,日志审计模块记录了所有登录和文件操作信息,系统管理员只能查看日志审计信息,无法更改删除企业网盘实际运作时,系统管理员一般只是普通员工,书生企业网盘设计时就对系统管理员各种权限进行了限制,保证数据安全提供开放接口方便二次开发提供RESTFulAPI接口,并提供详细开发文档和范例非常方便地将应用中用到的加密、在线预览、存储备份功能整合到书生企业云盘平台,使其成为企业唯一的数字资产管理平台有效整合企业IT架构,云就绪,降低复杂程度,降低新应用开发时间和成本各软件模块采用分层松耦合架构,在PaaS层上实现了数据加密、重复数据删除和在线浏览,并对外提供开放存储API接口:竞品分析项目书生联想华为基础架构可为用户提供软硬件一体化的解决方案,通过SAS交换架构和书生分布式文件系统为用户提供海量高性能可靠的基础架构基于开源分布式文件系统,部署复杂基于开源分布式文件系统,部署复杂数据安全独有的Truprivacy数据加密技术,端到端无缝加密,一文一密,保证即使云端管理员也无法获取用户文件内容AES256数据加密,不能一文一密,云端管理员可以获取用户文件内容AES256数据加密,不能一文一密,云端管理员可以获取用户文件内容系统功能组织架构管理、用户管理、权限管理组织架构管理、用户管理、权限管理组织架构管理、用户管理、、权限管理文件管理上传、下载、共享、分享、查找等,上传文件大小无限制上传、下载、共享、分享、查找等,上传文件大小有限制上传、下载、共享、分享、查找等,上传文件大小有限制典型用户案例-东风汽车用户文件管理存