云平台及大数据建设思路

云平台及大数据建设思路2016.11.25云-正在重构的交通运输体系SaaSPaaSIaaS问题与挑战•UserType：inside→outside•Terminal：Web→mobile、IoT•UserQuantity：hundreds→millions•reliability：high•Expansibility：auto-scaling•DataSize：GB→PB•DevelopmentCycles：years→weeks时代的挑战应用为中心向数据为中心迁移+应用平台应用系统应用系统应用系统应用系统大数据应用为中心向数据为中心迁移服务器服务器服务器服务器虚拟化IaaS虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机虚拟机云平台PaaS云应用服务器云关系数据库大数据库软件…应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用应用服务器服务器虚拟化IaaS虚拟机虚拟机数据库应用中间件应用云海平台平台设计三要素IaaSAdapterManagement&ServiceAPIThird-partserviceaccessinterfacePlatformManagementAdministratorConsoleServiceConsoleDeveloperConsoleERE（ElasticRuntimeEnvironment）AppManagementServiceManagementOperationMonitorSecurityManagementDeploymentSetupApplicationLife-timeManagementServiceSchedulerManagementConsoleDistributedClusterManagementOpenServiceBasicServiceOSSLBSECSBigDataServiceSCSDBSEMRMiddlewareServiceMQSCSSCAEDevelopingServiceCI/CDSRDGCPCBSDataBaseServiceMDSforRedisNSSRDSforMySQLRDSforKDBMDSforMemcached云海IOPv3.0IaaSAdapterManagement&ServiceAPIThird-partserviceaccessinterfacePlatformManagementAdministratorConsoleServiceConsoleDeveloperConsoleERE（ElasticRuntimeEnvironment）AppManagementServiceManagementOperationMonitorSecurityManagementDeploymentSetupApplicationLife-timeManagementServiceSchedulerManagementConsoleDistributedClusterManagementOpenServiceBasicServiceOSSLBSECSBigDataServiceSCSDBSEMRMiddlewareServiceMQSCSSCAEDevelopingServiceCI/CDSRDGCPCBSDataBaseServiceMDSforRedisNSSRDSforMySQLRDSforKDBMDSforMemcached云海IOPv3.0产品特性云海IOP发展历程C/S、单机巨石型Web应用IaaS虚拟机迁移物理设备继续运行尽量上云PaaS分布式运行环境微服务化轻量级新型云化应用DaaS统一数据层数据整合数据整合数据整合数据利用敏捷上线启动时间数分钟无法上云上云分析•故障有可能发生•随时备份数据，用于服务恢复•不惜一切代价保证服务器的运行•当服务器宕机时-摊上大事了•基础设施恢复–自动或者手动•应用恢复–手动•应用模块紧耦合•无法根据负载自动扩展•很难持续集成•应用聚合困难(ESB)•应用升级麻烦端口变化负载增加配置变化环境依赖代码变化RTO/RPO传统巨石特征传统巨石应用云化应用很难根据负载自动扩展自动，水平扩展应用模块牵一发而动全身应用由多个微服务组成，松耦合应用的恢复是靠人工的应用的恢复是自动化的应用系统的物理环境错误导致业务停顿应用的物理环境的出错是可以接受的不遗余力的保障物理机的运转物理机对应用不是那么重要物理机的宕机是一件特大事故！没什么大惊小怪的！积极备份数据以便应用环境出错时恢复设计时要尽量避免数据恢复的必要升级时候不睡觉灰度发布、发布回滚一期项目就半年，一期接一期持续集成巨石应用和云化应用的特征对比传统巨石应用云化应用垂直扩展；硬件定义可靠性水平扩展；应用设计消除对基础设施的依赖性虚拟化轻量级运行环境（容器，进程，PaaS平台）3层架构，有状态，紧耦合松耦合，微服务，API对操作系统和虚机有察觉和依赖抽象于操作系统、虚机和容器管理员控制系统控制（自动扩展，自动配置，自动恢复）瀑布式开发敏捷开发敏捷开发持续集成，持续部署,DevOps巨石应用和云化应用的技术对比物理设备PaaSIaaSDaaS小机应用物理设备依赖C/SEXE巨石型Web应用巨石应用微服务化云化应用应用上云的分层实施应用应用应用VMware/Openstack/IncloudOS服务器应用负载均衡应用应用服务化运维成本高可用数据整合应用创新基础服务对象存储负载均衡弹性主机大数据服务流式计算数据总线大数据Hadoop应用中间件服务消息队列搜索引擎应用引擎容器容器基础服务对象存储负载均衡弹性主机大数据服务流式计算数据总线Hadoop应用中间件服务消息队列搜索引擎应用引擎开发服务持续集成交付服务注册与发现全局配置推送断路保护器数据库服务MDBForRedisNoSQLDBRDSForMySQLRDSForOracleMDBForMemcached++本地开发测试环境SDKSDK集成开发云Git打包发布单元测试Jenkins提交代码服务绑定测试云自动化测试生产云IOPDev本地云服务模拟IDE微服务分布式开发服务DevOps助力快速应用创新负载均衡通信MDBRDSHadoop分布式配置对象存储数据总线开发服务测试服务云海Insight大数据处理套件产品名称技术架构关键功能特性适应场景响应时间云海InsightHD基于Hadoop大规模分布式架构可视化运维统一用户、证书认证滚动升级4000节点的横向扩展能力适合PB级以上的海量数据离线处理大数据应用建设中构建基础资源库分钟-小时云海InsightMPP基于MPP架构的分布式关系型数据库查询性能是传统关系数据库的10-100倍支持千节点内的稳定运行处理TB-PB级的结构化数据的数据仓库和数据集市的最优选择BI领域替换传统架构毫秒-分钟云海InsightMemDB基于内存的无共享分布式架构支持Key-Value、及SQL关系型存储跨地区集群能力支持分布式事务毫秒级响应适合GB-TB级规模超高并发访问的OLTP和OLAP实时计算和加速场景毫秒-秒大数据处理平台面临业务的复杂性、多样性、数据量大、以及各种业务数据处理时间要求的不一致性，仅靠单一产品无法满足业务需求，组合使用，效果更佳云海IOP弹性大数据计算服务EMR-让大数据平台敏捷、易用、智能基础服务数据库服务大数据服务应用中间件服务开发服务云海IOPEMR服务存储资源池SDSHDFSAPI多租户弹性服务弹性计算池计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元计算单元小规模中规模大规模计算扩容存储扩容基础服务对象存储负载均衡弹性主机大数据服务流式计算数据总线大数据Hadoop应用中间件服务消息队列搜索引擎应用引擎开发服务持续集成交付服务注册与发现全局配置推送断路保护器数据库服务内存数据库forRedisNoSQL数据库关系数据库forMySQL关系数据库forKDB内存数据库forMemcached行业云中心大量应用及中间件运维跨数据中心应用管理海量用户/高并发资源弹性伸缩互联网+DevOps持续集成/快速上线微服务应用开发