腾讯社交网络高级DBA邹润谋《腾讯CKV分布式存储系统揭秘》

TencentTencentCKV分布式存储揭秘邹润谋腾讯社交网络运营部高级DBA2014年11月Tencent目录•腾讯社交网络内存发展演变•CKV概述•CKV架构介绍•CKV模块功能简介•CKV自动化管理•CKV精细化运维Tencent腾讯社交网络内存发展演变Tencent目录•腾讯社交网络内存发展演变•CKV概述•CKV架构介绍•CKV模块功能简介•CKV自动化管理•CKV精细化运维Tencent概述什么是CKV•分布式的内存/SSD存储系统•Key-Value模型数据•双机热备+流水磁盘备份•微秒级响应速度•支持多协议接入•存储无理论上限Tencent使用CKV的优点TencentCKV在腾讯社交网络运营现状•大范围业务覆盖，空间/广点通/相册/QQ/开放平台等•超过3000个子业务模块接入•设备规模超万台，TB级内存存储+PB级SSD存储•日峰值访问量超过4千万/秒Tencent目录•腾讯社交网络内存发展演变•CKV概述•CKV架构介绍•CKV模块功能简介•CKV自动化管理•CKV精细化运维TencentCKV最早模型AccessRsyncRsyncCacheMasterCacheSlaveRsyncRsyncCacheMasterCacheSlaveRsyncRsyncCacheMasterCacheSlave冷备服务器AcessAccess路由信息Recover探测，仲裁同步从机失败的流水MasterClientBackupTransferTencentCKV组件模型Access缓存路由访问分布Hash()|0ipcu1ipcu…9999ipcuCache数据存储CacheMCacheSCacheMCacheSCacheMCacheSMaster路由资源管理Recover备机失败接管Transfer资源搬迁客户端Asn1_3TdbmemcacheTaskSvr调度资源搬迁Monitor业务监控信息上报AutoTransfer自动扩容，缩容，失败搬迁，负载调平StatSvr统计入库备份恢复中心CKVProxyCKVMasterCKV路由资源CKVScheduler调度数据下沉CKVexpire总体过期淘汰CKVmonitor监控数据上报DetectSvr告警探测TSSDL5名字服务Tencent目录•腾讯社交网络内存发展演变•CKV概述•CKV架构介绍•CKV模块功能简介•CKV自动化管理•CKV精细化运维Tencent存储组织CU:CacheUnit，CKV中最小存储单元，默认为1GB，一对机器提供56个CU里面包括K/V存储，索引，元数据CUCUCUCUCUCUCUCUCUCUCUCU…CUCUCUCUCUCUCUCUCUCUCUCU…setbinlogCacheMasterCacheSlaveTencent数据路由路由表由1万个格子（桶）组成，每个格子定义后端指向的CU一个格子最多对应一个CU，一个业务最大容量是:CU*10000Access0ipcu1ipcu…9999ipcu业务1…CUCUCU…CUCUCUCUCUCU…CUCUCUCUCUCU…CUCUCUCUCUCU…CUCUCUHash(key)0ipcu1ipcu…9999ipcu业务20ipcu1ipcu…9999ipcu业务30ipcu1ipcu…9999ipcu业务nTencent最小模型管理存储资源，资源路由关系，变更时推送Access0ipcu1ipcu…9999ipcu业务10ipcu1ipcu…9999ipcu0ipcu1ipcu…9999ipcu0ipcu1ipcu…9999ipcu…CUCUCU…CUCUCUCUCUCU…CUCUCUCUCUCU…CUCUCUMaster0ipcu1ipcu…9999ipcu0ipcu1ipcu…9999ipcu业务1…业务2业务3业务n业务nTencent死机接管备机恢复后自动到Recover拉取变更列表恢复CUCUCUCUCUCUCUCUCU…CUCUCUCUCUCUCUCUCU…binlogCacheMasterCacheSlaveRecoverRecoverTencent数据搬迁多任务并发搬迁，异常自动重搬，优先级判断所有扩缩容/死机切换搬迁等都是有基本的搬迁流程组成AccessCUCU读取，落盘，写入目标清理源getmiss下到老cache读取返回Master0ipcu1ipcu…9999ipcu业务n0ipcu1ipcu…9999ipcu业务1…Transfer协调管理搬迁任务TaskSvrTencent目录•腾讯社交网络内存发展演变•CKV概述•CKV架构介绍•CKV模块功能简介•CKV自动化管理•CKV精细化运维TencentCKV自动化管理Tencent自动搬迁定期扫描死机、扩容、缩容、调平、生成任务给TaskSvrAutoTransferSetTaskSvrTransfer1Transfer2Transfer3Transfer4迁移迁移迁移迁移SetTencent实例弹性每周二百多起实例自动扩缩容Tencent业务自助接入Tencent目录•腾讯社交网络内存发展演变•CKV概述•CKV架构介绍•CKV模块功能简介•CKV自动化管理•CKV精细化运维TencentCKV精细化运维Tencent趋势分析预测Tencent设备负载调平IPIPIPIPIPIPIPIPIPIPIPIPIPIPIPIPIPIPDB网管资源分析CCCCCCCCCCCCCCCCCCCCCIPIPIPIPIPIPIPIPIPIPIPIPIPIPIPIPIPIP调度SVR生成搬迁任务同步入库Tencent业务模拟拨测Tencent邮箱:[e-mail]微信:runmou欢迎加入腾讯社交网络数据运维团队