4-2玩转架构持续创新

玩转架构持续创新杭州目录•IT系统技术架构演进路线一•业务支撑系统—TBOSS二•BI系统—TDW+TRC三IT系统技术架构演进路线腾讯IT架构演进路线2000年业务2011年+2006年2007年2010年架构服务范围:移动及电信增值服务营收规模：28亿代码量:百万级技术团队:0~1000人一代架构:烟囱型技术基础:c++/.net/spring/RDBMS二代架构:服务型服务范围:增加互联网产品领域营收规模：360亿代码量:千万级技术人员:1000~6000人技术基础:分布式缓存/消息队列/数据拆分/key-values数据库/Hadoop?服务范围:增加海外、第三方营收规模：360+亿代码量:亿级技术人员:6000+人?架构挑战：构建海量、稳定、安全平台•质量更可控•开发更简单•独立研发•降低业务处理成本•去IOE厂商绑定•99.9%-99.99%•核心业务做到0停机维护•自动化•应用级灾备•安全•千万级-亿级•同城-异地-全球•P级数据深度应用海量稳定速度成本TEG对公司各事业群起支撑作用腾讯BOSS和BI架构特点：1）伴随各业务事业群的发展，逐渐沉淀和完善的过程。2）已形成一级体系（集中式，如网络/计费等），业务事业群依然保持灵活的二级体系（分散式，运维/经分等）。网络/存储/安全/客服/计费/数据…公司技术选型策略摘选自CTO-Tony：1）没有采用IOE2）软件主张自主研发，尽可能不采用商业中间件；3）设备采用廉价PC，根据应用场景分几类标准型号；4）海量运营之道：大系统小做，先扛住再优化，灰度，过载保护，…集中式业务支撑平台公司TBOSS发展历程平台化建设100+业务，日交易千万云支付近千业务，日交易过亿•二级BOSS集中•渠道融合•按月对帐基础建设100+业务，日交易百万•实时交易性能提升•7*24小时差异化容灾•按日对账•安全接入云•高一致存储云•虚拟财产管理•营收产品化订单流账单流分散、渠道稳定、性能快速、灵活应对年收入：亿元TBOSS总体架构在线交易/营销统一接口，流程控制包括用户触达、订单流转、营销管理等云账户虚拟财产账户管理包括一级的Q点/Q币、二级的游戏点券、服务及道具等APP融合渠道实体渠道管理如网银等帐单中心账务管理包括对账、结算等商户门户cpay.qq.comAPP…用户门户pay.qq.com&app业务管理门户产品业务管理门户开放平台…用户接入云支付商户接入UIUIUIUIUIUI产品中心商户产品管理如腾讯-黄钻等商户：web用户：web、mobile、client…TBOSS计费流程支付前端统一交易控制渠道外部渠道自有渠道账户运营商账单中心结算业务（物品管理）交易安全财务批价发货扣费……充值渠道安全账户安全用户渠道商平台方内容方运营方苹果营销触达渠道Tips/mail/…内部系统通过业务代码标识独立业务根据业务代码+平台ID等纬度，支持四方收入分成业务特点决定技术架构结算营销账户交易对账安全腾讯虚拟支付特点：•小额消费•一次性click•冲动型，几乎无失败回流•场景多样化平台核心能力：•存储层：7*24，10m写中断损失百万级•交易层：支付环境复杂，安全与体验兼顾•全流程：一分不差准银行级账务存储层容灾：高一致性数据服务解决方案快速、高并发访问支撑；7*24小时的持续服务能力；任何情况下确保数据的高一致性；与CAP矛盾？1-消除单点提升整体可用性A1+11最简单选丼算法2-牺牲极小局部可用性A保障一致性C未同步Key入黑名单其他可读写3-单key并发写的无锁设计keykeykeykey少量5/s大量1K/s海量1K/s内核解决：记录版本号业务模式：get-modi-set带版本号更新，允许失败扩展解决：扩展命令业务模式：updateu=u+增量so方式植入业务代码前置解决：全局并行，局部串行业务模式：分散到多台代理进行数据端存在不准确性应用场景：QQ用户的Q币账户，理论上存在同时多笔交易同时扣款应用场景：广告主账户余额字段，每一个广告点击都需要立即计费应用场景：营销活动中的配额字段，常常遇“抢”交易层安全：云支付开放平台架构部署主要设计直接面对第三方开发者，需保持接口易用走公网，着重支付安全（协议安全，页面安全，发货安全）交易层安全：移劢支付解决方案主要设计游戏内调用支付SDK的方式，提供一键支付体验劢态更换密钥方式，提升SDK与支付平台协议安全性全流程对账：DB防篡改+敏感操作审计抵挡不住的诱惑！Updatemy-balance=100..00敏感操作审计DB加密防篡改离线扫描操作行为在线校验关键字段全流程对账：流水平衡+单账户平衡交易控制层支付渠道一级账户二级账户交易流水稽核1分钟一次单账户平衡2小时一次效率工具：多维度ABTestABTest系统灰度控制AB策略日志系统策略推荐系统TDW效率工具：引流测试开发自测-测试-线上引流测试-上线验证-自劢化测试付费用户信用体系渠道/Portal数据支付关系链（用户间）资产转移（单用户）道具数据账号、好友（OIDB）疑似被盗（安全中心）用户分类付费习惯付费圈VPC付费用户画像账户恶意用户模型渠道游戏内其他模型高价值用户模型MMO高潜FPS高潜会员高潜…对账系统数据层数据接口逻辑层结果存储应用层输出修正支付IP“指纹”信用评级典型应用示例集中式BI系统架构月活跃用户超8亿；在线人际关系链超1000亿；注册用户数突破4亿；月活跃近2亿；活跃用户数超6亿；日均相册上传超过4亿；日写操作总数过10亿；月度覆盖用户超2.7亿；日均浏览量PC侧超17亿，手机侧近13亿；日访问用户量PC侧近1.3亿；手机侧近8千万；•日新增数据200TB+;•月数据增长率10%+；•支撑公司7大BG;•存储100+个产品数据；•TDW存储16W+个表；•日均计算量约1.5P；•日均任务数达20W；•TDW单集群最大机器数超过4,048台；腾讯的数据现状来源：腾讯2013第一季度综合业绩报告大数据处理技术的演进Shared-Disk（e.g.OracleRAC）Shared-Nothing（e.g.Hadoop）开源hadoop存在问题：滞后性，迭代慢规模小，效率低，稳定差易用性差数据服务总体框架Lhotse统一调度TDW海量数据存储与计算TDBANK数据采集与分发自劣提取与分析数据规范化管理TRC实时计算平台实时采集流式计算实时查询在线推荐模型社交广告电商视频其它数据仓库数据应用数据分析用户推荐SNGIEGMIGCDGECC数据开发者平台+数据门户TEGOMG业务BG丏题分析腾讯大数据平台的建设思路适应业务发展需求，强化平台能力围绕TDW（离线）+TRC（实时）构建航母级战斗群做好工具平台，提升服务水平数据门户+数据开发者平台依托腾讯云，对外提供数据云服务大数据处理+腾讯分析+精准推荐腾讯分布式数据仓库（TDW）查询引擎Lhotse任务统一调度IDE集成开发计算引擎MapReduce存储引擎HDFSHADOOPTDBANK数据采集Hive关键技术HadoopMaster（NN/JT）节点实现并行扩展，支持灾难时自动热切Hive功能丰富，支持传统数据库的标准语法，提供可视化集成开发环境TDBank准实时数据采集，支持5分钟及时数据分析Lhotse一站式任务管理，每天支撑100万级任务调度，可平行扩展基于开源hadoop和hive进行大量优化和改造单集群4400台（业界顶级规模），存储容量100PB月活跃用户（数据提取分析）2800人，覆盖7大BG88个部门腾讯分布式数据仓库技术突破HivesubmitmrHivesubmitmrTbl_aTbl_bHiveMetauserHDFSCluster2(HAnamenode)HDFSCluster3(HAnamenode)Tbl_a,Tbl_bTbl_aTbl_bsubmitmr获取NN信息userTbl_a,Tbl_b....JobTrackertaskTrackertaskTrackerJobTrackertaskTrackertaskTrackerJobTrackerJobTrackertaskTrackertaskTrackertaskTrackertaskTrackerClusterManagerNamenodedatanodedatanodeNamenodedatanodedatanodeActiveNamenodestandbyNamenodestandbyNamenodedatanodedatanode。。。datanodeHDFSCluster1解决JT和NN单点容灾和性能整合资源，13集群-》1集群单集群从400台到4400台实时计算平台（TRC）泛平台支撑，满足腾讯各类个性化推荐需求海量数据在线处理，日推荐请求300亿，流式计算30000亿算法精准，平台高效，毫秒级响应关键技术多种算法模型灵活适配，LR、RDT、SVD等简单高效的扩展能力，数据动态伸缩，上层无感知多副本数据容灾，服务可用度99.995%以上多级缓存技术，有效解决分布式计算的数据CoLocation问题1-TDBank数据源接入数据缓存预加工数据深加工解决问题：秒级数据时延，提升推荐效果数据管理方便自助接入、多种格式适配特色功能：公网传输、加密超大缓存，订阅自定义分发接入量：100T/天2-TDProcess核心需求：连续计算（PVUVCTRTopK）流式聚合-实时用户行为滑动窗口海量计算能力（300亿流量*50计算维度）3-TDEngine核心需求：在线交易系统，对自动容灾的要求高集群规模大，集群易管理、易扩容部署提升资源利用率，主备机同时服务特色功能：多副本备份多引擎支持动态扩容自定义存储结构4-推荐引擎主要难点：高并发：300亿流量，峰值70Wrps/s；每个请求同时计算100个广告实时：50ms广告预测复杂：计算每个广告至少访问5-8次cache数据（70W×100×5=3.5亿/s）预测访问的数据量大：高维CTR100G、用户画像600G、关系链1.5T当前应对：L2CacheHash分组，提升L2命中率应用客户端推荐逻辑推荐数据5-推荐系统架构图一站式数据门户数据仓库提取分析报表引擎用户画像数据门户A/BTest用户分群分层idea.oa.com自劣黄金眼指标快捷接入自劣配置生效face.oa.com实时分析纬度灵活丰富用户推荐经营分析战略决策data.oa.com战略决策层产品经理数据分析师海量、分布式tdw.oa.com分析方法服务人群数据应用产品结构/特性数据预测易用数据便捷接入我的数据中心数据开发者平台数据接入tdbank.oa.com数据开发IDE/数据建模调度配置Lhotse.oa.com元数据管理meta.oa.com应用配置API/配置管理数据提取用户画像黄金眼数据门户（应用平台）数据开发者平台更多…数据监控monitor.oa.com保证数据质量展现数据全貌呈现数据关系覆盖数据开发全流程一站式数据门户腾讯分析数据提取分析用户画像黄金眼TDWIDE开发环境元数据平台数接入平台洛子（任务配置平台）数据开发者平台数据接入tdbank.oa.com数据开发IDE/数据建模调度配置Lhotse.oa.com元数据管理meta.oa.com应用配置API/配置管理数据提取用户画像黄金眼数据门户（应用平台）数据开发者平台更多…数据监控monitor.oa.com保证数据质量展现数据全貌呈现数据关系覆盖数据开发全流程重点规划：围绕精准推荐进行平台布局已建设13年主建14年主建精准推荐应用视频推荐游戏推荐电商推荐通用推荐TDWTRC评估系统数据分析投放系统效果广告推荐TA/MTAQQ体系用户画像移动设备号用户画像高纬监督/非监督在线学习算法数据可视化腾讯分布式实时混合算法模型重定向算法支持多业务需求定向人群基于用户画像的数据挖掘算法库内容推荐…协作推荐流式挖掘算法…重点规划：持续提