搜索
腾讯公司集中式BOSS及BI系统的技术架构介绍Zeus2012-8-18腾讯技术架构简史2000年业务2011年+2006年2007年2010年架构服务范围:移动及电信增值服务营收规模：28亿港币代码量:百万级技术团队:0~1000人一代架构:烟囱型技术基础:c++/.net/spring/RDBMS二代架构:面向服务型服务范围:全互联网产品领域营收规模：360亿港币代码量:千万级技术人员:1000~6000人技术基础:分布式缓存/消息队列/数据拆分/key-values数据库/Hadoop?服务范围:海外以及互联网领域营收规模：360+代码量:亿级技术人员:异地/开放?当前架构挑战:构建海量、稳定、安全平台•质量更可控•开发更简单•独立研发•降低单笔处理成本•去关键厂商绑定•99.9%-99.99%•核心业务做到0停机维护•自动化•应用级灾备•安全•千万级-亿级•同城-异地-全球•P级数据深度应用海量稳定速度成本集中式Boss平台•TBOSS简介•平台架构及业务指标•关键技术-数据层容灾•关键技术-安全防护TBOSS：TencentBusinessOperationSupportSystem服务于腾讯增值服务的公司级虚拟交易平台TBOSS适应云时代：云账户：二级代币、积分/豆、道具云支付：第三方、多平台、多终端TBOSS1.0TBOSS2.0TBOSS3.0BOSS集中化：从无到有，形成公司统一BOSS系统内部核心功能建设：计费融合、统一营销、实时容灾日结、账户防篡改、离线审计2011～2008～2010～2007紧随公司营收的发展•TBOSS简介•平台架构及业务指标•关键技术-数据层容灾•关键技术-安全防护目录数据中心渠道接入帐户管理支付发货计费结算统计分析客服支持订购关系个人账户渠道帐户号码资源帐单库业务控制层（负责各种业务流程的驱动和流转控制）统一业务控制Portal业务受理层（负责各种业务流程的受理）充值中心支付中心发货中心用户接入层（转换各种外部协议）BOSS接入网关联通SGIP。。。移动CMPP网通。。。电信pay.qq.com。。。Esales.qq.com内部协议平台系统架构平台业务指标联通电信Q币Esales……结算/TJ无线互联互娱财经安全用户交易请求支付渠道业务产品计费营销（批价/支付/发货）渠道接入产品接入移动即通……账单/对账账务网银营销资源管理支付：400万QB/小时、充值：250万QB/小时Q币账户：1.5亿、包月活跃用户：1亿180多个渠道合作商580多个产品代码•TBOSS简介•平台架构及业务指标•关键技术-数据层容灾•关键技术-安全防护目录整体技术思路软件：自主研发设备：廉价普通PC摘选自CTO-Tony：特点举例接入层容灾无状态类DNS路由分发数据层容灾1可拆分为局部状态游戏分区、分业务、分号段、灾时只读、容忍差异…数据层容灾2全局状态唯一性实时计费等写关键…（难题）一个经典难题的解决容灾设计中的柔性主Server主DB备Server备DB部门DNS深圳IDC_2深圳IDC_1Client1.DNS寻址2.获取服务手动切换现状：1、类银行级的实时交易2、写关键的容灾3、无写Cache的设计•TBOSS简介•平台架构及业务指标•关键技术-数据层容灾•关键技术-安全防护目录从用户角度看安全防护从公司内部看安全防护前台操作后台操作Token卡公司敏感权限控制及审计OA密码、SHELL审计ROOT密码管理、SHELL审计、关键脚本审计、数据库审计帐单中心对帐核对，DB加密防篡改Log审计腾讯BI系统•TDW介绍•海量数据平台建设目标•BI系统整体架构我们的定位：数据云、数据工场机房、设备、网络等服务虚拟机、资源调配1数据应用开发工具、组件、规范2基于数据仓库/BI分析库的自助分析组件3数据应用的部署、运维、托管4数据应用的公共服务5平台运营分析和管理1离线存储，离线计算和挖掘能力2在线数据收集、存储和流式计算能力3大规模集群的运营和优化能力数据API、产品报表，数据自助分析/提取，专题分析报告，数据挖掘，BI分析…数据应用/数据API应用开发平台（数据工场）基础设施基础平台（数据云）数据应用开发者最终用户(数据分析师/产品/运营/开发)使用数据Ad-hoc查询开发数据产品海量数据平台数据开放：使得公司数据集中形成数据开放，在保障数据安全性的前提下，提供自助化服务平台，从人肉服务模式转向平台自动化服务方式，帮助BG数据分析人员通过自助服务的方式，降低人工成本，满足快速增长的需求。专业化：从提供大量独立的系统/工具转变向提供集成、一体化、自动化数据开发平台服务。来源各个业务块数据进行整合和深入挖掘产生用户画像，为广点通，电商等业务提供服务，并且快速孵化更多的数据应用。成本与性能：优化平台存储和计算方案、优化的数据模型和算法、去除重复计算和存储；通过建设大规模集群，形成规模效应，提升平台能力并降低成本；随着平台上的数据量、用户数、任务数不断增长，每个新用户/新任务带来的新增成本不断降低，成本优势可以不断放大。目标：数据开放、专业化、成本集群规模/数据量/计算量机器数5000+台总存储能力28P050001000015000200002500030000201020112012H12012H2存储及机器增长情况存储(T)机器数(含旧机器）02004006008001000201020112012H12012H2日均计算(T)0510152025303540201020112012H12012H2日接入数据(T)日均计算量550T支撑4500个计算任务日新增30T数据腾讯BI系统整体架构技术服务IAAS（机房、网络、设备、虚拟机等）差异化存储数据银行数据展现服务BI分析引擎权限服务审计服务外部系统接口SQL执行引擎过程执行引擎报表服务可视化引擎基础服务基于容量的公平调度MR框编程架元数据服务效率优化引擎底层接口基础监控流程服务数据应用开发流程数据应用集成开发环境（TDW-IDE）DAG执行框架web应用知识库任务调度数据地图任务配置数据可视化系统管理和分析数据应用（自助分析/BI报表/pushmail/数据挖掘等）生命周期服务知识问答服务任务调度服务监控告警服务2012年H1建设完成2012年持续改进/集成待建颜色说明：注：待建部分未全部画出自助提取/分析权限申请业务专区血缘关系管理数据应用管理流程存储&计算平台容量管理基于角色的资源隔离结构化存储+列存分时计算框架集群管理模块高可用集群管理模块分散化物理优化用户多维profile手握手，肩并肩，启航！