架构之美--腾讯在开放环境下的网络架构

1架构之美--开放环境下的网络架构网络平台部MartyMa（马志强）2012-5-162前言及介绍内容及收获：偏技术、非上流、偏底层、非代码的腾讯网络介绍您能了解到，在您代码飞速运转的腾讯开放平台上，我们如何为您构造所需的网络环境，尤其是咱的数据中心网络您能了解到，为了让用户更稳定更顺畅地享用您的开发成果，我们在自己的网络、运营商网络上做了哪些努力小生简介：MartyMa(马志强)•腾讯网络平台部网络架构中心•十来年的运营商和企业网络经验3前言及介绍•+100万服务器•+10自建IDC•+2000G带宽•与约150个运营商对等互联•自有光纤网络及骨干网•加入ONF，已有SDN骨干网实践•约合+30万台服务器•自建+租用IDC•与约80个运营上对等互联•实践大规模数据中心网络•加入ONF•约合+50万台服务器•与约110个运营商对等互联•实践IAAS云网络•约合+20万台服务器•租用+合建+自建IDC•+1000G出口带宽•与+10个运营商对等互联•实践大规模数据中心网络及多业务承载网•加入ONF服务器量对外出口网络情况4网络架构－业务需求是第一出发点即时通信•国内最大的在线社区•最高同时在线数1.5亿网络媒体•流量最高的中国门户网站网络游戏•国内第一互动娱乐游戏平台•QQ游戏最高同时在线账户数841万网络社区•国内最大的互动社区网站•月活跃帐户数5.52亿无线业务•国内领先的无线门户网站注：所有数字的统计口径为2011年年底业务众多且型态各异，网络服务要求不一是对网络架构的最大挑战！开放平台5F1F1M1M1FabricPath…8+台Nexus2248Nexus5548POD1VPC…8+台Nexus2248Nexus5548POD13VPC……为什么云网络重要哩。。。PMVMVMPMVMVMPMVMVMPMVMVMPMVMVMISP-N用户沈佳宜ISP-B上进的开发者腾讯强大的开放云平台那么透明的腾讯云网络快速给我我需要的资源~用户访问的我应用要顺畅~我可不想别人的问题影响我的应用，分开~我的应用访问不要出故障~。。。6支撑开放云平台的云网络要。。。开放，是一种态度，更是一种能力网络浮云于此7支撑开放云平台的云网络要。。。网络基础设施要健壮强劲•批量建设的IDC及网络资源•运营商级别的城域和广域网络网络要适应多租户接入需求•整体网络解决方案•自定义云网络用户网络覆盖质量要好•IDC资源布局•多运营商网络接入环境•运营商网络扩容的问题安全下得了厨房上得了厅堂8先看看网络的简介9网络的基础知识…默默地支撑你的业务对话，我是谁，你看不见我，我是腾讯云网络我的业务要被用户访问我的代码运行在哪里？服务器又在哪里？IDC又在哪里？谁来保障的访问安全两台服务器之间要通信谁来保障我的关键访问。。。。。。10网络的基础知识网络的基本概念•将服务器群、存储等腾讯IDC资源连接起来的关键基础设施是网络，并通过运营商网络，将我们互联网用户与我们业务服务连接起来的，也是网络网络的基本组成•接入交换机、核心交换机、防火墙、路由器网络的类型•按照地域范围和功能不同分为IDC网络（数据中心网络）、城域网、广域网、公网、合作伙伴外联网络接入层交换机核心交换机路由器防火墙服务器机架仍有问题？腾讯微博！11网络平台构建－与业务开发的节奏有差异产品设计产品开发产品调研产品发布产品运营产品消退互联网产品基础网络免费海量互联网用户及时反馈物理科学发展十年如一日微创新、每年上+100款商用产品每3-5年出一款快速出模、敏捷迭代运营成熟，可商业化要2年持续运营、IDC消亡起码5年灰度发布、及时回滚伸缩有度、屈身弯腰长尾持续、原地复活开局失败、一年白忙乎触一发动全身、整体联动12网络业务网络平台构建－与业务共成长2000年2010年100,000人同时在线100,000,000人同时在线支撑100台服务器支撑100,000台服务器支撑1、2个IDC机房支撑+10个IDC*+10个IDC=1,000G的内部交互提供1,000Mb为主体的数据中心网络提供10,000Mb为主体提供几条Mb的窄带专线提供数十条G/10Gb的通路默认回首，十年革命之路，我们共同面对13网络平台构建－从”先抗住”到”海量蜕变”今天的网络…•数十人的运营支撑团队，数十人的专业设计构架团队•支撑超过20万台服务器，网络设备达上万台•业界领先的5K台规模计算集群数据中心网络v3.5•搭建百G总容量的广域网络，支撑全国和海外数十个大中型IDC•…14网络架构网络架构产品网络平台构建－基础设施整体解决方案运营建设公共服务组件机房环境IDC资源服务器和系统IDC网络CBNTIX外联网络…全球网络…快速灵活公司业务战略业务架构需求安全稳定容纳SiSi15网络平台构建－适应云计算与技术发展从作坊式定制化的企业型网络向海量计算集群网络向智能自定义网络，前进！从纯手工式故障发现排除向全面监控智能化网络到运营商级稳定网络，前进！16网络基础设施要健壮强劲安全17IDC网络的昨天V2.0-v3.0-v3.5杂：网络专区过多，特色服务难以快速满足；乱：网络稳定性欠缺，存在单播flooding；弱：网络性能难以满足需求，过高超载比使得服务器获得的带宽较小；慢：网络层次和设备多样，标准程度不高，难以满足快速建设需求；18批量建设的IDC及网络资源网络性能和扩展性明显提高通过自动化工具的研发以及工程试点显著提高网络部署效率网络稳定性和高可用性显著提高腾讯v3.5数据中心网络19从IDC走出去的网络，稳定性更重要想象，一根光纤，可能使得你的界面与DB失去联系!业务的兄弟们IDC1IDC2IDC3IDC4IDC5IDC6IDC7IDC8IDC9IDC10IDC11IDC12IDC13IDC14IDC15几万台服务器，分布在一个城市几十个IDC，上千种业务在100多条万兆互联链路上产生了约700G的跨IDC洪流20运营商级别的城域和广域网络MAN：将同一城市内多个IDC互联起来组成的网络标准化结构，构建承载力强，冗余性高的健壮城域网络构建成上T级汇聚能力，百G级站点交互能力，自建大容量高可靠传输系统的城域网21运营商级别的城域和广域网络广域网架构规整化及能力提升--高速铁路＋高速公路为业务全国分布做好准备重点业务流量保障--差异化服务且资源效率高--高铁VIP上等座~广域网监控精细化--业务看得见、有意识、重协作--得管理好啊，不能有”信号故障”DCDCDCACACACACACACACACACAC22智能监控及服务•20W+服务器、2W+网络设备状态、性能、容量的实时采集与智能分析，1分钟存活状态监控，5分钟性能、容量监控•100+IDC、200+外网出口、500+内网专线，从IDC内部服务器到出口、专线FullMesh的5分钟粒度的全方位网络质量监控与度量体系基础架构海量节点实时监控支持--腾讯自主开发TMP系统城域核心城域核心城域核心城域核心IDC-1IDC-2IDC-3IDC-4IDC-5IDC-6IDC-7IDC-8IDC-9看得见管得住用得好23智能监控及服务•每日400w条的海量信息处理，+80%故障处理解决率，覆盖公司全业务的基础架构日常运营工作•业务安全防控，流量全局调度，业务质量检测，演戏预案等系列前瞻性运营工作，为海量业务提供高质量、全纬度的运营服务腾讯基础设施7*24的运营入口-NOC247*24小时的主动监控响应服务随叫随到服务器和网络资源随叫随到健壮强劲的网络让您有时间享用咖啡快乐的开发环境用起来灵活安全成长随叫随到25网络要适应多租户接入需求下得了厨房26数据中心云网络要面向开放平台时找地方盖房子(IDC机房建设)精装修(机架和服务器入驻)联排别墅要隔离(安全隔离)通上水和电(基本的网络通信)一栋别墅不够住(计算和网络资源扩容)有饮用水和中水(网络服务质量的区分)通上公路和曲径接受客访(与互联网接通)打造温馨小区，作为“白心”开发商我们咋整?您还要BMW？！……27数据中心云网络要面向开放平台时提供云平台支撑高效IP地址利用提供虚机隔离资源灵活性虚拟化支持计算资源任意迁移计算资源与物理机位无关承载合作业务承载自营业务主机托管业务安全隔离及访问控制多业务承载28数据中心云网络面向开放平台适应自营业务和开放平台业务的多种多样需求•高带宽/无阻塞通信、组播、Qos保障…云计算数据中心的安全服务•网络安全防护手段（VRF、VLANACL、PVLAN、基于标记的安全防护等）与硬件抽象层软防火墙/DFW与相结合为虚拟化环境提供所需的安全防护整合网络资源，统一调度快速交付•云控制平台/Matrix实现30分钟交付虚拟机，通过自动化工具/例如云计算网络控制中心与Matrix对接，实现业务感知的网络资源调度，VM迁移时，相关的网络信息、网络安全策略、Qos策略统一调度2010年2011年设计研发概念验证选型测试试点磨合批量规范。。。V3.5网络支持全年30多个网络模块建设。。。29性能：支持单台服务器500Mbps或1Gbps无阻塞通信数据中心云网络面向开放平台性能：支持约5千台服务器/2万台虚拟机一个网络模块多样性：部分支持万兆服务器接入多样性：支持特殊流量Qos保障通信及组播通信多样性：支持合作伙伴VPC接入安全：分布式防火墙及网络策略结合支持租户隔离数据中心即插即用云网络30数据中心云网络面向开放平台-自定义云网络腾讯与业界的前沿性研究-SDN腾讯云网络智能控制集群10万台服务器规模的云计算计算集群关键流量保障策略。。。安全控制策略腾讯云计算控制集群向开发同学学习，让搞网络像写代码样灵活SDN-自定义云网络实现网络灵活平滑扩展快速特性定制31全国网络支持开放平台多业务承载网西北地区IDC西南地区IDC华北地区IDC华东地区IDC接入接入接入核心核心接入接入接入核心核心内网内网内网InternetIDC城域广域城域IDC内网华南地区IDC内网Internet接入内网内网内网内网内网MPLS/VPN•稳定高效的承载网络•安全可靠的业务交互32用户网络覆盖质量要好上得了厅堂33腾讯IDC和网络资源布局•4个资源片区•3个DC城市•约10余个AC城市•约合20万服务器•约合1000GIDC带宽•约合1400GCDN带宽近似相当于1~2个大中型城市的城域网出口总带宽量34用户体验是腾讯业务和基础设施的首要关注点业务”内容”就在这里，用户”眼球”在哪里？运营商网络质量与我们有着千丝万缕的联系运营商网络故障对腾讯的影响占比连年超过70%运营商网络各个层级的故障都对我们的用户体验有影响看清、对齐、布局35用户体验是腾讯业务和基础设施的首要关注点•哥一咳嗽•我就傻眼•如果每个用户访问100kbps•至少得掉几百万用户啊~~36ProbeAgentIDCSpeedAgentInternetDC/AC网络机房User用户访问服务的网络质量取决于：用户-IDC外网质量，IDC内部网络质量，IDC间网络质量DC/AC网络机房ProbeAgentIDCSpeedAgent联动联动看清--点、线、面的网络质量监控37对齐--提前与运营商接口规划信息运营商省网/城域网、骨干网等都是用户体验的关键环节与运营商省/城公司、集团骨干公司提前对齐规划信息38对齐--提前与运营商接口规划信息天津电信，2011年12月改善前至12~13个省份的时延在140ms以上天津电信，2011年12月改善后至4~5个省份的时延在140ms以上商务技术39布局--如何优化*特色下的用户体验主力运营商间的互联互通，长期保持质量较差，恐怕内容至少复制两份不可避免…中小运营商那里的用户咋办…尤其是移动互联网大发展的时候…长宽、天威、中国移动、教育网…中国电信中国联通200~300G利用率100%时延100ms内容内容客户客户40布局--多运营商网络接入环境IDC和网络资源上尽可能多地提供多运营商接入环境1.处理复杂的商务环境2.关键技术•域名引导•BGP、地址转换、IP