晒晒你的系统架构田逸(sery@163.com)简体版《互联网运营智慧》繁体版《linux老鸟这样搞定机房大小事》SACC2011SACC2011内容概要:系统架构与可用性、可扩展性、易维护性、建设成本等直接关联,设计良好的系统架构既能控制较低的单位成本,又能以极少的人力维护和运营庞大的系统资源。本主题收集了一些具有代表意义的中小型互联网系统架构案例,以期能为同行提供一些借鉴。SACC2011SACC2011从这里开始某研究机构邮件系统架构某行业巨头网站总体架构某知名互联网公司系统架构某广告平台系统架构某互联网开发企业系统架构(非全部)某知名电子商务网站系统架构SACC2011SACC2011某研究机构邮件系统整体架构SACC2011SACC2011某研究机构邮件系统整体架构(续一)系统组成1、硬件:(1)2套sunv880(2)SUNA5200磁盘阵列2、软件:(1)IplanetMessagingServer5.2forSolaris(2)openLDAP(3)某商业双机软件(目前不能使用,删除了)SACC2011SACC2011某研究机构邮件系统整体架构(续二)系统架构特点:1、高可靠性:一主一备,保证有一个主机正常工作;2、可扩展性:存储容量可扩展;3、高性能:用了原厂光纤盘阵,因此磁盘i/o的性能比较高SACC2011SACC2011某研究机构邮件系统整体架构(续三)当前的工作机制:A.启动一个服务器,挂接磁盘阵列的磁盘,然后运行阵列上的ldap及mail相关服务(所有程序都存在阵列上);另外一个服务器一定要使阵列处于卸载状态。B.如果运行中的服务器出现故障,则关闭邮件相关程序并卸载磁盘阵列,再运行另外一个服务器,挂接阵列,接着启用阵列上的相关服务SACC2011SACC2011某研究机构邮件系统整体架构(续四)点评1、高成本:2个服务器加一套存储加软件,总价300万人民币(不差钱啊)2、低利用率:任何时刻,只有一个服务器对外提供服务(目前,只能手工切换)3、较低的数据安全性:只有一个数据存储容器,阵列挂掉,所有的数据将丢失殆尽4、自动化程度低:大部分操作需人工操作5、无监控平台,出故障靠值班或者用户电话通知SACC2011SACC2011某行业巨头网站总体架构SACC2011SACC2011某行业巨头网站总体架构(续一)架构概述:前端一个F5,中间若干web服务器,后端一个oracle数据库.每2个服务器组成一个集群,即每2个服务器运行相同的应用—web设计思路:基于高可用可扩展架构特点:半高可用SACC2011SACC2011某行业巨头网站总体架构(续二)★点评:1、半高可用:负载均衡是单点,数据库同样是单点2、成本高:使用了数十个服务器,但其访问量很低3、资源利用率低:每个服务器只承载1-2个站点4、集群规划不合理:每2个服务器组成一个集群,假如一个服务器出故障,所有的访问请求都转到唯一剩下的那个服务器SACC2011SACC2011某行业巨头网站总体架构(续三)建议:1、负载均衡高可用2、数据库高可用3、整合服务器资源:比如每组集群服务器数量为4个,每个服务器运行更多的网站SACC2011SACC2011某知名互联网公司系统架构SACC2011SACC2011某知名互联网公司系统架构(续一)架构特点:1、全局高可用:缓存集群、web集群、数据库集群、负载均衡器热备2、数据库读写分离、从服务器集群3、容量横向扩展4、高成本:服务器高配、所有服务器均放在同一个bgp机房(带宽费大概680元/兆)SACC2011SACC2011某知名互联网公司系统架构(续二)☆☆点评1、操控风险大:所有的转发、负载都在netscaler负载均衡下2、横向扩展灵活性受限:据悉该公司所在的机房托管资源极度紧张,扩容一次得花很长的时间,并且机柜不能跟以前的机柜相邻。试想,将来机位没有了,再新增服务器咋办?3、业务分拆困难:为了搜索引擎优化(SEO)4、成本高:服务器都是高配(大概是不差钱吧)SACC2011SACC2011某广告平台系统架构SACC2011SACC2011某广告平台系统架构(续一)架构描述:1、服务器全部放在美国(有违规内容,打擦边球)2、服务器全部租赁3、服务器分布在不同州的不同机房(为了避免被防火墙封锁)4、低成本、高带宽:每个服务器带宽1GB,据客户称所有服务器的租赁费一个月5000人民币SACC2011SACC2011某广告平台系统架构(续二)☆点评:1、国内访问速度稍微有点慢(主要的用户是在国内)、偶尔会被GFW屏蔽2、临时规避兼管的一个措施(还是不要做违法的事情)3、无高可用性:数据库是单点;dns轮训方式负载,并无健康检查能力4、国运营商的国际出口带宽资源不尽相同,所以得在不同的机房租赁服务器,而不能集中。SACC2011SACC2011某互联网开发企业系统架构(非全部)SACC2011SACC2011某互联网开发企业系统架构(续一)架构描述:1、主流与热门技术大量使用:负载均衡、健康检查、Failover,智能主辅dns,分布式文件系统,简单cdn实现,hadoop云计算环境,分布式缓存memcached,mysql数据库主从复制,可视化运营平台2、多业务集群3、数据库按应用单独配备4、大流量分离SACC2011SACC2011某互联网开发企业系统架构(续二)★★★点评:1、局部高可用以及全局高可用2、系统扩展性良好3、流量分配合理:大流量如静态图片等被智能dns定向到“离用户近”的低成本单线机房4、成本相对较低:服务器全部是市场攒的低配主机,有些设备甚至是濒临淘汰的,通过架构创新得以充分的利用资源5、分布式文件系统master未能做到自动切换,hadoop的namenode也无热备6、监控系统没有实现高可用SACC2011SACC2011某知名电子商务网站系统架构SACC2011SACC2011谢谢!!!2011.9.9北京SACC2011SACC2011