硬件部署方案

硬件配置与软件部署方案1.系统要求沟通平台集微博+IM+店铺+LBS＋搜索＋游戏，目标用户规模为亿级以上，信息量巨大，海量数据存储和大规模并发是系统的一个瓶颈问题。用1000万用户量作个估算，每人上传10张图片/月，大小为20k；发布微博100条/月，每条400字节，数据量为：10000000*20*10/1000+10000000*100*400/1000/1000=2400G=2.4TB/月一年之后，数据量为240TB，加上数据冗余及系统预留配额，硬盘数据容量要接近1PB，可见数据量巨大。2.存储方案选择一、方案一租用云服务目前云服务主要提供商主要有百度云、阿里云、可牛云，他们的收费模式大致相同，都收取空间费用、数据请求量和流量费用。计费公式为:存储容量+流出流量+请求次数费用=费用总计可牛云收费存储空间：空间范围价格0GB-1TB0.50/GB/月1TB-50TB0.45/GB/月50TB-100TB0.40/GB/月100TB和他们协商流量：流量范围价格上传流量：无限制免费下载流量：0GB-2TB0.50/GB2TB-100TB0.45/GB100TB-200TB0.40/GB200TB和他们协商数据请求：请求方式价格PUT/DELETE0.10/万次请求GET0.01/万次请求阿里云的收费用标准：存储费用存储空间费用0GB-500GB0.01元/GB*天(约0.3元/GB*月)500GB-2TB0.0093元/GB*天(约0.28元/GB*月)2TB-10TB0.0083元/GB*天(约0.25元/GB*月)10TB-50TB0.0077元/GB*天(约0.23元/GB*月)大于50TB0.007元/GB*天(约0.21元/GB*月)流量费用流出流量费用0GB-500GB0.75元/GB500GB-2TB0.7元/GB2TB-10TB0.65元/GB大于10TB0.6元/GB数据请求费用数据请求费用Get/HeadObject每10000次0.01元其他所有请求每10000次0.01元百度收费标准：类别阶梯价格存储容量（元/GB*天）0-500GB500GB-2TB2TB-10TB›10TB0.010.0090.008面谈流出流量（元/GB*天）0-500GB500GB-2TB2TB-10TB›10TB0.650.60.55面谈请求次数(元/万次*天)PUT/POST/DELETE/GET/HEAD0.01从三家收费标准来看，百度收费是最省钱，可牛和阿里价格相近。以2TB的存储容量，每天请求次数为1000万,流出流量为600G作为应用例子，计算存储成本。每月总费用=(2000*0.009+1000*0.01+600*0.6)*30=10980元一年费用=10980*12=131760元。该方案的优点：容量自由扩展，同时省去运营成本和研发成本，开发速度会大大提高；前期如果访问量和数据量不是很大时候，它的投入是比较少的。但是它的缺点也是明显的，它的成本在整个运营的过程中，都要支付这一笔费用，当数据量达到PB级别时候，每年投入会过千万。二、方案二搭建自家存储系统可以利用FastDFS分布式技术来搭建自家的存储系统。系统的架构如下图：两台NameServer互为热备，但有一个是主设备；当主备挂起的时候，可以用另一台充当主备。数据服务器充当存储单元，第一份数据会放到两个以上的存储单元中。从最小可运行的角度来配置，系统需要两台主机可以运行。如果要配置2TB的容量的话，只要在这两台主机上布置4TB磁盘，每台2TB。主机配置如下：名称规格及功能数量单价总价存储服务器Dell™PowerEdge™R200Server英特尔奔腾双核处理器E22002.2GHz,1MB二级缓存,800MHz前端总线,65W2TB3.5-inch7.2KRPMSATAIIHardDrive*22GB(2x1024),DDR2800MHzECC2R内存28,00016，000存储服务器配置不是很高，它的主要工作是调度数据服务器，将文件分解存储。调查了解到广州较场西机房服务器托管收费标准：单IP百兆共享1U7500元/年；2U8000元/年广州人民中双线机房服务器托管收费标准：双线百兆共享1U8000元/年；2U8500元/年两个机房收费相差不多，选用双线机房2U，一年成本为8500。总成本为:8500+16000=24500元。如果访问量增加，可以加dataserver节点，两台第一年成本为24500,以后每年会降至17000。加上请人员进行运营维护，每年人员成本四万/人，总共为64500元。三、租用与自建比较：对比租用云存储和自建存储系统，可以得出：租用云存储系统在系统访问量不是很大，数据量也比较小的情况下，它是很省钱的，也无需花购买服务器的钱。当数据量大的时候，自建系统的成本优势就会体现出来了，下面的图显示租用和自建存储系统投入与用户规模比较：投入规模租用自建图1租用自建比较3.应用服务器部署平台的应用包括微博、IM服务器、店铺应用服务器、LBS应用服务器、数据搜索应用服务器、游戏应用服务器，数据库服务器，WEB站点，其简化部署图如下：API服务数据库IM应用服务器店铺应用服务器微博应用服务器搜索应用服务器游戏应用服务器LBS应用服务器WEB站点图2系统简化部署图考虑数据冗余、系统冷热备份、大规模数据并发问题，要保证数据安全、系统可用性强及响应时间短，要加入主从数据库服务器，同时要为应用配置群集和负载分流。主从数据库采用读写分离方式，并且将数据进行水平与垂直分割，将他们分片分表存储，提高读写效率。同时采用就近原则，将数据尽可能放入内存中。因此，系统的部署图如下：API服务主数据库IM应用服务器从数据库从数据库Memcache…IM应用服务器Ngix+PHPAPI主数据库Memcache…Appache+JBossAPI……Web站点服务LVS+PHP…图3系统部署图从图中可以看出，系统可靠并安全运行，至少要两台主机，互为主从，主机参数选型如下：联想ThinkServerRD630E5-2609/2×4GB/2×1TB基本资料产品型号RD630E5-2609/2×4GB/2×1TB产品类型机架式产品结构2U处理器CPU系列至强处理器E5系列CPU核心四核总线规格QPI6.4GT/sCPU型号E5-2609CPU主频2.4GHz三级缓存10M标配CPU数目1个主板主板插槽2×PCI-E3.0x163×PCI-E3.0x8内存内存类型ECCDDR3标配内存2×4G内存插槽数20最大内存容量320G存储硬盘接口类型SATA,3.5英寸硬盘标配硬盘2×1TB存储控制器R500ADAPTERRAID0硬盘热插拔支持光驱带光驱,SLIMDVDRWSATA光驱其它工作环境工作温度：10℃-35℃工作湿度：8%-80%存储环境储存温度：-40℃-70℃储存湿度：8%-93%电源单电源最大功率800W管理工具DIT高级版/易管理软件：EASYMANAGE管理软件/有导航/系统用户光盘/高级导轨尺寸87.6×442×720.6mm重量≤26.5kg价格为:12000元。主机也可以选择云主机服务器，它的特点是可以灵活配置CPU数量、内存、带宽和硬盘容量。阿里云主机不同配置，会收取不同的费用，如配置与费用关系如下：CPU内存数据盘带宽价格（月）价格（年）1核Xeon512MB0GB1Mbps55元550元1核Xeon512MB40GB1Mbps69.4元694元1核Xeon1.5GB80GB2Mbps145.8元1458元2核Xeon1.5GB130GB5Mbps335.80元3358元2核Xeon2.5GB230GB5Mbps415.80元4158元4核Xeon4GB480GB5Mbps669.80元6698元4核Xeon8GB730GB5Mbps936.80元9368元8核Xeon16GB730GB5Mbps1486.80元14868元租用云主机的优点是前期无需投入设备购买费用，计算能力可以按需要调整，在系统用户规模不可预知的情况下，使用云主机的成本比较划算。对系统主机数量，可以按用户规模来分阶段来增加。它们的关系如下表：阶段用户数量/万人主机数量系统存储容量带宽11022TB10M250815TB50M310015-20200TB100M410001201PB1G在比较讨论后，存储系统采用自己搭建方案，系统部署图成为：API服务主数据库IM应用服务器从数据库从数据库Memcache…IM应用服务器Ngix+PHPAPI主数据库Memcache…Appache+webLogicAPI……Web站点服务LVS+PHP…FastDFS文件系统Client…图4总体系统部署图