社交技术架构介绍

人人网技术架构介绍人人网·黄晶Guideline人人网架构发展NuclearRose架构发展2006Let’sGetitstartedResinProMySQLInnoDB主从结构单Storage+Squid架构发展2007突飞猛进LVSResinWeb集群大量使用Memcached中间层，基于ICEMySQL集群，垂直分区简单分布式StorageLucence搜索架构发展2008继续突破开放API，SOAMySQL集群，水平分区加强监控和安全DFS，龙存架构发展2009~2010稳健发展紧耦合=松耦合，SOAGracefuldegradationMySQL=NoSQL多数据中心，可扩展，灾备关注TCOGuideline人人网架构发展NuclearRoseNuclear–功能分布式key-value存储数据自动复制到多个节点数据自动分区到不同节点存储容量无限扩展CAP-CANuclear-CAP可用性永远可写入(HintedHandoff)不存在单点风险Nuclear-CAP多一致性选项DISCARDMINQUOROMDISCARDUOROMALL提供最终一致性EventuallyConsistentNuclear-OverviewNuclear-原理构建NIONettyProtocolBuffersSpring富数据模型Key=List弱结构化查询Nuclear-原理分区－HashRingABCNodeA0~6148914691236517205NodeB6148914691236517205~12297829382473034410NodeC12297829382473034410~18446744073709551616Nuclear-原理增加节点NodeNNodeANodeBNodeCNodeN0~3074457345618258602NodeA3074457345618258602~6148914691236517205NodeB6148914691236517205~12297829382473034410NodeC12297829382473034410~18446744073709551616Nuclear-原理增加节点A{[c,a],[b,c],[a,b]}B{[a,b],[c,a],[b,c]}C{[b,c],[a,b],[c,a]}N{[c,n],[b,c],[a,b]}A{[n,a],[c,n],[b,c]}B{[a,b],[n,a],[c,n]}C{[b,c],[a,b],[n,a]}A[a,b]=NB[b,c]=NC[c,n]=NNuclear-原理替换节点A{[d,a],[c,d],[b,c]}B{[a,b],[d,a],[c,d]}C{[b,c],[a,b],[d,a]}D{[c,d],[b,c],[a,b]}N{[d,n],[c,d],[b,c]}B{[n,b],[d,n],[c,d]}C{[b,c],[n,b],[d,n]}D{[c,d],[b,c],[n,b]}B[d,a]=NC[b,c]=ND[c,d]=NNuclear-原理删除节点A{[d,a],[c,d],[b,c]}B{[a,b],[d,a],[c,d]}C{[b,c],[a,b],[d,a]}D{[c,d],[b,c],[a,b]}B{[d,b],[c,d],[b,c]}C{[b,c],[d,b],[c,d]}D{[c,d],[b,c],[d,b]}C[b,c]=BD[c,d]=CB[d,a]=DNuclear-原理节点状态迁移图Nuclear-原理Consistency和NWRW+RNW=2R=2N=3系统保障最终的一致性MerkleTreeNuclear-应用系统组件–普通节点(Node)•接收Client请求•提供数据存储–中心节点(Seed)•维护整个NuclearInstance的拓扑关系•健康检测–客户端(NuclearClient)•提供CRUDAPINuclear-应用NuclearInstanceNodeANodeBNodeZ……SeedNuclear-应用节点变更–增加•shnode.shnewA–删除•deletenodeA(manage.sh)–替换•replaceANuclear-应用性能–单节点处理最高2.5Wreq/s–典型应用环境：•4Node•Mysql•N=3W=2R=2•100ClientWriteRequest•单个Node15862req/s平均单次请求耗时5ms99.51%请求耗时50msNuclear-应用性能010000002000000300000040000005000000600000013579111315171921232527293133353739414345474951timesClientWriteQpstimesNuclear-应用NuclearClientAPIGet@paramkeyString@paramdataIDLong@paramconsistencyLevelList@paramkeyString@paramCondition?@paramconsistencyLevelNextDataIDPut@paramkeyString@paramdataIDLong@paramvalueByteString@paramconsistencyLevelReplace同PutdataID可选Delete@paramkeyString@paramdataIDLong@paramconsistencyLevelNuclear-应用CodeExampleDataIDProtocolBufferNuclear-应用NuclearManageClient–QPS查看–Node接收请求总数–Node处理请求耗时数据–节点信息查看–集群拓扑信息查看–动态更改节点处理线程数Nuclear-展望–EventuallyConsistent–VectorClock–AsyncStore–ReadCache–BalanceMonitor–BigTable?Nuclear-参考•Amazon'sDynamo–•Cassandra–•Voldemort–•主创人员：冷昊＋人人网UGC团队–RoseRose是什么Rose人人网释出的开源Web开放框架(Java)主创：王志亮＋人人网架构组REST式Web开发基于Spring技术支持服务端portalRose的应用100%覆盖人人网Web网站首页、个人主页状态、日志、分享公共主页开放平台Rose的发展人人网支持全线使用不断更新稳定发布开源路线Wiki电子书Rose开发示例资源•假设有2个只读资源•GET/blog/251375230/459764084o这是一篇日志的URLo251375230是作者的IDo459764084是该日志的ID•GET/blog/251375230o这是某个人的日志的URLo251375230是作者的IDRose开发示例控制器骨架packagecom.renren.blog.controllers.blog;@ReqMapping({userId:[0-9]+})publicclassBlogController{@GetpublicStringlist(@Param(userId)longuserId){returnblog-list;}@Get({entryId:[0-9]+})publicStringshow(@Param(userId)longuserId,@Param(entryId)longentryId){returnblog-show;}}Rose开发示例视图文件骨架•根存放地址：{webapp}/views•BlogController视图地址：{webapp}/views/blogoblog-list.jspoblog-show.vmRose开发示例model:控制器--视图@AutowiredBlogServiceblogService;@GetpublicStringlist(Invocationinv,@Param(userId)longuserId){ListEntryentries=blogService.findUserEntries(userId);inv.addModel(entries,entries);returnblog-list;}Rose开发示例使@Autowired工作•实现步骤o创建com.renren.blog.service.BlogService及其实现o在WEB-INF下创建spring配置文件：applicationContext-blog.xmlo把BlogService实现配置到该文件中oBlogController将自动通过类型找到BlogService实例并注入(dependecyinjection)•@autowired机制o在纯粹spring中默认是关闭的o在rose下默认是打开的，而且无法关闭Rose开发示例部署•在sourceFolder/META-INF/目录下创建rose.properties，写上rose=controllers,messages,applicationContext,dao•jar包发布，确认rose.properties存在于目标jar的META-INF下•web.xml配置roseFilterfilterfilter-nameroseFilter/filter-namefilter-classnet.paoding.rose.RoseFilter/filter-class/filterfilter-mappingfilter-nameroseFilter/filter-nameurl-pattern/*/url-patterndispatcherREQUEST/dispatcherdispatcherFORWARD/dispatcherdispatcherINCLUDE/dispatcher/filter-mapping•./start.shRose其他特性•可扩展、可订制o参数解析器o参数验证器o拦截器o统一错误处理器•flash：在重定向前后传递信息•简单、可层级化的国际化支持•rose重量级插件：服务端portal技术•调试工具：/rose-info/jar、/rose-info/mapping等•jade项目集成：annotation式的DAORose-Statement开源化：使用ApacheLicense,Version2.0；通用化：不做只适合某个公司假设的事情；安全：不含法律、道德、业内所不允许行为的代码调试工具默认关闭；稳定发布：在人人网经受每日数亿访问冲击，稳定发布；支持：提供丰富的wiki、电子书(2010Q2-Q3)公共主页：!