搜索
SAN架构设计黄蓝玓大中国区技术经理博科公司北京2007年3月14日2007年3月免责声明本演示文档中提及的所有或某些产品可能仍在开发之中，具体的规格——包括但不限于发布日期、价格和产品特性——可能有所变化。产品可能无法按预计的一样发挥作用，而且产品可能永远不会生产发布。即使发布生产版，可能与这里探讨的预发布版有着实质的不同。本演示文档中的任何内容并不表示任何保证，无论是表示、暗含、法定或其他方式，包括但不限于任何商业化保证、符合特定目的、或此处提及的任何产品和服务违反第三方的权利。Brocade、BrocadeB波形标志、FabricOS、文件生命周期管理器、MyView、SecureFabricOS、SilkWorm和StorageX是博科公司在美国和/或其他国家的注册商标，而Tapestry是博科公司在美国和/或其他国家的商标。所有其他品牌、产品或服务名称是或可能是商标或服务标志，用于识别各自拥有者的产品或服务。2007年3月BrocadeCCMASAN交换机构架•FC交换机需要端口之间的内部连接，而且有很多不同的方法•网络行业使用了很多种设计，例如共享内存、crossbar、CellSwitching或者总线(bus)等等•大多数博科产品是单级中央内存交换机，通常只有一个完全集成的ASIC芯片•端口数量较多的博科交换机将ASIC当作中央内存交换机，由后端ASCI连接控制前端端口，称为CCMA(具有通道的中央内存构架)•导向器后端的拓扑是后端ASIC到ASIC链路的几何布局，与SAN的拓扑是ISL连接分布非常相似2007年3月BrocadeASIC本地交换•本地交换是BrocadeASIC构架独有的特色：•依靠BrocadeASIC完全集成的交换引擎才能实现•提供昀高性能，不消耗内部带宽•200E、4100和48000–16端口FC刀片•1–本地交换机组•32端口FC刀片•2–16端口本地交换机组•48端口FC刀片•2–24端口本地交换机组2007年3月BrocadeASICISL干线合并和动态路径选择•动态路径选择(DPS)•在exchange-based平衡干线组之间的负载•在一个交换内保持有序传送•平衡来自任何物理位置的负载•昀佳实践•合并使用DPS和帧层干线合并•DPS对于不同距离的链路都有用•更大的干线合并带宽和更远的距离•昀多8条ISL合并为32Gbit/sec干线•增加了干线距离：3端口干线支持250公里，8端口干线支持25公里•提高可用性•向后兼容•2Gbit/sec兼容模式2007年3月Brocade虚拟通道2007年3月Brocade4Gbit/secSAN交换机•成本效率:•更省电•散热效率更高•更高的MTBF•32端口:1,2,4Gbit/secFC•集成的SERDES•7M门-130nm过程•E,F,公共FL（任何端口）•所有端口共享1024buffercredits（平均每个端口32buffer）•按需增加端口（PortsonDemand–POD）•动态路径选择–在任何端口组之间进行交换层“干线合并”•ISL干线合并–8端口,32Gbit/sec•支持更长距离–单条或者合并的ISL•每个端口16个虚拟通道，具有兼容Bloom的虚拟通道模式•492硬分区，可支持2048硬分区设备•控制处理器卸载•更多的性能计数器•通过交换机实现QoS优先通信410016-324Gbit/sec端口，可按需增加端口FICON认证200E8-164Gbit/sec端口，可按需增加端口EZSwitchSANSetup安装向导4800032-3844Gbit/sec端口FICON认证多种导向器刀片类型490032-644Gbit/sec端口，可按需增加端口FICON认证刀片服务器交换模块2007年3月Brocade4Gbit/sec(Condor)ASIC功能性能:•所有端口都支持线速4Gbit/sec•1024个BufferCredit分配到32个端口:•8个Credit给F/FL_Port•每个端口昀多255个Credit•动态路径选择，使用基于SID/DID流的传输队列扩展性:•2－8端口干线合并•硬件辅助的FC端口启动互操作:•FCE_PORT、F_PORT、FL_PORT支持公用设备互操作•和第三代ASIC(Bloom)交换机可以实现完全互操作处理器卸载:•帧的硬件DMA和连续的寄存器块•硬件端口启动•LED闪烁RAS:•逻辑BIST在Board启动时检测On-Chip故障•所有RAM上都有内存BIST•为RAM/CAM和内部总线提供同等保护•SERDESPRBS生成和回转•捕获第一个错误2007年3月Brocade4Gbit/sec(Condor)ASIC功能数据统计:•每个端口统计RX/TX词数或帧数•每个端口统计错误、丢失、改变的帧•AdvancedPerformanceMonitoring(linktable)支持监测:•可对512个流进行性能监测•每个端口LLI信号接口过滤:•256硬分区•每个端口帧过滤QoS（服务质量）:•每个端口16个虚拟通道(VC)•VC翻译(始发端口和路由表)•VC与第三代BloomASIC兼容-•多VC共享Credit•CS_CTLMapping支持•2个VC优先组，用于外部链路•每个VC有2个VC优先等级用于内部链路•支持在内部和外部链路上的F-class优先设定•动态路径选择(基于SID/DID的干线合并)，支持优先分组2007年3月Brocade导向器的发展-SilkWorm12000ASICpair3ASICpair2ASICpair1ASICpair0FrontEndASICpair34ASICpair2ASICpair1ASICpair044412121212FrontEnd(userports)BackEnd(interconnect)0132Slot1Slot2Slot3Slot4•2002年推出•双64端口Domain•XY内部ASICMesh2007年3月Brocade导向器的发展–XYtoCECP0CP1Internal4GbitCCMALink8Gbitsofinput8GbitsofinputCP0CP116Gbitsofinput(8x2GbitFCports)16Gbitsofinput(8x2GbitFCports)4xInternal2GbitCCMALinks4xInternal2GbitCCMALinks16Gbitsofbackplanebandwidth(2x4x2GbitCCMAlinks)•SilkWorm12000XY布局的问题是：硬线连接不平衡将在极端的corner-cases中产生2:1堵塞•SilkWorm24000CE的布局是对称的，没有硬线连接堵塞问题•1:1subscription，Fat-tree•24000中可以运用软件解决极少出现的不平衡状况，48000在ASIC硬件中自动完成2007年3月s2s3s4s7s8s9161616161616s1s10s5s6161688cpcpSilkWorm24000Brocade导向器的发展-SilkWorm24000构架•2004年推出•128个端口单个Domain•CE内部ASICMesh2007年3月Brocade导向器的发展-SilkWorm24000构架88CPCP16ports/bladeCP/CoreBladesEdge/PortBladesBackplaneCoreASICsBackplaneTracesforCCMALinksSlots1through4Slots7through10Slots5and62007年3月Brocade48000企业级导向器•16-384个1/2/4Gbit/sec端口，每个槽64Gbit/sec•多协议功能:FICON,FCR路由,FCIP,iSCSI•昀高的性能和用电效率•博科独特的本地交换技术实现了同级别中昀高的槽带宽•基于帧的ISL干线合并，优化网络效率•每条ISL干线可支持32Gbit/sec，支持256Gbit/sec平衡的干线和BrocadeDPS•昀早的而且仍然是昀优秀的4Gbit/sec导向器•密度和性能优势，其它构架必须进行oversubscription，限制了部署选择。2007年3月Brocade48000硬件概述端口卡(1－4槽)端口卡(7－10槽)N+1冗余风扇装置2N冗余电源无线缆侧线缆侧状态LED冗余AC输入1和214UCP和冗余CP(第5、6槽)2007年3月48000–控制处理器刀片有(4MB)无(512KB)双启动镜像有无DMA/PCIMaster512MBDDR/166MHz256MBDDR/133MHzSDRAM1GB256MBCardFlash有无以太网连接PPC440GX-800MHzPPC440GP-466MHzCPU功能刀片类型SW24000(CP2)SW48000(CP4)2007年3月48000–16端口光纤通道刀片•Brocade48000–16端口刀片性能•所有128个端口支持全速4Gbit/sec速率的1:1可用带宽•16端口刀片包含1个16端口组•16个端口组内部交换永远是全速4Gbit/sec•在2－32(8X4)Gbit/sec内部通道上动态平衡16个端口的数据通信2007年3月Brocade48000Brocade48000构架s2s3s4s7s8s9161616161616s1s10s5s6161688cpcpSlot1Slot102007年3月16CPCP16ports/bladeCP/CoreBladesEdge/PortBladesBackplaneCoreASICsBackplaneTracesforCCMALinksSlots1through4Slots7through10Slots5and6Brocade48000构架2007年3月Brocade48000构架EachLineisa16GbitFrame-BalancedPipe(32Gbitfull-duplex)16x4GbladebladebladebladebladebladebladeCCCCCP0(Slot5)CP1(Slot6)64GbitTotalBlade-to-BPExchange-BalancedPipe(128Gbitfull-duplex)PortBlade1CondorASIC2007年3月48000-32端口光纤通道刀片•Brocade48000–32端口刀片性能：•32端口刀片：所有256个端口在全速2Gbit/sec速率上实现1:1可用带宽•32端口刀片包含2个16端口组•16个端口组的内部交换始终是全速4Gbit/sec•如果发生下列情况会产生16:8oversubscription(昀坏情况)•所有进出刀片数据通信都是4Gbit/sec•所有数据通信都是来自或者前往其它交换组，即没有内部交换•在2－32(8X4)Gbit/sec内部通道上动态平衡32个端口的数据通信2007年3月Brocade48000Brocade48000构架s2s3s4s7s8s9323232323232s1s10s5s6323288cpcpSlot1Slot102007年3月Brocade48000构架1616CPCP32ports/bladeCP/CoreBladesEdge/PortBladesBackplaneCoreASICsBackplaneTracesforCCMALinksSlots1through4Slots7through10Slots5and62007年3月Brocade48000构架16x4GbladebladebladebladebladebladebladeCP0(Slot5)CP1(Slot6)32GbitTotalASIC-to-BPExchange-BalancedPipe(64Gbitfull-duplex)PortBlade1Con