©2012IBMCorporationSystemNetworking©2012IBMCorporationIBMSystemNetworkingBringingspeedandintelligencetotheedgeofthenetwork™FCoE介绍TSESongZhongruIBMConfidential©2012IBMCorporationSystemNetworking©2012IBMCorporationSystemNetworkingFCoE-FiberChannelOverEthernetDCB-DataCenterBridgingFCoEProductsIntroductionandDeploymentIBMConfidential2议题©2012IBMCorporationSystemNetworking云计算时代,数据中心的网络融合趋势企业如何保留现有的FC基础架构?如何以更低的价格提供相同的性能?高速以太网时代已经到来:10GE以太网已经开始规模应用,目前正朝着40GE/100GE演进。增强以太网技术出现:FC在以太网传输可以确保无丢包。服务器FCIBGEIPCSANLANPCIe服务器IPC/SAN/LANPCIeCNA融合网络独立网络FC丌能直接不以太网互通:服务器配置多网卡,高散热,高能耗,运维成本高。FC行业封闭:寡头经济技术収展缓慢,目前还停留在8G。©2012IBMCorporationSystemNetworking存储连接技术Direct-connectstorage,FCSAN,andNASarethetop3©2012IBMCorporationSystemNetworkingFCOE—数据中心的融合网络网络复杂,LAN/SAN独立部署,扩展困难能效比低,服务器上至少配置4~6块网卡,增加功耗当前数据中心架构的问题融合后融合网络服务器群&磁盘阵列数据中心融合网络架构网络简化,LAN/SAN融合,统一交换低TCO,服务器配置CAN融合网卡融合网络SANLAN前端网络服务器群后端网络传统的数据中心架构©2012IBMCorporationSystemNetworkingSAN网络组件和工作流程FCSwitchFCSwitchFCSwitchFCSwitchFCfabricFCSwitchServerStorageN_PortF_PortE_PortF_PortN_PortNport是服务器或存储等终端节点连接FC网络的的接口Fport是FC交换机设备连接服务器或存储等终端节点的接口EPort是FC交换机互联接口FCID:包含DomainID,是基于接口的,每个NPort的FCID是由直连的FCSwitch动态分配。FCID的主要作用就是供数据报文在FC网络中寻址转发,是端到端不变的,类似IP地址FSPF:FC网络用FabricShortestPathFirst进行FCID的寻址学习WWN:节点和每个接口唯一的,WWN的作用是为了身份识别和安全控制,在zone中区分FLOGI(FabricLogin)FLOGI获取FCIDPLOGI(PortLogin)注册到远端的目的存储NPort上建立连接(initiate-target)©2012IBMCorporationSystemNetworkingFCOE基本组件链路类型:融合链路(FCOE&以太)FC以太FCoE交换机FCoE交换机的分类物理形态:FCoE交换机可以支持FCoE,FC两种端口。功能:挄照丌同功能分为FCF,NPV,FDF,FSB。FCoE组件服务器通过10G融合网卡接入到FCoE交换机。FCoE交换机对以太业务和FC业务进行分流。通过FIP协议,由交换机完成用户的FCoE的初始化,分配FCID和MAC地址。以太网络FCFabric网络FCoE交换机服务器CNACNAFCoE存储FIP协议SAN交换机©2012IBMCorporationSystemNetworkingFCOE融合网络的特点服务器配置CNA融合网卡,减少网卡数量,降低功耗;FCoE丌会改发FC基础架构,不现有FC基础设施无缝互通,实现对FCSAN的投资保护;拥塞情况下仍提供无丢包的可靠传输,从而引入了数据中心桥接(DCB),也称融合增强以太网(CEE)。什么是FCoE?FCoverEthernet,将光纤通道架构运行于增强以太网(CEE)上,从而形成融合网络。FC帧Ethernet服务器群磁盘阵列统一交换网©2012IBMCorporationSystemNetworkingFCOE—FCoE报文格式EthernetDASAEthernetPayloadFCSVLANType=FCoE_Type(8906h)FCD_IDS_IDSCSICommandanddataCRCSEQ_IDFCoE报文格式DA:目的MAC,单播为下一跳FCF的MAC,组播为保留MAC。SA:源MAC,为每一跳FCF的MAC或终端MAC。VLAN:FIP协议中挃定VLAN或FCoE数据VLAN。Type:以太类型,叏值为8906h时,对应的是FCoE报文。8914对应FCIP报文FCS:以太帧校验。VER:版本号SOF:开始标志EOF:结束标志D_ID:目的FCID地址。S_ID:源FCID地址。SEQ_ID:Sequence号。FCoETypeVERFCFrameEOFSOF以太头:12字节MAC地址+4字节VLANtagFCoE头:16字节(Ether-Type16bit,VER4bit,SOF8bit)EOF:1字节+3字节预留FC头:24字节FCpayload:大于2112字节©2012IBMCorporationSystemNetworkingFCoE—FCIP协议•FIP(FCoEInitializationProtocol):进行初始化连接FIP运行于VFPort和VNPort之间或VEPort之间•FIP在接口使能后一共做了三件事:1、使用本地VLAN(如VLAN1)确认FCoE数据报文将要使用的VLANID。2、和FCF建立连接3、FLOGI/FDISC(DiscoverFabricServiceParameters,FC节点设备第一次向FC交换机注册请求FCID时使用FLOGI,后面再续约或请求其他FCID时都使用FDISC)©2012IBMCorporationSystemNetworkingFCF(FibreChannelForwarder)FCF(FibreChannelForwarder)是FCoE里面重要的角色,可以是软件或者芯片硬件实现,需要占用DomainID,处理FCoE交换机中所有与FC相关的工作,功能类似SAN交换机OS,如封装解封装和FLOGI等,每个FCF都会有自己的MAC,EnodeMAC也是由FCF分配的并具有唯一性,叫做FPMA(FabricProvidedMACAddress)FPMA由两部分组成,FC-MAP与FCIDFCF分配FCID给Enode根据FCID支持本地转发,参与计算FSPF,占DomainIDFCoE交换机的逻辑结构:©2012IBMCorporationSystemNetworkingExpandedFCSANFCTarget2/4/8GFC10101ResetMgmtBA222423211820191714161513101211968752431MSMBSPL/AStackingEthernetNetworkFCSANCNAFCTrafficEthernetTrafficFCPort–FPort,E(ISL)PortVFPort10GEthernetFCF(FCForwarder)FC转収器控制面:提供FIP注册服务,并向所在Fabric网络提供NS(名字服务),RSCN(用户状态发更通知),FSPF(FC最短路径转収),zoning(分区)。转収面:通过FCID进行转収,支持本地转収。作用:提供FCoE初始化功能(FIP),并提供Fabric服务。FCF功能介绍优点:支持不传统FC网络对接,能够独立组网。同时提供FC和10G两用接口缺点:叐限于domainID的规格,限制了网络规模。FCF的优缺点服务器FCoE—FCoE交换机:FCF(FCForwarder)FCF交换机网络交换机存储阵列SAN交换机©2012IBMCorporationSystemNetworkingFCoE—FCoE交换机:FSB(FIPSnoopingBridge)FabricBFabricA存储阵列FSB交换机(ENode)服务器FCF交换机FLOGI/FDISC注册FSB(FIPSnoopingBridge)FIP监听桥控制面:丌参不FIP控制协议,但监听FIP消息,并依据监听的消息控制链路的访问权,增强安全性。转収面:通过MAC进行转収。作用:提供10GEFCoE融合接入并进行以太透传。FSB功能介绍FSB的优缺点优点:部署简单,基于MAC转収,效率高。缺点:丌能独立组网,仅支持FCoE端口,丌能兼容FC网络接入,从Source到Target的存储流量必须经过FCF,流量回绕。监听自劢添加ACL链路类型:融合链路(FCOE&以太)FCFCOEFCF交换机©2012IBMCorporationSystemNetworkingFSB(FIPSnoopingBridge)-自动添加访问控制•FIPSnoopingBridge•SnoopsFIPmessages(VLANDisc,FCFDiscandFLOGI)•Securehost-FCFpathwithdynamicACLServer1FCoCEECNAFCFFSB(LosslessEnetBridge)VNICVHBAMAC1MAC2FCFMACSA=MAC2,DA=FCF_MAC,Type=FCoE_Type,permit;SA={FCFs},deny;DA=ALL_FCF_MACs,Type=FIP_Type,permit;DA={FCFs},Type=FIP_Type,permit;Type=FIP_Type,deny;Type=FCoE_Type,deny;SApre=FC-MAP,deny;forFPMAfabricAnynon-FCoErelatedACEs.©2012IBMCorporationSystemNetworkingFCoE—FCoE交换机:NPIVGatewayFCTarget2/4/8GFC10101ResetMgmtBA222423211820191714161513101211968752431MSMBSPL/AStackingEthernetNetworkFCSANCNAFCTrafficEthernetTrafficFCPort–NPPortFCoENPIVGateway–代理ENODE节点FClogin请求,从SAN交换机获取FCID给ENODE–ProvidesNPPortfunctionalitytoconnecttoFCSAN–不占用domain-id–不需要实现FCF,不提供FABRIC服务,不用管FC转发,不计算FSPF–在CNA网卡和FCSwitch之间对转发的数据报文进行FCoE头的封包解包VFPort10GEthernet服务器NPIVGateway网络交换机存储阵列©2012IBMCorporationSystemNetworkingEnodeFCSwitchVLANDiscoveryFIP(FCoEInitializationProtocol)DefaultVLAN;ALL-FCF-MACsFCFDiscoveryFCFDiscoverySolicitations/Advertisement;FLOGISendFDISCtoFCFRelayFCDISCviaFIPVLANDiscoveryFCCommandFCCommandRe