iSCSI协议及实现iSCSI协议简介涉及到的SCSI的概念启动设备和目标设备启动设备(initiator):发起I/O请求的设备目标设备(target):响应请求执行实际I/O操作的设备在启动设备和目标设备建立连接后,目标设备在操作中作为主设备控制整个工作过程一般情况下主机适配器HBA作为启动设备,磁盘/磁带作为目标设备涉及到的SCSI的概念CDB:命令描述块。SCSI的命令及参数是填充在一定长度的数据块内传输的SCSIread(6)CDB典型的SCSI系统SCSI的缺点SCSI是点对点的、直接相连的计算机到存储器的设备接口,不适用于主机到存储器的存储网络通讯SCSI总线的长度被限制在25米以内,对于UltraSCSI长度限制为12米,不适于构造各种网络拓扑结构SCSI总线上设备数限制为15,不适用于多服务器对多存储设备的网络结构SCSI传输协议iSCSI的概念iSCSI是关于SCSI的命令、数据和状态到TCP/IP网络的映射的协议对TCP层的改造和增加较低功能层(对TCP层透明)是为了适应大批量存储数据传输的需要iSCSI协议现状IETF正在制定iSCSI协议标准,最新草案是draft-ietf-ips-iSCSI-06IETF:IPS工作组:~ips/iSCSI产品CiscoSN5420StorageRouterIBMTotalStorageIPStorage200i用CiscoSN5420构造的存储系统iSCSI协议结构1.概述2.协议数据单元格式3.用于iSCSI协议的SCSI模式参数4.登录相5.登录相之外的工作参数协商6.错误处理和恢复iSCSI的命名和编址iSCSI使用类似URL的iSCSI名字来唯一鉴别启动设备和目标设备。地址会随着启动设备和目标设备的移动而改变,但名字始终是不变的iSCSI的命名和编址一个iSCSI名字由三部分组成:类型定义符、名字认证机构、由该认证机构分配的名字iscsi.com.acme.sn.8675309iSCSI地址格式domain-name[:port]/iSCSINameiSCSI的发现机制启动设备可以通过下列方法发现目标设备:在启动设备上设置目标设备的地址在启动设备上设置默认目标设备地址,启动设备可通过“SendTargets”命令从默认目标设备上获取iSCSI名字列表发出服务定位协议(SLP)广播请求,等待目标设备回应查询存储设备名字服务器获取可访问的目标设备列表iSCSI会话(session)启动设备和目标设备之间的TCP连接构成一次会话一个会话包含一个或多个TCP连接会话由会话号区分,会话号包括启动设备部分和目标设备部分会话中包含的TCP连接可以增加也可以删除,这些连接由连接号(CID)区分命令编号从启动设备到目标设备SCSI层的命令由iSCSI编号,该号码由iSCSI协议数据单元中的命令序列号(CmdSN)携带目标设备的iSCSI层必须按命令序列号的顺序把命令传递给SCSI层目标设备的SCSI层接收到命令后该命令序列号即失效。命令序列号也能被用来进行命令的流量控制iSCSI登录和协商iSCSI登录是用来在启动设备和目标设备之间建立TCP连接的机制登录的作用包括鉴别通讯双方、协商会话参数、打开相关安全协议并且给属于该会话的连接作标记登录过程完成后,iSCSI会话进入全功能相(fullfeaturephase),这时启动设备就能通过iSCSI协议访问目标设备里的各逻辑单元了响应/状态编号从目标设备到启动设备的响应由iSCSI编号,在iSCSI协议数据单元中用状态序列号(StatSN)表示启动设备提供期望状态序列号ExpStatSN来确认状态如果状态序列号和期望状态序列号不同则意味着连接出现了错误协议数据单元格式Byte01230OpcodeOpcode—specificfieldsReserved4LogicalUnitNumber(LUN)812InitiatorTaskTag16ExpectedDataTransferLength20CmdSN24ExpStatSNorEndDataSN28SCSICommandDescriptorBlock(CDB)+44iSCSI启动设备命令基本首部(BHS)iSCSI协议的实现iSCSI代码来源iscsi-Apr6.tgz:Intel()kernel_emulator_10.tgz:IOL(InterOperabilityLab)ofUNH(UniversityofNewHampshire)()Iscsi-0.1.tar.gz:iSCSIresearchteamofUML(UniversityofMassachusettsLowell)(~mbrown/iscsi)程序的运行启动设备端:insmodscsi_target.oinsmodiscsi_target.o客户端:insmodiscsi.oinsmodiscsi_client.ofdisk/dev/sdamke2fs/dev/sda1mount–text2/dev/sda1/mnt/iscsiraiddev/dev/md0(多个目标设备)程序的结构(目标设备)1.STML(SCSITargetmid-level)处理SCSI命令2.FETD(front-endTargetdriver)将STML发来的命令数据封装成底层通讯协议数据包的格式发送到网络上或者将从网络接受到的数据包解包传递给STML将STML和FETD分开的原因增强程序的可重用性STML是通用的FETD是和底层采用的通讯协议(TCP/IP、Fibrechannel)相关的程序功能模块图STML提供给FETD的APIregister_target_template()deregister_target_template()register_target_front_end()deregister_target_front_end()rx_cmnd()scsi_rx_data()scsi_target_done()scsi_release()rx_task_mgmt_fn()FETD提供给STML的APIdetect()release()xmit_response()rdy_to_xfer()task_mgmt_fn_done()report_aen()重要的数据结构structTarget_EmulatorstructScsi_Target_TemplatestructScsi_Target_DevicestructTarget_Scsi_Cmndstructscsi_requeststructTarget_Scsi_Messagestructscsi_cmndstructsg_io_hdr_tSTML的初始化初始化一个structTarget_Emulator类型的全局变量创建线程scsi_target_process_thread处理大多数的STML的工作进入等待FETD的初始化向STML注册,STML将其加入设备队列创建线程iscsi_server_thread监听端口4002进入等待FETD向STML的注册过程FETD向STML的注册过程FETD向STML注销过程FETD对请求的响应当在4002端口监听的线程接收请求后创建线程iscsi_rx_thread接收SCSI命令创建线程iscsi_tx_thread传送应答和状态FETD创建一个Target_Scsi_Cmnd类型的数据接收SCSI命令,将其加入命令队列,唤醒STML的线程STT处理收到的SCSI命令STML对FETD的响应调用handle_cmd处理命令队列调用hand_to_front_end返回处理结果处理结果加入FETD的发送队列xmit_queue等待发送在结果发送完成后调用scsi_target_dones释放资源读类型命令的处理iSCSI的应用采用iSCSI的设备的特点采用了iSCSI协议的硬件设备是NAS和SAN的中间产品,它能简单连接到企业内部网,做到即插即用。而每一个远程用户端对该存储设备的访问效果接近于在本地直接访问SCSI盘。为无法承担光纤通道SAN环境基础结构高成本的中间市场客户提供利用SAN所带来的好处iSCSI&NAS在NAS上部署iSCSI协议很简单,因为不需要任何硬件上的改动,只是驱动软件的安装iSCSI&SANTheend