第一章：什么是服务器（15学时）

高性能计算机和曙光GHPC1000集群系统技术支持中心张新凤曙光信息产业（北京）有限公司目录•1高性能计算简介–1.1什么是高性能并行计算机–1.2流行的高性能计算机架构–1.3集群技术的趋势•2本项目GHPC1000集群系统介绍1.1什么是高性能并行计算机由众多部件组成，具有运算速度快、存储容量大、可靠性高的特性。也称为：巨型计算机、超级计算机目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。1.2流行的高性能计算机架构并行向量机SMPDSM（NUMA）MPP，节点可以是单处理器的节点，也可以是SMP，DSMCluster混合架构1993—2006年高性能计算机在TOP500中的变化1.3集群技术的趋势•MPP/PVP在构造大规模系统，应用饱和性能方面具有优势，资金充足的依然会选择；•大型的CC-NUMA系统将逐渐走向衰落：它的优势是大物理内存，大量CPU共享内存的高效编程对用户是一件困难的事；大规模并行计算的效率问题；不适合构造更大的系统；价格高，优势丧失；•SMP系统存在访存瓶颈，导致可扩展性的限制，不能用于构建更大的并行机器（64路以上）•集群系统由于无可比拟的性价比优势占据主流位置。•1高性能计算简介•2本项目GHPC1000集群系统介绍目录设计目标及设计思路基于通用CPU+专用GPU的高性能计算集群GPU峰值速度：183TFlops(单精度)高性能、高可靠的高性能计算平台系统整体配置节点：计算节点1(A620r-T)：43×2=86台GPU显卡：GTX295计算节点2(A620r-T)：16×2=32台GPU显卡：C1060IO节点(A620-H)：1台存储：DS6310EE1台容量：16TB网络：计算网：Infiniband1套36口IB交换机1台96口IB交换机1台20GbIB网卡119块管理网：千兆以太网1套48口交换机3台水冷和支撑系统：水冷机柜6个控制系统系统：SKVM系统1套集群控制台1套软件系统：操作系统GridView管理系统Powerconf节能软件系统GNU编译器并行环境CUDA开发环境详见配置表系统整体拓扑图计算结点１：A620r-T曙光GPU计算节点A620r-T：43台GPU处理单元:1×NvidiaGTX295GPU卡处理器：1颗AMDOpteron23782.4G四核处理器内存：16G内存硬盘：1×160GBSATA热插拔网络：集成2×1000MInfiniband：集成DDR20Gb/sHCA计算结点2：A620r-T曙光GPU计算节点A620r-T：16台GPU处理单元:1×NvidiaC1060GPU卡处理器：1颗AMDOpteron23782.4G四核处理器内存：16G内存硬盘：1×160GBSATA热插拔网络：集成2×1000MInfiniband：集成DDR20Gb/sHCA机箱结构-整体示意图机箱前部硬盘GPU卡2风扇主板1电源1电源2主板2GPU卡1整机方案细节描述—主板规格•主板技术规格–FormFactor：大约16.7”x6.8”（42.3cmx17.3cm）–CPU:最高支持2颗AMDbarcelonaorshanghai处理器–Chipset:NvidianForce3600–内存：16DIMM插槽，支持DDR2533/667ECCREG–LAN:2GigabitLAN–Infiniband:MellanoxInfiniHostIIILxDDRMT25204A0-FCC-Dsingleport–SATA:4-SATA2SupportRaid0,1,5–PCIE:1全长全高PCI-Ex16(支持双卡宽度，每机箱支持2片卡）–IPMI2.0图片仅供参考曙光天阔GPU-SERVER主板存储系统I/O结点磁盘阵列曙光A620r（1台）：处理器：2×AMDOpteron23782.4G内存：16GBDDR2-667硬盘：1×146GBSAS热插拔HBA：1×12Gb/sSAS4xHBA卡网络：2×千兆IB：20GbIBHCA曙光DS6310EE盘阵(16T):企业级存储系统，热插拔Raid控制器性能：4个SAS4x主机通道扩展性：最大扩展至80个驱动器可靠性：Cache镜像及掉电保护容量：16块1TBSATA磁盘存储系统Infiniband计算节点冗余的企业级后端存储架构业界主流的nfs网络文件系统IO节点：1台盘阵容量：16TA620r-H:产品技术规格规格备注处理器支持2路Opteron2000系列普通功耗处理器L2/L3512K/core，共享2MBL34核巴塞罗那处理器L2/L3512K/core，共享6MBL34核上海处理器芯片组NVIDIAnForce3600内存/Max16×DIMMs/64GB支持DDR2533/667ECC、Reg光驱、软驱DVD-RW，可选USB-DVD驱动器，USB软驱硬盘控制器集成SAS控制器，支持HostRAID0，1，1E可选SASRAID卡，支持RAID5，6硬盘控制器集成SATA控制器，支持HostRAID0，1，5最大支持6块硬盘做HostRAID硬盘位最大12个热插拔硬盘位可支持SATAII，SAS网卡2个1000M（Nvidia）扩展性能2×PCI-Ex16插槽（x8速率）3×PCI-X133/100插槽1×PCI32插槽说明：均为LowProfile扩展卡。显卡集成ES1000图形控制器32MB显存电源600W电源可选1＋1冗余电源监控可选IPMI管理卡核心架构图DS6310EE/DS6312EE•SAS-SAS磁盘阵列，单控/双控；•处理器：IntelIOP341，主频1.2GHz•接口：每控制器4个SAS4×主机端口，1个SAS4×扩展接口•驱动器接口：SAS，支持SAS/SATA硬盘•Raid级别：0、1、1E、5、6、50、60•热插拔控制器；DS6310EE单控，DS6312EE冗余双控；每控制器512MB-2048MBCache，配置Cache保护电池；•3U机架安装机柜，带有16个磁盘托架；•可以通过SAS4×扩展接口连接最多4个16盘位的扩展柜，80块SAS/SATA2硬盘•通过盘阵内嵌的DawningRAIDManager实现轻松的部署和管理，支持串口管理；•支持后台同步；重建；冗余检测；SMARTconditionpolling；在线扩容•支持在线扩展逻辑磁盘的容量，方便用户应用系统的规划与调整；•支持RAID级别迁移，降低用户维护成本，降低系统重新规划带来的数据丢失风险；后台RAID迁移：支持RAID0、5、10、50、1E之间互相迁移；登陆管理软件IP：10.0.0.1子网掩码：255.255.255.0用户：administrator密码：passwordDS6310系列磁盘阵列的管理端口支持虚拟IP技术，可将一台磁盘阵列上的两个控制器的管理端口绑定在一个虚拟的IP上，虚拟IP与两个控制器的IP无关，他们可以设置在一个网段中，也可以不在。默认虚拟IP为10.0.0.1，子网掩码255.255.255.0，控制器默认真实IP为10.0.0.2/3，子网掩码：255.255.255.0。登陆后会弹出安全警报，点击“是”才能正常登陆管理软件。登陆后界面总体管理（关闭、重启系统，恢复出厂设置）点击树形菜单中的“管理工具”，在出现的界面中可进行DS6310存储系统大部分的管理操作，如：关闭、重启系统，恢复出厂设置等。用户管理只有权限为“Super”的用户可以进行创建用户的操作，点击“创建”标签，即可进行创建操作，新用户在创建时可选择4种权限，分别为：View：允许用户查看所有的信息，但不能进行任何操作；Maintenance：允许用户进行重建、PDM、介质巡检以及冗余检查等维护操作；Power：允许用户进行创建（不允许删除）RAID、LUN，更改RAID级别，改变Stirpesize，改变RAID、LUN、物理磁盘以及控制器组件等操作。Super：允许用户进行所有的操作。“密码”标签中可进行修改用户密码的操作，需要注意的是，权限为“Super”的用户可以修改自身其他用户的密码（包括其他Superuser），而其它用户只能修改自身的密码。需要修改时，先在“信息”标签中点击相应的用户，然后点击“密码”标签进行相应的操作即可；只有权限为Super的用户可以进行删除其他用户的操作（包括其他Superuser），点击“删除”标签进行相应操作；“会话”标签中可以查看当前登录到系统用户列表。网络管理DS6310系列磁盘阵列的管理端口支持虚拟IP技术，可将一台磁盘阵列上的两个控制器的管理端口绑定在一个虚拟的IP上，虚拟IP与两个控制器的IP无关，他们可以设置在一个网段中，也可以不在。在“管理端口”标签中所查看以及设置的都是虚拟IP。点击“端口配置”进行虚拟IP的设置。网络管理（续）网络管理（续）在“维护模式”标签中所查看以及设置的都是控制器的真实IP。点击相应控制器“端口配置”进行真实IP的设置。固件升级在“固件更新”标签中可以升级控制器的FIRMWARE。固件升级（续）使用HTTP方式进行固件升级，选择HTTP升级方式后点击“下一步”固件升级（续）点击“浏览”按钮，选择升级文件后点击“提交”上传文件。固件升级（续）确认无误后点击下一步，当进度达到100%后，重启磁盘阵列完成操作。建立RAIDDS6310系列磁盘阵列支持RAID0、1、10、1E、5、50、6通过先进的RAID虚拟管理技术，在创建RAID时，每颗物理磁盘可以被分割成不同的区域，这些不同的区域可以用来创建不同RAID级别的逻辑磁盘，每组逻辑磁盘的StripeSize以及缓存使用方式可以自行设定。建立RAID（续）1、点击树形菜单中的“磁盘阵列”选项，出现如图所示界面，其中“信息”标签显示当前存储系统的已有的RAID的基本信息；2、点击“创建”标签，或标签旁边的下拉菜单，选择创建方式；自动配置：以默认配置与参数创建RAID，如果有足够的磁盘数量，将会创建热备盘（RAID0除外），用户无法选择参数；快速配置：用户可以选择少量的参数进行RAID创建；高级配置：完全由用户自定义RAID参数。建立RAID（续）3、在“磁盘阵列别名”输入栏中设置RAID别名，并在“物理驱动器”框中选择磁盘，左边的框中为备选磁盘，右边的框中为已选磁盘，在左边的框中点击期望选择的磁盘（可以使用CTRL与Shift键复选），点击“”按钮，点击“下一步”。建立RAID（续）4、DS6310系列磁盘阵列支持同一磁盘组（RAID）中不同的LUN采用不同的参数。为LUN设置别名，选择相应的Raid级别、容量、条带大小、扇区大小、读写策略以及首选控制器ID后（启用LUN关联后此项被激活），点击“更新”按钮。按照相同的方式设置其它的LUN，设置完成后点击“下一步”按钮。建立RAID（续）5、确认无误后点击“提交”按钮完成设置，树形菜单中也有了相应RAID的选项——“磁盘阵列0”。删除RAID1、在树形菜单中点击“磁盘阵列”选项；2、点击“删除”标签，；删除RAID（续）3、勾选期望删除的RAID，并点击提交，弹出确认对话框，在对话框中输入“confirm”并点击“OK”完成操作。设置映射DS6310系列磁盘阵列支持自动映射，即所有与磁盘阵列建立连接的主机，全部能够自动识别到DS6310磁盘阵列上所有的存储空间，但为了便于管理以及提高数据安全性，DS6310提供了映射与LUN屏蔽的功能，这两个功能往往一起使用。总体步骤：1、添加启动器（HBA卡）；2、屏蔽所有的LUN；3、设置LUN与启动器（HBA卡）的映射关系设置映射（1）添加启动器（HBA卡）1、点击树形菜单中“存储服务”选项，在出现的页面中点击“启动器”标签右侧下拉菜单，选择“添加启动器”，在输入框中输入相应HBA卡的WWN，点击“添加”按钮完成操作（HBA卡的WWN号可在“