网格计算及其在高能物理中的应用概况

网格计算及其在高能物理中的应用概况高能物理所计算中心本报告参考了：CERN钱思进教授2002年7月的报告GridComputinganditsApplicationIHEP孙功星副研究员准备2000年11月8日在韩国召开的“国际高能物理数据网格研讨会上所作的报告GridActivityinchinaIHEP杨大鉴研究员的博士生蒋文保的报告GridComputing美国加州理工大学HarveyBNewman在2002年10月9日ICFA讨论会上作的报告ReportfromICFAStandingCommitteeonInterregionalConnectivity许榕生研究员为本次大会准备的报告高能物理网格发展动态•网络技术的三次浪潮•什么是网格计算•为什么现在会发展网格计算•哪些行业需要网格计算•高能物理对计算的需求•网格计算的基本技术•国际网格计算技术的发展现状•国内网格计算现状及发展前景网络技术发展的三次浪潮•第一次浪潮：Internet的产生（80年代）–计算机相互连接的发展产生了局域网–FTP、Telnet、Email–newsgroup、BBS•第二次浪潮：（80年代末-90年代中期）–超文本文件由http协议连接–的产生（1989年由CERN科学家发明）•第三次浪潮：Grid（90年代后半期-...）–各种资源统一通过网格技术连接–根据用途不同分为数据网格、计算网格...什么是网格Argonne实验室的I.Foster认为网格是一种规模大小可变的虚拟组织：由动态合作的个体、研究单位和资源所有者之间的灵活的、安全的、协调的资源共享•虚拟组织的成员——分布在世界各地的，为了完成同一件事情的研究机构、大学、科学家个体…•资源——计算机、存储设备、网络、大型科学仪器、数据库、软件、信息…用户的观点：希望使用网上资源像使用电力、自来水那样方便，不必关心是从哪里来的资源，也不必考虑用多用少，总能满足需求。与电力网比较主动的，可以是提供共享资源的节点被动的最终用户规则无须中心控制是，在很多国家和地区由政府单一控制中心控制全世界国家或地区（基于政治或经济因素等）共享地域地理分布、研究或工业领域、研究机构…地理分布共享范围计算机、数据存储设备、数据库、大型仪器设备、网络、软件…发电站、高压线、变电站…共享资源计算网格电力网格为什么现在会发展网格计算•需求–计算密集型、I/O密集型、数据密集型计算的需求–需要使用位于远处的大型、位置固定的仪器设备–在不同地区使用具有不同政策的已有技术的复杂需求–大型国际合作项目的需求•可能性–计算机工业技术符合摩尔定律的发展–网络基础设施飞速发展，发达国家、地区高速网络及跨大洋的洲际光缆已经具备相当的规模–软件技术的新发展哪些行业需要网格计算•生物、生化研究–人类基因研究–爱滋病药物研究•地震仿真研究•大气物理与气象预报•高能物理理论与实验•社团组成:–数千家庭计算机用户–慈善机构提供的计算能力(Entropia)–研究组(Scripps)•共同的目的=促进爱滋病研究家庭中的计算机用来评价爱滋病药物___________imagecourtesyfrom地震工程和仿真NEESgrid（地震工程和仿真网格）:•将地震工程师与实验设施、数据库、计算机结合的体系结构•按需地使用实验、数据流、计算设施、档案、合作NEESgrid:Argonne,Michigan,NCSA,UIUC,USC高能物理对计算的需求以LHC实验为例LargeHadronCollider（大型强子对撞机）能量.:14TeV(质子-质子)1250TeV(铅核-铅核)亮度:1034cm-2s-1(质子-质子)1027cm-2s-1(铅核-铅核)周长:26.6km主要实验:4个4主要的LHC实验ATLASCMSALICELHCbLHC计算需求数据存储–原始数据率0.1–1GByte/sec相当于5-8PetaBytes/year需要磁盘容量10PetaBytes处理能力–200,000个目前(2001)最快的PC机LHC高能物理实验数据处理示意图层1Tier2Center在线取数CERN700kSI95~1PBDisk;TapeRobotFNAL:200kSI95;600TBIN2P3CenterINFNCenterRALCenterInstituteInstituteInstituteInstitute~0.25TIPSPC或工作站~100-400MBytes/sec2.5Gbps100-1000Mbits/sec2007-8年达几十Pbyte/sec.5年左右达到1000PByte/sec离线物理数据~PByte/sec~2.5Gbits/secTier2CenterTier2CenterTier2Center~2.5Gbps层0+1层3层4层2中心层2对撞实验CERN内部/外部比例~1:2层0/(层1)/(层2)~1:1:1世界上参加高能物理实验合作的单位欧洲:267个研究单位,4603个用户其他地区:208个研究单位,1632用户ICFA——国际未来加速器委员会SCIC——地区间连接标准委员会高能物理对网络的需求ICFA于1996年启动各国之间的高速网络互联计划ICFA要求参与国际高能物理合作的国家和机构必须：检查他们的运行方法以便保证与远方合作者的完全连接争取提供必要的通信设施和足够的国际带宽ICFA1998联网带宽计划(Mbps)199820002005BWUtilizedPerPhysicist(andPeakBWUsed)0.05-0.25(0.5-2)0.2–2(2-10)0.8–10(10–100)BWUtilizedbyaUniversityGroup0.25-101.5-4534-622BWtoaHomeLaboratoryOrRegionalCenter1.5-4534-155622-5000BWtoaCentralLaboratoryHousingOneorMoreMajorExperiments34-155155-6222500-10000BWonaTransoceanicLink1.5-2034-155622-5000估计1998-2005年期间将增加100–1000倍的带宽需求每个物理学家使用的带宽（所用峰值带宽）大学组使用的带宽中心实验室，包括一个或几个主要实验使用的带宽本地实验室或地区中心跨大洋连接带宽跨越大西洋的带宽要求[*]•200120022003200420052006CMS1002003006008002500ATLAS501003006008002500BaBar3006001100160023003000CDF100300400200030006000D040016002400320064008000BTeV2040100200300500DESY100180210240270300CERNBW155-310622250050001000020000[*]按最大占用50%算网格技术产生的技术基础•高性能计算技术的发展–CPU技术飞速发展–超级计算机与计算机集群–大规模共享资源•网络基础设施的高度发达–发达国家的高速光纤网已四通八达–跨大洋的海底光缆连接已经具有相当规模•软件技术的新发展–异构平台体系和语言–广域网的资源共享软件–中间件–网络安全技术CPU的计算速度每18个月翻一番•你家里的PC机的CPU计算能力已经相当服务器的CPU了•你办公室和你家里的计算机的CPU经常无事可做，或负荷很低•它们在网格里可以提供给需要的人使用，而对你毫无影响中国计算机TOP50排行榜•第一：“深腾1800”，联想研制，安装于科学院数学院，具有512个IntelXeon2.0GCPU，峰值计算能力2048Gflops•第三：HPSuperDome，用于北京社会保险，具有256个CPU，峰值计算能力384Gflops•第42：北京大学数学学院在国内最早自行组装的大型PC-Farm，具有60个PIII-700CPU，峰值计算能力42Gflops网络基础设施的高度发达•网络速度每9个月翻一番（技术）•网络带宽每5年提高一个数量级（实际）•发达国家的高速光纤网已四通八达•跨大洋的海底光缆连接已经具有相当规模主干网与各国连接的进展•欧洲GEANT主干网–联结31个国家，速率2.5and10Gbps•英国:JANET网，速率10Gbps–2.5GbpsNY-London,with622MbpstoESnetandAbilene•法国(IN2P3):2.5GbpsRENATER–里昂-日内瓦（CERN）的连接千兆以太网1.0G–计划2003年改用光纤•SuperSINET(日本):10GbpsIPand10GbpsWavelengthCore–东京-纽约的连接:2x2.5Gbps;需要到Starlight•CA*net4(加拿大):国内光纤，速率10Gbps–“Lambda-Grids”计划2004年5月实现•GWIN(德国):2.5Gbps骨干;到美国2x2.5Gbps;•俄罗斯:155Mbps连到莫斯科–到GEANT155Mbps（续）•美国Abilene(Internet2)从2.5G正升级到10Gbps–Encouragehighthroughputusefortargetedapplications•美国能源部ESNET:升级到10Gbps•美国与西欧中心（CERN）–622Mbps;到STARLIGHT–2.5G三地STARLIGHT-CERN-NL连接2003年到10G•美国SLAC到法国IN2P3(BaBar)–~100Mbps通过US-CERN到Renater–600Mbps今年BaBar的目标•美国费米实验室（FNAL）–与Esnet连接升级到622Mbps–用光纤连到STARLIGHT•纽约到阿母斯特丹由Tyco公司捐助（IEEAF）计划,2002年由IEEAF安排622Gbps+10GbpsResearchWavelengthOneofthemosthomogeneousbandwidthdistributionNLSURFnetGENEVAUKSuperJANET4ABILENEESNETCALRENItGARR-BGEANTNewYorkFrRenaterSTAR-TAPSTARLIGHTDataTAGProject•EU-SolicitedProject.CERN,PPARC(UK),Amsterdam(NL),andINFN(IT);andUS(DOE/NSF:UIC,NWUandCaltech)partners•MainAims:–EnsuremaximuminteroperabilitybetweenUSandEUGridProjects–TransatlanticTestbedforadvancednetworkresearch•2.5GbpsWavelengthTriangle7/02(10GbpsTrianglein2003)纽约-欧洲9/02加州-东京~1/03(研究)软件技术的新发展•异构平台体系与程序语言Java语言、Java虚拟机•中间件代理、可移动代理、CORBA•广域网的资源共享软件文件共享，如AFS数据库，如Objectivity•网络安全技术SSH、SSL认证/授权技术加密技术数字签名、防抵赖技术网格计算的基本技术（服务功能）•通信服务•信息服务•安全认证•名字服务•监视系统•资源管理和调度•资源交易机制•编程工具•用户图形界面GRID的协议分层体系结构应用层汇聚层资源层连接层基础层应用层TCP层IP层链路层Grid协议体系结构Internet协议体系结构计算网格是如何实现的ApplicationFabric“Controllingthingslocally（本地控制的东东）”:访问与控制、资源Connectivity“Talkin