如何付款 | 地理位置 | 帮助中心
 
 
 
网格从起伏中走向应用
网络  发表时间 2005-11-18

       网格历经波折。不过这次的网格热潮是由商业公司发起的,它预示着网格开始走向应用。

多年前,专家就断言,网格是未来计算机体系结构、操作系统、用户界面领域最重大的创新。从WWW(World Wide
Web)升级到GGG(Great Global Grid)是一种技术发展趋势,也是一个全球热。

然而,这个热潮却历经波折。先热,它是由学术界炒起来的;后冷,人们对这一持有像用水电一样利用计算资源的技术如何走向现实感到困惑;现在,网格再次热了起来,清华大学教授、专注于中国教育科研网格的著名专家郑纬民说,这次热潮是由公司发起的,它预示着网格开始走向应用。

我们可能太看重网格的原始定义了。网格构筑在因特网之上,它使人们可以动态地透明地共享分布在网上不同地方的各种资源,如大型计算机、数据库、应用、服务等。有人曾形象地说,网格把整个网络变成了一台虚拟的计算机。更有专家预言,全球的计算资源都可以共享,为人们描绘了一个“计算的乌托邦”。而有此带来的问题,如安全问题、收费问题、管理问题等令很多专家头痛。

如果避开这些商业化运营的问题,网格是不是更容易实现呢?事实确实是这样,在一个领域或者区域,各种各样的网格已经建成,很多应用运行良好。

在第一次网格热潮中,各国政府出面组织了很多网格项目,用于解决特定的问题。目前,这些项目不少已经建成,其中一些应用效果显著。

2003年年末中国5大网格项目之一的中国教育科研网格(ChinaGrid)一期工程开始启动。该项目得到了教育部部长周济的重视。当时的目标就包括:一是建成各个大学的校园网格;二是发展自己的网格中间件;三是在选定的大学之中建立5大专业应用。在ChinaGrid的实践中,有不少闪光点。

Globus Toolkit发展到WSRF

怎样将分布在不同地方的计算机组合成一个网格呢?以前大家用的最多的工具就是Globus Toolkit工具包。由全球网格论坛(GGF)下属Globus项目组成员联合开发的Globus Toolkit标准工具包,已被公认为当前建立网格系统和开发网格软件事实上的参考标准。Globus项目是国际上与网格计算相关的最有影响力的项目。

Globus Toolkit之所以能取得成功的关键是它选择了开放系统源码的道路,因而得到了众多公司的支持。它基于开放结构、开放服务资源和软件库,并支持网格和网格应用,目的是为构建网格应用提供中间件服务和程序库。

Globus随着体系结构的变化也经历了几次飞跃,变得越来越完善。自1997年起,Globus Toolkit工具包的第二版(GT2)成为了网格计算的事实标准。它着重于可用性和互操作性能力,定义和实现了一些协议、API和服务。

2002年,Globus项目组推出了一个全新的网格标准OGSA——开放网格服务体系,它把Globus标准与以商用为主的Web Services的标准结合起来,网格服务统一以Services的方式对外界提供。而符合OGSA规范的Globus Toolkit 3.0(GT3)随后推出,标志着OGSA已经从一种理念、一种体系结构,走到付诸实践的阶段了。

2004年,公布了统一网格计算和Web服务的新标准“WS-Notification”和“WS-Resource Framework”(Web服务资源框架)。WSRF是OGSI的重构和发展,利用了新的Web服务标准。

WSRF基本保留了OGSI中的所有功能,同时更改了一些语法,并且还在其表示中采用了不同的技术。Web服务通知(WSN)为Web服务提供基于消息发布和预定的能力。WSRF和WSN都是建立在已存在的Web服务定义和技术基础上的,帮助实现了网格计算、系统管理和Web服务的统一。

2005年年初, Globus Toolkit 4(GT4)发布,实现了WSRF和WSN标准。GT4提供API来构建有状态的Web服务,其目标是建立分布式异构计算环境。所有知名的GT3协议都被重新设计为可以使用WSRF,并且GT4也在其中增添了一些新的Web服务的组件。

从中间件的角度看,WSRF提供了应用间的简单的互连互通。自此,WSRF成为网格中间件事实上的“国际标准”。如图所示,网格中间件是构建网络应用的关键。

CGSP——得到认可的国产网格中间件

有Globus Toolkit, 且可以自由下载,是不是就不用开发自己的网格中间件了吗?不是,ChinaGrid自己开发了一个为各种网格应用提供基础支撑的网格核心中间件——ChinaGrid公共支撑平台(CGSP),并于2005年1月发布了v1.0。很多专家对CGSP异常看好,认为完全与Globus Toolkit 4有得一比,并受到了Globus项目的重视。郑纬民教授说,正在清华大学内由几十位青年才俊开发的CGSP v2.0即将发布。

CGSP V1.0是遵循OGSA架构、参照WSRF规范实现的网格中间件。它提供了一套完整的网格服务支撑平台,对教育和科研系统中的各种资源进行整合,屏蔽掉了网格资源的异构性和动态性,为各种科学计算与工程研究提供高性能的、高可靠的、安全方便的透明网格服务,形成一套公共网格服务体系。目前已经有生物信息学、图像处理、计算力学等的应用在该平台上调试通过。

  

据介绍,CGSP共划分为六个功能模块:

● 网格门户(Portal),作为ChinaGrid的网格服务展现方式。网格门户是最终用户使用网格的入口,并由此提供任务和获得结果。

● 网
格开发环境,其主要功能是提供资源网格化封装的工具包和网格构建管理工具包,以及提供面向网格环境的编程模型,用于复杂网格作业的开发。

● 信息中心,其主要功能是负责网格环境中各类资源信息的管理,实现一个全局的资源视图,提供网格信息服务,并实时更新网格资源信息。

● 统一管理层,其主要功能是为网格环境中各类作业操作提供基础支持。

● 网格安全,提供的功能包括用户身份的认证、资源和服务的授权、加密传输,以及用户身份到资源授权的映射等。

● 计算节点层,真正提供网格服务的节点,可以是集群等大型计算设备,也可以是普通微机和工作站等。

CGSP是一组互相配合的软件组件,支持像ChinaGrid网格的应用的开发、调试、部署、运行管理以及系统监控等各个环节。基于CGSP,整个ChinaGrid网格系统可以构造成一个分层树型结构。

郑纬民教授说,Globus项目多次与我们交流,并选择CGSP的几个模块,加入到即将推出的Globus Toolkit中。CGSP的开发有几个经验值得借鉴:一是基于国际标准,这是这一产品得到应用的基础;二是坚持开放源码的技术思路,用户可以自由下载,这是保持其旺盛生命力的基础;三是坚持国际合作,包括与Globus项目、HP、Intel等的合作。

校园网格与应用

虽然说,网格不等于高性能计算机(HPC)。但是以解决复杂的计算问题和完成海量信息处理为主的网格却离不开HPC。让很多HPC融合在一起,动态组合,变成更大的计算机,是网格的核心思想。现在,20所已经参加ChinaGrid的学校已经建立了校园网格系统。如清华大学的校园网格就包括了计算机系的千亿次集群计算和HP、SGI等的商业高性能计算机。今年,清华大学高性能中心利用HP Integrity rx2600服务器,构建集群系统,节点数达到了128个,共有256个安腾2 CPU。该集群系统运行RedHat Linux操作系统,峰值运算速度达到了每秒1.33万亿次。该系统已经作为主节点并入了清华校园网格和ChinaGrid。

郑纬民教授说,用64位安腾2作为HPC节点具有两个突出特性:一是浮点运算性能很好;二是内存很大,对内存有特殊需要的应用特别适合。采用开放式的标准,来构建模块化的解决方案,向用户提供高性价比的高性能计算解决方案是HP的高性能计算策略。开放式和模块化是IT长期发展历史中的基本准则。HP Integrity采用工业标准的Intel安腾2处理器、工业标准的互连设备Gigabit Ethernet、Quadric、Infiniband、Myrinet,工业标准的操作系统Unix、Linux、Windows等。而HP Integrity的模块化设计能够让用户根据特定的需求,选择不同的模块,搭配组成适合需求的高性能集群计算机,解决了传统集群技术在配置、安装、管理方面的问题。这是清华大学构建新的集群系统时选择HP的主要原因。

除了清华大学外,华中理工科技大学、中国科学技术大学、国防科技大学、西北工业大学等也采用了基于HP安腾2的服务器构建HPC,并把其作为校园网格的节点。

目前集群结构从应用上来说在未来的发展有三种形式:一种是核武器类,强调的是针对特定应用在最短的时间提供最高的系统,会采用专用配件,也会采用专用的软件,成本并不是重点要考虑的因素;第二种,要做高科技武器,采用一部分通用部件,同时要定制一些专用部件,最大化地提高性价比,讲究在单位功耗、单位成本下,最大化地满足用户需求;第三种,实际上更多的是DIY,根据商品化的属性,采用开源软件构建集群,追求低成本的营运模式。

今天面临HPC结构已经走入相对平稳的时期,集群占有率不断提高,这个时期会持续三到四年,这个时间非常有利于应用的普及,同时非常有利于学术界、产业界在体系架构方面做出全新的突破。未来三个方向值得重视:一是轻型体系架构方面的研究会由单纯的提高CPU的速度和单纯的降低CPU一级、二级的访问延迟,发展到综合从CPU、存储器、I/O等各种因素,采用64位CPU是主流方向;其次商品化、标准化以及好用性、平民化也已经成为今天要考虑的重点因素。

ChinaGrid的五大专业应用也已取得一定进展:一是生物信息学网格,即用网格实现高校之间生物信息资源共享,如基因序列分析、匹配等;二是图像处理网格,目前有三维虚拟人的重建、遥感图像处理、医学图像处理等;三是流体力学网格,主要开展飞行器遗传优化设计、分子动力学研究、大型地质灾害预测等;四是以数据密集型为背景的海量信息处理网格,如高能物理数据处理及大学数字博物馆网格等;五是远程大学课程在线网格,集中了各校的精品教学,已有3000小时的课程,每天有1万人浏览。

其中生物信息学网格是分散在CERNET上包括清华大学、北京大学在内的12所一流大学的超级计算设备、存储资源通过网格聚合起来,将生物信息学相关的计算软件和数据库集成起来,为生物信息学的研究工作者提供一个开展生物信息学科学计算研究的工作平台。该环境通过Web方式向用户提供服务,达到用户只需提交所需计算请求,然后等待获取计算结果的目的,避免用户因对计算机技术不熟练所带来的困惑。

郑纬民教授说,目前全国任何一个用户都可以通过生物信息学网格的门户访问该网格,并提供计算任务,并在任务完成后获得一个运算结果。 据说,生物信息学网格日均访问量达到了5万次,这是目前世界上最繁忙的网格。目前生物信息学开展的应用研究有:大鼠全基因组序列拼接,水稻结构基因组蛋白选靶,心血管疾病候选基因及特性的筛选,人类基因多态性研究,基因工程疫苗研究;疱疹病毒(herpesvirus)的两序列HHV1和HHV2对比。

未来,ChinaGrid和CERNET一样,将成为高校重要资源。

 

-->更多相关新闻
版权所有©2005 上海巧创网络技术有限公司 沪 ICP 备 05001802 号
网络实名: 上海网站建设上海网络公司上海仓存管理软件 电话: 021-50757260 50769776 50758883 传真: 50757260-14
地址:上海市浦东枣庄路 683 号(金杨经济服务中心) 6 楼 邮编 :201206 E-mail:webmaster@soeasy.cn