日本经济产业省于不久前正式启动了国家项目“商务网格计算项目”,以支援采用网格计算技术的中间件开发。按照该项目的计划,日本经济产业省仅在2003年度就将向NEC、日立、富士通提供26亿日元(约合人民币1.73亿元)的开发经费,以支持上述公司开发用于实现网格计算中间件的“共同基础”。商务网格计算项目将历时3年(03、04、05年度)。2004年之后的预算尚未敲定,不过经济产业省计划提供的经费最低也将与2003年相同(28亿日元,约合人民币1.87亿元),可能的话将提供更多的资金。
超级计算机的出现
“网格计算(Grid
Computing)”简单的讲,就是将多台计算机组成网络,通过专用软件来模拟实现超高性能计算机的技术。随着接入网络的计算机台数的增加,可以将其整体的处理能力提高到堪与超级计算机媲美甚至更高的水平。使用率较低的计算机接入网格内部后,系统可以自动向其分配处理任务,提高计算机的使用效率。即使其中的一台计算机出现故障,其它的计算机也可以自动代替继续进行处理,因此可操作性和管理度非常高。举个例子来讲,假如有一项业务使用一台普通计算机需要10分钟的处理时间,如果该网络中有10台同样的计算机,系统就会把这项业务分成10等分,然后分别交给每台计算机进行处理,从理论上讲其处理时间将缩短到1分钟。这就是网格计算的基本思路。
网格计算环境可以连接广域范围内不同标准的异构“孤岛”,形成庞大的全球性计算体系,是因特网发展的高级形式,因此一经提出,它就受到世界各国和组织的高度重视,目前已经通过互联网设立了许多论坛,营建实验环境,并开展研究项目,它们大多数都可在网上共享,极大地方便了人们研究和利用有关资源。IBM和SUN等商业企业则期望能将这种超级计算能力引入日常办公领域,使公司IT部门能够将本地计算机无法胜任的计算任务。
目前,网格计算已经被应用在许多方面。比如说,在SARS横行的时期,由耶鲁大学医学院遗传学助理教授许田参与领导的D2OL网格计算项目,将“非典”病毒列为运算目标之一,集大量个人电脑之力形成一台虚拟的超级计算机,加速进行抗“非典”药物筛选。
对于中小型公司来说,在运行大型数据库、进行视频处理、运行3D即时运算等需要长时间、大工作量的运算的时候,使用普通个人计算机不仅费事费力,效率也不高,把计算机这些计算机组织起来加以有效利用,就将有助于提高效率和节约资源。网格计算的使用意味着中小型企业将会实现高性能计算机环境而并不需要购买昂贵的超级计算机,从这个意义上来说这种技术是对中小企业中的任何规模的业务都有效。
网格计算已经进入实用阶段
但是,网格计算过去主要是由学术团体等单位进行实用试验,而最近制造业和医药行业等需要大型计算机功能的民间企业正在进行各种试验,可见其受关注程度之高。
网格计算技术研究起源于美国,也以美国最为兴盛。1999年5月,由美国加州大学伯克利分校发起的名为SETI@home的项目启动了。SETI@home是Search
for Extra Terre strial Intelligence at
Home的缩写,意为:在家里寻找外星文明。该项目启动以来,现已有超过300万志愿者参加了这个项目,总处理数据量已经超过了15T,平均每位参与者让自己的电脑为SETI@home工作了17个半小时,这相当于一台PC机工作482,023年,相当于世界上最快的超级计算机工作48年。这个项目充分利用了分布在世界各地计算机的力量。
现在大部分网格技术都把应用对象集中在科学和工程研究团体上。IBM已经与Department of
Energy合作建立了一个互联的超级计算网格,其中拥有3,000多个处理器和巨大的存储容量。IBM公司还与全美癌症学会合作,利用网格计算技术正进行与抗癌药物开发和白血病治疗有关的蛋白质结构分析。美国国家科学基金会正在建立一台名为“Tera
Grid”的超级计算机,它主要应用在研究领域,例如气象模型和生命科学。另一个业界巨人SUN也推出新软件促进网络计算的发展。至今全球有118,000多颗CPU都是采用Sun
Grid
Engine软件管理的。英国也有一个类似的工程,它通过各个大学把超级计算机联接成共享资源。日本NTT数据公司从2002年底至2003年4月底,将1万台个人电脑通过互联网连接起来,进行了网格计算的试验。该公司利用这1万台个人电脑分析了与治疗疯牛病(BSE)有关的遗传密码。日本富士通公司目前已开发出利用个人电脑分析蛋自质结构,从而进行新药效果模拟试验的计算软件。我国的许多行业,如能源、交通、气象、水利、农林、教育、环保等对高性能计算网格即信息网格的需求将非常巨大。目前也有许多高校、科研单位和公司在开展这方面的工作。
机遇与挑战
就像TCP/IP协议是互联网的核心一样,构建网格计算也需要对标准协议和服务进行定义。目前,包括全球网格论坛、对象管理组织OMG、致力于网络服务与语义WWW研究的W3C,以及Globus.org等标准化团体都开始了筹划工作。去年7月,OMG、W3C、GridForum等标准化组织与来自学术、商业领域的人士召开了“软件服务网格研讨会”,以加快全球大网格GGG标准的制定。接着,另一开放源代码网格标准组织―――Globus也组织会议研究通过广域网连接的高性能计算的基础设施问题。Globus目前正致力于开发标准的网格架构和其他技术。
迄今为止,网格计算还没有正式的标准,在核心技术上,相关机构与企业已达成共识:由美国Argonne国家实验室与南加州大学信息科学学院ISI合作开发的GlobusToolkit已成为网格计算事实上的标准,包括IBM、Entropia、微软、康柏、Cray、SGI、SUN、Veridian、富士通、日立、NEC在内的12家计算机和软件厂商已宣布将采用GlobusToolkit。作为一种开放架构和开放标准基础设施,GlobusToolkit提供了构建网格应用所需的很多基本服务,如安全、资源发现、资源管理、数据访问等。目前所有重大的网格项目都是基于GlobusToolkit提供的协议与服务建设的。
目前,我国已开展了“国家高性能计算环境”和“先进计算基础设施北京上海试点工程”两个项目,对网格计算进行研究,这两个项目分别由中国科学院和清华大学牵头。中科院计算所正在进行的“织女星计划”(Vega计划)正是以单位元数据、构件框架、智能体、网格公共信息协议和网格计算协议为主要突破点对网格计算进行的研究。
网格计算技术是一个计算革命,它将全世界计算机联合起来协同工作,它被人们视为21世纪的新型网络基础架构。应该说,在网格计算方面,我们不仅已经落后于美国,也落后于日本。但网格计算还是一个新生事物,我国拥有很多的机会来参与到其中去。一方面,需要有更多企业和科研机构来加入到这一行业的研究中;另一方面,也需要国家对此进行资金和政策上的扶持。在美国和日本,因该说,没有政府的大力扶持的话,他们的研究也不会进展的如此顺利。
有专家预测,网格计算将成为今后网络市场发展的热点。据《ForbesASAP》预测,网格技术将在2005年达到高峰,并带来Internet的新生。如果网格技术能促使市场按预期的17%年增长率持续成长的话,那么在2020年将会形成一个年产值20万亿美元的大产业。而网格计算也被认为是第三代Internet―“试图实现互联网上所有资源的全面连通,包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等”。此前,中国IT厂商几乎未对全球标准化工作做出任何贡献。希望我们能以该项目为契机,在改变这种状况的同时,也使标准化稍微向着有利于中国IT企业的方向推进。该项目的相关人士中也有这样的声音“我们唯一的方法就是推出自己的标准、并联合多家有实力的企业共同出击这一领域”。(汉朝)