RSS
热门关键字:  数据挖掘  数据仓库  商业智能  人工智能  搜索引擎

网格计算与更高层次信息化

来源: 作者:unkonwn 时间:2004-12-12 点击:

网格计算(Grid Computing)是20世纪末、21世纪初信息与计算机科学技术领域里出现并正在发展的重要动向。它首先于20世纪80年代末在美国兴起,继而在欧洲、亚太地区,以及中国陆续展开。网格计算掀起了当今全球信息化新的一波浪潮,它是分布计算、互联网技术的最新发展。 数据挖掘研究院

从网络计算到网格计算
网格计算出现,基本动因源于实践之需求,基本条件寓于现今科技之发展。其突出点是:大规模多方位资源协同共享,基于虚拟组织(VO: Virtual Organization)的创造性应用开发,以及全球化超高吞吐率计算技术的实现。
网格计算是一种分布计算的基础设施,当前主要用于全球性协同科学研究、工程开发,以及军事使命;而未来可能成为普适计算(Pervasive Computing),即无处不在的计算,像现今电力网、电话网、公路网那样,为人们日常生活所不可或缺。
网格计算与现今网络计算(互联网、企业网、电子商务等)的基本区别是:网格计算处理多机构动态虚拟组织中,资源协同共享和复杂问题求解。关于资源协同共享,互联网和企业网主要提供文件共享、数据共享和信息共享,以及非常有限的程序共享。网格计算进一步提供虚拟组织中使命协同的复杂软件共享、计算能力(CPU周期)共享、海量存储共享、网络信道共享,以及高精尖物理仪器装置共享。关于复杂问题求解,在上述资源协同共享的基础上,涉及在极其宽广的虚拟组织中人力和智力的全方位协作。
网格计算解决的五大问题
现考虑几个需要用网格计算解决问题的实例。

数据挖掘研究院


1.某公司决策是否建立一个新工厂。参与决策者分布各地,以网络会议方式,在各自人机界面上,协同研讨。他们从ASP(应用服务提供商)调用复杂的财务预测模型,从SSP(存储服务提供商)查询本公司存放在那里的历史数据库,研究各种假设条件下模型的运作情景。而ASP本身又从强大的超级计算中心(所谓“周期提供商”)获得计算能力。
2.某工业联合体对新一代超音速飞机展开可行性分析。对该型飞机进行高度精确多学科仿真研究,调用各参与机构专有软件部件,后者分别运行在各机构计算机上,同时访问各地相应大型数据库及其他信息源。
3.流行病控制中心发现某地突发某种恶性传染病例,必须快速向各地通报,不断收集各种人口、地理、气象等信息,进行流行病学调查,分析计算传播模型,制定各种计划,调用各种资源和力量,实施各种应急预防隔离措施等。
4.环境监管部门发现某处有害化学物质泄漏,对此必须做出迅速反应。为此,需利用当地气象与土地的数学模型去估算这些物质的扩散。根据人口分布以及诸如河流水域等地理因素,还可能利用化学反应模型,去确定其后果。从而制定短期迁移计划,给应急处理人员下达任务,安排和协调疏散,向医疗机构通报等。
5.世界上好几百个研究机构和大学的几千名物理学家和相关学科科技人员,以欧洲高能物理研究所(CERN)为中心,共同协作,协同共享资源,进行高能物理研究,分析所得的结果。他们将各地的计算、存储及网络资源联合起来,创建了“数据网格”(Data Grid)。 数据挖掘实验室
以上这些实例都是现实中发生的。各实例所提出的问题都能用网格技术加以有效处理。有的已用网格计算得以解决或正在解决。
人员和资源为共同使命以现代信息化手段联合起来,形成虚拟组织(VO)。虚拟组织参与者千差万别,彼此原先可能有某种关系或毫无关系;但其共同点是:都需要共享资源以完成共同任务。至于共享资源,则不仅仅是文挡之类的交换,更包括直接访问彼此的软件、计算机、数据、传感器、物理设备及其他资源。
网格体系结构的实质
为了建立、开发、管理和运作动态多机构虚拟组织及其共享关系,需要新的技术。网格体系结构概念就在这种背景下逐步形成。这一概念指明基础性系统成分,规定这些成分的目的与功能,以及指出它们之间互动关系。
在定义网格体系结构时,基本要求是:虚拟组织能够在任何潜在的参与者之间建立协同共享关系,实现有效的(或能行的)VO操作。互操作性应是其中关键问题。互操作性意味着要有一套共同协议。网格体系结构基本上是协议体系结构,而协议定义基础机制。借助基础机制,VO用户便能够实现资源协同共享。协议乃是标准。遵循统一标准,才能实现开放性体系结构,从而保证互操作性、可扩展性、可移植性及代码共享; 才能定义标准服务,实现网格服务(Gridservice)。基于体系结构,便可以构造相应的API(应用程序接口)和SDK(软件开发工具包)。利用API和SDK,便可以创建生产性网格(Production Grid)。

数据挖掘实验室


为何互操作性对分布与网格计算来说具有如此基础意义呢? 因为在这种环境中,必须保证在任何不同实体之间能够建立共享关系,能够动态地接纳新的参与者,并且跨越不同的平台、语言和编程环境。如果不能超越组织界限,以及监管政策与资源类型之差异而实现互操作性,那么向更高层次信息化就难以实现。没有互操作性,VO应用及参与者只得个案地逐一解决各双边特定共享关系,而无法保证将这种个案双边关系推广到任何其他实体之间。若不能实现这种推广,则动态VO就无从谈起,VO的类型也将受到严格限制。
为何协议对互操作性来说具有如此关键意义呢?因为协议定义分布计算实体之间互动关系,即规定其行为及所交换信息之结构。这里强调的是互动关系的外部行为而非内部构成,即并不强调软件及资源的内在性质。这样做有很大实用好处。因为这保证行为一致性而又允许实现方法多样性。虚拟组织不断变动,必须要有灵活方便的机制,从而发现资源,建立标识,确定授权,以及启动共享;从而使资源协同共享能够建立起来并快捷改变。虚拟组织对实际组织是一种补充和强化,而非替代。虚拟组织的共享机制并不要求各实际组织局部机制作根本性改变,而且实际组织必须保留对所拥有资源最终控制权。
网格计算体系结构的研发途径是: 第一步,研发协议与服务;第二步,研发API与SDK。这些是问题的重点。 数据挖掘研究院
当前分布计算技术并不能解决网格所面临的复杂问题。例如,互联网技术能处理计算机之间通信与信息交换,但不能提供为完成计算任务而协同利用多个不同地点资源的综合能力。电子商务主要基于信息共享,而且往往通过集中化服务器来实现。所谓虚拟企业技术目前也仅限于此种模式。企业分布计算技术,诸如CORBA和J2EE能够实现单个企业范围内的资源安全共享,但还不能解决多机构虚拟组织的资源协同共享问题。OSF的DCE环境也同样能力有限。ASP和SSP虽然能向其客户提供存储与计算需求的外包服务,但程度也相当有限。
总而言之,当前的技术既不能包容多样性的资源类型,也不能提供虚拟组织所需的资源协同共享,也谈不上对大规模复杂问题求解。
生产性网格七大主流实例
所谓生产性网格是指已能发挥实际效能的网格。这里将国际上最主要的一些实例略作介绍。
1.美国能源部科学网格(DOE Science Grid)提供高级分布计算基础设施。它使能源部(DOE)在足够大的规模上完成科学使命。它是更大开创性项目(SciDAC: Scientific Discovery through Advanced Computing)之组成部分,始于2001财政年度。SciDAC的目标是开发科学计算软件与硬件基础设施,以满足万亿次计算机在能源科学、生物和环境科学、聚变能科学,以及高能与核子物理研究之需要。
2.由美国国家科学基金会支持的TeraGrid,其目标是建立世界上最大、最快、最全面的分布式基础设施,用于开放的科学研究。TeraGrid将包括13.6万亿次Linux群体计算能力。分布在4个地点:美国国家超级计算应用中心(NCSA)、圣地亚哥超级计算机中心(SDSC)、阿贡国家实验室,及帕萨但那加州理工学院(Caltech)。TeraGrid还得益于其他与网格相关的活动,一些公司也参与。
3.美国宇航局NASA IPG(Information Power Grid)目标是提供对NASA场所与其他相关场所资源无缝访问,以实现应用开发。这些应用很可能包括宇航以及NASA感兴趣的其他领域。
4.美国国防部DoD GIG(Global Information Grid)在全球指挥控制通信系统基础上,构成高层次的网格环境,以执行军事使命。
5.欧洲网格EuroGrid是一个试验性网格环境。欧洲委员会及其十多个研究机构联合建立。目标是在多个欧洲高性能计算中心之间建立网格环境;用于前瞻性应用开发,诸如生物分子仿真、气象预报、联合计算机辅助工程仿真、结构分析以及实时数据处理等。同商业合作伙伴协作,将软件产业化,并获得后者支持。
6.欧洲共同体提供财政支持的DataGrid,其目标是实现新一代科学探索。这种探索需要高强度的计算与分析,对大规模共享数据库的存取,并跨越广域分布的科学研究虚拟共同体。由欧洲核研究机构CERN发起,连同另外5个主要合作伙伴和15个联系伙伴参与。主要应用领域有:量子光谱动力学、地球观察,以及人类健康研究。
7.亚太地区网格计算合作项目ApGrid,至今约有30个机构参与。其重要目标之一是建立国际网格试验床。
网格应用技术展望
全球网格论坛(Global Grid Forum)网站是http://www.ggf.org。展望未来,值得提出的是:
1.网格计算当前最主要应用发展方向是,在多机构动态虚拟组织中,大型协同科研开发和极其复杂问题求解,包括在国计民生、科研教学、军事使命等领域的重大项目。
2.网格计算将会发展成为如电力网、电话网、公路网那样日常生活不可或缺的基础设施。无论走到哪里,在静止或运动中,人们随时随地可以通过简单的终端设备(台式或手持的),插入方便接口,通向利用其他地方的所需资源的广阔网格,并能同其他人互动与协作,完成共同任务。全球计算网格,将如同20世纪的电力网那样,成为推动21世纪经济发展的重大基础。
数据挖掘实验室

上一篇:Advice for Graduate Students
下一篇:没有了
最新评论共有 0 位网友发表了评论
发表评论
评论内容:不能超过250字,需审核,请自觉遵守互联网相关政策法规。
匿名?