二节网格的资源管理.ppt

网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬第二节第二节 网格的资源管理网格的资源管理网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格和集群网格和集群RMS面临的不同环境面临的不同环境 •广域广域•分布多域分布多域•规模庞大规模庞大•资源种类多资源种类多•异构性更强异构性更强•共享和私有共存共享和私有共存•更多的用户更多的用户网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理核心结构网格资源管理核心结构•网格资源管理和分配网格资源管理和分配•网格资源信息服务网格资源信息服务•网格资源监控网格资源监控•网格资源需求描述网格资源需求描述资源管理和分配资源信息服务资源监控服务网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配网格资源管理和分配网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬资源使用者的需求资源使用者的需求•希望根据自己工作活动过程，能够按照需要发希望根据自己工作活动过程，能够按照需要发现、获取和可靠地动态管理计算资源现、获取和可靠地动态管理计算资源•不希望受到资源位置、资源本身的使用机制，不希望受到资源位置、资源本身的使用机制，以及计算任务操作的资源细节等干扰以及计算任务操作的资源细节等干扰•不关心它们的任务在什么位置执行，中间过程不关心它们的任务在什么位置执行，中间过程如何如何•不关心它们的安全机制是什么不关心它们的安全机制是什么•等等等等网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬多管理域协作的困难多管理域协作的困难•不同地点管理域的安全机制不同，资源具有很强不同地点管理域的安全机制不同，资源具有很强的异构性的异构性vschedulers, hardware architectures, operating systems, file systems））•用户对远端资源特性知之甚少，也不容易获取这用户对远端资源特性知之甚少，也不容易获取这样的信息。

样的信息 •分布式环境可能出现多种不同形式的错误分布式环境可能出现多种不同形式的错误vmulti-site computing environment, computers, networks, and subcomputations都会出现失败都会出现失败 •在多个管理域上完成计算任务所需要的跟踪记录在多个管理域上完成计算任务所需要的跟踪记录工作十分繁重和困难工作十分繁重和困难 v特别是在子计算之间的关系和错误出现特别是在子计算之间的关系和错误出现网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配要求网格资源管理和分配要求•可扩展可扩展v在管理方面没有集中的瓶颈在管理方面没有集中的瓶颈v适应多种应用和管理需求适应多种应用和管理需求•有效有效v能够处理大量资源的管理和用户请求能够处理大量资源的管理和用户请求•灵活灵活v可以和各种已经存在的资源管理和调度工具共同工可以和各种已经存在的资源管理和调度工具共同工作作v灵活构架各种应用资源管理模型和结构灵活构架各种应用资源管理模型和结构网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务网格资源管理和分配任务•可扩展资源管理体系结构可扩展资源管理体系结构v规模可扩大规模可扩大v兼容各种现行系统兼容各种现行系统v构建多种实现结构构建多种实现结构GRAMGRAMGRAMLSFCondorNQEApplicationRSLSimple ground RSLInformation ServiceLocalresourcemanagersRSLspecializationBrokerGround RSLCo-allocatorQueries& Info各个结点缺乏和整个专项其它项目的沟通和交流。

网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务网格资源管理和分配任务•全局统一管理全局统一管理v统一视图统一视图v用户操作多个管理域的资源，如同在一个管理域用户操作多个管理域的资源，如同在一个管理域v在日常的工作中，动态地发现、请求与管理计算资源在日常的工作中，动态地发现、请求与管理计算资源 v不受资源所在地理位置不同的影响不受资源所在地理位置不同的影响 v任务运行时间的长短以及运行该任务的开销任务运行时间的长短以及运行该任务的开销softwareStorageSGIIBM SP2银河银河分布多域资源分布多域资源网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）•保持局部资源管保持局部资源管理的自治特性理的自治特性v每个管理域都有每个管理域都有自己的资源管理自己的资源管理系统和控制策略，系统和控制策略，例如例如PBS，，LSF等等v相互之间是一个相互之间是一个平等关系平等关系资源聚合器资源聚合器WASGlobusGlobus资源聚合器资源聚合器SPM北航北航LSFWASGlobusGlobus资源聚合器资源聚合器SPM清华大学清华大学PBSWASGlobusGlobusSPM国防科大国防科大国防科大国防科大YHRSYHRS资源聚合器资源聚合器SPM网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）•多种访问控制和授权机制协调多种访问控制和授权机制协调v全局访问授权和局部访问授权全局访问授权和局部访问授权v全局访问控制和局部访问控制全局访问控制和局部访问控制v用户定义问题？网格用户和局部用户用户定义问题？网格用户和局部用户v多级访问控制？多级访问控制？v映射？映射？ Resource the Is this usert authorized for the CAS?Is this user authorized by capability? 局部局部策略策略信息信息Resource the Is this user authorized for the CAS?Is this user authorized by capability? 局部局部策略策略信息信息逻辑网格管理授权中心逻辑网格管理授权中心网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）•全局资源的联合分配全局资源的联合分配v各个域的资源联合或独立工作解决一个问题，经过各个域的资源联合或独立工作解决一个问题，经过统一的协调和分配统一的协调和分配v一个问题的多个任务在不同管理域资源上运行的联一个问题的多个任务在不同管理域资源上运行的联合管理和统一调度合管理和统一调度v资源的预约和联合预约资源的预约和联合预约v资源的事务性原则保证等资源的事务性原则保证等标准接口标准接口标准接口标准接口标准接口标准接口LSFCondorNQE多个协同分配命令局部资源管理器资源协同分配器网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）•资源的统一公共接口资源的统一公共接口v各种类型资源的操作接口不同各种类型资源的操作接口不同•资源之间的相关性管理资源之间的相关性管理v不同级别的资源管理之间的关系不同级别的资源管理之间的关系标准接口标准接口标准接口标准接口标准接口标准接口LSFCondorNQE多个协同分配命令局部资源管理器资源协同分配器网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）•队列队列v根据属性和资源要求根据属性和资源要求v优先级别优先级别v执行、等待、挂起等执行、等待、挂起等•策略的管理策略的管理v计算环境的高级自动控制机制计算环境的高级自动控制机制v多种策略多种策略网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬资源需求描述资源需求描述•资源需求的描述资源需求的描述v表达各种资源表达各种资源v表达各种资源的需求表达各种资源的需求v表达各种任务表达各种任务v综合表达能力综合表达能力•资源需求的描述语言资源需求的描述语言v语法语法v属性属性v标记标记网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务GISGIS（（grid Information Servicesgrid Information Services））•信息服务：信息服务：关于资源特性和状态的元数据收集、存关于资源特性和状态的元数据收集、存储、管理和服务储、管理和服务v提供资源状况描述资料的服务提供资源状况描述资料的服务•对对管理网格、管理网格、应用网格的操作和构建至关重要应用网格的操作和构建至关重要v什么样的资源是合适的？什么样的资源是合适的？•资源发现v网格的状态是什么网格的状态是什么?•资源选择v如何优化使用资源？如何优化使用资源？•用户配置和自适应调节机制•需要一个通用的基础信息服务需要一个通用的基础信息服务 v回答上述问题回答上述问题网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬信息服务的应用列举信息服务的应用列举•调度：问题空间映射到资源空间调度：问题空间映射到资源空间v体系结构、操作系统，系统软件、应用软件体系结构、操作系统，系统软件、应用软件性能、可用性、策略等性能、可用性、策略等…v动态信息：负载以及未来资源可用性的预测动态信息：负载以及未来资源可用性的预测•服务发现服务发现v记录虚拟组织成员可以得到的各种服务及其记录虚拟组织成员可以得到的各种服务及其特征特征 v此类服务信息的特点：信息相对稳定并且容此类服务信息的特点：信息相对稳定并且容易获得易获得 网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬信息服务的应用列举（续）信息服务的应用列举（续）•选择最合适的拷贝（数据管理）：选择最合适的拷贝（数据管理）：v合适的数据往往在多个地方有拷贝，选择哪一个？合适的数据往往在多个地方有拷贝，选择哪一个？ v依据：存储系统与网络的系统配置、即时性能与预测依据：存储系统与网络的系统配置、即时性能与预测•自适应性保证：自适应性保证：v应用程序与底层环境的各种组件应用程序与底层环境的各种组件v通过对运行的程序及其外部可用资源的监控，结合资源通过对运行的程序及其外部可用资源的监控，结合资源状态，调整应用程序的行为，达到提高效率的目的状态，调整应用程序的行为，达到提高效率的目的•性能诊断与故障排除：性能诊断与故障排除：v第一步：发现异常行为第一步：发现异常行为v排除故障的依据：信息排除故障的依据：信息v信息的特点：任意性，动态性，可以由故障排除器通过信息的特点：任意性，动态性，可以由故障排除器通过启发的方式确定启发的方式确定 网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬有用信息的例子有用信息的例子•计算资源的特性计算资源的特性vIP address, software available, system administrator, networks connected to, OS version, load•网络的特性网络的特性vBandwidth and latency, protocols, logical topology•系统的特性系统的特性vHosts, resource managers网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格环境信息服务的特点网格环境信息服务的特点 •资源信息多样，数量大资源信息多样，数量大v底层基础资源到上层应用和用户底层基础资源到上层应用和用户•资源信息来源地理位置分布资源信息来源地理位置分布v分布的状态很难获得分布的状态很难获得vComplexity of global snapshot Complexity of global snapshot •资源信息动态变化资源信息动态变化 v信息往往是过时信息往往是过时v随时间而改变，需要有质量的数据随时间而改变，需要有质量的数据v部件失败部件失败•服务规模大服务规模大v可扩展性可扩展性v低开销低开销•多种不同的使用场景多种不同的使用场景v不同的策略、不同的信息组织，不同的策略、不同的信息组织，etc.etc.网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源信息服务的要求网格资源信息服务的要求•提供提供统一、灵活统一、灵活的的信息访问信息访问方式方式v访问系统及其组件的动态与静态信息访问系统及其组件的动态与静态信息 •可扩展高效地访问动态数据可扩展高效地访问动态数据•可以访问多个信息源可以访问多个信息源 •信息分布维护和保持信息分布维护和保持网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GIS GIS 问题问题: : 许多信息源，多个视图许多信息源，多个视图?RRRRR?RRRRR?RRRRR?RRVO AVO BVO C网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务GIS任务任务•资源的信息模型资源的信息模型v资源的特性和状态资源的特性和状态v资源之间的关系资源之间的关系•资源信息的描述资源信息的描述v如何描述各种资源－如何描述各种资源－XML，，LDAP？？v如何描述资源之间的关系如何描述资源之间的关系•资源的信息存储资源的信息存储v资源状态信息存储－分布还是集中？资源状态信息存储－分布还是集中？网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务GIS任务任务•资源信息的服务资源信息的服务v提供有关系统的动态和静态信息的统一访问提供有关系统的动态和静态信息的统一访问•检索、查询、更新、广播等v资源状态信息对外服务资源状态信息对外服务v网格资源注册协议网格资源注册协议v网格资源查询协议网格资源查询协议•灵活多级分布的资源信息服务灵活多级分布的资源信息服务v灵活分布多域的资源管理模型，适应不同的管理模灵活分布多域的资源管理模型，适应不同的管理模型型v灵活构建所需要的信息服务结构和机制灵活构建所需要的信息服务结构和机制•在异构和动态的网格环境中的系统配置和自适在异构和动态的网格环境中的系统配置和自适应的基础应的基础网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬两类信息服务器两类信息服务器•资源描述服务资源描述服务v提供关于某个资源的信息提供关于某个资源的信息 (e.g. Globus (e.g. Globus 1.1.3 GRIS).1.1.3 GRIS).•汇集目录服务汇集目录服务v汇集多个资源信息服务，形成信息集合汇集多个资源信息服务，形成信息集合 (e.g. Globus 1.1.3 GIIS).(e.g. Globus 1.1.3 GIIS).v个性化命名和索引个性化命名和索引网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GIS ArchitectureAACustomized Aggregate Directories RRRRStandard Resource Description ServicesRegistrationProtocolUsersEnquiryProtocol网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬信息服务总体结构信息服务总体结构•传统的资源信息服务不足之处。

传统的资源信息服务不足之处vGlobus 1.1.3采用中心服务器模式的资源信息服务采用中心服务器模式的资源信息服务•网格系统的扩大，中心保存的信息越来越多，可扩展性差，一些比较动态的信息难以及时更新•Globus目前采取了层次结构和分布式服务目前采取了层次结构和分布式服务v各地点的资源信息服务可以分层，采用各地点的资源信息服务可以分层，采用GIIS和和GRIS的模型完成的模型完成v为各地点的资源信息服务增加为各地点的资源信息服务增加cache的功能，缓存其的功能，缓存其他地点的信息他地点的信息网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬信息服务总体结构信息服务总体结构•允许灵活的多级别信息服务总体结构的建立允许灵活的多级别信息服务总体结构的建立v层次式的信息服务层次式的信息服务v对等式的信息服务对等式的信息服务v混合式的信息服务等混合式的信息服务等v多个访问入口多个访问入口v多级多级Cache•标准的查询和注册协议标准的查询和注册协议v兼容各种实现方式兼容各种实现方式•通用的信息模型通用的信息模型网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬逻辑层次结构部署逻辑层次结构部署ISI信息服务提供者汇集GradsGusto协议协议协议协议汇集汇集更高级汇集更高级汇集网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬资源信息模型资源信息模型•描述资源的特性和状态描述资源的特性和状态v采用采用OO思想建立信息模版思想建立信息模版•描述资源之间的关系描述资源之间的关系v树型结构工具表示或平面结构等树型结构工具表示或平面结构等网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬C（国家）（国家）O（组织）（组织）Ou （机构）（机构）dunns jnGridCE用户组用户组用户用户资源信息模版：资源信息模版：资源目录信息模型资源目录信息模型的基本结构树的基本结构树应用用softwareGridClusterGridHostGridSubClusterGridLocalFSGridRemoteFSGridHostFileGridHostFile账号 网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬C（国家）=CN（中国）O(机构)=长沙o=北京o=上海ou=计算中心ou=计算所 Jn（任务）=job01Sw（软件）=gccHn（机器）=银河机器Grp（小组）=GENNd（结点）=node1Cn（人员）=TomOu（组织）=科大 资源信息的表示资源信息的表示Nd（结点）=node1GridAdmin网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬举例：举例：MPP资源信息资源信息•Objectcalss MassiveParallel Processor •requires•Objectclass,•mpp name, // mpp 机器的主机器的主机名机名•integer Nodenumber，，//节节点个数点个数•Nodetype，，//节点类型节点类型•Topefficiency，，// 峰值性能峰值性能•Operatingsystem，，//操作系操作系统，统，•URL，，// url地址地址•Communicatebandwidth，，//通讯带宽通讯带宽•Disk，，// 磁盘空间磁盘空间 •Memory，，//内存大小内存大小•Filesystem，，//文件系统文件系统NFS、、•Topological，，//拓扑结构拓扑结构•Utilization，，//利用率利用率 •Softwaresummary，，//重重要软件列表要软件列表•Parallelsoftware，，// 并行并行软件软件 •Compiler，，// 机器上提供机器上提供的编译器的编译器•Status，，//状态，既是否可状态，既是否可用，用，•Description网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬举例：用户信息举例：用户信息•登录名字登录名字 //具有唯一性具有唯一性•pwd，， //•Priority //优先级优先级•Expense，，//计帐信息计帐信息•Rersourcelimit，，//全网格内的资源使用限制全网格内的资源使用限制•UserClass，，// 用户类别，正规、特殊、试用户用户类别，正规、特殊、试用户 •Setuptime，，// 用户帐号建立时间用户帐号建立时间•Indate，，// 用户网格帐号的有效期用户网格帐号的有效期• Dn Othergroup，，//用户组用户组•Authority，，//用户权限，网格中的帐号状态用户权限，网格中的帐号状态•account //用户帐号用户帐号•Name // 用户的真实名字用户的真实名字•Email•Telephonenumber，，//联系号码联系号码•Department，，//工作单位，填写方式类似于工作单位，填写方式类似于description•Profession，，//职业，可在一定的程度上职业，可在一定的程度上 网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬一个信息服务结构案例一个信息服务结构案例网格信息中心网格信息中心全网格的信息全网格的信息（实时更新）（实时更新）结点信息管理器结点信息管理器1 1 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 结点结点1 1的的 局部信息局部信息（实时更（实时更新）新）结点信息管理器结点信息管理器2 2结点信息管理器结点信息管理器3 3 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 结点结点2 2的的 局部信息局部信息（实时更（实时更新）新） 结点结点3 3的的局部信息局部信息（实时更（实时更新）新）网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源监控网格资源监控网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源监控要求网格资源监控要求•可扩展可扩展v在监控方面没有集中的瓶颈在监控方面没有集中的瓶颈v监控数据发送接受数据方面没有集中的瓶颈监控数据发送接受数据方面没有集中的瓶颈•有效有效v能够处理许多高容量的信息流能够处理许多高容量的信息流•灵活灵活v可以和各种已经存在的监控工具共同工作可以和各种已经存在的监控工具共同工作网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格资源监控任务网格资源监控任务•获取各个资源的状态获取各个资源的状态v分布式计算环境中各个层面资源分布式计算环境中各个层面资源•资源状态的信息收集资源状态的信息收集•统一集中监控每个资源的运行状态统一集中监控每个资源的运行状态v及时识别和诊断发生故障的主机和网络及时识别和诊断发生故障的主机和网络v最小化主机和网络失败的影响最小化主机和网络失败的影响v为系统资源管理和网格应用提供支持为系统资源管理和网格应用提供支持•分析系统性能瓶颈分析系统性能瓶颈•预测系统运行的轨迹预测系统运行的轨迹v对网格动态的应用和资源调度提供依据对网格动态的应用和资源调度提供依据•事件机制事件机制网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格监控与传统监控系统差别网格监控与传统监控系统差别•Windows NT/2K 和和 Unix系统中，提供完系统中，提供完备的单机状态和性能监控，不支持远程备的单机状态和性能监控，不支持远程访问。

访问•SNMP能够提供远程访问的功能，但只提能够提供远程访问的功能，但只提供了点对点的访问机制供了点对点的访问机制•机群系统中，监控对象的地理位置相对机群系统中，监控对象的地理位置相对集中决定了其简单的软件及监控对象结集中决定了其简单的软件及监控对象结构不能为网格监控所用构不能为网格监控所用网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格监控与传统监控系统差别网格监控与传统监控系统差别•网格监控在广域范围内是可扩展的，能网格监控在广域范围内是可扩展的，能包容异构资源包容异构资源•兼容已经存在的监控工具兼容已经存在的监控工具•在命名和安全方面能和其他的网格中间在命名和安全方面能和其他的网格中间件集成件集成•适应多个管理域适应多个管理域网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格监控信息特性网格监控信息特性•更新频繁更新频繁•性能信息是随机的性能信息是随机的•数据的集成和传递必须高性能数据的集成和传递必须高性能•性能度量的影响必须最小化性能度量的影响必须最小化网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格监控对象和事件表示网格监控对象和事件表示•监控对象：需要掌握运行状态的计算资监控对象：需要掌握运行状态的计算资源。

以主机为中心，由上而下分为源以主机为中心，由上而下分为3类：类：v系统类（系统类（CPU Usuage , Memory Usuage etc.））v网络类（主机间通信延迟，数据传输的带宽，网络类（主机间通信延迟，数据传输的带宽，路由情况等）路由情况等）v应用类（应用类（Web服务器，服务器，DB服务器或其他事服务器或其他事务服务器的运行状态）务服务器的运行状态）网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬网格监控对象和事件表示网格监控对象和事件表示•监控事件：与监控对象紧密联系，是在监控事件：与监控对象紧密联系，是在特定时间由特定输入触发的输出结果，特定时间由特定输入触发的输出结果，每个监控对象对应每个监控对象对应3种监控事件种监控事件v警告警告v故障故障v数据过期（时效性）数据过期（时效性）网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA (Grid Monitor Architecture)•GMA基本介绍基本介绍•GMA体系结构和术语体系结构和术语•GMA组件和接口组件和接口•GMA的应用例子的应用例子网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA基本介绍基本介绍•GGF Performance Working Group提提出草稿出草稿v规范网格监控术语的定义与描述规范网格监控术语的定义与描述v解决网格监控工具开发的互操作性。

解决网格监控工具开发的互操作性•主要贡献是提出主要贡献是提出Producer/Comsumer模型和模型和Event Subscribe的数据传送方式的数据传送方式网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA体系结构和术语体系结构和术语•GMA体系结构：由三种类型的组件组成体系结构：由三种类型的组件组成vConsumervProducersvDirectory Service网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA体系结构体系结构网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA体系结构体系结构ProducerDirectoryService(LDAP?)Consumer1) Event publicationinformation2) Lookup3) Event producer & Event schema information 5) Event data4) Query or Subscribe= API & wire protocol & data format Plus security!网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA术语术语•Events：：命名的数据集合，可以与任何事物相命名的数据集合，可以与任何事物相关，但是一般指关，但是一般指Memory Usage, CPU Usage, Network Usage，，或者错误条件（如服务进程或者错误条件（如服务进程崩溃等）；崩溃等）；•Producer（（生产者）：使生产者）：使Event Data 可用的组可用的组件；件；•Consumer：：请求或者接受请求或者接受Event Data 的任何的任何进程；进程；•Directory Service：：发布哪些发布哪些Event Data是可用是可用的，和哪个的，和哪个producer 联系以得到这些数据；联系以得到这些数据；网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬生产者生产者/消费者间的互操作消费者间的互操作•GMA体系结构支持体系结构支持3种在生产者种在生产者/消费者消费者之间传输数据的互操作：之间传输数据的互操作：•publish/subscribe：：互操作的发起者可互操作的发起者可以是以是生产者，也可以是消费者生产者，也可以是消费者•query/response：：发起者必须是消费者，发起者必须是消费者，类似类似HTTP的的request/reply•notification（（通知）：发起者必须是生通知）：发起者必须是生产者，所有互操作由生产者一步完成。

产者，所有互操作由生产者一步完成网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA GMA 生产者和消费者协议生产者和消费者协议 (1)(1)•Publish/Subscribe modelvConsumer can subscribe to Producer to receive a stream of eventsvProducer can subscribe to Consumer to push a stream of eventsvEither side can unsubscribe•Query modelvConsumer can get a single event网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA GMA 生产者和消费者协议生产者和消费者协议 (2)•Example of Consumer subscribing to latency information between two hosts.网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA组件和接口组件和接口•Directory Service•producer•consumer•compound components网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Directory Service•目录服务的作用是定位、命名和描述网格中具目录服务的作用是定位、命名和描述网格中具有结构化特征的数据，让信息消费者（有结构化特征的数据，让信息消费者（users, visualization tools, programs and resource schedulers））发现信息、理解可用信息的特性。

发现信息、理解可用信息的特性信息生产者必须能够更新信息以反映系统状态信息生产者必须能够更新信息以反映系统状态•Directory Service包含所有可用事件数据的列包含所有可用事件数据的列表，使表，使Consumer可以发现当前可用的事件数可以发现当前可用的事件数据，数据的特性，以及应该和哪个据，数据的特性，以及应该和哪个Producer联联系以获取指定类别的数据系以获取指定类别的数据网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Directory Service（（Cont.））•简单来说，目录服务并不储存事件的附简单来说，目录服务并不储存事件的附加数据加数据,它只提供数据的名称、特性和位它只提供数据的名称、特性和位置信息这样一来置信息这样一来,若想获得事件的数据若想获得事件的数据,首先要通过目录服务找到该事件生产者首先要通过目录服务找到该事件生产者的静态信息，比如事件类型、主机地址的静态信息，比如事件类型、主机地址等，然后再向该生产者发出请求获得相等，然后再向该生产者发出请求获得相应数据。

应数据网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Directory Service支持的功能支持的功能•Add：： 向目录加入记录（向目录加入记录（entry）•Update：：改变记录在目录中的状态改变记录在目录中的状态•Remove：：从目录中删除一个记录从目录中删除一个记录•Search：：查找事件数据，查找事件数据，Client可以指定可以指定是仅仅返回一个结果、还是多个结果是仅仅返回一个结果、还是多个结果网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Producer•负责通过接口为负责通过接口为Consumer提供事件数据的组件。

提供事件数据的组件Producers 将在目录服务中发布事件可用信息将在目录服务中发布事件可用信息•A given component may have multiple producer interfaces, each acting independently and sending events. vThe term producer is used interchangeably, and inexactly, to refer both to a single producer interface and to a component that contains at least one producer interface.网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能•Maintain Registration :vadd/update/remove directory service entry or entries describing events that the producer will send to a consumer.•Corresponds to Directory Service Add,Update, and Remove.•Accept Query: 接受接受Consumer的查询，的查询，返回一组事件。

返回一组事件网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能•Accept Subscribe:接受接受Consumer的请求订阅的请求订阅 如果订阅成功，生产者发送事件数据给消费者如果订阅成功，生产者发送事件数据给消费者直到订阅被终止直到订阅被终止•Accept Unsubscribe:接受接受Consumer的取消的取消订阅如果订阅如果Consumer取消订阅，取消订阅，Producer应应该自动取消其在任何地方的订阅该自动取消其在任何地方的订阅 •Locate Consumer:在在directory service中查中查找一个消费者找一个消费者网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能•Notify（（通报）：发送一个单一的事件数通报）：发送一个单一的事件数据给消费者据给消费者•Initiate Subscribe: Producer 异步开始异步开始与与Consumer之间的订阅。

被授权可以给之间的订阅被授权可以给Consumer传送数据传送数据•Initiate Unsubscribe: Producer通知通知Consumer订阅将结束订阅将结束网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Producer•Producer也可以用于访问控制，容许不也可以用于访问控制，容许不同等级的用户进行不同的访问由于网同等级的用户进行不同的访问由于网格一般有多个组织来控制被监控的资源，格一般有多个组织来控制被监控的资源，因而会有不同的访问策略，支持不同的因而会有不同的访问策略，支持不同的访问频率，对组织内外的访问频率，对组织内外的Consumer将提将提供不同的性能细节供不同的性能细节网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Consumer•Consumer 是通过接口从是通过接口从Producer接受事接受事件数据的任意组件。

接收来自件数据的任意组件接收来自Producer的异步请求的的异步请求的Consumer将在目录服务中将在目录服务中发布这一信息发布这一信息•一个一个Consumer组件可能包含一个或多个组件可能包含一个或多个接口，每个接口可单独从接口，每个接口可单独从Producer接受接受事件数据事件数据网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Consumer 支持的功能支持的功能•Locate Producer: Consumer向目录服务查询向目录服务查询生产者生产者•Initiate Query:请求请求从从producer接收一个或者接收一个或者一组事件可以设置一组事件可以设置filter表明感兴趣的部分表明感兴趣的部分•Initiate Subscribe:Consumer 请求建立到请求建立到producer的连接以连续接收数据的连接以连续接收数据。

•Initiate Unsubscribe:Consumer告诉告诉Producer关闭关闭Subscribe Subscription 被删除，被删除，producer确认之后不再在这个确认之后不再在这个Subscription上传送数据上传送数据网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Consumer 支持的功能支持的功能•Maintain Registration: 增加增加/更新更新/删除目录服删除目录服务中有关从务中有关从 producer接收的事件的记录接收的事件的记录 •Accept Notification: Consumer 接受来自接受来自Producer通知•Accept Subscribe: Consumer接受来自希望传接受来自希望传送数据的送数据的Producer的的subscription•Accept Unsubscribe: Consumer 接受来自接受来自Producer的取消订阅请求。

的取消订阅请求•定位消息模式定位消息模式:在给定的事件类型中在模式库中在给定的事件类型中在模式库中搜索请求搜索请求网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Consumer 的类型的类型具有以下类型的具有以下类型的Consumer:1、、Real－－time monitor：： 实时收集监控数实时收集监控数据供实时分析工具使用据供实时分析工具使用2、、Archiver：：为存档服务收集信息收集为存档服务收集信息收集的信息可以供历史分析的信息可以供历史分析3、、 Overview monitor：：从多个信息源收集从多个信息源收集事件，使用组合信息做出无法基于单个事件，使用组合信息做出无法基于单个主机的数据做出的决定主机的数据做出的决定网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Consumer & Producer•有的组件同时既是有的组件同时既是Consumer也是也是Producer网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬事件数据源事件数据源•用于构建事件的数据能从许多资源上进用于构建事件的数据能从许多资源上进行收集。

比如硬件行收集比如硬件/软件传感器能够收集软件传感器能够收集实时的性能数据；另外，通过数据库的实时的性能数据；另外，通过数据库的查询接口可以得到历史数据如图查询接口可以得到历史数据如图3完整的监控系统，比如说完整的监控系统，比如说NWS，，可以看可以看作一个事件数据源作一个事件数据源网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬事件数据源Figure 3: Sources of Event Data网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Produce and Sensor•一个一个Producer可以关联一个传感器、一可以关联一个传感器、一个指定主机上的所有传感器、一个给定个指定主机上的所有传感器、一个给定子网的所有传感器子网的所有传感器、、或者任意一组传感或者任意一组传感器。

这些在器这些在GMA中没有定义，可以实现中没有定义，可以实现时确定•一个一个Producer和和Sensor的关系如下图：的关系如下图：网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬Producer和和Sensor的关系的关系网格计算－网格计算－Grid Computing Grid Computing 肖侬肖侬GMA的应用例子的应用例子。