一种基于作业规模的均衡调度方法.docx

一种基于作业规模的均衡调度方法专利名称：一种基于作业规模的均衡调度方法技术领域：本发明涉及高性能计算中的作业调度，特别涉及一种基于作业规模的均衡调度方法背景技术：一般高性能计算集群中，作业调度系统来负责作业的调度管理调度策略的效率和有效性直接影响集群的工作效率由于用户业务应用的多样性，传统调度策略很难解决所有应用的有效调度，最常见的问题大作业/小作业竞争本文提出了一种基于作业规模的均衡调度方法，通过综合优先级、公平共享、预约、回填等多种策略来解决作业竞争的问题，提高集群的整体利用率和作业吞吐率发明内容本发明的目的是通过一组策略的组合来解决作业的均衡调度的问题一种基于作业规模的均衡调度方法，所述方法包括如下步骤Si，系统启动；S2，计算作业优先级；S3，按照优先级启动调度作业，如果不能启动，则根据预约深度为作业创建预约；S4，检查当前是否还有空闲资源，如果有空闲资源，则选择可以回填的小作业回填；S5，本轮调度结束，睡眠一段时间，返回S2继续优选的，所述优先级的影响因素包括资源请求信息、作业凭证信息、公平共享设置和服务历史信息；其中，所述资源请求信息包括节点数，处理器数，内存数，运行时间，磁盘空间；所述作业凭证信息包括用户，用户组，队列和项目；所述公平共享设置包括用户共享，用户组共享，队列共享和项目共享。

所述历史统计信息包括入队时间和调度计数优选的，所述优先级的影响因素可以设置不同的权重；默认情况下，RES大类及子类的权重设置均为1，其它大类和子类均为0优选的，所述作业的优先级由所有的影响因素累加得到，每个因素大类的优先级是子因素优先级的求和本发明的优点在于优先级算法可以灵活定制权重的设置可以是正数、负数、零，通过对于权重的设置，可以得到不同的优先级算法，如FIFO、大作业优先等；结合预约和抢占，可以较好的平衡大作业和小作业的竞争，提高系统的吞吐率具体实施例方式本发明的主要内容是提出了一种灵活可配的优先级生成算法来生成作业优先级， 根据优先级高低顺序调度作业同吋，辅以已经标准化了的预约、回填、公平共享等策略，在 尽可能均衡的情况下提高集群的利用率和呑吐率本发明的流程包括一、系统启动ニ、计算作业优先级(1)优先级影响因素包括如下几种资源请求信息(RES)、作业凭证信息(CRED)、 公平共享设置(FA^SHARE)、服务历史信息(HIS0T0RY)每类信息又包括若干种子因素，具 体包括*资源请求信息(RES)-节点数(NOD^请求的节点数-处理器数(PROC)请求的核心数-内存数(MEM)请求的内存数-运行时间(WALLTIME)请求的运行时间-磁盘空间(DISK)请求的磁盘大小*作业凭证信息(CRED)-用户(USER)作业所属用户的优先级-用户组(GROUP)作业所属用户组的优先级-队列(CLAS)作业所载队列的优先级-项目(ACCOUNT)作业所属项目的优先级*公平共享设置(FAIRSHARE)-用户共享(FSUSER)用户的资源使用目标值-用户组共享(FSGR0UP)用户组的资源使用目标值-队列共享(FSCLASS)队列的资源使用目标值-项目共享(FSACC0UNT)项目的资源使用目标值*历史统计信息(HISTORY)-入队时间(QUEUETIME)已经入队时间长度-调度计数(BYPASS)已经拒绝调度次数(2)每种因素(及子因素)均可以设置不同的权重；默认情况下，RES大类及子类的权重设置均为1，其它大类和子类均为0。

3)作业的优先级由所有的影响因素累加得到作业的优先级是以上四大类优先级大类的求和每个因素大类的优先级是子因素 优先级的求和如RES资源大类优先级=资源大类权重*(节点权重*节点数+处理器权 重*处理器数+内存权重*内存数+运行时间权重*运行时间+磁盘权重*磁盘空间)三、按照优先级启动调度作业，如果不能启动，则根据预约深度(N)为前N个作业 创建预约四、检查当前是否还有空闲资源，如果有空闲资源，则选择可以回填的小作业回填五、本轮调度结束，睡眠一段时间，返回步骤ニ继续权利要求1.一种基于作业规模的均衡调度方法，其特征在于所述方法包括如下步骤 Si，系统启动；S2，计算作业优先级；S3，按照优先级启动调度作业，如果不能启动，则根据预约深度为作业创建预约； S4，检查当前是否还有空闲资源，如果有空闲资源，则选择可以回填的小作业回填； S5，本轮调度结束，睡眠一段时间，返回S2继续2.如权利要求1所述的方法，其特征在于所述优先级的影响因素包括资源请求信息、 作业凭证信息、公平共享设置和服务历史信息；其中，所述资源请求信息包括节点数，处理器数，内存数，运行时间，磁盘空间； 所述作业凭证信息包括用户，用户组，队列和项目； 所述公平共享设置包括用户共享，用户组共享，队列共享和项目共享。

所述历史统计信息包括入队时间和调度计数3.如权利要求2所述的方法，其特征在于所述优先级的影响因素可以设置不同的权重；默认情况下，RES大类及子类的权重设置均为1，其它大类和子类均为04.如权利要求2所述的方法，其特征在于所述作业的优先级由所有的影响因素累加得到，每个因素大类的优先级是子因素优先级的求和全文摘要本发明提供了一种基于作业规模的均衡调度方法，S1，系统启动；S2，计算作业优先级；S3，按照优先级启动调度作业，如果不能启动，则根据预约深度为作业创建预约；S4，检查当前是否还有空闲资源，如果有空闲资源，则选择可以回填的小作业回填；S5，本轮调度结束，睡眠一段时间，返回S2继续本发明的优先级算法可以灵活定制权重的设置可以是正数、负数、零，通过对于权重的设置，可以得到不同的优先级算法，如FIFO、大作业优先等；结合预约和抢占，可以较好的平衡大作业和小作业的竞争，提高系统的吞吐率。