算力网络广域资源协同调度方法.pdf

《算力网络广域资源协同调度方法.pdf》由会员分享，可在线阅读，更多相关《算力网络广域资源协同调度方法.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310490016.4(22)申请日 2023.05.04(71)申请人 山东省计算中心（国家超级计算济南中心）地址 250014 山东省济南市科院路19号 申请人 齐鲁工业大学（山东省科学院）(72)发明人 陈静张传福李文郭莹孙浩耿玉栋(74)专利代理机构 济南金迪知识产权代理有限公司 37219专利代理师 孙倩文(51)Int.Cl.H04L 67/10(2022.01)H04L 67/1074(2022.01)H04L 43/0852(2022.01)H04L 43/0894(2022。

2、.01)G06F 9/50(2006.01)(54)发明名称算力网络广域资源协同调度方法(57)摘要本发明涉及一种算力网络广域资源协同调度方法，属于算力资源调度领域。当用户具有足够的配额，判断数据所在数据中心是否有足够的算力，若是则使用同数据中心存算一体策略，若否，则进一步筛选出所有其它合适的算力平台，若有，则通过网络带宽和网络时延判断是否可以存算分离，若是，则使用广域存算分离策略，若否，则判断是否存在数据中心同时满足算力需求和存储需求，若是，则使用基于广域数据流转的存算一体策略，若否，则使用广域存算分离策略。本发明能够实现异构广域分布的算力平台计算、存储、网络资源的汇聚和利用的统筹优化，从而。

3、实现各类资源的跨域协同调度，提高大规模任务的协同计算效率。权利要求书4页 说明书9页 附图2页CN 116614499 A2023.08.18CN 116614499 A1.一种算力网络广域资源协同调度方法，其特征在于，设数据中心为DD1,D2,.,Di，其中Di(S1,C1),(S2,C2),.,(Sn,Cn)，其中S1,S2,.,Sn为存储平台，C1,C2,.,Cn为算力平台，存储平台存储类型为Type，剩余存储大小为Storesurplus，所在数据中心为Sregion，算力平台剩余内存大小为memorysurplus，剩余cpu个数为cpusurplus，所在数据中心为Cregion；。

4、存算一体的数据阈值为limitdata；设用户唯一标识为ID，用户内存配额为memoryquota，cpu配额为cpuquota，计算数据唯一标识为IDdata，计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D，存储类型为storetype；用户请求的内存大小为memoryrequest，cpu个数为cpurequest；包括步骤如下：步骤1：算网服务平台接收到用户资源需求，即cpurequest和memoryrequest，根据用户的信息ID判断用户是否具有足够的配额，即满足memoryquotamemoryrequest，cpuquotacpurequest，。

5、若满足则进行下一步，若不满足则返回用户配额不足信息；步骤2：算网服务平台根据计算数据的唯一标识为IDdata查询出计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D；步骤3：算网服务平台判断数据中心D中是否有满足资源需求的算力平台，若无，进入下一步；否则使用同数据中心存算一体策略；步骤4：算网服务平台根据用户的算力需求筛选出其他所有合适的算力平台CaCa1,Ca2,.,Can，即满足memoryquotamemoryrequest，cpuquotacpurequest的算力平台，若无则表示当前的算网系统没有合适的算力平台，若有则进行下一步；步骤5：算网服务平台通过i。

6、perf命令获取筛选的所有算力平台CaCa1,Ca2,.,Can与数据所在存储平台S间的网络带宽TT1,T2,.,Tn和网络时延delayd1,d2,.,dn；步骤6：算网服务平台根据网络带宽和网络时延判断是否可以广域存算分离，若所有的网络带宽TT1,T2,.,Tn均小于阈值limT或所有的网络时延delayd1,d2,.,dn均大于阈值limdelay则不可使用广域存算分离策略，进入下一步；否则使用广域存算分离策略；步骤7：不可使用广域存算分离策略情况下，需判断是否存在一个数据中心同时满足算力需求和存储需求，若是，则使用基于广域数据流转的存算一体策略，若否，则使用广域存算分离策略。2.根据权。

7、利要求1所述的算力网络广域资源协同调度方法，其特征在于，步骤3中同数据中心存算一体策略，包括如下步骤：3.1：算网服务平台根据存储平台所在数据中心D，筛选出D中所有的算力平台CdCd1,Cd2,.,Cdn；3.2：判断数据中心D所有的算力平台CdCd1,Cd2,.,Cdn中，是否有存在足够算力的算力平台，即满足memoryquotamemoryrequest，cpuquotacpurequest，若有则选择该算力平台；否则结束。3.根据权利要求2所述的算力网络广域资源协同调度方法，其特征在于，步骤6中的广域存算分离策略，包括如下步骤：6.1：算网服务平台通过iperf命令实时获取网络带宽和时延。

8、；6.2：以成本和完成时间为目标建立多目标函数；6.3：使用多目标求解算法计算出最佳的算力平台和存储平台组合。权利要求书1/4 页2CN 116614499 A24.根据权利要求3所述的算力网络广域资源协同调度方法，其特征在于，步骤6.2中建立多目标函数时，由于数据的传输与任务的计算是并行进行，分为计算时间大和传输时间大两种情况；当计算时间大于传输时间时：最小化任务完成时间目标，即：在算网中任务在队列中等待时间忽略不计；为任务计算时间；当任务计算时间小于传输时间时：最小化任务完成时间目标，即：在算网中任务在队列中等待时间忽略不计；任务数据传输时间表示为：其中FSi代表待迁移数据文件大小，在计算。

9、得到数据源满足负载均衡条件下，先按照文件访问热度确定发送优先级，再设定最佳传输文件大小值的阈值区间Min,Max，根据该阈值进行合并或拆解文件后，将该作业文件置入数据传输作业队列中；代表当前t时刻从发送节点到第j个备选接收结点的网络带宽预测值，由公式计算得到，其中是比例控制增益，调节参数是从发送结点到第j个备选接收结点的网络带宽期望值，是t1时刻从发送结点到第j个备选接收结点的网络带宽真实值，是指ti时刻从发送结点到第j个备选接收结点的网络带宽真实值，是指ti时刻从发送结点到第j个备选接收结点的网络带宽预测值；最小化用户资源价格成本目标，即：其中是发送结点到第j个备选接收结点的网络链路价格，是。

10、任务数据传输时间，是第j个数据中心的存储价格，M是任务存储容量，是第j个数据中心的云主机价格，是第j个数据中心的GPU计算服务价格，是第j个数据中心的任务计算时间。5.根据权利要求4所述的算力网络广域资源协同调度方法，其特征在于，步骤7中的基于广域数据流转的存算一体策略，包括如下步骤：权利要求书2/4 页3CN 116614499 A37.1：算网服务平台根据数据的信息和用户的算力需求筛选出所有合适的算力平台C/aCa1,Ca2,.,Can和存储平台S/aSa1,Sa2,.,Sam；7.2：判断筛选出的所有合适的算力平台C/aCa1,Ca2,.,Can和存储平台S/aSa1,Sa2,.,Sam。

11、是否有在一个数据中心的情况，若有，即CregionSregion，则通过iperf命令获取所有数据中心D/aDa1,Da2,.,Dan与数据所在数据中心D之间网络带宽T/T1,T2,.,Tn和网络时延delay/d1,d2,.,dn，根据这两个指标筛选符合条件的一批存储和算力平台，然后以成本和完成时间为目标建立多目标函数，然后使用多目标求解算法计算出最佳的数据中心，将公共数据流转到该数据中心，若无则进行下一步；7.3：无法进行数据流转，则采用广域存算分离策略。6.根据权利要求5所述的算力网络广域资源协同调度方法，其特征在于，建立多目标函数时，最小化任务完成时间目标，即：在算网中任务在队列中等待。

12、时间忽略不计；为任务计算时间，任务数据向目标存储平台的流转时间表示为：其中FSi代表待迁移数据文件大小，在计算得到数据源满足负载均衡条件下，先按照文件访问热度确定发送优先级，再设定最佳传输文件大小值的阈值区间Min,Max，根据该阈值进行合并或拆解文件后，将该作业文件置入数据传输作业队列中；代表当前t时刻从发送节点到第j个备选接收结点的网络带宽预测值，由公式计算得到，其中是比例控制增益，调节参数是从发送结点到第j个备选接收结点的网络带宽期望值，是t1时刻从发送结点到第j个备选接收结点的网络带宽真实值，是指ti时刻从发送结点到第j个备选接收结点的网络带宽真实值，是指ti时刻从发送结点到第j个备选。

13、接收结点的网络带宽预测值；最小化用户资源价格成本目标，即：其中是发送结点到第j个备选接收结点的网络链路价格，是任务数据向目标存储平台的流转时间，是第j个数据中心的存储价格，M是任务存储容量，是第j个数据权利要求书3/4 页4CN 116614499 A4中心的云主机价格，是第j个数据中心的GPU计算服务价格，是第j个数据中心的任务计算时间。7.根据权利要求6所述的算力网络广域资源协同调度方法，其特征在于，步骤6.3、步骤7.2中的多目标求解算法均使用NSGA算法进行多目标优化得出最佳神经网络模型切分点，假设Pt是第t代的父代，其大小为Np，其生成的子代为Qt，其大小也为Np，具体步骤如下：(1。

14、)生成新的种群，将父代和子代合并为一个种群Rt，并从中选择出Np个个体，为了实现这个选择的过程，首先需要将Rt通过非支配排序划分为多个非支配层，然后从第一个非支配层开始构建新的种群，直到新的种群大小为Np或者第一次超过Np；假设第Llim层时新的种群大小为Np或者第一次超过Np，那么第Llim+1层将淘汰，大多数情况下第Llim层只有部分被保留；(2)当达到预设的迭代次数时，选择第一步生成的新种群中最合适的一个作为该多目标问题的解，即切分点；如果没有达到预设的迭代次数时，对种群内保留的个体进行选择交叉变异，进行下一次种群个体选择。8.根据权利要求7所述的算力网络广域资源协同调度方法，其特征在于。

15、，步骤(1)中，选择第Llim层被保留的部分过程如下：(1.1)生成参考点；设优化目标个数为Tar，标准化超平面维度为Tar1，如果将每一个目标划分为H份，那么参考点的数量为(1.2)种群的自适应标准化，具体步骤为：a、寻找理想点，即分别求解这一代种群的所有的目标的最小值：首先选取种群个体每一目标维度的最小值构成当前种群的理想点然后将种群做平移操作将理想点变为原点；b、计算出每个坐标轴对应的额外点，计算公式如下：其中，wi为方向向量；c、构建超平面，计算截距，目标归一化；额外点各自和原点组成的三条线，这三条线组成一个面，该面和三个坐标轴的交点即最终要求解的截距a1、a2和a3，根据求解的截距a。

16、1、a2和a3，来按照下面的方程进行归一化：(1.3)使种群中的个体分别关联到相应的参考点；将原点与参考点的连线，从而得到参考线，计算出种群中的个体到各参考线的距离，如果个体与参考线距离最小，则将该个体与对应的参考线建立联系；(1.4)进行个体的选择，将所有合适的个体进行保留，成为下一次迭代的父代种群。权利要求书4/4 页5CN 116614499 A5算力网络广域资源协同调度方法技术领域0001本发明涉及一种算力网络广域资源协同调度方法，通过针对任务广域资源协同计算场景，提出算力网络广域资源协同调度方法，实现计算、存储和网络资源的协同调度，属于算力资源调度技术领域。背景技术0002算力时代，。

17、计算和数据处理应用需求激增，对算力和存储能力、数量的要求日益增长。数字转型，科学研究、工业生产、社会民生等领域产生的数据量剧增，大规模数值计算、大数据分析、AI数据挖掘等任务激增，计算场景愈加丰富，对算力、存储和网络资源提出多样化需求，对算力能力和数量需求也日益增长，单一类型算力平台难以满足复杂应用需求，迫切需要构建算力网络实现各地算力平台的汇聚和统筹利用。特别是大模型训练和科学计算等大规模任务，更是需要大数据、强算法、高算力的支撑，面对上万亿规模的训练参数需要多算力平台的协同计算。0003算力平台多样、资源异构、地理分散，并且超算、智能算力、云算力呈现出融合发展趋势，汇聚异构算力平台支撑大规。

18、模任务计算面临诸多挑战。算力平台计算、存储、网络资源异构广域分布，难以互联互通和汇聚融合，通过算力网络将超算中心、智算中心、云计算中心等算力基础设施互联互通，构建资源方便接入、任务统一调度、用户灵活使用的算力网络基础设施，实现算力汇聚和利用的统筹优化，支撑人工智能和科学计算等大规模任务。其中的关键就是面向丰富的计算场景如何实现算力网络各类资源的跨域协同调度，提高大规模任务的协同计算效率，为此提出算力网络广域资源协同调度方法，通过协同调度广域范围内的计算、存储资源来实现高效的任务卸载。发明内容0004针对现有技术的不足，本发明提供了一种算力网络广域资源协同调度方法，能够实现异构广域分布的算力平台。

19、计算、存储、网络资源的汇聚和利用的统筹优化，从而实现各类资源的跨域协同调度，提高大规模任务的协同计算效率。并面对算力网络典型应用不同任务特点和计算场景，可提供同数据中心存算一体、广域存算分离和基于广域数据流转的存算一体的算力网络广域资源协同调度方法。0005术语解释：00061、广域存算分离：是指存储和计算在不同的数据中心上进行。传统的服务器将存算按一定比例强制绑定在一起，这导致资源不能充分利用，无法弹性扩容和成本增加等问题。而存算分离将任务的数据存储和计算分别卸载在不同的服务中心，可以解决传统的服务器因存储空间不足算力资源充足情况下或算力资源达到限制而存储资源充足情况下无法对任务进行卸载的问。

20、题。00072、数据中心：数据中心是一个云服务中心，数据中心包括计算平台和存储平台。00083、计算平台：具有丰富的算力资源，能为任务的计算提供大量算力，主要用于卸载说明书1/9 页6CN 116614499 A6任务计算。00094、存储平台：具有丰富的存储资源，能为用户的数据提供存储空间，主要负责计算数据的存储。0010本发明采用如下技术方案：0011一种算力网络广域资源协同调度方法，该方法涉及到算力网络下数据中心中存储平台和算力平台的选择；0012所述算网服务平台包括数据库、全局调度系统、作业执行系统；0013所述数据库用于存储关键数据，如用户、资源、作业信息；0014所述全局调度系统主。

21、要为任务和计算数据提供卸载策略，计算出最佳的存储平台和算力平台；0015所述作业执行系统主要根据全局调度计算出最佳存储平台和算力平台执行任务和数据计算。0016所述算力平台，具有丰富的算力资源，能为任务的计算提供大量算力，主要用于卸载任务计算；0017所述存储平台，具有丰富的存储资源，能为用户的数据提供存储空间，主要用于存储数据；0018算力网络广域资源协同调度方法主要分为同数据中心存算一体、广域存算分离和基于广域数据流转的存算一体三种调度策略；0019设数据中心为DD1,D2,.,Di，其中Di(S1,C1),(S2,C2),.,(Sn,Cn)，其中S1,S2,.,Sn为存储平台，C1,C2。

22、,.,Cn为算力平台，存储平台存储类型为Type，剩余存储大小为Storesurplus，所在数据中心为Sregion，算力平台剩余内存大小为memorysurplus，剩余cpu个数为cpusurplus，所在数据中心为Cregion；存算一体的数据阈值为limitdata；0020设用户唯一标识为ID，用户内存配额为memoryquota，cpu配额为cpuquota，计算数据唯一标识为IDdata，计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D，存储类型为storetype；用户请求的内存大小为memoryrequest，cpu个数为cpurequest；。

23、0021包括步骤如下：0022步骤1：算网服务平台接收到用户资源需求(cpurequest,memoryrequest)，根据用户的信息ID判断用户是否具有足够的配额，即满足memoryquotamemoryrequest，cpuquotacpurequest，若满足则进行下一步，若不满足则返回用户配额不足信息；0023步骤2：算网服务平台根据计算数据的唯一标识为IDdata查询出计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D；0024步骤3：算网服务平台判断数据中心D中是否有满足资源需求的算力平台，若无，进入下一步；否则使用同数据中心存算一体策略；0025步骤。

24、4：算网服务平台根据用户的算力需求筛选出其他所有合适的算力平台CaCa1,Ca2,.,Can，即满足memoryquotamemoryrequest，cpuquotacpurequest的算力平台，若无则表示当前的算网系统没有合适的算力平台，若有则进行下一步；0026步骤5：算网服务平台通过iperf命令获取筛选的所有算力平台CaCa1,Ca2,.,Can与数据所在存储平台S间的网络带宽TT1,T2,.,Tn和网络时延delayd1,d2,.,dn；说明书2/9 页7CN 116614499 A70027步骤6：算网服务平台根据网络带宽和网络时延判断是否可以广域存算分离，若所有的网络带宽TT1。

25、,T2,.,Tn均小于阈值limT或所有的网络时延delayd1,d2,.,dn均大于阈值limdelay则不可使用广域存算分离策略，进入下一步；否则使用广域存算分离策略。0028步骤7：不可使用广域存算分离策略情况下，需判断是否存在一个数据中心同时满足算力需求和存储需求，若是，则使用基于广域数据流转的存算一体策略，若否，则使用广域存算分离策略。0029优选的，步骤3中同数据中心存算一体策略，包括如下步骤：00303.1：算网服务平台根据存储平台所在数据中心D筛选出D中所有的算力平台00313.2：判断数据中心D中所有的算力平台CdCd1,Cd2,.,Cdn中是否有存在足够算力的算力平台，即满。

26、足memoryquotamemoryrequest，cpuquotacpurequest，若有则选择该算力平台；否则结束。0032优选的，步骤6中的广域存算分离策略，包括如下步骤：00336.1：算网服务平台通过监控实时获取网络带宽和时延；00346.2：以成本和完成时间为目标建立多目标函数；00356.3：使用多目标求解算法计算出最佳的算力平台和存储平台组合。0036优选的，步骤6.2中建立多目标函数时，由于数据的传输与任务的计算是并行进行，分为计算时间大和传输时间大两种情况；0037当计算时间大于传输时间时：0038最小化任务完成时间目标，即：00390040在算网中任务在队列中等待时间很。

27、短，可以忽略不计；任务计算时间与不同算力结点的硬件资源性能相关但对结果的影响差别不大；0041当任务计算时间小于传输时间时：0042最小化任务完成时间目标，即：00430044在算网中任务在队列中等待时间很短，可以忽略不计；任务数据传输时间可表示为：00450046其中FSi代表待迁移数据文件大小，在计算得到数据源满足负载均衡条件下，先按照文件访问热度确定发送优先级，再设定最佳传输文件大小值的阈值区间Min,Max，根据该阈值进行合并或拆解文件后，将该作业文件置入数据传输作业队列中；代表当前t时刻从发送节点到第j个备选接收结点的网络带宽预测值，由公式计说明书3/9 页8CN 116614499。

28、 A8算得到，其中是比例控制增益，调节参数是从发送结点到第j个备选接收结点的网络带宽期望值，是t1时刻从发送结点到第j个备选接收结点的网络带宽真实值，是指ti时刻从发送结点到第j个备选接收结点的网络带宽真实值，是指ti时刻从发送结点到第j个备选接收结点的网络带宽预测值；0047最小化用户资源价格成本目标，即：00480049其中是发送结点到第j个备选接收结点的网络链路价格，是任务数据传输时间，是第j个数据中心的存储价格，M是任务存储容量，是第j个数据中心的云主机价格，是第j个数据中心的GPU计算服务价格，是第j个数据中心的任务计算时间。0050优选的，步骤7中的基于广域数据流转的存算一体策略，。

29、包括如下步骤：00517.1：算网服务平台根据数据的信息和用户的算力需求筛选出所有合适的算力平台C/aCa1,Ca2,.,Can和存储平台S/aSa1,Sa2,.,Sam；00527.2：判断筛选出的所有合适的算力平台C/aCa1,Ca2,.,Can和存储平台S/aSa1,Sa2,.,Sam是否有在一个数据中心的情况，若有，即CregionSregion，则计算出所有数据中心D/aDa1,Da2,.,Dan与公共数据所在数据中心D之间网络带宽T/T1,T2,.,Tn和网络时延delay/d1,d2,.,dn，通过监控实时获取网络带宽和时延，根据这两个指标筛选符合条件的一批存储和算力平台，然后以。

30、成本和完成时间为目标建立多目标函数，然后使用多目标求解算法计算出最佳的数据中心，将公共数据流转到该数据中心，若无则进行下一步；00537.3：无法进行数据流转，则采用广域存算分离策略。0054优选的，在基于广域数据流转的存算一体情况下，成本与完成时间目标有所不同；0055建立多目标函数时，最小化任务完成时间目标，即：00560057在算网中任务在队列中等待时间很短，可以忽略不计；任务计算时间与不同算力结点的硬件资源性能相关但对结果的影响差别不大，任务数据向目标存储平台的流转时间可表示为：00580059其中FSi代表待迁移数据文件大小，在计算得到数据源满足负载均衡条件下，先按说明书4/9 页9。

31、CN 116614499 A9照文件访问热度确定发送优先级，再设定最佳传输文件大小值的阈值区间Min,Max，根据该阈值进行合并或拆解文件后，将该作业文件置入数据传输作业队列中；代表当前t时刻从发送节点到第j个备选接收结点的网络带宽预测值，由公式计算得到，其中是比例控制增益，调节参数是从发送结点到第j个备选接收结点的网络带宽期望值，是t1时刻从发送结点到第j个备选接收结点的网络带宽真实值，是指ti时刻从发送结点到第j个备选接收结点的网络带宽真实值，是指ti时刻从发送结点到第j个备选接收结点的网络带宽预测值；0060最小化用户资源价格成本目标，即：00610062其中是发送结点到第j个备选接收结。

32、点的网络链路价格，是任务数据向目标存储平台的流转时间，是第j个数据中心的存储价格，M是任务存储容量，是第j个数据中心的云主机价格，是第j个数据中心的GPU计算服务价格，是第j个数据中心的任务计算时间。0063优选的，步骤6.3、步骤7.2中的多目标求解算法均使用NSGA算法进行多目标优化得出最佳神经网络模型切分点，假设Pt是第t代的父代，其大小为Np，其生成的子代为Qt，其大小也为Np，具体步骤如下：0064(1)生成新的种群，将父代和子代合并为一个种群Rt，并从中选择出Np个个体，为了实现这个选择的过程，首先需要将Rt通过非支配排序划分为多个非支配层，然后从第一个非支配层开始构建新的种群，直。

33、到新的种群大小为Np或者第一次超过Np；假设第Llim层时新的种群大小为Np或者第一次超过Np，那么第Llim+1层将淘汰，大多数情况下第Llim层只有部分被保留；0065(2)当达到预设的迭代次数时，选择第一步生成的新种群中最合适的一个作为该多目标问题的解，即切分点；如果没有达到预设的迭代次数时，对种群内保留的个体进行选择交叉变异，进行下一次种群个体选择。0066优选的，步骤(1)中，选择第Llim层被保留的部分过程如下：0067(1.1)生成参考点；设优化目标个数为Tar，标准化超平面维度为Tar1，如果将每一个目标划分为H份，那么参考点的数量为0068(1.2)种群的自适应标准化，具体步。

34、骤为：0069a、寻找理想点，即分别求解这一代种群的所有的目标的最小值：首先选取种群个说明书5/9 页10CN 116614499 A10体 每 一 目 标 维 度 的 最 小 值构 成 当 前 种 群 的 理 想 点然后将种群做平移操作将理想点变为原点；0070b、计算出每个坐标轴对应的额外点，计算公式如下：00710072其中，wi为方向向量；0073c、构建超平面，计算截距，目标归一化；额外点各自和原点(即理想点)组成的三条线，这三条线就可以组成一个面，该面和三个坐标轴的交点即最终要求解的截距a1、a2和a3，根据求解的截距a1、a2和a3，来按照下面的方程进行归一化：00740075(。

35、1.3)使种群中的个体分别关联到相应的参考点；将原点与参考点的连线，从而得到参考线，计算出种群中的个体到各参考线的距离，如果个体与参考线距离最小，则将该个体与对应的参考线建立联系；0076(1.4)进行个体的选择，将所有合适的个体进行保留，成为下一次迭代的父代种群。0077本发明未详尽之处，均可参见现有技术。0078本发明的有益效果为：0079本发明通过算力网络广域资源协同调度方法，计算得出广域环境下最佳的存储平台和算力平台。针对算力网络典型应用和计算场景，提出广域资源协同调度方法。面向非时延敏感场景，提出面向存算分离的广域资源协同调度方法，保障数据隐私、提升应用运行效率；针对数据密集型和延迟。

36、敏感型需存算一体任务，提出基于数据流转的广域存算一体协同调度方法，保障时延敏感业务实时响应，使广域存算分离能够应用到更多的场景，促进任务的卸载，提高广域环境下资源的利用率。附图说明0080构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。0081图1为算力网络广域资源协同调度方法具体流程图；0082图2为算力网络广域资源协同调度方法示意图；0083图3为同数据中心存算一体具体流程；0084图4为广域存算分离具体流程图；0085图5为基于广域数据流转的存算一体具体流程图。具体实施方式0086为了使本技术领域的人员更。

37、好的理解本说明书中的技术方案，下面结合本说明书实施中的附图，对本发明书实施例中的技术方案进行清楚、完整的描述，但不仅限于此，本发明未详尽说明的，均按本领域常规技术。说明书6/9 页11CN 116614499 A110087实施例10088一种算力网络广域资源协同调度方法，设数据中心为DD1,D2,.,Di，其中Di(S1，C1)，(S2，C2)，.，(Sn，Cn)，其中S1,S2,.,Sn为存储平台，C1,C2,.,Cn为算力平台，存储平台存储类型为Type，剩余存储大小为Storesurplus，所在数据中心为Sregion，算力平台剩余内存大小为memorysurplus，剩余cpu个数。

38、为cpusurplus，所在数据中心为Cregion。存算一体的数据阈值为limitdata。0089设用户唯一标识为ID，用户内存配额为memoryquota，cpu配额为cpuquota，计算数据唯一标识为IDdata，计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D，存储类型为storetype。用户请求的内存大小为memoryrequest，cpu个数为cpurequest。0090步骤11：算网服务平台接收到用户资源需求(cpurequest,memoryrequest)，根据用户的信息ID判断出用户具有足够的配额；0091步骤12：算网服务平台根据计算。

39、数据的唯一标识为IDdata查询出计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D；0092步骤13：算网服务平台根据数据所在数据中心D判断数据中心D中是否有合适的算力平台，有合适的算力平台，使用同数据中心存算一体策略；0093步骤14：算网服务平台根据存储平台所在数据中心D筛选出D中所有的算力平台CdCd1,Cd2,.,Cdn；0094步骤15：数据中心D中所有的算力平台CdCd1,Cd2,.,Cdn中有存在足够算力的算力平台，即满足memoryquotamemoryrequest，cpuquotacpurequest，选择该算力平台。0095实施例20096一。

40、种算力网络广域资源协同调度方法，设数据中心为DD1,D2,.,Di，其中Di(S1，C1)，(S2，C2)，.，(Sn，Cn)，其中S1,S2,.,Sn为存储平台，C1,C2,.,Cn为算力平台，存储平台存储类型为Type，剩余存储大小为Storesurplus，所在数据中心为Sregion，算力平台剩余内存大小为memorysurplus，剩余cpu个数为cpusurplus，所在数据中心为Cregion，存算一体的数据阈值为limitdata。0097设用户唯一标识为ID，用户内存配额为memoryquota，cpu配额为cpuquota，计算数据唯一标识为IDdata，计算数据大小为si。

41、zedata，计算数据的存储平台为S，存储平台所在数据中心D，存储类型为storetype。用户请求的内存大小为memoryrequest，cpu个数为cpurequest。0098步骤21：算网服务平台接收到用户资源需求(cpurequest,memoryrequest)，根据用户的信息ID判断出用户具有足够的配额；0099步骤22：算网服务平台根据计算数据的唯一标识为IDdata查询出计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D；0100步骤23：算网服务平台根据数据所在数据中心D判断数据中心D中是否有合适的算力平台，没有合适的算力平台，表示需要使用存算分。

42、离来实现按需分配计算资源和存储资源，进入下一步；0101步骤24：算网服务平台根据用户的算力需求筛选出所有合适的算力平台CaCa1,Ca2,.,Can(即满足memoryquotamemoryrequest，cpuquotacpurequest)；0102步骤25：算网服务平台通过iperf命令获取筛选的所有算力平台CaCa1,Ca2,.,Can与数据所在存储平台S间的网络带宽TT1,T2,.,Tn和网络时延delay说明书7/9 页12CN 116614499 A12d1,d2,.,dn；0103步骤26：算网服务平台根据网络带宽和网络时延判断是否需要进行数据流转。存在网络带宽TT1,T2,。

43、.,Tn大于阈值limT且网络时延delayd1,d2,.,dn小于阈值limdelay，不需要进行数据流转，通过监控实时获取网络带宽和时延，根据这两个指标筛选符合条件的一批存储和算力平台，然后以成本和完成时间为目标建立多目标函数，然后使用上述多目标求解算法计算出最佳的算力平台和存储平台组合。0104实施例30105一种算力网络广域资源协同调度方法，设数据中心为DD1,D2,.,Di，其中Di(S1，C1)，(S2，C2)，.，(Sn，Cn)，其中S1,S2,.,Sn为存储平台，C1,C2,.,Cn为算力平台，存储平台存储类型为Type，剩余存储大小为Storesurplus，所在数据中心为S。

44、region，算力平台剩余内存大小为memorysurplus，剩余cpu个数为cpusurplus，所在数据中心为Cregion，存算一体的数据阈值为limitdata。0106设用户唯一标识为ID，用户内存配额为memoryquota，cpu配额为cpuquota，计算数据唯一标识为IDdata，计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D，存储类型为storetype。用户请求的内存大小为memoryrequest，cpu个数为cpurequest。0107步骤31：算网服务平台接收到用户资源需求(cpurequest,memoryrequest)，根据。

45、用户的信息ID判断出用户具有足够的配额；0108步骤32：算网服务平台根据计算数据的唯一标识为IDdata查询出计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D；0109步骤33：算网服务平台根据数据所在数据中心D判断数据中心D中是否有合适的算力平台，没有合适的算力平台，表示需要使用存算分离来实现按需分配计算资源和存储资源，进入下一步；0110步骤34：算网服务平台根据用户的算力需求筛选出所有合适的算力平台CaCa1,Ca2,.,Can(即满足memoryquotamemoryrequest，cpuquotacpurequest)；0111步骤35：算网服务平台通。

46、过iperf命令获取筛选的所有算力平台CaCa1,Ca2,.,Can与数据所在存储平台S间的网络带宽TT1,T2,.,Tn和网络时延delayd1,d2,.,dn；0112步骤36：算网服务平台根据网络带宽和网络时延判断是否需要进行数据流转，所有的网络带宽TT1,T2,.,Tn均小于阈值limT或所有的网络时延delayd1,d2,.,dn均大于阈值limdelay，需要进行数据流转；0113步骤37：数据需要流转，算网服务平台根据数据的信息和用户的算力需求筛选出所有合适的算力平台C/aCa1,Ca2,.,Can和存储平台S/aSa1,Sa2,.,Sam；0114步骤38：判断筛选出的所有合适。

47、的算力平台C/aCa1,Ca2,.,Can和存储平台S/aSa1,Sa2,.,Sam是否有在一个数据中心的情况。若有(即CregionSregion)则计算出所有数据中心D/aDa1,Da2,.,Dan与公共数据所在数据中心D之间网络带宽T/T1,T2,.,Tn和网络时延delay/d1,d2,.,dn，通过监控实时获取网络带宽和时延，根据这两个指标筛选符合条件的一批存储和算力平台，然后以成本和完成时间为目标建立多目标函数，然后使用上述多目标求解算法计算出最佳的数据中心，将公共数据流转到该数据中心。说明书8/9 页13CN 116614499 A130115实施例40116一种算力网络广域资源。

48、协同调度方法，设数据中心为DD1,D2,.,Di，其中Di(S1，C1)，(S2，C2)，.，(Sn，Cn)，其中S1,S2,.,Sn为存储平台，C1,C2,.,Cn为算力平台，存储平台存储类型为Type，剩余存储大小为Storesurplus，所在数据中心为Sregion，算力平台剩余内存大小为memorysurplus，剩余cpu个数为cpusurplus，所在数据中心为Cregion。存算一体的数据阈值为limitdata。0117设用户唯一标识为ID，用户内存配额为memoryquota，cpu配额为cpuquota，计算数据唯一标识为IDdata，计算数据大小为sizedata，计算。

49、数据的存储平台为S，存储平台所在数据中心D，存储类型为storetype。用户请求的内存大小为memoryrequest，cpu个数为cpurequest。0118步骤41：算网服务平台接收到用户资源需求(cpurequest,memoryrequest)，根据用户的信息ID判断出用户具有足够的配额；0119步骤42：算网服务平台根据计算数据的唯一标识为IDdata查询出计算数据大小为sizedata，计算数据的存储平台为S，存储平台所在数据中心D；0120步骤43：算网服务平台根据数据所在数据中心D判断数据中心D中是否有合适的算力平台，没有合适的算力平台，表示需要使用存算分离来实现按需分配计。

50、算资源和存储资源，进入下一步。0121步骤44：算网服务平台根据用户的算力需求筛选出所有合适的算力平台CaCa1,Ca2,.,Can(即满足memoryquotamemoryrequest，cpuquotacpurequest)；0122步骤45：算网服务平台通过iperf命令获取筛选的所有算力平台CaCa1,Ca2,.,Can与数据所在存储平台S间的网络带宽TT1,T2,.,Tn和网络时延delayd1,d2,.,dn；0123步骤46：算网服务平台根据网络带宽和网络时延判断是否需要进行数据流转，所有的网络带宽TT1,T2,.,Tn均小于阈值limT或所有的网络时延delayd1,d2,.,。