一種規(guī)模動(dòng)態(tài)可伸縮的高可用并行作業(yè)控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種規(guī)模動(dòng)態(tài)可伸縮的高可用并行作業(yè)控制方法。
【背景技術(shù)】
[0002]在并行計(jì)算中，當(dāng)并行作業(yè)提交后，由于并行作業(yè)進(jìn)程間的相關(guān)性及作業(yè)控制通路的建立都與作業(yè)規(guī)模相關(guān)，所以并行作業(yè)的規(guī)模在作業(yè)創(chuàng)建時(shí)就已經(jīng)固定，不能動(dòng)態(tài)改變。當(dāng)作業(yè)運(yùn)行過程中使用的節(jié)點(diǎn)出現(xiàn)故障或者有更多空閑資源可用時(shí)，一般需要終止當(dāng)前作業(yè)并重新提交，以適應(yīng)當(dāng)前的可用資源規(guī)模。
[0003]但是，另一方面，當(dāng)前并行計(jì)算機(jī)一般系統(tǒng)規(guī)模巨大，并行作業(yè)運(yùn)行過程中極易由于節(jié)點(diǎn)故障等原因，導(dǎo)致作業(yè)可使用資源規(guī)?？s小，或者由于其他作業(yè)退出以及資源重分配等原因使當(dāng)前可用資源增加，在這種情況下，現(xiàn)有技術(shù)只能將原作業(yè)終止并重新提交以適應(yīng)新的節(jié)點(diǎn)規(guī)模，不能夠進(jìn)行動(dòng)態(tài)伸縮，這樣不但影響作業(yè)運(yùn)行的持續(xù)性，也會(huì)較大的降低系統(tǒng)資源利用率與好用性。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)中存在的并行作業(yè)提交運(yùn)行后基于并行作業(yè)的運(yùn)行及管理特性而使得作業(yè)規(guī)模在運(yùn)行過程中很難改變上述缺陷，提供一種規(guī)模動(dòng)態(tài)可伸縮的高可用并行作業(yè)控制方法，能夠解決并行作業(yè)運(yùn)行過程中不可動(dòng)態(tài)伸縮的問題，以提高并行作業(yè)運(yùn)行效率和系統(tǒng)資源利用率。
[0005]根據(jù)本發(fā)明，提供了一種規(guī)模動(dòng)態(tài)可伸縮的高可用并行作業(yè)控制方法，包括:
[0006]第一步驟:根據(jù)并行計(jì)算中作業(yè)的規(guī)模，確定并行作業(yè)控制中所需啟動(dòng)的作業(yè)分控?cái)?shù)量；
[0007]第二步驟:作業(yè)總控動(dòng)態(tài)啟動(dòng)第一步驟中確定的需要數(shù)量的作業(yè)分控，將并行作業(yè)使用的計(jì)算節(jié)點(diǎn)按組劃分，分配給作業(yè)分控進(jìn)行按組管理，從而形成一個(gè)多層的作業(yè)任務(wù)控制樹；
[0008]第三步驟:在作業(yè)運(yùn)行過程中，執(zhí)行作業(yè)資源變更；
[0009]第四步驟:作業(yè)控制模塊將第三步驟執(zhí)行后的作業(yè)資源變更情況通知到底層并行語言，由底層并行語言與作業(yè)控制協(xié)同進(jìn)行并行作業(yè)的運(yùn)行環(huán)境重構(gòu)，使并行作業(yè)在環(huán)境重構(gòu)后的新作業(yè)資源規(guī)模下繼續(xù)運(yùn)行。
[0010]優(yōu)選地，作業(yè)資源變更包括第一作業(yè)資源變更步驟和第二作業(yè)資源變更步驟。
[0011]優(yōu)選地，在第一作業(yè)資源變更步驟，在作業(yè)運(yùn)行過程中，當(dāng)特定故障節(jié)點(diǎn)不能繼續(xù)工作時(shí)，通知作業(yè)控制樹中對所述故障節(jié)點(diǎn)進(jìn)行管理的作業(yè)分控，該作業(yè)分控處理所述故障節(jié)點(diǎn)的退出，啟動(dòng)資源釋放，將該故障節(jié)點(diǎn)從作業(yè)任務(wù)控制樹移除。
[0012]優(yōu)選地，在第二作業(yè)資源變更步驟，在作業(yè)運(yùn)行過程中，當(dāng)可以向運(yùn)行中的作業(yè)提供更多的可用資源時(shí)，作業(yè)管理啟動(dòng)資源再分配功能，改變作業(yè)使用的計(jì)算資源規(guī)模，并按需啟動(dòng)新的作業(yè)分控，將所述新的作業(yè)分控納入作業(yè)控制樹中對新分配的作業(yè)資源進(jìn)行管理，在新分配的作業(yè)資源上啟動(dòng)并行作業(yè)任務(wù)并進(jìn)行控制。
[0013]優(yōu)選地，作業(yè)分控管理計(jì)算節(jié)點(diǎn)的比例為1:256。
[0014]本發(fā)明解決了在并行系統(tǒng)中，并行作業(yè)運(yùn)行過程中作業(yè)規(guī)模不能動(dòng)態(tài)伸縮的問題。當(dāng)作業(yè)使用的資源需要?jiǎng)討B(tài)縮小或增加時(shí)，能夠動(dòng)態(tài)的縮減或擴(kuò)展作業(yè)控制通路，并根據(jù)需要啟動(dòng)并行作業(yè)任務(wù)，實(shí)現(xiàn)作業(yè)控制規(guī)模的動(dòng)態(tài)可伸縮，提高系統(tǒng)資源利用率。
【附圖說明】
[0015]結(jié)合附圖，并通過參考下面的詳細(xì)描述，將會(huì)更容易地對本發(fā)明有更完整的理解并且更容易地理解其伴隨的優(yōu)點(diǎn)和特征，其中:
[0016]圖1示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的規(guī)模動(dòng)態(tài)可伸縮的高可用并行作業(yè)控制方法的流程圖。
[0017]需要說明的是，附圖用于說明本發(fā)明，而非限制本發(fā)明。注意，表示結(jié)構(gòu)的附圖可能并非按比例繪制。并且，附圖中，相同或者類似的元件標(biāo)有相同或者類似的標(biāo)號。
【具體實(shí)施方式】
[0018]為了使本發(fā)明的內(nèi)容更加清楚和易懂，下面結(jié)合具體實(shí)施例和附圖對本發(fā)明的內(nèi)容進(jìn)行詳細(xì)描述。
[0019]在并行計(jì)算中，當(dāng)作業(yè)規(guī)模確定后，并行作業(yè)任務(wù)進(jìn)程一般會(huì)依據(jù)規(guī)模確定進(jìn)程之間的聯(lián)系與相關(guān)性，作業(yè)運(yùn)行過程中消息發(fā)送等均與該聯(lián)系密切相關(guān)。同時(shí)由于作業(yè)控制通路的建立也與作業(yè)規(guī)模相關(guān)，所以并行作業(yè)的規(guī)模在作業(yè)提交后，一般較難動(dòng)態(tài)改變。當(dāng)作業(yè)可以使用的節(jié)點(diǎn)資源規(guī)模發(fā)生變化時(shí)，一般的處理是將原作業(yè)終止并重新提交以適應(yīng)新的節(jié)點(diǎn)規(guī)模，不能夠進(jìn)行動(dòng)態(tài)伸縮。
[0020]本發(fā)明結(jié)合作業(yè)分控、作業(yè)控制通路的動(dòng)態(tài)縮減與擴(kuò)展，實(shí)現(xiàn)并行作業(yè)控制規(guī)模的動(dòng)態(tài)伸縮。其中，本發(fā)明主要針對并行作業(yè)運(yùn)行過程中作業(yè)規(guī)模較難動(dòng)態(tài)伸縮的問題，通過作業(yè)控制通路的動(dòng)態(tài)調(diào)整及與并行語言的協(xié)作處理，實(shí)現(xiàn)動(dòng)態(tài)的縮減或擴(kuò)展作業(yè)控制通路，并根據(jù)需要啟動(dòng)新增的并行作業(yè)任務(wù)，實(shí)現(xiàn)作業(yè)控制規(guī)模的動(dòng)態(tài)可伸縮，提高系統(tǒng)資源利用率。
[0021]圖1示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的規(guī)模動(dòng)態(tài)可伸縮的高可用并行作業(yè)控制方法的流程圖。
[0022]如圖1所示，根據(jù)本發(fā)明優(yōu)選實(shí)施例的規(guī)模動(dòng)態(tài)可伸縮的高可用并行作業(yè)控制方法包括:
[0023]第一步驟S1:根據(jù)并行計(jì)算中作業(yè)的規(guī)模，確定并行作業(yè)控制中所需啟動(dòng)的作業(yè)分控?cái)?shù)量；
[0024]第二步驟S2:作業(yè)總控動(dòng)態(tài)啟動(dòng)第一步驟S1中確定的需要數(shù)量的作業(yè)分控，將并行作業(yè)使用的計(jì)算節(jié)點(diǎn)按組劃分，分配給作業(yè)分控進(jìn)行按組管理，從而形成一個(gè)多層的作業(yè)任務(wù)控制樹；優(yōu)選地，作業(yè)分控管理計(jì)算節(jié)點(diǎn)的比例為1:256。
[0025]第三步驟S3:在作業(yè)運(yùn)行過程中，執(zhí)行作業(yè)資源變更；
[0026]其中，優(yōu)選地，作業(yè)資源變更可以包括第一作業(yè)資源變更步驟S31和第二作業(yè)資源變更步驟S32。