一種分布式任務(wù)調(diào)度系統(tǒng)的制作方法
【專利摘要】本申請(qǐng)公開分布式任務(wù)調(diào)度系統(tǒng)，任務(wù)中間層模塊用于通過接口接收輸入的任務(wù)配置信息配置到調(diào)度服務(wù)器中，同時(shí)存儲(chǔ)具有任務(wù)編號(hào)的任務(wù)為至少2個(gè)任務(wù)工作節(jié)點(diǎn)提供；調(diào)度服務(wù)器用于根據(jù)存儲(chǔ)的任務(wù)配置的執(zhí)行時(shí)程表，當(dāng)執(zhí)行時(shí)程表中的配置時(shí)間到達(dá)時(shí)，從至少2個(gè)任務(wù)工作節(jié)點(diǎn)選擇其中之一，并創(chuàng)建分布式隊(duì)列的任務(wù)和任務(wù)編號(hào)發(fā)送給選擇后的任務(wù)工作節(jié)點(diǎn)；任務(wù)工作節(jié)點(diǎn)用于接收到調(diào)度服務(wù)器發(fā)送的任務(wù)編號(hào)后從任務(wù)中間層模塊查找與其內(nèi)存儲(chǔ)有相同的任務(wù)編號(hào)，并根據(jù)該任務(wù)編號(hào)從任務(wù)中間層模塊中查找出對(duì)應(yīng)的任務(wù)進(jìn)行執(zhí)行。本發(fā)明解決了對(duì)服務(wù)器中計(jì)劃任務(wù)的管理，可以實(shí)時(shí)監(jiān)控計(jì)劃任務(wù)的執(zhí)行狀態(tài)，當(dāng)任務(wù)失敗后如何合理的處理相應(yīng)的計(jì)劃任務(wù)問題。
【專利說明】一種分布式任務(wù)調(diào)度系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及分布式的數(shù)據(jù)采集端領(lǐng)域，更具體地，涉及一種分布式任務(wù)調(diào)度系統(tǒng)。

【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中，類Unix服務(wù)器上通常需要執(zhí)行一些計(jì)劃任務(wù)，現(xiàn)有方案基本都是使用crontab命令進(jìn)行周期性的執(zhí)行任務(wù)。
[0003]現(xiàn)在的crontab配置都是單獨(dú)的寫在對(duì)應(yīng)的服務(wù)器上，隨著線上服務(wù)被拆分得越來越細(xì)，服務(wù)計(jì)劃任務(wù)的數(shù)量以及需要管理的服務(wù)器數(shù)量成倍增長(zhǎng)，對(duì)計(jì)劃任務(wù)的管理變的越來越復(fù)雜；對(duì)正在運(yùn)行的計(jì)劃任務(wù)沒有合理的監(jiān)控機(jī)制；當(dāng)服務(wù)器宕機(jī)或者停電無法將原有任務(wù)轉(zhuǎn)移到其他服務(wù)器完成。
[0004]所以，如何解決對(duì)服務(wù)器中計(jì)劃任務(wù)的管理，同時(shí)可以實(shí)時(shí)監(jiān)控計(jì)劃任務(wù)的執(zhí)行狀態(tài)，當(dāng)任務(wù)失敗后如何合理的處理相應(yīng)的計(jì)劃任務(wù)，成為亟待解決的技術(shù)問題。


【發(fā)明內(nèi)容】

[0005]有鑒于此，本申請(qǐng)?zhí)峁┮环N分布式任務(wù)調(diào)度系統(tǒng)，以解決如何對(duì)服務(wù)器中計(jì)劃任務(wù)的管理，同時(shí)可以實(shí)時(shí)監(jiān)控計(jì)劃任務(wù)的執(zhí)行狀態(tài)，當(dāng)任務(wù)失敗后如何合理的處理相應(yīng)的計(jì)劃任務(wù)問題。
[0006]本申請(qǐng)公開了一種分布式任務(wù)調(diào)度系統(tǒng)，其特征在于，包括:任務(wù)中間層模塊、至少一調(diào)度服務(wù)器和至少2個(gè)任務(wù)工作節(jié)點(diǎn)；其中，
所述任務(wù)中間層模塊，分別與所述調(diào)度服務(wù)器和至少2個(gè)任務(wù)工作節(jié)點(diǎn)相耦接，用于通過接口接收輸入的任務(wù)配置信息配置到所述調(diào)度服務(wù)器中，同時(shí)存儲(chǔ)具有任務(wù)編號(hào)的任務(wù)為所述至少2個(gè)任務(wù)工作節(jié)點(diǎn)提供；
所述調(diào)度服務(wù)器，分別與所述任務(wù)中間層模塊和至少2個(gè)任務(wù)工作節(jié)點(diǎn)相耦接，用于根據(jù)存儲(chǔ)的任務(wù)配置的執(zhí)行時(shí)程表，當(dāng)執(zhí)行時(shí)程表中的配置時(shí)間到達(dá)時(shí)，從所述至少2個(gè)任務(wù)工作節(jié)點(diǎn)選擇其中之一，并創(chuàng)建分布式隊(duì)列的任務(wù)和任務(wù)編號(hào)發(fā)送給選擇后的所述任務(wù)工作節(jié)點(diǎn)；
所述任務(wù)工作節(jié)點(diǎn)，分別與所述任務(wù)中間層模塊和調(diào)度服務(wù)器相耦接，用于接收到所述調(diào)度服務(wù)器發(fā)送的任務(wù)編號(hào)后從所述任務(wù)中間層模塊查找與其內(nèi)存儲(chǔ)有相同的任務(wù)編號(hào)，并根據(jù)該任務(wù)編號(hào)從所述任務(wù)中間層模塊中查找出對(duì)應(yīng)的任務(wù)進(jìn)行執(zhí)行。
[0007]優(yōu)選地，其中，所述調(diào)度服務(wù)器，進(jìn)一步還用于:在創(chuàng)建分布式隊(duì)列的任務(wù)和任務(wù)編號(hào)發(fā)送給選擇后的所述任務(wù)工作節(jié)點(diǎn)時(shí)，啟動(dòng)對(duì)該任務(wù)的超時(shí)檢查，當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)并沒有將該任務(wù)執(zhí)行完成或任務(wù)失敗后，會(huì)根據(jù)配置的失敗策略選擇重新執(zhí)行或不執(zhí)行操作。
[0008]優(yōu)選地，其中，所述失敗策略，包括:當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)對(duì)該任務(wù)失敗后，選擇不執(zhí)行操作； 或者，當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)并沒有將該任務(wù)執(zhí)行完成后，選擇重新執(zhí)行操作。
[0009]優(yōu)選地，其中，所述接口，進(jìn)一步為采用rest接口。
[0010]與現(xiàn)有技術(shù)相比，本申請(qǐng)所述的分布式任務(wù)調(diào)度系統(tǒng)，達(dá)到了如下效果:
O本發(fā)明解決了對(duì)服務(wù)器中計(jì)劃任務(wù)的管理，同時(shí)可以實(shí)時(shí)監(jiān)控計(jì)劃任務(wù)的執(zhí)行狀態(tài)，當(dāng)任務(wù)失敗后如何合理的處理相應(yīng)的計(jì)劃任務(wù)。
[0011]2)本發(fā)明還實(shí)現(xiàn)了計(jì)劃任務(wù)的集中管理，計(jì)劃任務(wù)的安全機(jī)制(worknode的選取、任務(wù)監(jiān)控和任務(wù)失敗的重試)。
[0012]當(dāng)然，實(shí)施本申請(qǐng)的任一產(chǎn)品必不一定需要同時(shí)達(dá)到以上所述的所有技術(shù)效果。
[0013]

【專利附圖】

【附圖說明】
[0014]此處所說明的附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中:
圖1為依據(jù)本發(fā)明實(shí)施例一所述的分布式任務(wù)調(diào)度系統(tǒng)結(jié)構(gòu)圖。
[0015]

【具體實(shí)施方式】
[0016]如在說明書及權(quán)利要求當(dāng)中使用了某些詞匯來指稱特定組件。本領(lǐng)域技術(shù)人員應(yīng)可理解，硬件制造商可能會(huì)用不同名詞來稱呼同一個(gè)組件。本說明書及權(quán)利要求并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的準(zhǔn)則。如在通篇說明書及權(quán)利要求當(dāng)中所提及的“包含”為一開放式用語，故應(yīng)解釋成“包含但不限定于”?！按笾隆笔侵冈诳山邮盏恼`差范圍內(nèi)，本領(lǐng)域技術(shù)人員能夠在一定誤差范圍內(nèi)解決所述技術(shù)問題，基本達(dá)到所述技術(shù)效果。此外，“耦接”一詞在此包含任何直接及間接的電性耦接手段。因此，若文中描述一第一裝置耦接于一第二裝置，則代表所述第一裝置可直接電性耦接于所述第二裝置，或通過其他裝置或耦接手段間接地電性耦接至所述第二裝置。說明書后續(xù)描述為實(shí)施本申請(qǐng)的較佳實(shí)施方式，然所述描述乃以說明本申請(qǐng)的一般原則為目的，并非用以限定本申請(qǐng)的范圍。本申請(qǐng)的保護(hù)范圍當(dāng)視所附權(quán)利要求所界定者為準(zhǔn)。
[0017]如圖1所示，為依據(jù)本發(fā)明實(shí)施例一所述的分布式任務(wù)調(diào)度系統(tǒng)，該系統(tǒng)包括:任務(wù)中間層模塊101、至少一調(diào)度服務(wù)器102和至少2個(gè)任務(wù)工作節(jié)點(diǎn)103 ;其中，
所述任務(wù)中間層模塊101，分別與所述調(diào)度服務(wù)器102和至少2個(gè)任務(wù)工作節(jié)點(diǎn)103相耦接，用于通過接口(本實(shí)施例采用rest接口，這里不作具體限定)接收輸入的任務(wù)配置信息配置到所述調(diào)度服務(wù)器102中，同時(shí)存儲(chǔ)具有任務(wù)編號(hào)的任務(wù)為所述至少2個(gè)任務(wù)工作節(jié)點(diǎn)103提供；
所述調(diào)度服務(wù)器102，分別與所述任務(wù)中間層模塊101和至少2個(gè)任務(wù)工作節(jié)點(diǎn)103相耦接，用于根據(jù)存儲(chǔ)的任務(wù)配置的執(zhí)行時(shí)程表，當(dāng)執(zhí)行時(shí)程表中的配置時(shí)間到達(dá)時(shí)，從所述至少2個(gè)任務(wù)工作節(jié)點(diǎn)103選擇其中之一，并創(chuàng)建分布式隊(duì)列的任務(wù)和任務(wù)編號(hào)(ID)發(fā)送給選擇后的所述任務(wù)工作節(jié)點(diǎn)103 ；
所述任務(wù)工作節(jié)點(diǎn)103 (worknode)，分別與所述任務(wù)中間層模塊101和調(diào)度服務(wù)器102相耦接，用于接收到所述調(diào)度服務(wù)器102發(fā)送的任務(wù)編號(hào)(ID)后從所述任務(wù)中間層模塊101查找與其內(nèi)存儲(chǔ)有相同的任務(wù)編號(hào)，并根據(jù)該任務(wù)編號(hào)從所述任務(wù)中間層模塊101中查找出對(duì)應(yīng)的任務(wù)進(jìn)行執(zhí)行。
[0018]所述調(diào)度服務(wù)器102，進(jìn)一步還用于在創(chuàng)建分布式隊(duì)列的任務(wù)和任務(wù)編號(hào)發(fā)送給選擇后的所述任務(wù)工作節(jié)點(diǎn)103時(shí)，啟動(dòng)對(duì)該任務(wù)的超時(shí)檢查，當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)103并沒有將該任務(wù)執(zhí)行完成或任務(wù)失敗后，會(huì)根據(jù)配置的失敗策略選擇重新執(zhí)行或不執(zhí)行操作。
[0019]所述失敗策略，主要包括:當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)103對(duì)該任務(wù)失敗后，選擇不執(zhí)行操作；
或者，當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)103并沒有將該任務(wù)執(zhí)行完成后，選擇重新執(zhí)行操作。
[0020]當(dāng)然這里失敗策略還可以根據(jù)具體內(nèi)容進(jìn)行設(shè)定，在本發(fā)明中，這里不作具體限定。
[0021]所述執(zhí)行時(shí)程表，具體為:讓使用者在固定時(shí)間或固定間隔執(zhí)行相應(yīng)任務(wù)之用。
[0022]與現(xiàn)有技術(shù)相比，本申請(qǐng)所述的分布式任務(wù)調(diào)度系統(tǒng)，達(dá)到了如下效果:
O本發(fā)明解決了對(duì)服務(wù)器中計(jì)劃任務(wù)的管理，同時(shí)可以實(shí)時(shí)監(jiān)控計(jì)劃任務(wù)的執(zhí)行狀態(tài)，當(dāng)任務(wù)失敗后如何合理的處理相應(yīng)的計(jì)劃任務(wù)。
[0023]2)本發(fā)明還實(shí)現(xiàn)了計(jì)劃任務(wù)的集中管理，計(jì)劃任務(wù)的安全機(jī)制(worknode的選取、任務(wù)監(jiān)控和任務(wù)失敗的重試)。
[0024]還需要說明的是，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者系統(tǒng)不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者系統(tǒng)所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、商品或者系統(tǒng)中還存在另外的相同要素。
[0025]本領(lǐng)域技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0026]以上所述僅為本申請(qǐng)的實(shí)施例而已，并不用于限制本申請(qǐng)。對(duì)于本領(lǐng)域技術(shù)人員來說，本申請(qǐng)可以有各種更改和變化。凡在本申請(qǐng)的精神和原理之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請(qǐng)的權(quán)利要求范圍之內(nèi)。
【權(quán)利要求】
1.一種分布式任務(wù)調(diào)度系統(tǒng)，其特征在于，包括:任務(wù)中間層模塊、至少一調(diào)度服務(wù)器和至少2個(gè)任務(wù)工作節(jié)點(diǎn)；其中， 所述任務(wù)中間層模塊，分別與所述調(diào)度服務(wù)器和至少2個(gè)任務(wù)工作節(jié)點(diǎn)相耦接，用于通過接口接收輸入的任務(wù)配置信息配置到所述調(diào)度服務(wù)器中，同時(shí)存儲(chǔ)具有任務(wù)編號(hào)的任務(wù)為所述至少2個(gè)任務(wù)工作節(jié)點(diǎn)提供； 所述調(diào)度服務(wù)器，分別與所述任務(wù)中間層模塊和至少2個(gè)任務(wù)工作節(jié)點(diǎn)相耦接，用于根據(jù)存儲(chǔ)的任務(wù)配置的執(zhí)行時(shí)程表，當(dāng)執(zhí)行時(shí)程表中的配置時(shí)間到達(dá)時(shí)，從所述至少2個(gè)任務(wù)工作節(jié)點(diǎn)選擇其中之一，并創(chuàng)建分布式隊(duì)列的任務(wù)和任務(wù)編號(hào)發(fā)送給選擇后的所述任務(wù)工作節(jié)點(diǎn)； 所述任務(wù)工作節(jié)點(diǎn)，分別與所述任務(wù)中間層模塊和調(diào)度服務(wù)器相耦接，用于接收到所述調(diào)度服務(wù)器發(fā)送的任務(wù)編號(hào)后從所述任務(wù)中間層模塊查找與其內(nèi)存儲(chǔ)有相同的任務(wù)編號(hào)，并根據(jù)該任務(wù)編號(hào)從所述任務(wù)中間層模塊中查找出對(duì)應(yīng)的任務(wù)進(jìn)行執(zhí)行。
2.如權(quán)利要求1所述的分布式任務(wù)調(diào)度系統(tǒng)，其特征在于，所述調(diào)度服務(wù)器，進(jìn)一步還用于:在創(chuàng)建分布式隊(duì)列的任務(wù)和任務(wù)編號(hào)發(fā)送給選擇后的所述任務(wù)工作節(jié)點(diǎn)時(shí)，啟動(dòng)對(duì)該任務(wù)的超時(shí)檢查，當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)并沒有將該任務(wù)執(zhí)行完成或任務(wù)失敗后，會(huì)根據(jù)配置的失敗策略選擇重新執(zhí)行或不執(zhí)行操作。
3.如權(quán)利要求2所述的分布式任務(wù)調(diào)度系統(tǒng)，其特征在于，所述失敗策略，包括:當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)對(duì)該任務(wù)失敗后，選擇不執(zhí)行操作； 或者，當(dāng)超時(shí)時(shí)間到，且所述任務(wù)工作節(jié)點(diǎn)并沒有將該任務(wù)執(zhí)行完成后，選擇重新執(zhí)行操作。
4.如權(quán)利要求1所述的分布式任務(wù)調(diào)度系統(tǒng)，其特征在于，所述接口，進(jìn)一步為采用rest 接 口。
【文檔編號(hào)】G06F9/50GK104461747SQ201410845199
【公開日】2015年3月25日 申請(qǐng)日期:2014年12月31日 優(yōu)先權(quán)日:2014年12月31日
【發(fā)明者】賀群斐, 舒志龍, 陳學(xué)文, 李曉, 彭錦臻, 姚鍵, 潘柏宇, 盧述奇 申請(qǐng)人:合一網(wǎng)絡(luò)技術(shù)(北京)有限公司