專利名稱：一種作業(yè)任務(wù)的調(diào)度方法和裝置的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種作業(yè)任務(wù)的調(diào)度方法和裝置。
背景技術(shù)：
計(jì)算機(jī)集群是一種計(jì)算機(jī)系統(tǒng)，其通過多臺(tái)計(jì)算機(jī)(又稱為計(jì)算資源，諸如軟件和/或硬件資源)連接起來協(xié)作完成計(jì)算作業(yè)。這些計(jì)算資源位于同一管理域中，其具有統(tǒng)一的管理策略并且作為一個(gè)整體向用戶提供服務(wù)。Hadoop就是這樣一個(gè)分布式系統(tǒng)的集群架構(gòu)，可以實(shí)現(xiàn)高效率的并行計(jì)算和海量存儲(chǔ)。計(jì)算機(jī)集群通過多臺(tái)計(jì)算機(jī)完成同一作業(yè)，能夠達(dá)到更高的效率。例如，在使用MapReduce (映射化簡)模型進(jìn)行大規(guī)模數(shù)據(jù)的并行計(jì)算時(shí),對(duì)于一個(gè)MapReduce作業(yè)(即用戶的一個(gè)計(jì)算請(qǐng)求)需要拆分成多個(gè)Map任務(wù)和Reduce任務(wù)分配到多個(gè)計(jì)算節(jié)點(diǎn)上執(zhí)行；計(jì)算節(jié)點(diǎn)在集群系統(tǒng)中可以表示單臺(tái)計(jì)算機(jī)。將計(jì)算機(jī)集群上的Map或Reduce任務(wù)等作業(yè)任務(wù)分配到多個(gè)計(jì)算節(jié)點(diǎn)上的過程可以稱為作業(yè)任務(wù)的調(diào)度。目前Hadoop內(nèi)置的調(diào)度器負(fù)責(zé)進(jìn)行作業(yè)任務(wù)的調(diào)度?，F(xiàn)有的調(diào)度器通常按照CPU計(jì)算核心的多少進(jìn)行作業(yè)業(yè)務(wù)的調(diào)度，每個(gè)計(jì)算節(jié)點(diǎn)可以根據(jù)自己實(shí)際的CPU計(jì)算核心的個(gè)數(shù)配置作業(yè)任務(wù)個(gè)數(shù)，一次配好后，啟動(dòng)集群以后便不可修改。在進(jìn)行調(diào)度的過程中，一旦某個(gè)計(jì)算節(jié)點(diǎn)上出現(xiàn)空閑的CPU計(jì)算核心，調(diào)度器便會(huì)分配一個(gè)作業(yè)任務(wù)給該節(jié)點(diǎn)。如果當(dāng)前所有計(jì)算節(jié)點(diǎn)的所有計(jì)算核心都被作業(yè)任務(wù)占用了，則剩下的作業(yè)任務(wù)需要排隊(duì)等待計(jì)算節(jié)點(diǎn)的分配?，F(xiàn)有技術(shù)中調(diào)度器依據(jù)計(jì)算節(jié)點(diǎn)的CPU計(jì)算核心進(jìn)行作業(yè)任務(wù)的調(diào)度，這樣，在某些情況下，雖然計(jì)算節(jié)點(diǎn)上出現(xiàn)空閑的CPU計(jì)算核心，但是，當(dāng)其上有大量的數(shù)據(jù)進(jìn)行計(jì)算時(shí)，還是不可避免地出現(xiàn)內(nèi)存溢出、網(wǎng)絡(luò)阻塞或者直接宕機(jī)的現(xiàn)象。而在計(jì)算節(jié)點(diǎn)出現(xiàn)上述現(xiàn)象中任一的情況下，相應(yīng)計(jì)算節(jié)點(diǎn)上的作業(yè)任務(wù)就會(huì)處理失敗，而處理失敗的作業(yè)任務(wù)需要調(diào)度器重新分配給其它計(jì)算節(jié)點(diǎn)進(jìn)行處理，因此，此時(shí)計(jì)算機(jī)集群在單位時(shí)間內(nèi)處理的數(shù)據(jù)量會(huì)受到影響，也即容易導(dǎo)致計(jì)算機(jī)集群的吞吐率降低?？傊枰绢I(lǐng)域技術(shù)人員迫切解決的一個(gè)技術(shù)問題就是如何能夠提高計(jì)算機(jī)集群的吞吐率。

發(fā)明內(nèi)容
本申請(qǐng)所要解決的技術(shù)問題是提供一種作業(yè)任務(wù)的調(diào)度方法和裝置，能夠提高計(jì)算機(jī)集群的吞吐率。為了解決上述問題，本申請(qǐng)公開了一種作業(yè)任務(wù)的調(diào)度方法，包括收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。
優(yōu)選的，所述硬件資源信息包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；所述磁盤信息進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。優(yōu)選的，所述硬件資源信息小于預(yù)設(shè)閾值包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值。優(yōu)選的，所述收集各計(jì)算節(jié)點(diǎn)的硬件資源信息的步驟，進(jìn)一步包括收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系；對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信息。優(yōu)選的，所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù)；則所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，進(jìn)一步包括依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。優(yōu)選的，所述待分配作業(yè)任務(wù)為待分配化簡Reduce任務(wù)；則所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，進(jìn)一步包括依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息,選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。另一方面，本申請(qǐng)還公開了一種作業(yè)任務(wù)的調(diào)度裝置，包括收集模塊，用于收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；及調(diào)度模塊，用于將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。優(yōu)選的，所述硬件資源信息包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；所述磁盤信息進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。優(yōu)選的，所述硬件資源信息小于預(yù)設(shè)閾值包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值。優(yōu)選的，所述收集模塊進(jìn)一步包括任務(wù)收集子模塊，用于收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系；聚集子模塊，用于對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信息。
優(yōu)選的，所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù)；則所述收集模塊進(jìn)一步包括第一選取子模塊，用于依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；第一分配子模塊，用于將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。優(yōu)選的，所述待分配作業(yè)任務(wù)為待分配化簡Reduce任務(wù)；則所述收集模塊進(jìn)一步包括第二選取子模塊,用于依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；第二分配子模塊，用于將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。與現(xiàn)有技術(shù)相比，本申請(qǐng)具有以下優(yōu)點(diǎn)本申請(qǐng)實(shí)施例采用預(yù)設(shè)閾值表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值，計(jì)算節(jié)點(diǎn)的硬件資源信息達(dá)到這個(gè)極限值就容易引發(fā)硬件資源故障，例如，在CPU使用過多引發(fā)網(wǎng)速過慢、磁盤讀寫過慢等硬件故障，內(nèi)存使用過多引發(fā)的內(nèi)存溢出，磁盤使用過頻引發(fā)的磁盤讀寫錯(cuò)誤，網(wǎng)絡(luò)帶寬使用過多引發(fā)的網(wǎng)絡(luò)阻塞，或者，多個(gè)硬件資源故障引發(fā)的計(jì)算節(jié)點(diǎn)巖機(jī)等等。因此，本申請(qǐng)實(shí)施例收集各計(jì)算節(jié)點(diǎn)的硬件資源信息，并將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；能夠避免計(jì)算節(jié)點(diǎn)出現(xiàn)內(nèi)存溢出、網(wǎng)絡(luò)阻塞或者直接宕機(jī)等硬件故障現(xiàn)象；由于硬件故障現(xiàn)象的避免能夠大大降低相應(yīng)計(jì)算節(jié)點(diǎn)上作業(yè)任務(wù)處理失敗的幾率，也即能夠使得相應(yīng)計(jì)算節(jié)點(diǎn)上作業(yè)任務(wù)處理失敗的幾率微乎其微；因此，本申請(qǐng)能夠提高計(jì)算機(jī)集群在單位時(shí)間內(nèi)處理的數(shù)據(jù)量，也即能夠提高計(jì)算機(jī)集群的吞吐率；其次，計(jì)算節(jié)點(diǎn)上硬件資源屬于整個(gè)計(jì)算機(jī)集群，現(xiàn)有技術(shù)中調(diào)度器依據(jù)CPU計(jì)算核心進(jìn)行作業(yè)任務(wù)的調(diào)度，在有些情況下，還會(huì)出現(xiàn)作業(yè)任務(wù)的計(jì)算占用了計(jì)算節(jié)點(diǎn)上的所有CPU計(jì)算核心，但是計(jì)算節(jié)點(diǎn)上硬件資源的使用率很低的現(xiàn)象，此種現(xiàn)象很容易導(dǎo)致單個(gè)計(jì)算節(jié)點(diǎn)上硬件資源的浪費(fèi)以及計(jì)算機(jī)集群上各計(jì)算節(jié)點(diǎn)的資源浪費(fèi)；而本申請(qǐng)實(shí)施例依據(jù)計(jì)算節(jié)點(diǎn)的硬件資源信息進(jìn)行作業(yè)任務(wù)的調(diào)度，能夠充分利用計(jì)算機(jī)集群上各計(jì)算節(jié)點(diǎn)的資源，避免計(jì)算機(jī)集群上的資源浪費(fèi)；由于利用更多的資源去處理計(jì)算機(jī)集群上的作業(yè)任務(wù)，故能夠有效提高計(jì)算機(jī)集群在單位時(shí)間內(nèi)處理的數(shù)據(jù)量，也即能夠有效提高計(jì)算機(jī)集群的吞吐率。


圖1是本申請(qǐng)一種作業(yè)任務(wù)的調(diào)度方法實(shí)施例1的流程圖；圖2是本申請(qǐng)一種作業(yè)任務(wù)的調(diào)度方法實(shí)施例2的流程圖；圖3是本申請(qǐng)一種作業(yè)任務(wù)的調(diào)度方法實(shí)施例3的流程圖；圖4是本申請(qǐng)一種作業(yè)任務(wù)的調(diào)度裝置實(shí)施例的結(jié)構(gòu)圖。
具體實(shí)施例方式為使本申請(qǐng)的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本申請(qǐng)作進(jìn)一步詳細(xì)的說明。參照?qǐng)D1，示出了本申請(qǐng)一種作業(yè)任務(wù)的調(diào)度方法實(shí)施例1的流程圖，具體可以包括步驟101、收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；步驟102、將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。本申請(qǐng)實(shí)施例采用預(yù)設(shè)閾值表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值，計(jì)算節(jié)點(diǎn)的硬件資源信息達(dá)到這個(gè)極限值就容易弓I發(fā)硬件資源故障。在實(shí)際應(yīng)用中，所述硬件資源信息具體可以包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；其中，所述磁盤信息可以進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。計(jì)算節(jié)點(diǎn)的硬件資源信息達(dá)到預(yù)設(shè)閾值容易引發(fā)硬件資源故障具體可以包括在(PU使用過多引發(fā)網(wǎng)速過慢、磁盤讀寫過慢等硬件故障，內(nèi)存使用過多引發(fā)的內(nèi)存溢出，磁盤使用過頻引發(fā)的磁盤讀寫錯(cuò)誤，網(wǎng)絡(luò)帶寬使用過多引發(fā)的網(wǎng)絡(luò)阻塞，或者，平均負(fù)載過高或者多個(gè)硬件資源故障引發(fā)的計(jì)算節(jié)點(diǎn)宕機(jī)等等?，F(xiàn)有技術(shù)中調(diào)度器依據(jù)CPU計(jì)算核心進(jìn)行作業(yè)任務(wù)的調(diào)度，雖然計(jì)算節(jié)點(diǎn)上出現(xiàn)空閑的CPU計(jì)算核心，但是，當(dāng)其上有大量的數(shù)據(jù)進(jìn)行計(jì)算時(shí)，還是不可避免地出現(xiàn)內(nèi)存溢出、網(wǎng)絡(luò)阻塞或者直接宕機(jī)的現(xiàn)象；而在計(jì)算節(jié)點(diǎn)出現(xiàn)上述現(xiàn)象中任一的情況下，相應(yīng)計(jì)算節(jié)點(diǎn)上的作業(yè)任務(wù)就會(huì)處理失敗，而處理失敗的作業(yè)任務(wù)需要調(diào)度器重新分配給其它計(jì)算節(jié)點(diǎn)進(jìn)行處理，因此，此時(shí)計(jì)算機(jī)集群的吞吐率會(huì)降低。本申請(qǐng)實(shí)施例依據(jù)計(jì)算節(jié)點(diǎn)的硬件資源信息進(jìn)行作業(yè)任務(wù)的調(diào)度，具體而言，收集各計(jì)算節(jié)點(diǎn)的硬件資源信息，并將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；本申請(qǐng)實(shí)施例具有如下優(yōu)點(diǎn)首先，能夠避免計(jì)算節(jié)點(diǎn)出現(xiàn)內(nèi)存溢出、網(wǎng)絡(luò)阻塞或者直接宕機(jī)等硬件故障現(xiàn)象；由于硬件故障現(xiàn)象的避免能夠大大降低相應(yīng)計(jì)算節(jié)點(diǎn)上作業(yè)任務(wù)處理失敗的幾率，也即能夠使得相應(yīng)計(jì)算節(jié)點(diǎn)上作業(yè)任務(wù)處理失敗的幾率微乎其微；因此，本申請(qǐng)能夠提高計(jì)算機(jī)集群在單位時(shí)間內(nèi)處理的數(shù)據(jù)量，也即能夠提高計(jì)算機(jī)集群的吞吐率；其次，計(jì)算節(jié)點(diǎn)上硬件資源屬于整個(gè)計(jì)算機(jī)集群，現(xiàn)有技術(shù)中調(diào)度器依據(jù)CPU計(jì)算核心進(jìn)行作業(yè)任務(wù)的調(diào)度，在有些情況下，還會(huì)出現(xiàn)作業(yè)任務(wù)的計(jì)算占用了計(jì)算節(jié)點(diǎn)上的所有CPU計(jì)算核心，但是計(jì)算節(jié)點(diǎn)上硬件資源的使用率很低的現(xiàn)象，此種現(xiàn)象很容易導(dǎo)致單個(gè)計(jì)算節(jié)點(diǎn)上硬件資源的浪費(fèi)以及計(jì)算機(jī)集群上各計(jì)算節(jié)點(diǎn)的資源浪費(fèi)；而本申請(qǐng)實(shí)施例依據(jù)計(jì)算節(jié)點(diǎn)的硬件資源信息進(jìn)行作業(yè)任務(wù)的調(diào)度，能夠充分利用計(jì)算機(jī)集群上各計(jì)算節(jié)點(diǎn)的資源，避免計(jì)算機(jī)集群上的資源浪費(fèi)；由于利用更多的資源去處理計(jì)算機(jī)集群上的作業(yè)任務(wù)，故能夠有效提高計(jì)算機(jī)集群在單位時(shí)間內(nèi)處理的數(shù)據(jù)量，也即能夠有效提高計(jì)算機(jī)集群的吞吐率。
在實(shí)際應(yīng)用中，本領(lǐng)域技術(shù)人員可以依據(jù)各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)，并將待分配作業(yè)任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。其中，所選取的計(jì)算節(jié)點(diǎn)的數(shù)量可與待分配作業(yè)任務(wù)的數(shù)量相應(yīng)。在具體實(shí)現(xiàn)中，所述硬件資源信息小于預(yù)設(shè)閾值具體可以包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值?？梢岳斫?，本領(lǐng)域技術(shù)人員可以根據(jù)計(jì)算節(jié)點(diǎn)的配置及實(shí)際需求，配置預(yù)設(shè)分項(xiàng)閾值和/或預(yù)設(shè)平均閾值，本申請(qǐng)對(duì)具體的預(yù)設(shè)方式及預(yù)設(shè)分項(xiàng)閾值和預(yù)設(shè)平均閾值的具體數(shù)值不加以限制。例如,在本申請(qǐng)的一種應(yīng)用示例中，所述硬件資源信息具體可以包括CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息，則可以針對(duì)該4個(gè)分項(xiàng)硬件資源信息配置一個(gè)預(yù)設(shè)平均閾值MAX_L0AD，MAX_L0AD的值為10，用于表示計(jì)算節(jié)點(diǎn)的最大綜合負(fù)載。在調(diào)度過程中，計(jì)算節(jié)點(diǎn)的該4個(gè)分項(xiàng)硬件資源信息硬件資源信息的平均值小于MAX_L0AD的計(jì)算節(jié)點(diǎn)才能被分配作業(yè)任務(wù)。MAX_L0AD默認(rèn)等于10，代表節(jié)點(diǎn)的最大綜合負(fù)載，可以根據(jù)實(shí)際需要配置。另外，本申請(qǐng)實(shí)施例可以針對(duì)不同類型的待分配作業(yè)任務(wù)提供更細(xì)化、更有針對(duì)性的調(diào)度方案調(diào)度方案1、在所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù)時(shí)，所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，可以進(jìn)一步包括子步驟Al、依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；子步驟A2、將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。MapReduce 的輸入一般來自 HDFS (分布式文件系統(tǒng)，Hadoop DistributedFileSystem)中的文件,這些輸入文件分布存儲(chǔ)在計(jì)算機(jī)集群內(nèi)的計(jì)算節(jié)點(diǎn)上。由于Map任務(wù)的執(zhí)行過程中，計(jì)算節(jié)點(diǎn)需要將輸入文件加載至本地進(jìn)行處理，故為了避免額外的數(shù)據(jù)傳輸開銷，作業(yè)任務(wù)的調(diào)度可以優(yōu)先選擇距離所述輸入文件近的計(jì)算節(jié)點(diǎn)執(zhí)行相應(yīng)的待分配Map任務(wù)。在具體實(shí)現(xiàn)中，距離所述輸入文件近的計(jì)算節(jié)點(diǎn)可以優(yōu)先包括存儲(chǔ)有所述輸入文件的計(jì)算節(jié)點(diǎn)，此時(shí)，所選取的計(jì)算節(jié)點(diǎn)本身就存儲(chǔ)有所述輸入文件；次優(yōu)地，距離所述輸入文件近的計(jì)算節(jié)點(diǎn)還可以包括與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架(Rack)的計(jì)算節(jié)點(diǎn)，這里，Rack為計(jì)算機(jī)領(lǐng)域內(nèi)的公知技術(shù)，一個(gè)機(jī)架內(nèi)通常部署有多臺(tái)單臺(tái)機(jī)器，同一機(jī)架內(nèi)數(shù)據(jù)傳輸速度要明顯大于跨機(jī)架數(shù)據(jù)傳輸速度。調(diào)度方案2、在所述待分配作業(yè)任務(wù)為待分配化簡Reduce任務(wù)時(shí)，所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，可以進(jìn)一步包括子步驟B1、依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；
子步驟B2、將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。依據(jù)Map-Reduce作業(yè)的工作原理,在作業(yè)的所有Map任務(wù)執(zhí)行完成后,Map任務(wù)所生成的中間鍵值對(duì)(Key-Value)數(shù)據(jù)應(yīng)在計(jì)算節(jié)點(diǎn)間進(jìn)行交換,把具有相同主鍵(Key)的數(shù)值(Value)傳輸?shù)綀?zhí)行相應(yīng)Reduce任務(wù)的計(jì)算節(jié)點(diǎn)。如果執(zhí)行相應(yīng)Reduce任務(wù)的計(jì)算節(jié)點(diǎn)與執(zhí)行Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架，由于同一機(jī)架內(nèi)數(shù)據(jù)傳輸速度要明顯大于跨機(jī)架數(shù)據(jù)傳輸速度，則能夠大大減少數(shù)據(jù)傳輸開銷，這也是調(diào)度方案2的原理所在。參照?qǐng)D2，示出了本申請(qǐng)一種作業(yè)任務(wù)的調(diào)度方法實(shí)施例2的流程圖，具體可以包括步驟201、各計(jì)算節(jié)點(diǎn)采集自身的硬件資源信息；步驟202、各計(jì)算節(jié)點(diǎn)將自身的硬件資源信息匯報(bào)給作業(yè)追蹤器；步驟203、從作業(yè)追蹤器上獲取各計(jì)算節(jié)點(diǎn)的硬件資源信息；步驟204、將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。相對(duì)于實(shí)施例1，實(shí)施例2采用計(jì)算節(jié)點(diǎn)采集自身的硬件資源信息并匯報(bào)給作業(yè)追蹤器的策略，進(jìn)行硬件資源信息的收集；也即，實(shí)施例2提供了一種便利的收集硬件資源信息的方案。本申請(qǐng)可以提供如下計(jì)算節(jié)點(diǎn)采集自身的硬件資源信息的方案采集方案1、依據(jù)采集方案1，計(jì)算節(jié)點(diǎn)可以采用proc文件系統(tǒng)采集自身的硬件資源信息。proc文件系統(tǒng)是一種虛擬文件系統(tǒng)，其可以表現(xiàn)為Linux系統(tǒng)上的/proc目錄是一種文件系統(tǒng)。與其它常見的文件系統(tǒng)不同的是，/proc是一種虛擬文件系統(tǒng)，存儲(chǔ)的是當(dāng)前內(nèi)核運(yùn)行狀態(tài)的一系列特殊文件，用戶可以通過這些文件查看有關(guān)系統(tǒng)硬件及當(dāng)前正在運(yùn)行進(jìn)程的信息?；?proc文件系統(tǒng)如上所述的特殊性，其內(nèi)的文件也常被稱作虛擬文件，并具有一些獨(dú)特的特點(diǎn)。例如，其中有些文件雖然使用查看命令查看時(shí)會(huì)返回大量信息，但文件本身的大小卻會(huì)顯示為0字節(jié)。為了查看及使用上的方便，這些文件通常會(huì)按照相關(guān)性進(jìn)行分類存儲(chǔ)于不同的目錄甚至子目錄中，如/proc/scsi目錄中存儲(chǔ)的就是當(dāng)前系統(tǒng)上所有SCSI (小型計(jì)算機(jī)系統(tǒng)接口，Small Computer System Interface)設(shè)備的相關(guān)信息，/proc/diskstats 中存儲(chǔ)的就是每塊磁盤設(shè)備的磁盤1/0統(tǒng)計(jì)信息列表，、/proc/kcore中存儲(chǔ)的是系統(tǒng)使用的物理內(nèi)存，/proc/loadavg保存關(guān)于CPU和磁盤1/0的負(fù)載平均值，/proc/meminfo用于存儲(chǔ)系統(tǒng)中關(guān)于當(dāng)前內(nèi)存的利用狀況等的信息，等等。故直接從/proc目錄下硬件資源信息，能夠在使用最小代價(jià)的前提下，便利地采集硬件資源信息。在本申請(qǐng)的一些實(shí)施例中，還可以使用文件查看命令查看虛擬文件的內(nèi)容。例如，可以使用 cat/proc/loadavg 命令查看 /proc/loadavg 文件的內(nèi)容,該 cat/proc/loadavg是查看系統(tǒng)平均負(fù)載的命令，這里的平均負(fù)載也就是可運(yùn)行的進(jìn)程的平均數(shù)；在此提供一種輸出結(jié)果的示例0. 18 0. 26 0. 25 2/251 20320
前三個(gè)數(shù)值是1、5、15分鐘內(nèi)的平均進(jìn)程數(shù)，第四個(gè)數(shù)值的分子是正在運(yùn)行的進(jìn)程數(shù)，分母是進(jìn)程總數(shù)，最后一個(gè)數(shù)值是最近運(yùn)行的進(jìn)程ID (標(biāo)識(shí)，Identity)號(hào)。對(duì)于其它文件查看命令，由于其與cat/proc/loadavg的使用原理相似,故在此不作贅述，相互參照即可。采集方案2、依據(jù)采集方案2，計(jì)算節(jié)點(diǎn)可以使用Linux的性能分析命令，來采集硬件資源信
肩、OLinux系統(tǒng)的性能分析命令具體可以包括top、free、iostat、流量監(jiān)控命令等，現(xiàn)一一進(jìn)行介紹1、top 命令；top命令是Linux下常用的性能分析工具，能夠?qū)崟r(shí)顯示系統(tǒng)中各個(gè)進(jìn)程的資源占用狀況。Top命令可以查看系統(tǒng)中運(yùn)行的進(jìn)程的狀況，CPU使用狀況，系統(tǒng)負(fù)載，內(nèi)存使用等。Top命令能夠方便地檢查系統(tǒng)進(jìn)程運(yùn)行狀況，其默認(rèn)顯示部分活動(dòng)的進(jìn)程，并且按照進(jìn)程使用CPU的多少排序。它可以顯示整個(gè)CPU的資源占用狀況，也可以顯示CPU中每個(gè)進(jìn)程的資源占用狀況。故使用top命令，既可以采集到計(jì)算節(jié)點(diǎn)上的CPU資源占用狀況，也可以采集到計(jì)算節(jié)點(diǎn)上某個(gè)作業(yè)任務(wù)的CPU資源占用狀況。2、free 命令；free指令可用于顯示內(nèi)存的使用情況，具體可以包括實(shí)體內(nèi)存，虛擬的交換文件內(nèi)存，共享內(nèi)存區(qū)段，以及系統(tǒng)核心使用的緩沖區(qū)等。相應(yīng)的使用參數(shù)如下-b以Byte為單位顯示內(nèi)存使用情況。-k以KB為單位顯示內(nèi)存使用情況。-m以MB為單位顯示內(nèi)存使用情況。_0不顯不緩沖區(qū)調(diào)節(jié)列。-s<間隔秒數(shù) > 持續(xù)觀察內(nèi)存使用狀況。-t顯示內(nèi)存總和列。與top命令相比，free命令的優(yōu)點(diǎn)是使用簡單，并且只占用很少的系統(tǒng)資源。通過一 S參數(shù)可以使用free命令不間斷地監(jiān)視有多少內(nèi)存在使用，這樣可以把它當(dāng)作一個(gè)方便實(shí)時(shí)監(jiān)控器。3、iostat 命令；Iostat命令可用于報(bào)告CPU統(tǒng)計(jì)信息和整個(gè)系統(tǒng)、適配器、磁盤和存儲(chǔ)器的輸入/輸出統(tǒng)計(jì)信息。具體而言，iostat命令可用來監(jiān)視系統(tǒng)輸入/輸出設(shè)備負(fù)載,這通過觀察與平均傳送速率相關(guān)的物理磁盤的活動(dòng)時(shí)間來實(shí)現(xiàn)。iostat命令生成的報(bào)告可以用來更改系統(tǒng)配置來更好地平衡物理磁盤和適配器之間的輸入/輸出負(fù)載。4、流量監(jiān)控命令。Linux系統(tǒng)提供有多種流量監(jiān)控命令。如iftop命令可用于即時(shí)監(jiān)看網(wǎng)路狀態(tài)和各ip (網(wǎng)絡(luò)之間互聯(lián)的協(xié)議，Internet Protocol)所使用的頻寬；nload工具可用來即時(shí)監(jiān)看網(wǎng)路狀態(tài)和各ip所使用的頻寬等等，這些流量監(jiān)控命令可被用于采集計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)使用情況。
需要說明的是,上述top、free、iostat、流量監(jiān)控命令只是作為Iinux的性能分析命令的一些示例，并不作為本申請(qǐng)的應(yīng)用限制?？傊?，使用實(shí)施例2，計(jì)算節(jié)點(diǎn)可以較小的代價(jià)采集到各自的硬件資源信息，也即，本申請(qǐng)的采集不會(huì)增加額外的硬件或軟件開銷。參照?qǐng)D3，示出了本申請(qǐng)一種作業(yè)任務(wù)的調(diào)度方法實(shí)施例3的流程圖，具體可以包括步驟301、各計(jì)算節(jié)點(diǎn)采集自身的硬件資源信息；步驟302、各計(jì)算節(jié)點(diǎn)定期向作業(yè)追蹤器發(fā)送心跳請(qǐng)求；該心跳請(qǐng)求中攜帶有自身的硬件資源信息；步驟303、從作業(yè)追蹤器上獲取各計(jì)算節(jié)點(diǎn)的硬件資源信息；步驟304、將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。在通信領(lǐng)域中，心跳(HB，Heart Beat)是用來檢測某個(gè)網(wǎng)絡(luò)實(shí)體是否是否存在或是否活動(dòng)的一種機(jī)制。例如，現(xiàn)有技術(shù)的計(jì)算機(jī)集群中，每個(gè)計(jì)算節(jié)點(diǎn)(TaskTracker)可以定期通過心跳請(qǐng)求向作業(yè)追蹤器(JobTracker)匯報(bào)自己管理的機(jī)器中的一些基本信息，如正在存在的task (作業(yè)任務(wù))等等。當(dāng)作業(yè)追蹤器無法接收到計(jì)算節(jié)點(diǎn)的心跳請(qǐng)求時(shí)，需要將該計(jì)算節(jié)點(diǎn)上的作業(yè)任務(wù)重新分配至其它計(jì)算節(jié)點(diǎn)。在實(shí)際中，定期可配置，例如默認(rèn)值是3s等等。相對(duì)于實(shí)施例2，實(shí)施例3的計(jì)算節(jié)點(diǎn)可以將硬件資源信息攜帶在心跳請(qǐng)求中，以減少硬件資源信息的傳輸成本。需要說明的是，實(shí)施例3提供了一種便利的、小傳輸成本的硬件資源信息的傳輸方式，需要說明的是，實(shí)施例3并不作為本申請(qǐng)的應(yīng)用限制，實(shí)際上其它的傳輸方式也是可行的，例如，計(jì)算節(jié)點(diǎn)將硬件資源信息寫入作業(yè)追蹤器的指定內(nèi)存地址，等等。為使本領(lǐng)域技術(shù)人員更好地理解本申請(qǐng)，以下通過一個(gè)具體的例子說明本申請(qǐng)作業(yè)任務(wù)調(diào)度的技術(shù)方案；該例子涉及，前述從作業(yè)追蹤器上獲取各計(jì)算節(jié)點(diǎn)的硬件資源信息，將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的操作的執(zhí)行主體為任務(wù)調(diào)度器(TaskScheduler)，作業(yè)追蹤器和任務(wù)調(diào)度器分別具有各自的類對(duì)象，則該例子的技術(shù)方案具體可以包括步驟S1、各計(jì)算節(jié)點(diǎn)采集自身的硬件資源信息；步驟S2、各計(jì)算節(jié)點(diǎn)定期向作業(yè)追蹤器發(fā)送心跳請(qǐng)求；該心跳請(qǐng)求中攜帶有自身的硬件資源信息；步驟S3、各計(jì)算節(jié)點(diǎn)將自身的硬件資源信息匯報(bào)給作業(yè)追蹤器；步驟S4、作業(yè)追蹤器通過調(diào)用任務(wù)調(diào)度器類對(duì)象中的任務(wù)調(diào)度(AssignTasks)方法，向任務(wù)調(diào)度器發(fā)送任務(wù)調(diào)度請(qǐng)求，該任務(wù)調(diào)度請(qǐng)求中攜帶有待分配作業(yè)任務(wù)；步驟S5、任務(wù)調(diào)度器通過調(diào)用作業(yè)追蹤器類對(duì)象，從作業(yè)追蹤器上獲取各計(jì)算節(jié)點(diǎn)的硬件資源信息；步驟S6、任務(wù)調(diào)度器依據(jù)該任務(wù)調(diào)度請(qǐng)求，將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。需要說明的是，上述作業(yè)服務(wù)器和任務(wù)調(diào)度器互相調(diào)用的方式只是作為示例，并不作為本申請(qǐng)的應(yīng)用限制。在本申請(qǐng)的一種優(yōu)選實(shí)施例中，所述收集各計(jì)算節(jié)點(diǎn)的硬件資源信息的步驟，可以進(jìn)一步包括子步驟Cl、收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系；子步驟C2、對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信息。例如，在本申請(qǐng)的一種應(yīng)用示例中，作業(yè)服務(wù)器可以對(duì)收集到的硬件資源信息進(jìn)行聚集，聚集得到的硬件資源信息可以提供給任務(wù)調(diào)度器進(jìn)行使用。在此舉一個(gè)聚集的示例。假設(shè)有甲乙丙三個(gè)Job正在運(yùn)行，負(fù)載后面跟一個(gè)字母代表某個(gè)Job的某個(gè)task所在計(jì)算節(jié)點(diǎn)，及該task使用的該計(jì)算節(jié)點(diǎn)的硬件資源信息，則作業(yè)服務(wù)器可以首先得到如下對(duì)應(yīng)關(guān)系甲(taskl，計(jì)算節(jié)點(diǎn)1，硬件資源信息a|task2，計(jì)算節(jié)點(diǎn)4:硬件資源信息c I task3,計(jì)算節(jié)點(diǎn)8,硬件資源信息e)乙(task4,計(jì)算節(jié)點(diǎn)3:硬件資源信息c | task5,計(jì)算節(jié)點(diǎn)6,硬件資源信息e I task6,計(jì)算節(jié)點(diǎn)4,硬件資源信息d)丙(task7,計(jì)算節(jié)點(diǎn)3,硬件資源信息f |task8,計(jì)算節(jié)點(diǎn)I,硬件資源信息f I task9,計(jì)算節(jié)點(diǎn)5,硬件資源信息e)然后，可以依據(jù)對(duì)應(yīng)關(guān)系對(duì)每個(gè)計(jì)算節(jié)點(diǎn)的硬件資源信息進(jìn)行合并，例如，計(jì)算節(jié)點(diǎn)I的硬件資源信息的合并結(jié)果為硬件資源信息a+f ;計(jì)算節(jié)點(diǎn)4的硬件資源信息的合并結(jié)果為硬件資源信息b+d ;計(jì)算節(jié)點(diǎn)8的硬件資源信息的合并結(jié)果為硬件資源信息e ;計(jì)算節(jié)點(diǎn)3的硬件資源信息的合并結(jié)果為硬件資源信息c+f ;計(jì)算節(jié)點(diǎn)6的硬件資源信息的合并結(jié)果為硬件資源信息e ;計(jì)算節(jié)點(diǎn)5的硬件資源信息的合并結(jié)果為硬件資源信息e
坐坐寸寸o與前述方法實(shí)施例相應(yīng)，本申請(qǐng)還公開了一種作業(yè)任務(wù)的調(diào)度裝置，參照?qǐng)D4所示的結(jié)構(gòu)圖，具體可以包括收集模塊401，用于收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；及調(diào)度模塊402，用于將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。在本申請(qǐng)的一種優(yōu)選實(shí)施例中，所述收集模塊401可以進(jìn)一步包括采集子模塊，位于計(jì)算節(jié)點(diǎn)，用于采集自身的硬件資源信息；匯報(bào)子模塊，位于計(jì)算節(jié)點(diǎn)，用于將自身的硬件資源信息匯報(bào)給作業(yè)追蹤器；及獲取子模塊，用于從作業(yè)追蹤器上獲取各計(jì)算節(jié)點(diǎn)的硬件資源信息。在本申請(qǐng)的另一種優(yōu)選實(shí)施例中，所述匯報(bào)子模塊可以進(jìn)一步包括心跳發(fā)送單元，用于定期向作業(yè)追蹤器發(fā)送心跳請(qǐng)求；該心跳請(qǐng)求中攜帶有自身的硬件資源信息。
在本申請(qǐng)的再一種優(yōu)選實(shí)施例中，所述硬件資源信息具體可以包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；所述磁盤信息可以進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。在本申請(qǐng)的一種優(yōu)選實(shí)施例中，所述硬件資源信息小于預(yù)設(shè)閾值具體可以包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值。在本申請(qǐng)的另一種優(yōu)選實(shí)施例中，所述收集模塊401可以進(jìn)一步包括任務(wù)收集子模塊，用于收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系；聚集子模塊，用于對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信息。在本申請(qǐng)的再一種優(yōu)選實(shí)施例中，所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù)；則所述收集模塊401可以進(jìn)一步包括第一選取子模塊，用于依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；及第一分配子模塊，用于將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。在本申請(qǐng)的一種優(yōu)選實(shí)施例中，所述待分配作業(yè)任務(wù)為待分配化簡Reduce任務(wù)；則所述收集模塊401可以進(jìn)一步包括第二選取子模塊,用于依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；第二分配子模塊，用于將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。對(duì)于裝置實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。盡管已描述了本申請(qǐng)的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本申請(qǐng)范圍的所有變更和修改。以上對(duì)本申請(qǐng)所提供的一種作業(yè)任務(wù)的調(diào)度方法和裝置，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本申請(qǐng)的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本申請(qǐng)的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請(qǐng)的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。
權(quán)利要求
1.一種作業(yè)任務(wù)的調(diào)度方法，其特征在于，包括收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。
2.如權(quán)利要求1所述的方法，其特征在于，所述硬件資源信息包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；所述磁盤信息進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。
3.如權(quán)利要求2所述的方法，其特征在于，所述硬件資源信息小于預(yù)設(shè)閾值包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值。
4.如權(quán)利要求1所述的方法，其特征在于，所述收集各計(jì)算節(jié)點(diǎn)的硬件資源信息的步驟，進(jìn)一步包括收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系；對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信肩、O
5.如權(quán)利要求1述的方法，其特征在于，所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù); 則所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，進(jìn)一步包括依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。
6.如權(quán)利要求1所述的方法，其特征在于，所述待分配作業(yè)任務(wù)為待分配化簡Reduce 任務(wù)；則所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，進(jìn)一步包括依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。
7.—種作業(yè)任務(wù)的調(diào)度裝置，其特征在于，包括收集模塊，用于收集各計(jì)算節(jié)點(diǎn)的硬件資源信息 '及調(diào)度模塊，用于將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。
8.如權(quán)利要求7所述的裝置，其特征在于，所述硬件資源信息包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；所述磁盤信息進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。
9.如權(quán)利要求8所述的裝置，其特征在于，所述硬件資源信息小于預(yù)設(shè)閾值包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值。
10.如權(quán)利要求7所述的裝置，其特征在于，所述收集模塊進(jìn)一步包括 任務(wù)收集子模塊，用于收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系； 聚集子模塊，用于對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信息。
11.如權(quán)利要求7所述的裝置，其特征在于，所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù); 則所述收集模塊進(jìn)一步包括 第一選取子模塊，用于依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)； 第一分配子模塊，用于將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。
12.如權(quán)利要求7所述的裝置，其特征在于，所述待分配作業(yè)任務(wù)為待分配化簡Reduce任務(wù)； 則所述收集模塊進(jìn)一步包括 第二選取子模塊，用于依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)； 第二分配子模塊，用于將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。
全文摘要
本發(fā)明提供了一種作業(yè)任務(wù)的調(diào)度方法和裝置，其中的方法具體包括收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。本發(fā)明能夠提高計(jì)算機(jī)集群的吞吐率。
文檔編號(hào)G06F9/50GK103019853SQ20121047246
公開日2013年4月3日 申請(qǐng)日期2012年11月19日 優(yōu)先權(quán)日2012年11月19日
發(fā)明者高印會(huì), 羅峰, 黃蘇支, 李娜 申請(qǐng)人:北京億贊普網(wǎng)絡(luò)技術(shù)有限公司