一種基于裝箱模型的集群資源調(diào)度方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大規(guī)模分布式系統(tǒng)中的集群資源的調(diào)度，屬于云計算領(lǐng)域，特別涉及一種基于裝箱模型的集群資源調(diào)度方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的普及和日益發(fā)展，我們進入了一個數(shù)據(jù)爆炸的時代，根據(jù)數(shù)字宇宙(digital universe)項目統(tǒng)計得出，2011年的數(shù)據(jù)總量為1.8ZB，并預(yù)測在2020年將達到40ZB，每時每刻都有大量的數(shù)據(jù)需要處理，基于數(shù)據(jù)密集型應(yīng)用的計算框架不斷出現(xiàn)，從支持離線處理的MapReduce，到支持在線處理的Storm，從迭代式計算框架Spark到流式處理框架S4，這些框架各有所長，各自解決了某一類應(yīng)用問題。
[0003]各種框架誕生于不同的公司或者實驗室，運行在各個集群上，雖然單臺計算機的功率并不大，但是在計算機總數(shù)龐大的集群中，電力的消耗卻相當(dāng)驚人，一方面，大幅的能量消耗增長會排放出大量的CO2，加劇溫室效應(yīng)；另一方面，不斷增長的能源消耗已經(jīng)成為重要的成本來源。在很多公司中，可能同時采用多種計算框架，考慮到資源利用率、運維成本、數(shù)據(jù)共享等因素，公司一般希望將所有這些框架都部署到一個公共集群中，讓它們共享集群的資源，并對資源進行統(tǒng)一使用，同時采用某種資源隔離方案(如輕量級Cgroups)對各個任務(wù)進行隔離，這樣便誕生了輕量級彈性計算平臺，其中Hadoop YARN便是彈性計算平臺的典型代表。多種框架共享集群資源，使得集群資源得到更加充分的利用。為了支持多維資源調(diào)度，Hadoop YARN的資源調(diào)度器采用了 DRF算法，YARN共有三種調(diào)度器，分別是FIFO、Fair Scheduler和Capacity Scheduler，其中FIFO適用于批處理作業(yè)的場景，調(diào)度順序按照作業(yè)到達的時間順序確定，先到達的先分配資源；但隨著Hadoop的普及，集群中的用戶量和應(yīng)用程序種類不斷增加，F(xiàn)IFO的調(diào)度機制已經(jīng)不能滿足服務(wù)質(zhì)量要求，需要設(shè)計適用于多用戶的資源調(diào)度算法。Fair scheduler和Capacity Scheduler是多用戶調(diào)度器，以隊列為單位劃分資源，每個隊列可設(shè)置資源上限和下限，每個用戶又可以設(shè)置資源上限，以防止資源濫用。當(dāng)一個隊列資源有剩余時，可暫時分配給其他隊列；而Fair Scheduler除了具有Capacity Scheduler的功能外，還支持多種調(diào)度策略。這兩種調(diào)度器都支持多維資源，目前支持CPU和內(nèi)存，另外它們對調(diào)度語義的支持有限，比如不支持超細粒度資源、動態(tài)調(diào)整Container資源等。
[0004]發(fā)明專利“一種集群資源分配方法及裝置”，該發(fā)明實施例公開了一種集群資源分配方法及裝置，該發(fā)明方法包括:按照預(yù)置策略將計算機集群劃分為第一集群和第二集群；采用負載均衡策略將待創(chuàng)建虛擬機分配給第一集群中的計算機，以在第一集群中的計算機上創(chuàng)建待創(chuàng)建虛擬機；若創(chuàng)建失敗，則采用填滿策略將待創(chuàng)建虛擬機分配給第二集群中的計算機，以在第二集群中的計算機上創(chuàng)建待創(chuàng)建虛擬機。該發(fā)明實施例中，將兩種資源分配方法相結(jié)合來實現(xiàn)資源分配，能夠減少資源碎片，提高集群資源的利用率，保證集群的性能。該發(fā)明是一種集群資源分配方法，在集群中部署和創(chuàng)建虛擬機。通過將集群分為兩個集群，創(chuàng)建時分別采用不同的策略依次在兩個集群中部署每個待創(chuàng)建的虛擬機(兩個子集群中只有一個創(chuàng)建成功的同一個虛擬機)；結(jié)合兩種資源分配方式結(jié)合來減少資源碎片；而本發(fā)明是在一個集群中為用戶的應(yīng)用程序的任務(wù)分配系統(tǒng)資源，通過動態(tài)確定資源請求的分類，并根據(jù)集群節(jié)點上分配的資源情況將節(jié)點分組，在分配資源時采用裝箱算法的思想選擇合適的節(jié)點為任務(wù)分配資源，達到減少資源碎片的目的。
[0005]發(fā)明專利“一種提高云計算網(wǎng)絡(luò)運算資源的方法及系統(tǒng)”，該發(fā)明公開了一種提高云計算網(wǎng)絡(luò)運算資源的方法及系統(tǒng)，所述方法包括:監(jiān)控云計算網(wǎng)絡(luò)中的運算資源；確定運算資源的類型；根據(jù)運算資源的類型，將運算資源分配給高功率的處理器或低功率的協(xié)處理器處理。進一步，所述系統(tǒng)包括:運算資源監(jiān)控單元；運算資源類型評估單元；運算資源分配單元。根據(jù)本發(fā)明的一種提高云計算網(wǎng)絡(luò)運算資源的方法及系統(tǒng)，將云網(wǎng)絡(luò)中的運算資源進行區(qū)分式計算，采用低運算率的協(xié)處理器進行休眠系統(tǒng)的狀態(tài)保存運算，采用高運算率的處理器運算實時運行的虛擬系統(tǒng)，使得云網(wǎng)絡(luò)的運算速率大幅提高，進而提高了云計算網(wǎng)絡(luò)的運算資源，并降低了云網(wǎng)絡(luò)的設(shè)備成本。該發(fā)明根據(jù)運算資源的類型分別將其分配給高功率的處理器或低功率的協(xié)處理器處理，而本發(fā)明根據(jù)資源請求的主資源類型和資源量的大小在不同的服務(wù)器組中選擇合適的服務(wù)器為請求資源的任務(wù)分配資源。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是解決大規(guī)模集群中資源分配時產(chǎn)生資源碎片的問題，本發(fā)明在Hamonic裝箱模型的基礎(chǔ)上設(shè)計了一種基于裝箱模型的集群資源調(diào)度方法及裝置。
[0007]為了支持多維度資源的調(diào)度，通過計算資源請求中每一維資源所占比例，使用主資源調(diào)度算法(Dominant Resource Fit, DRF)確定資源請求的主資源類型，根據(jù)不同的主資源類型及資源量的大小將資源請求劃分為若干類(資源量大小在同一個范圍內(nèi)的資源請求歸為一類)，同時，根據(jù)每個服務(wù)器上滿足的資源請求的種類將服務(wù)器分組(初始時刻任何服務(wù)器上都未分配任務(wù)，將所有服務(wù)器歸為一組)，當(dāng)有資源請求到達時，根據(jù)該資源請求的類別，為其選擇一個合適的服務(wù)器分配任務(wù)以滿足其需求。
[0008]本發(fā)明提出一種基于裝箱模型的集群資源調(diào)度方法，包括:
[0009]步驟1，獲取資源請求，通過主資源調(diào)度算法計算所述資源請求中各維度資源數(shù)量占所述集群中總資源數(shù)量的比重，設(shè)置一閾值，將所述比重大于所述閾值的資源請求作為主資源請求；
[0010]步驟2，設(shè)置所述資源請求的最大值與規(guī)整化單位，將集群資源劃分成若干資源區(qū)間，其中所述規(guī)整化單位作為所述資源區(qū)間的值，所述資源區(qū)間的值不大于所述資源請求的最大值；
[0011]步驟3，獲取新資源請求，并獲取所述新資源請求的新主資源請求，查找與所述新主資源請求相對應(yīng)的所述資源區(qū)間，根據(jù)所述資源區(qū)間，將與所述新資源請求相匹配的物理節(jié)點進行分配，以完成集群資源調(diào)度。
[0012]所述基于裝箱模型的集群資源調(diào)度方法，所述步驟I之前還包括:加載并解析配置文件，獲取管理員的配置項值。
[0013]所述基于裝箱模型的集群資源調(diào)度方法，所述資源請求與所述新資源請求包括:內(nèi)存資源請求與中央處理器資源請求，并將所述內(nèi)存資源請求與中央處理器資源請求進行染色。
[0014]所述基于裝箱模型的集群資源調(diào)度方法，所述步驟3還包括:將所述新主資源請求與所述新資源請求中除所述新主資源請求之外的資源請求分配到同一物理節(jié)點，其中所述新主資源請求與所述新主資源請求之外的資源請求的和，不大于所述物理節(jié)點的資源總量。
[0015]所述基于裝箱模型的集群資源調(diào)度方法，所述步驟3還包括:當(dāng)所述物理節(jié)點中各資源所占比例相當(dāng)，則優(yōu)先分配到與所述物理節(jié)點中資源占比更大的資源相匹配的資源請求。
[0016]本發(fā)明還提出一種基于裝箱模型的集群資源調(diào)度裝置，包括:
[0017]獲取主資源請求模塊，用于獲取資源請求，通過主資源調(diào)度算法計算所述資源請求中各維度資源數(shù)量占所述集群中總資源數(shù)量的比重，設(shè)置一閾值，將所述比重大于所述閾值的資源請求作為主資源請求；
[0018]劃分資源區(qū)間模塊，用于設(shè)置所述資源請求的最大值與規(guī)整化單位，將集群資源劃分成若干資源區(qū)間，其中所述規(guī)整化單位作為所述資源區(qū)間的值，所述資源區(qū)間的值不大于所述資源請求的最大值；
[0019]資源調(diào)度模塊，用于獲取新資源請求，并獲取所述新資源請求的新主資源