本發(fā)明屬于計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域，更具體地，涉及一種基于任務(wù)負(fù)載感知的糾刪碼歸檔方法及系統(tǒng)。

背景技術(shù)：

為了保障集群數(shù)據(jù)的可靠性和提高計(jì)算并行度，現(xiàn)有的分布式存儲(chǔ)集群(HDFS,GFS)大多使用副本形式保存數(shù)據(jù)，即每個(gè)數(shù)據(jù)塊在分布式集群中保存兩個(gè)或者三個(gè)副本。副本形式的數(shù)據(jù)存儲(chǔ)，雖然可以提高數(shù)據(jù)可靠性和并行度，但是存儲(chǔ)開(kāi)銷(xiāo)較大，空間利用率不高。針對(duì)數(shù)據(jù)一次寫(xiě)多次讀的集群環(huán)境，通過(guò)糾刪碼歸檔不經(jīng)常被訪問(wèn)的數(shù)據(jù)，可以降低數(shù)據(jù)的存儲(chǔ)開(kāi)銷(xiāo)，提高存儲(chǔ)空間的利用率。在隨機(jī)布局歸檔過(guò)程中，負(fù)載不均衡是影響歸檔性能的重要因素。

在現(xiàn)有的隨機(jī)布局歸檔中，一般都采用集中式數(shù)據(jù)歸檔和分布式數(shù)據(jù)歸檔。歸檔以條帶為單位，條帶主節(jié)點(diǎn)從條帶從節(jié)點(diǎn)獲取源數(shù)據(jù),編碼出校驗(yàn)數(shù)據(jù)。主節(jié)點(diǎn)還可以同時(shí)作為從節(jié)點(diǎn)，從本地磁盤(pán)獲取源數(shù)據(jù)。

在集中式數(shù)據(jù)歸檔中，隨機(jī)選擇存儲(chǔ)集群中的一個(gè)節(jié)點(diǎn)作為所有條帶的編碼節(jié)點(diǎn)，編碼節(jié)點(diǎn)磁盤(pán)上的數(shù)據(jù)塊，直接以隨機(jī)讀的方式從磁盤(pán)獲取，編碼需要但是不在編碼節(jié)點(diǎn)磁盤(pán)上的數(shù)據(jù)塊則通過(guò)網(wǎng)絡(luò)傳輸?shù)姆绞綇钠渌?jié)點(diǎn)上獲取。

在分布式數(shù)據(jù)歸檔中，針對(duì)歸檔的每一個(gè)條帶，根據(jù)數(shù)據(jù)局部性，選擇局部性最大的數(shù)據(jù)節(jié)點(diǎn)作為該條帶的編碼節(jié)點(diǎn)，對(duì)于不在編碼主節(jié)點(diǎn)上的數(shù)據(jù)塊，通過(guò)網(wǎng)絡(luò)從其它節(jié)點(diǎn)上獲取。

現(xiàn)有的隨機(jī)布局歸檔方案的主要存在以下問(wèn)題：如果編碼節(jié)點(diǎn)需要通過(guò)網(wǎng)絡(luò)獲取大量的非本地?cái)?shù)據(jù)塊，并且集群中的數(shù)據(jù)塊分布不均勻，即不同的存儲(chǔ)節(jié)點(diǎn)上存儲(chǔ)的數(shù)據(jù)塊數(shù)量差異較大，集群節(jié)點(diǎn)負(fù)載不均衡，那么整個(gè)集群的歸檔性能將會(huì)大幅度下降。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于任務(wù)負(fù)載感知的糾刪碼歸檔方法及系統(tǒng)，其目的在于實(shí)時(shí)感知各存儲(chǔ)節(jié)點(diǎn)的任務(wù)負(fù)載，根據(jù)各存儲(chǔ)節(jié)點(diǎn)的任務(wù)負(fù)載實(shí)時(shí)更新編碼模塊和供給模塊，完成校驗(yàn)數(shù)據(jù)的計(jì)算和分配，最終完成數(shù)據(jù)的歸檔，由此解決現(xiàn)有隨機(jī)布局歸檔方案中存在的：任務(wù)負(fù)載不均衡和任務(wù)堆積，進(jìn)一步降低磁盤(pán)隨機(jī)讀的性能，以及網(wǎng)絡(luò)資源帶寬分配不均勻?qū)е戮W(wǎng)絡(luò)性能降低的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于任務(wù)負(fù)載感知的糾刪碼歸檔方法，該方法包括：

(1)選取編碼節(jié)點(diǎn)：獲取當(dāng)前歸檔條帶每個(gè)存儲(chǔ)節(jié)點(diǎn)的任務(wù)數(shù)和每個(gè)存儲(chǔ)節(jié)點(diǎn)所含有本條帶數(shù)據(jù)分塊的個(gè)數(shù)，選取任務(wù)數(shù)最小且含有當(dāng)前條帶數(shù)據(jù)分塊最多的一個(gè)存儲(chǔ)節(jié)點(diǎn)作為編碼節(jié)點(diǎn)，編碼節(jié)點(diǎn)的任務(wù)數(shù)更新為任務(wù)數(shù)加糾刪碼的校驗(yàn)分塊數(shù)；

(2)選取供給節(jié)點(diǎn)：依次獲取當(dāng)前條帶中各個(gè)數(shù)據(jù)分塊的供給節(jié)點(diǎn)，并更新供給節(jié)點(diǎn)的任務(wù)數(shù)；

(3)編碼計(jì)算分配：編碼節(jié)點(diǎn)獲取所有供給節(jié)點(diǎn)中的數(shù)據(jù)分塊進(jìn)行編碼計(jì)算，得到校驗(yàn)分塊，并將校驗(yàn)分塊傳輸給其他非供給節(jié)點(diǎn)；

(4)循環(huán)編碼分配：判斷是否還有其他條帶沒(méi)有進(jìn)行歸檔，若有則選定該條帶返回步驟(1)；否則結(jié)束歸檔。

進(jìn)一步地，所述步驟(2)包括以下子步驟：

(21)獲取當(dāng)前數(shù)據(jù)分塊所在的所有存儲(chǔ)節(jié)點(diǎn)，選取任務(wù)數(shù)最小的存儲(chǔ)節(jié)點(diǎn)作為候選節(jié)點(diǎn)；

(22)候選節(jié)點(diǎn)中若有編碼節(jié)點(diǎn)，則選編碼節(jié)點(diǎn)同時(shí)作為當(dāng)前數(shù)據(jù)分塊的供給節(jié)點(diǎn)；

(23)候選節(jié)點(diǎn)中若無(wú)編碼節(jié)點(diǎn)，則任選一個(gè)候選節(jié)點(diǎn)作為供給節(jié)點(diǎn)；供給節(jié)點(diǎn)任務(wù)數(shù)加1，編碼節(jié)點(diǎn)任務(wù)數(shù)加1；

(24)判斷是否還有其他數(shù)據(jù)分塊沒(méi)有選取供給節(jié)點(diǎn)，若有則選定該數(shù)據(jù)分塊返回子步驟(21)；否則結(jié)束供給節(jié)點(diǎn)的選擇。

進(jìn)一步地，所述步驟(3)包括以下子步驟：

(31)每個(gè)供給節(jié)點(diǎn)從本地磁盤(pán)中讀取相應(yīng)的數(shù)據(jù)分塊；非編碼節(jié)點(diǎn)的供給節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)分塊發(fā)送給編碼節(jié)點(diǎn)；

(32)編碼節(jié)點(diǎn)根據(jù)所有供給節(jié)點(diǎn)提供的數(shù)據(jù)分塊進(jìn)行編碼計(jì)算，獲取校驗(yàn)分塊；

(33)編碼節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)將生成的校驗(yàn)分塊傳輸給存儲(chǔ)集群中的非供給節(jié)點(diǎn)。

按照本發(fā)明的另一方面，提供了一種基于任務(wù)負(fù)載感知的糾刪碼歸檔系統(tǒng)，該系統(tǒng)包括：

編碼節(jié)點(diǎn)選取模塊，用于獲取當(dāng)前歸檔條帶每個(gè)存儲(chǔ)節(jié)點(diǎn)的任務(wù)數(shù)和每個(gè)存儲(chǔ)節(jié)點(diǎn)所含有本條帶數(shù)據(jù)分塊的個(gè)數(shù)，選取任務(wù)數(shù)最小且含有當(dāng)前條帶數(shù)據(jù)分塊最多的一個(gè)存儲(chǔ)節(jié)點(diǎn)作為編碼節(jié)點(diǎn)，編碼節(jié)點(diǎn)的任務(wù)數(shù)更新為任務(wù)數(shù)加糾刪碼的校驗(yàn)分塊數(shù)；

供給節(jié)點(diǎn)選取模塊，用于依次獲取當(dāng)前條帶中各個(gè)數(shù)據(jù)分塊的供給節(jié)點(diǎn)，并更新供給節(jié)點(diǎn)的任務(wù)數(shù)；

編碼計(jì)算分配模塊，用于利用編碼節(jié)點(diǎn)獲取所有供給節(jié)點(diǎn)中的數(shù)據(jù)分塊進(jìn)行編碼計(jì)算，得到校驗(yàn)分塊，并將校驗(yàn)分塊傳輸給其他非供給節(jié)點(diǎn)；

循環(huán)編碼分配模塊，用于判斷是否還有其他條帶沒(méi)有進(jìn)行歸檔，若有則選定該條帶返回編碼節(jié)點(diǎn)選取模塊；否則結(jié)束歸檔。

進(jìn)一步地，所述供給節(jié)點(diǎn)選取模塊包括以下部分：

候選節(jié)點(diǎn)選取單元，用于獲取當(dāng)前數(shù)據(jù)分塊所在的所有存儲(chǔ)節(jié)點(diǎn)，選取任務(wù)數(shù)最小的存儲(chǔ)節(jié)點(diǎn)作為候選節(jié)點(diǎn)；

第一供給節(jié)點(diǎn)選取單元，用于判斷若候選節(jié)點(diǎn)中有編碼節(jié)點(diǎn)，則選編碼節(jié)點(diǎn)同時(shí)作為當(dāng)前數(shù)據(jù)分塊的供給節(jié)點(diǎn)；

第二供給節(jié)點(diǎn)選取單元，用于判斷若候選節(jié)點(diǎn)中沒(méi)有編碼節(jié)點(diǎn)，則任選一個(gè)候選節(jié)點(diǎn)作為供給節(jié)點(diǎn)；供給節(jié)點(diǎn)任務(wù)數(shù)加1，編碼節(jié)點(diǎn)任務(wù)數(shù)加1；

循環(huán)選取單元，用于判斷是否還有其他數(shù)據(jù)分塊沒(méi)有選取供給節(jié)點(diǎn)，若有則選定該數(shù)據(jù)分塊返回候選節(jié)點(diǎn)選取單元；否則結(jié)束供給節(jié)點(diǎn)的選擇。

進(jìn)一步地，所述編碼計(jì)算分配模塊包括以下部分：

數(shù)據(jù)傳輸單元，用于控制每個(gè)供給節(jié)點(diǎn)從本地磁盤(pán)中讀取相應(yīng)的數(shù)據(jù)分塊；非編碼節(jié)點(diǎn)的供給節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)分塊發(fā)送給編碼節(jié)點(diǎn)；

校驗(yàn)獲取單元，用于控制編碼節(jié)點(diǎn)根據(jù)所有供給節(jié)點(diǎn)提供的數(shù)據(jù)分塊進(jìn)行編碼計(jì)算，獲取校驗(yàn)分塊；

校驗(yàn)儲(chǔ)存單元，用于控制編碼節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)將生成的校驗(yàn)分塊傳輸給存儲(chǔ)集群中的非供給節(jié)點(diǎn)。

總體而言，通過(guò)本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)特征及有益效果：

(1)本發(fā)明根據(jù)集群節(jié)點(diǎn)任務(wù)數(shù)，考慮整個(gè)集群節(jié)點(diǎn)的任務(wù)負(fù)載感知，同時(shí)考慮到節(jié)點(diǎn)數(shù)據(jù)的局部性，選取編碼節(jié)點(diǎn)和供給節(jié)點(diǎn)，實(shí)現(xiàn)了負(fù)載均衡的效果，提高整體歸檔性能；

(2)本發(fā)明根據(jù)集群節(jié)點(diǎn)的工作情況，動(dòng)態(tài)更新編碼節(jié)點(diǎn)和供給節(jié)點(diǎn)的任務(wù)數(shù)，再對(duì)整體進(jìn)行優(yōu)選選擇，減輕了網(wǎng)絡(luò)資源的競(jìng)爭(zhēng)，實(shí)現(xiàn)高效歸檔的目標(biāo)。

附圖說(shuō)明

圖1是本發(fā)明方法的流程示意圖；

圖2是本發(fā)明方法實(shí)施例的流程圖；

圖3是本發(fā)明方法實(shí)施例中的數(shù)據(jù)塊分布圖；

圖4是本發(fā)明方法實(shí)施例中的條帶1歸檔前后節(jié)點(diǎn)任務(wù)數(shù)示意圖；

圖5是本發(fā)明方法實(shí)施例中的當(dāng)前歸檔條帶1的歸檔數(shù)據(jù)流示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

以下首先就本發(fā)明的相關(guān)術(shù)語(yǔ)進(jìn)行解釋和說(shuō)明：

任務(wù)數(shù)：各條帶節(jié)點(diǎn)歸檔前任務(wù)數(shù)為當(dāng)前條帶每個(gè)節(jié)點(diǎn)需要響應(yīng)用戶請(qǐng)求的個(gè)數(shù)；各節(jié)點(diǎn)任務(wù)數(shù)的更新包括：編碼節(jié)點(diǎn)發(fā)送r個(gè)校驗(yàn)分塊，其任務(wù)數(shù)加r；編碼節(jié)點(diǎn)每接收一個(gè)數(shù)據(jù)分塊，其任務(wù)數(shù)增加1；供給節(jié)點(diǎn)每傳輸一個(gè)數(shù)據(jù)分塊，其任務(wù)數(shù)增加1；

糾刪碼歸檔：為保證數(shù)據(jù)可用性，數(shù)據(jù)通常按副本方式存放在存儲(chǔ)系統(tǒng)中，如雙副本、三副本；隨著系統(tǒng)的運(yùn)行，這些副本數(shù)據(jù)的訪問(wèn)頻度將降低，如果仍舊按副本方式進(jìn)行存放，將導(dǎo)致很低的存儲(chǔ)空間利用率，如采用三副本備份方式的空間利用率僅為33.3％，為了提高存儲(chǔ)空間利用率，通常采用糾刪碼進(jìn)行存放，將數(shù)據(jù)從副本方式轉(zhuǎn)存為糾刪碼方式的過(guò)程被稱(chēng)為糾刪碼歸檔；

節(jié)點(diǎn)數(shù)據(jù)塊以及條帶：在歸檔的編碼過(guò)程中，讀取數(shù)據(jù)的單元就是數(shù)據(jù)塊，在存儲(chǔ)集群中，一個(gè)條帶就是由多個(gè)數(shù)據(jù)塊組成的整體，可以獨(dú)立地恢復(fù)出失效數(shù)據(jù)的信息集合；

編碼節(jié)點(diǎn)：從副本集群中選擇某一節(jié)點(diǎn)來(lái)完成編碼操作，以生成校驗(yàn)分塊，這個(gè)節(jié)點(diǎn)就稱(chēng)為編碼節(jié)點(diǎn)；

供給節(jié)點(diǎn)：在進(jìn)行校驗(yàn)生成之前，編碼節(jié)點(diǎn)需要獲得當(dāng)前條帶的所有數(shù)據(jù)分塊，這些數(shù)據(jù)分塊可能在編碼節(jié)點(diǎn)上，也可能在其它存儲(chǔ)節(jié)點(diǎn)之上，這些提供數(shù)據(jù)分塊的節(jié)點(diǎn)統(tǒng)稱(chēng)為供給節(jié)點(diǎn)。

以下以實(shí)施例的方式說(shuō)明本發(fā)明技術(shù)方案：

如圖1所示，本發(fā)明方法包括以下步驟：

(1)選取編碼節(jié)點(diǎn)：獲取當(dāng)前歸檔條帶每個(gè)存儲(chǔ)節(jié)點(diǎn)的任務(wù)數(shù)和每個(gè)存儲(chǔ)節(jié)點(diǎn)所含有本條帶數(shù)據(jù)分塊的個(gè)數(shù)，選取任務(wù)數(shù)最小且含有當(dāng)前條帶數(shù)據(jù)分塊最多的一個(gè)存儲(chǔ)節(jié)點(diǎn)作為編碼節(jié)點(diǎn)，編碼節(jié)點(diǎn)的任務(wù)數(shù)更新為任務(wù)數(shù)加糾刪碼的校驗(yàn)分塊數(shù)；

(2)選取供給節(jié)點(diǎn)：依次獲取當(dāng)前條帶中各個(gè)數(shù)據(jù)分塊的供給節(jié)點(diǎn)，并更新供給節(jié)點(diǎn)的任務(wù)數(shù)；

(3)編碼計(jì)算分配：編碼節(jié)點(diǎn)獲取所有供給節(jié)點(diǎn)中的數(shù)據(jù)分塊進(jìn)行編碼計(jì)算，得到校驗(yàn)分塊，并將校驗(yàn)分塊傳輸給其他非供給節(jié)點(diǎn)；

(4)循環(huán)編碼分配：判斷是否還有其他條帶沒(méi)有進(jìn)行歸檔，若有則選定該條帶返回步驟(1)；否則結(jié)束歸檔。

如圖2所示，本發(fā)明方法實(shí)施例的流程如下：

(1)設(shè)置條帶計(jì)數(shù)器Num_Stripe＝1；

(2)獲取當(dāng)前歸檔條帶的每個(gè)存儲(chǔ)節(jié)點(diǎn)任務(wù)數(shù)和每個(gè)存儲(chǔ)節(jié)點(diǎn)所含有本條帶數(shù)據(jù)分塊個(gè)數(shù)，并分別存入數(shù)組；

如圖3所示，可以得出每個(gè)存儲(chǔ)節(jié)點(diǎn)所含有當(dāng)前歸檔條帶1的數(shù)據(jù)分塊個(gè)數(shù)<2,1,1,1,1,1,1,0>；

如圖4所示，獲取當(dāng)前歸檔條帶1的存儲(chǔ)節(jié)點(diǎn)歸檔前任務(wù)數(shù)<1,2,3,2,1,4,3,5>；

(3)根據(jù)歸檔條帶每個(gè)存儲(chǔ)節(jié)點(diǎn)的任務(wù)數(shù)，選擇任務(wù)數(shù)最小的存儲(chǔ)節(jié)點(diǎn)作為編碼節(jié)點(diǎn)EN(EN是Encoding Node的縮寫(xiě)，表示編碼節(jié)點(diǎn))，如果存在多個(gè)存儲(chǔ)節(jié)點(diǎn)任務(wù)數(shù)相同的情況，則優(yōu)先選擇含有本歸檔條帶數(shù)據(jù)分塊較多的存儲(chǔ)節(jié)點(diǎn)作為編碼節(jié)點(diǎn)；

例如：根據(jù)圖4節(jié)點(diǎn)任務(wù)數(shù)選取編碼節(jié)點(diǎn)，節(jié)點(diǎn)SN1和節(jié)點(diǎn)SN5具有相同的任務(wù)數(shù)；此時(shí)，如圖3所示由于節(jié)點(diǎn)SN1含有歸檔條帶的兩個(gè)數(shù)據(jù)分塊，節(jié)點(diǎn)SN5含有歸檔條帶的一個(gè)數(shù)據(jù)分塊，所以優(yōu)選選擇節(jié)點(diǎn)SN1作為編碼節(jié)點(diǎn)；

(4)更新編碼節(jié)點(diǎn)的任務(wù)數(shù)，即編碼節(jié)點(diǎn)需要增加r個(gè)任務(wù)數(shù)，其中r指RS糾刪碼中校驗(yàn)分塊數(shù)；

例如：根據(jù)圖4，該糾刪碼歸檔采用RS(5，4)編碼，校驗(yàn)分塊個(gè)數(shù)為1，所以編碼節(jié)點(diǎn)SN1的任務(wù)數(shù)增加1，當(dāng)前歸檔條帶1的節(jié)點(diǎn)目前任務(wù)數(shù)更新為<2,2,3,2,1,4,3,5>；

(5)設(shè)置當(dāng)前歸檔條帶的數(shù)據(jù)分塊計(jì)數(shù)器Num_Data_block＝1；

如圖3所示，當(dāng)前歸檔條帶1的第一個(gè)數(shù)據(jù)分塊為D_1,1；

(6)根據(jù)供給節(jié)點(diǎn)DPN(DPN是Data-block Provider Node的縮寫(xiě)，表示數(shù)據(jù)分塊供給節(jié)點(diǎn))選取規(guī)則，選取當(dāng)前數(shù)據(jù)分塊的供給節(jié)點(diǎn)，并更新集群中所涉及節(jié)點(diǎn)的任務(wù)數(shù)；本步驟具體包括以下子步驟：

(61)根據(jù)任務(wù)數(shù)最小原則，選取含有當(dāng)前數(shù)據(jù)分塊的節(jié)點(diǎn)作為供給節(jié)點(diǎn)DPN。

(62)若當(dāng)前數(shù)據(jù)分塊有多個(gè)候選的供給節(jié)點(diǎn)，且其中包含編碼節(jié)點(diǎn)，則選編碼節(jié)點(diǎn)作為供給節(jié)點(diǎn)DPN，并進(jìn)入步驟(64)；否則，從候選的供給節(jié)點(diǎn)中任選一節(jié)點(diǎn)作為供給節(jié)點(diǎn)DPN，進(jìn)入步驟(62)；

(62)編碼節(jié)點(diǎn)EN任務(wù)數(shù)增加1；

(63)供給節(jié)點(diǎn)DPN任務(wù)數(shù)增加1；

(64)將供給節(jié)點(diǎn)存入供給節(jié)點(diǎn)集合；

結(jié)合圖3和圖4，根據(jù)任務(wù)數(shù)最小原則，選取含有數(shù)據(jù)分塊D_1,1的供給節(jié)點(diǎn)。其中SN1和SN4的任務(wù)數(shù)都為2，又因?yàn)镾N1是編碼節(jié)點(diǎn)，所以優(yōu)先選擇SN1作為D_1,1的供給節(jié)點(diǎn)，并存放在供給節(jié)點(diǎn)集合中；

(7)設(shè)置當(dāng)前數(shù)據(jù)分塊計(jì)數(shù)器Num_Data_block＝Num_Data_block+1；如圖5所示，完成數(shù)據(jù)分塊D_1,1供給節(jié)點(diǎn)的選取，然后下一步進(jìn)行D_1,2供給節(jié)點(diǎn)的選取，原理同上；

(8)判斷當(dāng)前歸檔條帶所有數(shù)據(jù)分塊是否都有對(duì)應(yīng)的供給節(jié)點(diǎn)，如果是，則進(jìn)入步驟(9)，否則返回步驟(6)；

如圖4和圖5完成所有數(shù)據(jù)分塊供給節(jié)點(diǎn)的選取后，當(dāng)前歸檔條帶1的節(jié)點(diǎn)目前任務(wù)數(shù)為<5,3,4,2,2,4,3,5>；

(9)編碼節(jié)點(diǎn)根據(jù)所有供給節(jié)點(diǎn)提供的數(shù)據(jù)分塊進(jìn)行編碼計(jì)算，生成校驗(yàn)分塊，并傳輸；本步驟具體包括以下子步驟：

(91)供給節(jié)點(diǎn)集合中的所有供給節(jié)點(diǎn)從本地磁盤(pán)中讀取各數(shù)據(jù)分塊；

(92)非編碼節(jié)點(diǎn)的供給節(jié)點(diǎn)將數(shù)據(jù)分塊通過(guò)網(wǎng)絡(luò)發(fā)送給編碼節(jié)點(diǎn)；

(93)編碼節(jié)點(diǎn)根據(jù)所有供給節(jié)點(diǎn)提供的數(shù)據(jù)分塊進(jìn)行編碼計(jì)算，獲取校驗(yàn)分塊；

(94)編碼節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)將生成的校驗(yàn)分塊傳輸給集群中的其他節(jié)點(diǎn)，且這些節(jié)點(diǎn)不屬于供給節(jié)點(diǎn)集合；

(10)設(shè)置當(dāng)前條帶計(jì)數(shù)器Num_Stripe＝Num_Stripe+1；

(11)重復(fù)步驟(2)到步驟(10)，直到所有的條帶都完成歸檔任務(wù)。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。