一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法
【專利摘要】一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法，包括以下步驟：步驟1：前一級處理節(jié)點(diǎn)將處理結(jié)果以文件碎片方式存儲；步驟2：下一級處理節(jié)點(diǎn)讀取文件碎片繼續(xù)處理；步驟3：使用數(shù)據(jù)庫記錄每個節(jié)點(diǎn)上處理的文件碎片標(biāo)記；步驟4：當(dāng)檢測到節(jié)點(diǎn)故障時，啟動新節(jié)點(diǎn)代替故障節(jié)點(diǎn)工作；步驟5：新節(jié)點(diǎn)從數(shù)據(jù)庫中讀取故障節(jié)點(diǎn)上的文件碎片，恢復(fù)故障現(xiàn)場。本發(fā)明實現(xiàn)了數(shù)據(jù)處理過程中的故障容錯。
【專利說明】一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法，主要用于集群數(shù)據(jù)處理系統(tǒng)在任務(wù)執(zhí)行過程中的自適應(yīng)故障容錯，提升了系統(tǒng)可靠性，屬于地面遙感衛(wèi)星數(shù)據(jù)處理領(lǐng)域。
【背景技術(shù)】
[0002]隨著目前大規(guī)模集群計算機(jī)系統(tǒng)的廣泛使用，在航天、軍事以及科學(xué)計算等領(lǐng)域通?；诩杭夹g(shù)搭建數(shù)據(jù)處理平臺，平臺由大量計算節(jié)點(diǎn)組成，以高速網(wǎng)絡(luò)連接，實現(xiàn)海量數(shù)據(jù)高速處理。
[0003]然而，航天、軍事以及科學(xué)計算等領(lǐng)域?qū)?shù)據(jù)規(guī)模、計算復(fù)雜性和業(yè)務(wù)運(yùn)行時間的要求一直維持在較高的水平，隨著硬件節(jié)點(diǎn)數(shù)量的不斷增加以及系統(tǒng)結(jié)構(gòu)的日益復(fù)雜，處理節(jié)點(diǎn)故障不可避免，硬件可靠性和軟件可用性都面臨著嚴(yán)峻的威脅和挑戰(zhàn)，大規(guī)模集群計算機(jī)系統(tǒng)的平均無故障時間(MTBF)大幅下降。例如,Google Cluster大約每隔36小時就會出現(xiàn)結(jié)點(diǎn)失效，而ASCI White系統(tǒng)的MTBF約為40個小時左右，有些系統(tǒng)的平均故障間隔時間遠(yuǎn)低于許多業(yè)務(wù)應(yīng)用的運(yùn)行時間。因此，系統(tǒng)高可靠性已成為研制大規(guī)模集群計算機(jī)系統(tǒng)必須解決的一項關(guān)鍵性技術(shù)。
[0004]為了確保業(yè)務(wù)計算軟件能夠在硬件平臺上正確完成，提高系統(tǒng)的可靠性，大規(guī)模集群計算機(jī)系統(tǒng)必須對硬件故障具有容錯能力，出現(xiàn)故障時仍能產(chǎn)生正確的結(jié)果，包括硬件和軟件兩種實現(xiàn)方式。其中，硬件方式容錯通過硬件的重復(fù)使用來獲得容錯能力，對于大規(guī)模系統(tǒng)代價較高。
[0005]軟件方式容錯采用時間冗余的方法實現(xiàn)，在系統(tǒng)運(yùn)行過程中檢測到錯誤，軟件回退到先前某個正確的狀態(tài)繼續(xù)運(yùn)行，減少系統(tǒng)重新執(zhí)行的開銷，避免計算資源的浪費(fèi)。檢查點(diǎn)技術(shù)就是基于這一思想提出的，并且迄今為止仍然是一種普遍使用的故障容錯技術(shù)。在這方面已經(jīng)有很多研究工作，但還存在一些值得深入研究的問題:首先，是如何進(jìn)一步減少檢查點(diǎn)中保存的數(shù)據(jù)量，降低保存開銷；其次是加快故障容錯速度，如并行故障容錯、自動化容錯；另外，如何準(zhǔn)確定位故障的來源，減少回滾計算開銷。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的技術(shù)解決的問題是:克服現(xiàn)有技術(shù)的不足，提供了一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯，采用文件碎片作為故障檢測點(diǎn)，使用數(shù)據(jù)庫和高速存儲記錄整個系統(tǒng)中數(shù)據(jù)、節(jié)點(diǎn)的唯一狀態(tài)，實現(xiàn)了集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯，本發(fā)明以降低容錯額外開銷、加快故障容錯速度、準(zhǔn)確定位故障的來源。
[0007]本發(fā)明的技術(shù)解決方案:
[0008]一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法包括以下步驟:
[0009](I)將集群數(shù)據(jù)處理系統(tǒng)按照數(shù)據(jù)處理流程劃分為多級計算環(huán)節(jié)，每級計算環(huán)節(jié)通過其中的計算節(jié)點(diǎn)協(xié)同完成；[0010](2)將上一級計算環(huán)節(jié)的結(jié)果以文件碎片方式存儲，用于實現(xiàn)各級計算節(jié)點(diǎn)之間的數(shù)據(jù)傳遞工作；
[0011](3)下一級計算節(jié)點(diǎn)讀取步驟(2)中文件碎片存儲的結(jié)果進(jìn)行計算并存儲為下一級計算節(jié)點(diǎn)使用；
[0012](4)集群數(shù)據(jù)處理系統(tǒng)記錄每級計算節(jié)點(diǎn)的運(yùn)行狀態(tài)以及每級計算節(jié)點(diǎn)與文件碎片的對應(yīng)關(guān)系；
[0013](5)根據(jù)步驟(4)中集群數(shù)據(jù)處理系統(tǒng)記錄的運(yùn)行狀態(tài)對計算節(jié)點(diǎn)進(jìn)行檢測，當(dāng)檢測到計算節(jié)點(diǎn)發(fā)生故障時，進(jìn)行任務(wù)分配判斷，若為故障計算節(jié)點(diǎn)正在執(zhí)行的任務(wù)，則進(jìn)入步驟(6);若為故障計算節(jié)點(diǎn)待執(zhí)行的任務(wù)，則進(jìn)入步驟(7)；
[0014](6)啟動備份計算節(jié)點(diǎn)代替故障計算節(jié)點(diǎn)進(jìn)行正在執(zhí)行的任務(wù)的處理并進(jìn)入步驟
(8)；
[0015](7)將故障計算節(jié)點(diǎn)需要承擔(dān)的待執(zhí)行的任務(wù)分散到其他的計算節(jié)點(diǎn)上來完成進(jìn)入步驟(9)；
[0016](8)備份計算節(jié)點(diǎn)從數(shù)據(jù)庫恢復(fù)故障現(xiàn)場，讀取正在執(zhí)行的任務(wù)對應(yīng)的文件碎片，用于代替故障節(jié)點(diǎn)繼續(xù)工作，實現(xiàn)整個集群數(shù)據(jù)系統(tǒng)在運(yùn)行過程中的在線故障恢復(fù)進(jìn)入步驟(9)；
[0017](9)結(jié)束。
[0018]所述步驟(4)的集群數(shù)據(jù)處理系統(tǒng)記錄每級計算節(jié)點(diǎn)與文件碎片的對應(yīng)關(guān)系的方法具體步驟如下:
[0019]( I)創(chuàng)建文件碎片與每級計算節(jié)點(diǎn)的對應(yīng)關(guān)系；
[0020](2)初始化文件碎片的狀態(tài)，將其在數(shù)據(jù)庫中標(biāo)記為狀態(tài)i ;
[0021](3)在文件碎片經(jīng)過某一級計算節(jié)點(diǎn)處理后，將其在數(shù)據(jù)庫中標(biāo)記狀態(tài)更新為i+1。
[0022]所述步驟(8)的備份計算節(jié)點(diǎn)從數(shù)據(jù)庫恢復(fù)故障現(xiàn)場的方法為:
[0023](I)備份計算節(jié)點(diǎn)從數(shù)據(jù)庫中查詢計算節(jié)點(diǎn)發(fā)生故障時正在進(jìn)行計算的文件碎片;
[0024](2)備份計算節(jié)點(diǎn)對步驟(I)中查詢到的文件碎片進(jìn)行處理，同時更新文件碎片與備份計算節(jié)點(diǎn)的對應(yīng)關(guān)系。
[0025]本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于:
[0026](I)本發(fā)明使用了數(shù)據(jù)流程切割的方式代替?zhèn)鹘y(tǒng)的程序切割方式，系統(tǒng)中的文件傳輸本身就是以文件碎片的方式交換，不需要保存額外的數(shù)據(jù)，減少了存儲空間，提高了利用率。
[0027](2)本發(fā)明在發(fā)現(xiàn)故障后，故障點(diǎn)數(shù)據(jù)能夠快速分散在其它節(jié)點(diǎn)處理，實現(xiàn)容錯并行計算，提高恢復(fù)速度，提高了系統(tǒng)工作效率。
[0028](3)本發(fā)明既適用于計算過程中故障恢復(fù)，又適用于通信過程中故障恢復(fù)，傳統(tǒng)方法僅適用于計算過程中的故障恢復(fù)，本發(fā)明使用范圍更廣。
【專利附圖】

【附圖說明】
[0029]圖1本發(fā)明流程圖；[0030]圖2本發(fā)明數(shù)據(jù)結(jié)構(gòu)圖；
[0031]圖3為本發(fā)明基于文件碎片的交換方式；
[0032]圖4為本發(fā)明故障恢復(fù)方法示意圖。
【具體實施方式】
[0033]下面結(jié)合附圖對本發(fā)明的【具體實施方式】進(jìn)行進(jìn)一步的詳細(xì)描述。
[0034]如圖1所示，本發(fā)明一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法，使用計算節(jié)點(diǎn)作為故障位置的最小顆粒，采用文件碎片作為故障檢查點(diǎn)的最小顆粒，使用數(shù)據(jù)庫和高速存儲設(shè)備記錄整個系統(tǒng)中數(shù)據(jù)、節(jié)點(diǎn)的唯一狀態(tài)，提供一種實現(xiàn)故障容錯的方法。
[0035]本發(fā)明基于的集群數(shù)據(jù)處理系統(tǒng)結(jié)構(gòu)框架，將集群中所有節(jié)點(diǎn)分為管理節(jié)點(diǎn)、計算節(jié)點(diǎn)兩種，在整個集群中只有一個管理節(jié)點(diǎn)，負(fù)責(zé)調(diào)度、監(jiān)控與管理，制定數(shù)據(jù)處理流程，然后將數(shù)據(jù)處理流程中每個計算環(huán)節(jié)分布于多個計算節(jié)點(diǎn)上并行處理，使得每個計算環(huán)節(jié)同時運(yùn)行且各個環(huán)節(jié)之間串聯(lián)形成一個任務(wù)流程。
[0036]如圖2所示，管理節(jié)點(diǎn)通過數(shù)據(jù)庫中的設(shè)備表對集群處理系統(tǒng)內(nèi)部資源使用情況進(jìn)行維護(hù)，包括設(shè)備的節(jié)點(diǎn)號、IP地址、計算節(jié)點(diǎn)的運(yùn)行狀態(tài)、在執(zhí)行的任務(wù)號、節(jié)點(diǎn)功能、負(fù)載情況等，其中計算節(jié)點(diǎn)的運(yùn)行狀態(tài)按照空閑、忙碌、故障設(shè)置。對于每一個數(shù)據(jù)處理任務(wù)，管理節(jié)點(diǎn)根據(jù)數(shù)據(jù)庫中的資源需求表對目前系統(tǒng)中的空閑計算節(jié)點(diǎn)進(jìn)行資源分配，并對設(shè)備表中的節(jié)點(diǎn)狀態(tài)進(jìn)行更新。
[0037]如圖1所示，本發(fā)明在線故障容錯具體步驟如下:
[0038](I)將集群數(shù)據(jù)處理系統(tǒng)按照數(shù)據(jù)處理流程劃分為多級計算環(huán)節(jié)，每級計算環(huán)節(jié)通過其中的計算節(jié)點(diǎn)協(xié)同完成；
[0039](2)如圖3所示，將上一級計算環(huán)節(jié)的結(jié)果以文件碎片方式存儲，用于實現(xiàn)各級計算節(jié)點(diǎn)之間的數(shù)據(jù)傳遞工作；
[0040](3)下一級計算節(jié)點(diǎn)讀取步驟(2)中文件碎片存儲的結(jié)果進(jìn)行計算并存儲為下一級計算節(jié)點(diǎn)使用；
[0041](4)集群數(shù)據(jù)處理系統(tǒng)記錄每級計算節(jié)點(diǎn)的運(yùn)行狀態(tài)以及每級計算節(jié)點(diǎn)與文件碎片的對應(yīng)關(guān)系；
[0042]集群數(shù)據(jù)處理系統(tǒng)記錄每級計算節(jié)點(diǎn)與文件碎片的對應(yīng)關(guān)系的方法具體步驟如下:
[0043](a)創(chuàng)建文件碎片與每級計算節(jié)點(diǎn)的對應(yīng)關(guān)系；
[0044](b)初始化文件碎片的狀態(tài)，將其在數(shù)據(jù)庫中標(biāo)記為狀態(tài)i ;
[0045](C)在文件碎片經(jīng)過某一級計算節(jié)點(diǎn)處理后，將其在數(shù)據(jù)庫中標(biāo)記狀態(tài)更新為i+1。
[0046](5)根據(jù)步驟(4)中集群數(shù)據(jù)處理系統(tǒng)記錄的運(yùn)行狀態(tài)對計算節(jié)點(diǎn)進(jìn)行檢測，當(dāng)檢測到計算節(jié)點(diǎn)發(fā)生故障時，進(jìn)行任務(wù)分配判斷，若為故障計算節(jié)點(diǎn)正在執(zhí)行的任務(wù)，則進(jìn)入步驟(6);若為故障計算節(jié)點(diǎn)待執(zhí)行的任務(wù)，則進(jìn)入步驟(7)；
[0047](6)啟動備份計算節(jié)點(diǎn)(例如本系統(tǒng)有100個計算節(jié)點(diǎn)，有80個計算節(jié)點(diǎn)正在參與系統(tǒng)的數(shù)據(jù)處理，另外20個計算節(jié)點(diǎn)即為備份計算節(jié)點(diǎn))代替故障計算節(jié)點(diǎn)進(jìn)行正在執(zhí)行的任務(wù)的處理并進(jìn)入步驟(8)；[0048](7)將故障計算節(jié)點(diǎn)需要承擔(dān)的待執(zhí)行的任務(wù)分散到其他的計算節(jié)點(diǎn)(例如，本系統(tǒng)有100個計算節(jié)點(diǎn)，有80個計算節(jié)點(diǎn)正在參與系統(tǒng)的數(shù)據(jù)處理，另外20個計算節(jié)點(diǎn)即為備份計算節(jié)點(diǎn)，那么80個參與系統(tǒng)數(shù)據(jù)處理的節(jié)點(diǎn)即為其他的計算節(jié)點(diǎn))上來完成進(jìn)入步驟(9)；
[0049]如圖4所示，在檢測到計算節(jié)點(diǎn)故障后，管理節(jié)點(diǎn)在數(shù)據(jù)庫中對計算節(jié)點(diǎn)狀態(tài)標(biāo)記為故障，并報警提示；系統(tǒng)進(jìn)行文件碎片分配判斷，在數(shù)據(jù)庫的設(shè)備表中查詢一臺空閑計算節(jié)點(diǎn)(備份計算節(jié)點(diǎn)或其他的的計算節(jié)點(diǎn)，其中其他的的計算節(jié)點(diǎn)中優(yōu)先選擇空閑的計算節(jié)點(diǎn))加入該處理任務(wù)；在數(shù)據(jù)庫的節(jié)點(diǎn)任務(wù)表中查詢故障節(jié)點(diǎn)的節(jié)點(diǎn)配置信息，啟動空閑計算節(jié)點(diǎn)上的相同處理組件，然后根據(jù)組件表中的配置文件、參數(shù)信息對組件進(jìn)行配置，具備與故障計算節(jié)點(diǎn)相同處理能力。
[0050](8)備份計算節(jié)點(diǎn)從數(shù)據(jù)庫恢復(fù)故障現(xiàn)場，讀取正在執(zhí)行的任務(wù)對應(yīng)的文件碎片，用于代替故障節(jié)點(diǎn)繼續(xù)工作，實現(xiàn)整個集群數(shù)據(jù)系統(tǒng)在運(yùn)行過程中的在線故障恢復(fù)進(jìn)入步驟(9)；
[0051]備份計算節(jié)點(diǎn)從數(shù)據(jù)庫恢復(fù)故障現(xiàn)場的方法為:
[0052]Ca)備份計算節(jié)點(diǎn)從數(shù)據(jù)庫中查詢計算節(jié)點(diǎn)發(fā)生故障時正在進(jìn)行計算的文件碎片;
[0053](b)備份計算節(jié)點(diǎn)對步驟(I)中查詢到的文件碎片進(jìn)行處理，同時更新文件碎片與備份計算節(jié)點(diǎn)的對應(yīng)關(guān)系。
[0054](9)結(jié)束。
[0055]下面以一個具體實施例來具體說明文件碎片交換方式和故障恢復(fù)方法的工作過程和原理:
[0056]如圖3所示,整個集群數(shù)據(jù)處理任務(wù)由計算節(jié)點(diǎn)a、計算節(jié)點(diǎn)b、計算節(jié)點(diǎn)C、計算節(jié)點(diǎn)d組成的集群來完成，處理環(huán)節(jié)可以劃分為處理1、處理2兩個計算環(huán)節(jié)，其中計算節(jié)點(diǎn)a屬于處理I計算環(huán)節(jié)，計算節(jié)點(diǎn)b、計算節(jié)點(diǎn)C、計算節(jié)點(diǎn)d屬于處理2計算環(huán)節(jié)。
[0057]在如3圖所示的時刻，計算節(jié)點(diǎn)a從第一級存儲區(qū)讀取文件碎片，完成文件碎片
ccdl-1、ccd2_l、ccd3_l、ccd4_l......ccd2_9在計算環(huán)節(jié)處理I中的計算，并將結(jié)果放到
了第二級存儲區(qū)，計算節(jié)點(diǎn)b從第二級存儲區(qū)讀取文件碎片,完成文件碎片ccdl-1、ccd2_l在計算環(huán)節(jié)處理2中的計算，ccd3_l、ccd4_l、ccdl_2、ccd2_2等文件碎片正在執(zhí)行任務(wù)隊列中有正在處理。
[0058]在如圖4所示時刻，計算節(jié)點(diǎn)d從第二級存儲區(qū)讀取文件碎片，完成ccdl-9、ccd3-8在計算環(huán)節(jié)處理2中的計算，其正在執(zhí)行任務(wù)隊列中有文件碎片ccd4-8正在處理，當(dāng)計算節(jié)點(diǎn)d的工作狀態(tài)被檢測為故障，將一個空閑節(jié)點(diǎn)e代替節(jié)點(diǎn)d加入到處理工作中，從數(shù)據(jù)庫中恢復(fù)故障現(xiàn)場，對文件碎片ccd4-8重新處理，并在后續(xù)的時刻從第一級存儲區(qū)讀取文件碎片。
[0059]本發(fā)明說明書中未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域的公知技術(shù)。
【權(quán)利要求】
1.一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法，其特征在于包括以下步驟: (1)將集群數(shù)據(jù)處理系統(tǒng)按照數(shù)據(jù)處理流程劃分為多級計算環(huán)節(jié)，每級計算環(huán)節(jié)通過其中的計算節(jié)點(diǎn)協(xié)同完成； (2)將上一級計算環(huán)節(jié)的結(jié)果以文件碎片方式存儲，用于實現(xiàn)各級計算節(jié)點(diǎn)之間的數(shù)據(jù)傳遞工作； (3)下一級計算節(jié)點(diǎn)讀取步驟(2)中文件碎片存儲的結(jié)果進(jìn)行計算并存儲為下一級計算節(jié)點(diǎn)使用； (4)集群數(shù)據(jù)處理系統(tǒng)記錄每級計算節(jié)點(diǎn)的運(yùn)行狀態(tài)以及每級計算節(jié)點(diǎn)與文件碎片的對應(yīng)關(guān)系； (5)根據(jù)步驟(4)中集群數(shù)據(jù)處理系統(tǒng)記錄的運(yùn)行狀態(tài)對計算節(jié)點(diǎn)進(jìn)行檢測，當(dāng)檢測到計算節(jié)點(diǎn)發(fā)生故障時，進(jìn)行任務(wù)分配判斷，若為故障計算節(jié)點(diǎn)正在執(zhí)行的任務(wù)，則進(jìn)入步驟(6);若為故障計算節(jié)點(diǎn)待執(zhí)行的任務(wù)，則進(jìn)入步驟(7)； (6)啟動備份計算節(jié)點(diǎn)代替故障計算節(jié)點(diǎn)進(jìn)行正在執(zhí)行的任務(wù)的處理并進(jìn)入步驟(8); (7)將故障計算節(jié)點(diǎn)需要承擔(dān)的待執(zhí)行的任務(wù)分散到其他的計算節(jié)點(diǎn)上來完成進(jìn)入步驟(9)； (8)備份計算節(jié)點(diǎn)從數(shù)據(jù)庫恢復(fù)故障現(xiàn)場，讀取正在執(zhí)行的任務(wù)對應(yīng)的文件碎片，用于代替故障節(jié)點(diǎn)繼續(xù)工作，實現(xiàn)整個集群數(shù)據(jù)系統(tǒng)在運(yùn)行過程中的在線故障恢復(fù)進(jìn)入步驟(9)； (9)結(jié)束。
2.根據(jù)權(quán)利要求1所述的一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法，其特征在于:所述步驟(4)的集群數(shù)據(jù)處理系統(tǒng)記錄每級計算節(jié)點(diǎn)與文件碎片的對應(yīng)關(guān)系的方法具體步驟如下: (1)創(chuàng)建文件碎片與每級計算節(jié)點(diǎn)的對應(yīng)關(guān)系； (2)初始化文件碎片的狀態(tài)，將其在數(shù)據(jù)庫中標(biāo)記為狀態(tài)i; (3)在文件碎片經(jīng)過某一級計算節(jié)點(diǎn)處理后，將其在數(shù)據(jù)庫中標(biāo)記狀態(tài)更新為i+1。
3.根據(jù)權(quán)利要求1所述的一種集群數(shù)據(jù)處理系統(tǒng)中的在線故障容錯方法，其特征在于:所述步驟(8)的備份計算節(jié)點(diǎn)從數(shù)據(jù)庫恢復(fù)故障現(xiàn)場的方法為: (1)備份計算節(jié)點(diǎn)從數(shù)據(jù)庫中查詢計算節(jié)點(diǎn)發(fā)生故障時正在進(jìn)行計算的文件碎片； (2)備份計算節(jié)點(diǎn)對步驟(I)中查詢到的文件碎片進(jìn)行處理，同時更新文件碎片與備份計算節(jié)點(diǎn)的對應(yīng)關(guān)系。
【文檔編號】G06F11/20GK103678051SQ201310577099
【公開日】2014年3月26日 申請日期:2013年11月18日 優(yōu)先權(quán)日:2013年11月18日
【發(fā)明者】高越, 陳彥斌, 劉焱, 吳唯然, 孟祥國 申請人:航天恒星科技有限公司