基于虛擬機(jī)快照的hadoop集群自動(dòng)化恢復(fù)技術(shù)的制作方法
【專利摘要】本發(fā)明公開(kāi)了基于虛擬機(jī)快照的hadoop集群自動(dòng)化恢復(fù)技術(shù)，主要解決現(xiàn)有的hadoop集群因個(gè)別節(jié)點(diǎn)異常而不能正常運(yùn)行的缺陷，其特征是將hadoop集群與云計(jì)算平臺(tái)整合在一起，以云計(jì)算平臺(tái)中的虛擬機(jī)快照完成受損主機(jī)的快速恢復(fù)。本發(fā)明的技術(shù)方案是：集群中安裝監(jiān)控系統(tǒng)以檢測(cè)其運(yùn)行狀態(tài)，通過(guò)現(xiàn)有的云計(jì)算平臺(tái)為hadoop集群中涉及到的主機(jī)定時(shí)打快照，當(dāng)監(jiān)控系統(tǒng)檢測(cè)到hadoop集群中有虛擬機(jī)宕機(jī)的時(shí)候，云平臺(tái)會(huì)自動(dòng)抓取最新的虛擬機(jī)快照，利用快照還原快速恢復(fù)主機(jī)，并啟動(dòng)hadoop服務(wù)。本發(fā)明專利的有益效果是，在遇到宕機(jī)異常時(shí)，能夠快速的恢復(fù)其正常狀態(tài)，節(jié)省了維護(hù)的時(shí)間和成本，使得hadoop集群在實(shí)際使用中的可靠性和安全性大大提高。
【專利說(shuō)明】基于虛擬機(jī)快照的hadoop集群自動(dòng)化恢復(fù)技術(shù)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明專利涉及一種hadoop集群自動(dòng)化恢復(fù)技術(shù)，尤其是基于云環(huán)境中虛擬機(jī) 快照的集群快速自動(dòng)化恢復(fù)技術(shù)。

【背景技術(shù)】
[0002] 目前，公知的hadoop集群在運(yùn)行的過(guò)程中一旦某個(gè)節(jié)點(diǎn)宕機(jī)，或者發(fā)生其他異 常，就會(huì)發(fā)生集群部分?jǐn)?shù)據(jù)丟失、不能正常運(yùn)轉(zhuǎn)等問(wèn)題。這時(shí)候就需要重啟服務(wù)、甚至重啟 主機(jī)，有時(shí)候還會(huì)造成重啟后的服務(wù)不能正常啟動(dòng)的情況。如果要用于企業(yè)生產(chǎn)，在安全性 和可靠性方面存在一定的隱患，會(huì)給企業(yè)帶來(lái)不利影響，在一定程度上浪費(fèi)了資金和時(shí)間。


【發(fā)明內(nèi)容】

[0003] 為了克服現(xiàn)有的hadoop集群遇到節(jié)點(diǎn)宕機(jī)不能自動(dòng)恢復(fù)的缺陷，本發(fā)明專利提 供了一種基于虛擬機(jī)快照的hadoop集群自動(dòng)化恢復(fù)技術(shù)。
[0004] 本發(fā)明的技術(shù)方案是，在云計(jì)算平臺(tái)中搭建hadoop集群，給集群安裝ganglia監(jiān) 控系統(tǒng)檢測(cè)其運(yùn)行狀態(tài)，通過(guò)現(xiàn)有的云計(jì)算平臺(tái)為hadoop集群中涉及到的主機(jī)定時(shí)打快 照的方式，當(dāng)監(jiān)控系統(tǒng)檢測(cè)到hadoop集群中有虛擬機(jī)宕機(jī)的時(shí)候，立即觸發(fā)虛擬機(jī)維護(hù)程 序，云平臺(tái)會(huì)自動(dòng)抓取最新的虛擬機(jī)快照，利用快照快速恢復(fù)主機(jī)，并啟動(dòng)hadoop服務(wù)。
[0005] 本發(fā)明還包含一種操作方法，其步驟如下： 1. 在云平臺(tái)中搭建好hadoop集群； 2. 為hadoop集群安裝監(jiān)控系統(tǒng),通過(guò)查看其性能參數(shù)和監(jiān)控hadoop各角色的啟動(dòng)情 況，檢測(cè)各節(jié)點(diǎn)的運(yùn)行狀態(tài)；云平臺(tái)中建立定時(shí)任務(wù)，為hadoop所涉及到的主機(jī)定時(shí)建立 快照，并定時(shí)刪除過(guò)舊的虛機(jī)快照； 3. 云平臺(tái)中建立定時(shí)任務(wù)，為hadoop所涉及到的主機(jī)定時(shí)建立快照，并定時(shí)刪除過(guò)舊 的虛機(jī)快照； 4. 檢測(cè)到有主機(jī)宕機(jī)異常時(shí)，調(diào)用云平臺(tái)的自動(dòng)恢復(fù)主機(jī)接口，系統(tǒng)會(huì)抓取最新的主 機(jī)快照，通過(guò)vm快照還原已損壞的主機(jī)； 5. 自動(dòng)啟動(dòng)已恢復(fù)主機(jī)； 6. 啟動(dòng)hadoop服務(wù)； 7. 調(diào)用hadoop命令平衡數(shù)據(jù)塊。
[0006] 本發(fā)明專利的有益效果是：由于本發(fā)明在遇到宕機(jī)異常時(shí)，能夠快速的恢復(fù)其正 常狀態(tài)，不影響用戶的使用感受和使用效果，客服了之前由于個(gè)別節(jié)點(diǎn)異常帶來(lái)的不利后 果，節(jié)省了維護(hù)的時(shí)間和成本，使得hadoop集群在實(shí)際使用中的可靠性和安全性大大提 商。

【專利附圖】

【附圖說(shuō)明】
[0007] 圖1為本發(fā)明的技術(shù)流程圖。

【具體實(shí)施方式】
[0008] 為了更清楚地介紹本發(fā)明提出的基于虛擬機(jī)快照的hadoop集群自動(dòng)化恢復(fù)技 術(shù)，下面將結(jié)合附圖進(jìn)行詳細(xì)說(shuō)明。
[0009] 本發(fā)明提供了一種基于虛擬機(jī)快照的hadoop集群自動(dòng)化恢復(fù)技術(shù)，主要用于解 決現(xiàn)有的hadoop集群遇到節(jié)點(diǎn)巖機(jī)不能自動(dòng)恢復(fù)的缺陷。
[0010] 本發(fā)明的具體技術(shù)解決方案如下： 結(jié)合圖1，此方法包括如下步驟： 1) 在云平臺(tái)中搭建好hadoop集群； 2) 為hadoop集群安裝監(jiān)控系統(tǒng),通過(guò)查看其性能參數(shù)和監(jiān)控hadoop各角色的啟動(dòng)情 況，檢測(cè)各節(jié)點(diǎn)的運(yùn)行狀態(tài)； 3) 云平臺(tái)中建立定時(shí)任務(wù)，為hadoop所涉及到的主機(jī)定時(shí)建立快照，并定時(shí)刪除過(guò)舊 的虛機(jī)快照； 4) 監(jiān)測(cè)到有主機(jī)宕機(jī)異常時(shí)，調(diào)用云平臺(tái)的自動(dòng)恢復(fù)主機(jī)接口，系統(tǒng)會(huì)抓取最新的主 機(jī)快照，通過(guò)vm快照還原已損壞的主機(jī)； 5) 自動(dòng)啟動(dòng)已恢復(fù)主機(jī)； 6) 啟動(dòng)hadoop服務(wù)； 7) 調(diào)用hadoop命令平衡數(shù)據(jù)塊。
[0011] 以上實(shí)施例僅用于說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式，但本實(shí)用發(fā)明并不限于上述實(shí) 施方式，在所述領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi)，本發(fā)明的精神和原則之內(nèi)所作的 任何修改、等同替代和改進(jìn)等，其均應(yīng)涵蓋在本發(fā)明請(qǐng)求保護(hù)的技術(shù)方案范圍之內(nèi)。
【權(quán)利要求】
1. 一種hadoop集群自動(dòng)化恢復(fù)技術(shù)，在不重啟服務(wù)、不影響使用感受的前提下實(shí)現(xiàn)了 集群的快速修復(fù)，其特征是，將hadoop集群和云平臺(tái)緊密地結(jié)合在一起，利用云平臺(tái)中的 vm快照實(shí)現(xiàn)主機(jī)的快速修復(fù)，包括如下步驟： 101在云平臺(tái)中搭建好hadoop集群； 102為hadoop集群安裝監(jiān)控系統(tǒng)，通過(guò)查看其性能參數(shù)和監(jiān)控hadoop各角色的啟動(dòng) 情況，檢測(cè)各節(jié)點(diǎn)的運(yùn)行狀態(tài)； 103云平臺(tái)中建立定時(shí)任務(wù)，為hadoop所涉及到的主機(jī)定時(shí)建立快照，并定時(shí)刪除過(guò) 舊的虛機(jī)快照； 104監(jiān)測(cè)到有主機(jī)宕機(jī)異常時(shí)，調(diào)用云平臺(tái)的自動(dòng)恢復(fù)主機(jī)接口，系統(tǒng)會(huì)抓取最新的 主機(jī)快照，通過(guò)vm快照還原一個(gè)已損壞的主機(jī)； 105自動(dòng)點(diǎn)亮已恢復(fù)主機(jī)； 106啟動(dòng)hadoop服務(wù)； 107調(diào)用hadoop命令平衡數(shù)據(jù)塊。
【文檔編號(hào)】G06F11/14GK104111878SQ201410057056
【公開(kāi)日】2014年10月22日 申請(qǐng)日期:2014年2月20日 優(yōu)先權(quán)日:2014年2月20日
【發(fā)明者】王茜, 李安穎, 陳珂, 魏巍, 朱志祥 申請(qǐng)人:西安未來(lái)國(guó)際信息股份有限公司, 西安郵電大學(xué)