專利名稱：一種分布式云計算集群組海量數(shù)據(jù)備份和還原的方法
技術領域：
本發(fā)明涉及到云計算操作系統(tǒng)領域，具體的說是一種分布式云計算集群組海量數(shù)據(jù)備份和還原的方法。
背景技術：
隨著web2.0的誕生，IT技術的飛躍發(fā)展，人們對信息化需求越來越大，傳統(tǒng)的結構化數(shù)據(jù)庫面對日益增長的海量數(shù)據(jù)已明顯力不從心。云計算開始登上IT的舞臺，NoSql數(shù)據(jù)庫被廣泛使用，分布式文件存儲已成為主角。對于一些行業(yè)，比如衛(wèi)生、電信，每天的數(shù)據(jù)增長量非常龐大，海量數(shù)據(jù)的存儲問題可以使用分布式文件系統(tǒng)來存儲，但面對龐大的數(shù)據(jù)，本地和異地的備份與還原的確讓人頭疼，也是很多IT企業(yè)一直研究的課題。目前市場上的備份軟件大部分收費且很多是單 純的拷貝移動文件，并簡單的進行管理。一旦本地出現(xiàn)問題，受帶寬和其他因素影響，根本無法在短時期內將異地備份數(shù)據(jù)還原，無法保證系統(tǒng)的高可用。因此需要一種海量數(shù)據(jù)的本地、異地備份方案來解決日益增長的數(shù)據(jù)，來保證系統(tǒng)的高可用性。

發(fā)明內容
本發(fā)明針對目前海量數(shù)據(jù)本地、異地處理中存在的問題，提出一種分布式云計算集群組，以解決海量數(shù)據(jù)的本地、異地備份和還原的問題。本發(fā)明的目的時按一下方式實現(xiàn)的，以分布式文件系統(tǒng)為載體，在分布式集群之上建立集群組，在同一區(qū)域和不同區(qū)域分別部署分布式文件集群，實現(xiàn)海量數(shù)據(jù)本地、異地的備份和還原，內容包括集群組分布式計算、云管理駕駛艙和海量數(shù)據(jù)異地備份與還原三部分，具體步驟如下
1)集群組分布式計算
分散在同一區(qū)域和不同區(qū)域的集群分別對數(shù)據(jù)進行計算和抽取，并將結果進行匯總；
2)云管理駕駛艙
云計算集群組的CPU，擔負著整個集群組的管理與分發(fā)，異常的處理與恢復，當云管理駕駛艙收到的是一個文件，則將文件根據(jù)不同區(qū)域保存到不同的集群組，保證每個區(qū)域至少保存一份文件；當某個區(qū)域出現(xiàn)異常無法保存時，管理駕駛艙記錄該區(qū)域的信息以及未保存到該區(qū)域的文件，并時時監(jiān)控異常區(qū)域的情況；當異常區(qū)域正常連接時，云管理駕駛艙自動從其它集群讀取相關數(shù)據(jù)，將未保存到該區(qū)域的文件或數(shù)據(jù)重新保存到該區(qū)域集群中，實現(xiàn)數(shù)據(jù)的恢復；
當云管理駕駛艙收到的是一組數(shù)據(jù)和指令時，管理駕駛艙首先檢查目前可以連接的集群，并將數(shù)據(jù)分發(fā)到各集群按照指令進行運算，并最終將結果匯總輸出；
3)海量數(shù)據(jù)異地備份與還原
在不同區(qū)域部署不同的集群，保證數(shù)據(jù)在不同區(qū)域至少保存一份，實現(xiàn)數(shù)據(jù)的異地備份；當本地集群出現(xiàn)異常時，云管理駕駛艙自動訪問異地集群，并保存異常相關信息，等本地集群恢復后，自動將丟失文件存入到本地集群；故障系統(tǒng)的還原無需切換，沒有時間消耗。本發(fā)明的有益效果是本發(fā)明所述分布式云計算集群組，在分布式集群之上建立集群組，該集群組在同一區(qū)域和不同區(qū)域本別部署分布文件集群，通過云管理駕駛艙對各集群進行統(tǒng)一管理和操作，同一份文件在不同區(qū)域至少保存一份，只要有一個集群的文件存儲成功，則文件保存成功，文件的存儲對用戶透明，部分集群異常不會影響整個系統(tǒng)運行，云管理駕駛艙會記錄未保存成功的集群與文 件，在異常集群恢復后自動從其它集群讀取該文件數(shù)據(jù)保存到該集群，變通的實現(xiàn)海量數(shù)據(jù)異地備份或還原，大大提高系統(tǒng)的可用性和安全性。不同的集群組可以再次組成更高一層的集群組，由更高一層的云管理駕駛艙進行管理。該集群以云計算為理念，充分利用現(xiàn)有資源，在分布式集群之上建立集群組，不受區(qū)域限制，不受寬帶限制，存儲和計算完全對用戶透明，以變通方式實現(xiàn)了海量數(shù)據(jù)異地備份與還原，提高了分布式計算的效率，保證了軟件系統(tǒng)的高可用性，同時為企業(yè)和軟件使用單位節(jié)省了成本。


附圖I本發(fā)明所述集群組的宏觀數(shù)據(jù)走向示意 附圖2本發(fā)明所述集群組的微觀數(shù)據(jù)走向示意圖。
具體實施例方式下面結合附圖I和附圖2對本發(fā)明的方法作進一步詳細說明。本發(fā)明一種分布式云計算集群組海量數(shù)據(jù)備份和還原的方法，是以分布式文件系統(tǒng)為載體，構建對用戶透明的集群組式文件存儲與計算，其解決所述技術問題采用的技術方案為該集群組由集群組分布式計算、云管理駕駛艙和海量數(shù)據(jù)異地備份與還原三部分組成，其中
集群組分布式計算是指分散在同一區(qū)域和不同區(qū)域的集群，分別對數(shù)據(jù)進行計算和抽取，并將結果進行匯總；
云管理駕駛艙是云計算集群組的CPU，擔負著整個集群組的管理與分發(fā)，異常情況的處理與恢復；
海量數(shù)據(jù)異地備份與還原是指在不同區(qū)域部署不同的集群，保證數(shù)據(jù)在不同區(qū)域至少保存一份，實現(xiàn)數(shù)據(jù)的異地備份，當本地集群出現(xiàn)異常時，云管理駕駛艙自動訪問異地集群，并保存異常相關信息，等本地集群恢復后，自動將丟失文件存入到本地集群。實施例
本發(fā)明所述集群組由集群組分布式計算、云管理駕駛艙和海量數(shù)據(jù)異地備份與還原三部分組成，下面分別詳細說明
I.集群組分布式計算
分散在同一區(qū)域和不同區(qū)域的集群，分別對數(shù)據(jù)進行計算和抽取，并將結果進行匯總。相對于分布式計算，集群組分布式計算使運算效率更高；2.云管理駕駛艙
云管理駕駛艙，云計算集群組的CPU，擔負著整個集群組的管理與分發(fā)，異常的處理與恢復；
當云管理駕駛艙收到的是一個文件，則將文件根據(jù)不同區(qū)域保存到不同的集群組，保證每個區(qū)域至少保存一份文件。當某個區(qū)域出現(xiàn)異常無法保存時，管理駕駛艙記錄該區(qū)域的信息以及未保存到該區(qū)域的文件，并時時監(jiān)控異常區(qū)域的情況。當異常區(qū)域正常連接時，云管理駕駛艙自動從其它集群讀取相關數(shù)據(jù)，將未保存到該區(qū)域的文件或數(shù)據(jù)重新保存到該區(qū)域集群中，實現(xiàn)數(shù)據(jù)的恢復；
當云管理駕駛艙收到的是一組數(shù)據(jù)和指令時，管理駕駛艙首先檢查目前可以連接的集群，并將數(shù)據(jù)分發(fā)到各集群按照指令進行運算，并最終將結果匯總輸出；
3.海量數(shù)據(jù)異地備份與還原 在不同區(qū)域部署不同的集群，保證數(shù)據(jù)在不同區(qū)域至少保存一份，實現(xiàn)數(shù)據(jù)的異地備份。當本地集群出現(xiàn)異常時，云管理駕駛艙自動訪問異地集群，并保存異常相關信息，等本地集群恢復后，自動將丟失文件存入到本地集群。故障系統(tǒng)的還原無需切換，沒有時間消耗，保證了系統(tǒng)的高可用，充分體現(xiàn)了集群組的優(yōu)勢。本發(fā)明所述分布式云計算集群組，以現(xiàn)有的分布式文件系統(tǒng)為載體，在集群之上建立集群組，在同一區(qū)域和不同區(qū)域本別部署分布式文件集群，通過云管理駕駛艙對各集群進行統(tǒng)一管理和操作，進行文件的存儲和數(shù)據(jù)的分布式計算，同一份文件在各集群至少保存一份，部分集群異常時，云管理駕駛艙自動記錄異常集群和丟失文件，并在集群恢復后將丟失文件保存到該集群，系統(tǒng)中文件的備份和還原過程無需操作，軟件系統(tǒng)的使用不受影響。除說明書所述的技術特征外，均為本專業(yè)技術人員的已知技術。
權利要求
1.一種分布式云計算集群組海量數(shù)據(jù)備份和還原的方法，其特征在于以分布式文件系統(tǒng)為載體，在分布式集群之上建立集群組，在同一區(qū)域和不同區(qū)域分別部署分布式文件集群，實現(xiàn)海量數(shù)據(jù)本地、異地的備份和還原，內容包括集群組分布式計算、云管理駕駛艙和海量數(shù)據(jù)異地備份與還原三部分，具體步驟如下 (1)集群組分布式計算 分散在同一區(qū)域和不同區(qū)域的集群分別對數(shù)據(jù)進行計算和抽取，并將結果進行匯總； (2)云管理駕駛艙 云計算集群組的CPU，擔負著整個集群組的管理與分發(fā)，異常的處理與恢復，當云管理駕駛艙收到的是一個文件，則將文件根據(jù)不同區(qū)域保存到不同的集群組，保證每個區(qū)域至少保存一份文件；當某個區(qū)域出現(xiàn)異常無法保存時，管理駕駛艙記錄該區(qū)域的信息以及未保存到該區(qū)域的文件，并時時監(jiān)控異常區(qū)域的情況；當異常區(qū)域正常連接時，云管理駕駛艙自動從其它集群讀取相關數(shù)據(jù)，將未保存到該區(qū)域的文件或數(shù)據(jù)重新保存到該區(qū)域集群中，實現(xiàn)數(shù)據(jù)的恢復； 當云管理駕駛艙收到的是一組數(shù)據(jù)和指令時，管理駕駛艙首先檢查目前可以連接的集群，并將數(shù)據(jù)分發(fā)到各集群按照指令進行運算，并最終將結果匯總輸出； (3)海量數(shù)據(jù)異地備份與還原 在不同區(qū)域部署不同的集群，保證數(shù)據(jù)在不同區(qū)域至少保存一份，實現(xiàn)數(shù)據(jù)的異地備份；當本地集群出現(xiàn)異常時，云管理駕駛艙自動訪問異地集群，并保存異常相關信息，等本地集群恢復后，自動將丟失文件存入到本地集群；故障系統(tǒng)的還原無需切換，沒有時間消耗。
全文摘要
本發(fā)明公開一種分布式云計算集群組海量數(shù)據(jù)備份和還原的方法，該集群組以分布式文件系統(tǒng)為載體，在集群之上建立集群組，在同一區(qū)域和不同區(qū)域本別部署分布式文件集群，通過云管理駕駛艙對各集群進行統(tǒng)一管理和操作，進行文件的存儲和數(shù)據(jù)的分布式計算，同一份文件在各集群至少保存一份，部分集群異常不影響整個系統(tǒng)運行，云管理駕駛艙自動記錄異常集群和丟失文件，并在集群恢復后將丟失文件保存到該集群，系統(tǒng)中文件的備份和還原過程無需操作，軟件系統(tǒng)的使用不受影響。該分布式云計算集群組以變通方式實現(xiàn)了海量數(shù)據(jù)異地備份與還原，提高了分布式計算的效率，保證了軟件系統(tǒng)的高可用性，同時為企業(yè)和軟件使用單位節(jié)省了成本。
文檔編號G06F11/14GK102902605SQ20121037257
公開日2013年1月30日 申請日期2012年9月29日 優(yōu)先權日2012年9月29日
發(fā)明者張華 , 王剛, 張立勇, 胡順杰, 陳 峰 申請人:山東浪潮齊魯軟件產業(yè)股份有限公司