一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置，所述方法包括：根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從存儲(chǔ)原數(shù)據(jù)的第一存儲(chǔ)系統(tǒng)中讀取待處理數(shù)據(jù)；根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲(chǔ)系統(tǒng)；將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，且將產(chǎn)生的處理結(jié)果存儲(chǔ)到第三存儲(chǔ)系統(tǒng)中；從第三存儲(chǔ)系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果；從所述第二存儲(chǔ)系統(tǒng)中刪除所述待處理數(shù)據(jù)，根據(jù)需要決定是否刪除所述第三存儲(chǔ)系統(tǒng)中的處理結(jié)果。本發(fā)明對各個(gè)存儲(chǔ)系統(tǒng)的操作抽象化，封裝成統(tǒng)一的接口，實(shí)現(xiàn)用戶對系統(tǒng)的控制更加簡單、方便，不同業(yè)務(wù)采用統(tǒng)一的架構(gòu)不同的存儲(chǔ)系統(tǒng)，靈活應(yīng)用、可靠性高。
【專利說明】一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云計(jì)算領(lǐng)域，具體涉及數(shù)據(jù)業(yè)務(wù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的突飛猛進(jìn)及網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展，數(shù)據(jù)的傳播速度日益加快，數(shù)據(jù)的飛漲也增加了數(shù)據(jù)信息處理的難度。從企業(yè)角度來看，日益增長的信息已經(jīng)很難存儲(chǔ)在標(biāo)準(zhǔn)關(guān)系數(shù)據(jù)庫甚至數(shù)據(jù)倉庫中，例如，如何查詢一個(gè)十億行的表，怎樣跨越數(shù)據(jù)中心所有服務(wù)器上的日志進(jìn)行一個(gè)數(shù)據(jù)查詢，如果有的數(shù)據(jù)是非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，就更難進(jìn)行數(shù)據(jù)查詢了。
[0003]Hadoop 實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System),簡稱HDFS。HDFS可以分布式地操作大量數(shù)據(jù)，在海量數(shù)據(jù)上處有很大的優(yōu)勢。它主要有以下幾個(gè)優(yōu)勢:
[0004]1、高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。
[0005]2、高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。
[0006]3、高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非常快。
[0007]4、高容錯(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。
[0008]然而，HDFS是由中央文件系統(tǒng)維護(hù)元數(shù)據(jù)，無法避免單點(diǎn)故障。此外對小文件的處理存在先天不足和只支持W0RM( —次寫多次讀)，對于希望在大數(shù)據(jù)環(huán)境中實(shí)現(xiàn)更可靠，更高程度的靈活性、更好可擴(kuò)展性的企業(yè)，僅僅依靠HDFS的性能無法滿足企業(yè)的需求。

【發(fā)明內(nèi)容】

[0009]有鑒于此，本發(fā)明實(shí)施例提供一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置，以提高存儲(chǔ)系統(tǒng)的靈活性和可靠性。
[0010]第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)業(yè)務(wù)處理方法，所述方法包括:
[0011]根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)；
[0012]根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲(chǔ)系統(tǒng)；
[0013]將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，且將產(chǎn)生的處理結(jié)果存儲(chǔ)到第三存儲(chǔ)系統(tǒng)中；
[0014]從第三存儲(chǔ)系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果；
[0015]從所述第二存儲(chǔ)系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲(chǔ)系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。[0016]進(jìn)一步地，所述第一存儲(chǔ)系統(tǒng)、第二存儲(chǔ)系統(tǒng)及第三存儲(chǔ)系統(tǒng)的類型相同或不同，為下述存儲(chǔ)系統(tǒng)中的任意一個(gè):分布式對象存儲(chǔ)系統(tǒng)、分布式塊存儲(chǔ)系統(tǒng)和分布式文件系統(tǒng)。
[0017]進(jìn)一步地，根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)包括:根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址，基于類Map/Reduce計(jì)算框架計(jì)算目標(biāo)數(shù)據(jù)在第一存儲(chǔ)系統(tǒng)和第二存儲(chǔ)系統(tǒng)的映射關(guān)系，根據(jù)所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)。
[0018]進(jìn)一步地，所述方法還包括:通過統(tǒng)一應(yīng)用程序編程接口接收用戶的統(tǒng)一數(shù)據(jù)存儲(chǔ)請求；根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)；根據(jù)獲取的至少一個(gè)存儲(chǔ)系統(tǒng)，基于設(shè)定轉(zhuǎn)換規(guī)則，將所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換為各所述存儲(chǔ)系統(tǒng)對應(yīng)的至少一個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)請求；根據(jù)所述系統(tǒng)數(shù)據(jù)存儲(chǔ)請求將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)到對應(yīng)的各存儲(chǔ)系統(tǒng)中。
[0019]進(jìn)一步地，根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)包括:從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中解析獲取系統(tǒng)標(biāo)識(shí)，根據(jù)系統(tǒng)標(biāo)識(shí)獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)；從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中識(shí)別待存儲(chǔ)數(shù)據(jù)的屬性，根據(jù)所述待存儲(chǔ)數(shù)據(jù)的屬性選擇對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。
[0020]第二方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)業(yè)務(wù)處理裝置，所述裝置包括:
[0021]數(shù)據(jù)讀取模塊，用于根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)；
[0022]第一選擇模塊，用于根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲(chǔ)系統(tǒng)；
[0023]數(shù)據(jù)處理模塊，用于將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，且將產(chǎn)生的處理結(jié)果存儲(chǔ)到第三存儲(chǔ)系統(tǒng)中；
[0024]響應(yīng)結(jié)果獲取模塊，用于從第三存儲(chǔ)系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果；
[0025]數(shù)據(jù)刪除模塊，用于從所述第二存儲(chǔ)系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲(chǔ)系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。
[0026]進(jìn)一步地，所述第一存儲(chǔ)系統(tǒng)、第二存儲(chǔ)系統(tǒng)及第三存儲(chǔ)系統(tǒng)的類型相同或不同，為下述存儲(chǔ)系統(tǒng)中的任意一個(gè):分布式對象存儲(chǔ)系統(tǒng)、分布式塊存儲(chǔ)系統(tǒng)和分布式文件系統(tǒng)。
[0027]進(jìn)一步地，數(shù)據(jù)讀取模塊包括:目標(biāo)數(shù)據(jù)地址獲取單元，用于獲取接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址；映射關(guān)系獲取單元，用于獲取類Map/Reduce計(jì)算框架計(jì)算目標(biāo)數(shù)據(jù)在第一存儲(chǔ)系統(tǒng)中的映射關(guān)系；數(shù)據(jù)讀取單元，用于根據(jù)所述目標(biāo)數(shù)據(jù)地址，基于所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)。
[0028]進(jìn)一步地，所述裝置還包括:數(shù)據(jù)請求接收模塊，用于通過統(tǒng)一應(yīng)用程序編程接口接收用戶的統(tǒng)一數(shù)據(jù)存儲(chǔ)請求；第二選擇模塊，用于根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)；數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換模塊，用于根據(jù)獲取的至少一個(gè)存儲(chǔ)系統(tǒng)，基于設(shè)定轉(zhuǎn)換規(guī)則，將所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換為各所述存儲(chǔ)系統(tǒng)對應(yīng)的至少一個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)請求；第三選擇模塊，用于根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)；數(shù)據(jù)存儲(chǔ)模塊，用于根據(jù)所述系統(tǒng)數(shù)據(jù)存儲(chǔ)請求將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)到對應(yīng)的各存儲(chǔ)系統(tǒng)中。
[0029]進(jìn)一步地，第二選擇模塊、第三選擇模塊都包括:第一選擇單元，用于從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中解析獲取系統(tǒng)標(biāo)識(shí)，根據(jù)系統(tǒng)標(biāo)識(shí)獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)；第二選擇單元，用于從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中識(shí)別待存儲(chǔ)數(shù)據(jù)的屬性，根據(jù)所述待存儲(chǔ)數(shù)據(jù)的屬性選擇對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。
[0030]本發(fā)明通過將數(shù)據(jù)處理請求涉及的數(shù)據(jù)轉(zhuǎn)存至適合的存儲(chǔ)系統(tǒng)進(jìn)行處理，充分利用了各種存儲(chǔ)系統(tǒng)的特點(diǎn)，靈活應(yīng)用、且速度快、可靠性高。
【專利附圖】

【附圖說明】
[0031]圖1是本發(fā)明第一實(shí)施例中的數(shù)據(jù)業(yè)務(wù)處理方法的流程圖。
[0032]圖2是本發(fā)明第二實(shí)施例中的數(shù)據(jù)業(yè)務(wù)處理方法的流程圖。
[0033]圖3A是本發(fā)明第三實(shí)施例中的數(shù)據(jù)業(yè)務(wù)處理方法的流程圖。
[0034]圖3B是本發(fā)明第三實(shí)施例所適用的系統(tǒng)架構(gòu)示意圖。
[0035]圖4是本發(fā)明第四實(shí)施例中的數(shù)據(jù)業(yè)務(wù)處理裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0036]下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖牵颂幩枋龅木唧w實(shí)施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0037]在圖1中示出了本發(fā)明的第一實(shí)施例。本發(fā)明實(shí)施例適用于一種存儲(chǔ)架構(gòu)，該存儲(chǔ)架構(gòu)包括多種存儲(chǔ)系統(tǒng)，該存儲(chǔ)系統(tǒng)設(shè)置有統(tǒng)一的存儲(chǔ)接口，處理數(shù)據(jù)業(yè)務(wù)。該每種存儲(chǔ)系統(tǒng)中可存儲(chǔ)一些原數(shù)據(jù)，對原數(shù)據(jù)的數(shù)據(jù)業(yè)務(wù)處理可以在多個(gè)存儲(chǔ)系統(tǒng)的配合下完成。
[0038]圖1是本發(fā)明第一實(shí)施例中的數(shù)據(jù)業(yè)務(wù)處理方法的流程圖，該實(shí)現(xiàn)流程100可以由數(shù)據(jù)業(yè)務(wù)處理裝置來執(zhí)行，該裝置可以由軟件和/或硬件來實(shí)現(xiàn)，配置在存儲(chǔ)架構(gòu)中，控制各存儲(chǔ)系統(tǒng)的數(shù)據(jù)業(yè)務(wù)處理過程。該方法詳述如下:
[0039]在步驟101中，根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)。
[0040]在本實(shí)施例中，存儲(chǔ)系統(tǒng)可以為多種，由于存儲(chǔ)系統(tǒng)的不同，所以可以有多種方式來實(shí)現(xiàn)根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求來確定待處理數(shù)據(jù)，以及尋址的方式。例如，直接尋址或者間接尋址方式。
[0041]其中，數(shù)據(jù)業(yè)務(wù)處理請求可包括數(shù)據(jù)分析、統(tǒng)計(jì)、預(yù)測等，具體包括對數(shù)據(jù)的增加(Create)、查詢(Retrieve)、更新(Update)和刪除(Delete)等操作,可以指明目標(biāo)數(shù)據(jù)地址，或通過查詢確定待處理數(shù)據(jù)的目標(biāo)數(shù)據(jù)地址。本步驟中，可以根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求中確定與該處理請求相關(guān)的所有數(shù)據(jù)，作為待處理數(shù)據(jù)。待處理數(shù)據(jù)可能只是原數(shù)據(jù)的部分?jǐn)?shù)據(jù)。
[0042]在步驟102中，根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲(chǔ)系統(tǒng)。
[0043]在本實(shí)施例中，可以選擇用來存儲(chǔ)待處理數(shù)據(jù)的存儲(chǔ)系統(tǒng)作為第二存儲(chǔ)系統(tǒng)。選擇的依據(jù)是所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，例如待處理數(shù)據(jù)的數(shù)據(jù)量大小，處理請求是讀寫操作還是查詢操作中。由于存儲(chǔ)系統(tǒng)各自的特點(diǎn)，所以其分別適用于不同的數(shù)據(jù)業(yè)務(wù)處理，例如，部分存儲(chǔ)系統(tǒng)會(huì)更適用于對小文件的處理。第二存儲(chǔ)系統(tǒng)與第一存儲(chǔ)系統(tǒng)可以為同一類型的存儲(chǔ)系統(tǒng)，也可以為不同類型的存儲(chǔ)系統(tǒng)。
[0044]在步驟103中，將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，且將產(chǎn)生的處理結(jié)果存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中。
[0045]在本實(shí)施例中，將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，比如對待處理數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析、預(yù)測等等，處理后的結(jié)果存儲(chǔ)在第三存儲(chǔ)系統(tǒng)中。
[0046]在步驟104中，從第三存儲(chǔ)系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果。
[0047]在本實(shí)施例中，將步驟103中計(jì)算處理得到的處理結(jié)果從第三存儲(chǔ)系統(tǒng)中讀取出來，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果反饋給用戶。
[0048]在步驟105中，從所述第二存儲(chǔ)系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲(chǔ)系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。
[0049]在本實(shí)施例中，刪除存儲(chǔ)在第二存儲(chǔ)系統(tǒng)中的所述待處理數(shù)據(jù)和第三存儲(chǔ)系統(tǒng)中的所述處理結(jié)果。我們對數(shù)據(jù)進(jìn)行的處理都是對存儲(chǔ)在第二存儲(chǔ)系統(tǒng)中的待處理數(shù)據(jù)進(jìn)行的操作處理，而第一存儲(chǔ)系統(tǒng)中的原數(shù)據(jù)并未進(jìn)行變化。將處理結(jié)果響應(yīng)給用戶，可以包括將讀取結(jié)果、查詢結(jié)果返回給用戶，也包括將處理結(jié)果寫入原數(shù)據(jù)，以保持原數(shù)據(jù)的正確性。所述存儲(chǔ)在第二系統(tǒng)中的待處理數(shù)據(jù)僅作為過渡數(shù)據(jù)使用，所以可以將其刪除，保留更多的存儲(chǔ)空間用來存儲(chǔ)其他數(shù)據(jù)，所以在得到數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果后，將這些數(shù)據(jù)從第二存儲(chǔ)系統(tǒng)中刪除。所述存儲(chǔ)在第三存儲(chǔ)系統(tǒng)中的處理結(jié)果根據(jù)需要來決定是否刪除。
[0050]本發(fā)明第一實(shí)施例將數(shù)據(jù)處理請求涉及的數(shù)據(jù)轉(zhuǎn)存至適合的存儲(chǔ)系統(tǒng)進(jìn)行處理，充分利用了各種存儲(chǔ)系統(tǒng)的特點(diǎn)，靈活應(yīng)用、且速度快、可靠性高。
[0051]在上述技術(shù)方案的基礎(chǔ)上，步驟101和步驟105中的第一存儲(chǔ)系統(tǒng)、第二存儲(chǔ)系統(tǒng)及第三存儲(chǔ)系統(tǒng)的類型可以相同也可以不同，為下述存儲(chǔ)系統(tǒng)中的任意一個(gè):分布式對象存儲(chǔ)系統(tǒng)、分布式塊存儲(chǔ)系統(tǒng)和分布式文件系統(tǒng)。比如swift屬于分布式對象存儲(chǔ)；sheepdog、ceph、cinder屬于分布式塊存儲(chǔ)；hdfs、GlusterFS、Lustre屬于分布式文件系統(tǒng)
坐寸ο
[0052]在圖2中示出了本發(fā)明的第二實(shí)施例。
[0053]圖2是本發(fā)明第二實(shí)施例中的數(shù)據(jù)業(yè)務(wù)處理方法的流程圖，本實(shí)施例在上述各實(shí)施例的基礎(chǔ)上，優(yōu)選是將根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)進(jìn)一步優(yōu)化為根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址，基于類Map/Reduce計(jì)算框架計(jì)算目標(biāo)數(shù)據(jù)在第一存儲(chǔ)系統(tǒng)和第二存儲(chǔ)系統(tǒng)之間的(中的)映射關(guān)系，根據(jù)所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)。
[0054]該實(shí)現(xiàn)流程200詳述如下:
[0055]在步驟201中，接收數(shù)據(jù)業(yè)務(wù)處理請求。
[0056]在本實(shí)施例中，接收數(shù)據(jù)業(yè)務(wù)處理請求，該數(shù)據(jù)業(yè)務(wù)處理請求包括目標(biāo)數(shù)據(jù)地址以及對數(shù)據(jù)的統(tǒng)計(jì)、分析、預(yù)測，也包括對數(shù)據(jù)的增加(Create)、查詢(Retrieve)、更新(Update)和刪除(Delete)等操作。
[0057]在步驟202中，基于類Map/Reduce計(jì)算框架計(jì)算目標(biāo)數(shù)據(jù)在第一存儲(chǔ)系統(tǒng)和第二存儲(chǔ)系統(tǒng)之間的映射關(guān)系。
[0058]在本實(shí)施例中，由于數(shù)據(jù)處理模塊采用類Map/Reduce計(jì)算框架,我們基于類Map/Reduce計(jì)算框架計(jì)算出目標(biāo)數(shù)據(jù)在第一存儲(chǔ)系統(tǒng)和第二存儲(chǔ)系統(tǒng)之間(中)的映射關(guān)系。所述第一存儲(chǔ)系統(tǒng)可以為以下任意存儲(chǔ)系統(tǒng):分布式塊存儲(chǔ)系統(tǒng)、分布式對象存儲(chǔ)系統(tǒng)以及分布式文件系統(tǒng)。
[0059]類Map/Reduce計(jì)算框架是一種原理與Map/Reduce相同或類似的方法。Map/Reduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。概念"Map (映射)"和"Reduce(化簡)"，和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map (映射)函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce (化簡)函數(shù)，用來保證所有映射的鍵值對中的每一個(gè)共享相同的鍵組。
[0060]Map/Reduce通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性；每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來。如果一個(gè)節(jié)點(diǎn)保持沉默超過一個(gè)預(yù)設(shè)的時(shí)間間隔，主節(jié)點(diǎn)(類同Google File System中的主服務(wù)器)記錄下這個(gè)節(jié)點(diǎn)狀態(tài)為死亡，并把分配給這個(gè)節(jié)點(diǎn)的數(shù)據(jù)發(fā)到別的節(jié)點(diǎn)。每個(gè)操作使用命名文件的原子操作以確保不會(huì)發(fā)生并行線程間的沖突；當(dāng)文件被改名的時(shí)候，系統(tǒng)可能會(huì)把他們復(fù)制到任務(wù)名以外的另一個(gè)名字上去。
[0061]在步驟203中，根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址和所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)。
[0062]在步驟204中，根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲(chǔ)系統(tǒng)。
[0063]在步驟205中，根據(jù)所述數(shù)據(jù)存儲(chǔ)請求，將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，且將產(chǎn)生的處理結(jié)果存儲(chǔ)到第三存儲(chǔ)系統(tǒng)中。
[0064]在步驟206中，從第三存儲(chǔ)系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果。
[0065]在步驟207中，從所述第二存儲(chǔ)系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲(chǔ)系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。
[0066]本發(fā)明第二實(shí)施例通過采用類Map/Reduce計(jì)算框架將數(shù)據(jù)處理請求涉及的數(shù)據(jù)轉(zhuǎn)存至適合的存儲(chǔ)系統(tǒng)進(jìn)行處理，充分利用了各種存儲(chǔ)系統(tǒng)的特點(diǎn)和類Map/Reduce的并行計(jì)算，靈活應(yīng)用、且速度快、可靠性高。相比于第一實(shí)施例，本發(fā)明第二實(shí)施例利用了類Map/Reduce并行計(jì)算的特點(diǎn),提高了數(shù)據(jù)處理速度。
[0067]在圖3中示出了本發(fā)明的第三實(shí)施例。
[0068]圖3A是本發(fā)明第三實(shí)施例中的數(shù)據(jù)業(yè)務(wù)處理方法的流程圖。圖3B是本發(fā)明第三實(shí)施例所適用的系統(tǒng)架構(gòu)示意圖。該系統(tǒng)中包括多種存儲(chǔ)系統(tǒng)，例如分布式塊存儲(chǔ)系統(tǒng)、分布式對象存儲(chǔ)系統(tǒng)和/或分布式文件系統(tǒng)，還包括統(tǒng)一 API接口和基于類Map/Reduce計(jì)算框架的控制器，可用于執(zhí)行本發(fā)明實(shí)施例的技術(shù)方案。
[0069]在上述實(shí)施例的基礎(chǔ)上，本實(shí)施例還包括了以下步驟:
[0070]在步驟301中，通過統(tǒng)一應(yīng)用程序編程接口接收用戶的統(tǒng)一數(shù)據(jù)存儲(chǔ)請求。
[0071]在本實(shí)施例中，對于不同的存儲(chǔ)系統(tǒng)，我們將用來接收數(shù)據(jù)存儲(chǔ)請求的不同接口封裝成統(tǒng)一的應(yīng)用程序編程接口，接收用戶的統(tǒng)一數(shù)據(jù)存儲(chǔ)請求。
[0072]API (Application Programming Interface,應(yīng)用程序編程接口)是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序與開發(fā)人員基于某軟件或硬件的以訪問一組例程的能力，而又無需訪問源碼，或理解內(nèi)部工作機(jī)制的細(xì)節(jié)。API (Application ProgrammingInterface，應(yīng)用編程接口)其實(shí)就是操作系統(tǒng)留給應(yīng)用程序的一個(gè)調(diào)用接口，應(yīng)用程序通過調(diào)用操作系統(tǒng)的API而使操作系統(tǒng)去執(zhí)行應(yīng)用程序的命令或動(dòng)作。我們通過統(tǒng)一的應(yīng)用程序編程接口 API接收用戶的數(shù)據(jù)存儲(chǔ)請求。API接口支持RESTful、FUSE以及java、C、python等語言。
[0073]在步驟302中，根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。
[0074]在本實(shí)施例中，根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求的屬性，通過多種方式選取與待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。例如我們可以通過以下方式獲取至少一個(gè)存儲(chǔ)系統(tǒng):
[0075]從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中解析獲取系統(tǒng)標(biāo)識(shí)，根據(jù)系統(tǒng)標(biāo)識(shí)獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)；或
[0076]從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中識(shí)別待存儲(chǔ)數(shù)據(jù)的屬性，根據(jù)所述待存儲(chǔ)數(shù)據(jù)的屬性選擇對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。
[0077]例如，我們可以選擇分布式對象存儲(chǔ)系統(tǒng)、分布式塊存儲(chǔ)系統(tǒng)或者分布式文件系統(tǒng)中的其中一個(gè)，也可以選擇其中兩個(gè)等。
[0078]在步驟303中，根據(jù)獲取的至少一個(gè)存儲(chǔ)系統(tǒng)，基于設(shè)定轉(zhuǎn)換規(guī)則，將所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換為各所述存儲(chǔ)系統(tǒng)對應(yīng)的至少一個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)請求。
[0079]在本實(shí)施例中，根據(jù)獲取的存儲(chǔ)系統(tǒng)，基于設(shè)定的轉(zhuǎn)換規(guī)則，將所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換為各所屬存儲(chǔ)系統(tǒng)的至少一個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)請求。其中，設(shè)定的轉(zhuǎn)換規(guī)則有分布式塊存儲(chǔ)系統(tǒng)、分布式對象存儲(chǔ)系統(tǒng)和分布式文件存儲(chǔ)系統(tǒng)之間互相轉(zhuǎn)換的規(guī)則。例如，將統(tǒng)一數(shù)據(jù)存儲(chǔ)到分布式文件系統(tǒng)的請求轉(zhuǎn)換成分布式塊存儲(chǔ)系統(tǒng)的存儲(chǔ)請求或者分布式對象存儲(chǔ)系統(tǒng)的存儲(chǔ)請求。
[0080]在步驟304中，根據(jù)所述系統(tǒng)數(shù)據(jù)存儲(chǔ)請求將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)到對應(yīng)的各存儲(chǔ)系統(tǒng)中。
[0081]在本實(shí)施例中，根據(jù)分布式塊存儲(chǔ)系統(tǒng)的系統(tǒng)數(shù)據(jù)存儲(chǔ)請求將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)到分布式塊存儲(chǔ)系統(tǒng)中，或者根據(jù)分布式對象存儲(chǔ)系統(tǒng)的系統(tǒng)數(shù)據(jù)存儲(chǔ)請求將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)到分布式對象存儲(chǔ)系統(tǒng)中。
[0082]本發(fā)明第三實(shí)施例與上述實(shí)施例中的步驟無必須的時(shí)序性限定。與上述實(shí)施例相t匕，本發(fā)明第三實(shí)施例為用戶提供了多種存儲(chǔ)系統(tǒng)的統(tǒng)一接口，用戶無需了解不同存儲(chǔ)系統(tǒng)的特點(diǎn)，由系統(tǒng)自動(dòng)完成存儲(chǔ)系統(tǒng)的選擇和存儲(chǔ)操作。并且還增加了各存儲(chǔ)系統(tǒng)之間的轉(zhuǎn)換，使各個(gè)系統(tǒng)之間也可以進(jìn)行數(shù)據(jù)的平滑遷移。例如，可以將數(shù)據(jù)從原存儲(chǔ)系統(tǒng)中讀出再進(jìn)行存儲(chǔ)，即完成了將數(shù)據(jù)進(jìn)行系統(tǒng)間轉(zhuǎn)換的操作。[0083]在圖4中示出了本發(fā)明的第四實(shí)施例。
[0084]圖4是本發(fā)明第四實(shí)施例中的數(shù)據(jù)業(yè)務(wù)處理裝置的結(jié)構(gòu)圖。本實(shí)施例的裝置均適用于上述實(shí)施例。如圖4所示，該裝置包括數(shù)據(jù)讀取模塊401、第一選擇模塊402、數(shù)據(jù)處理模塊403、響應(yīng)結(jié)果獲取模塊404和數(shù)據(jù)刪除模塊409。
[0085]其中，數(shù)據(jù)讀取模塊401，用于根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)。
[0086]第一選擇模塊402，用于根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲(chǔ)系統(tǒng)。
[0087]數(shù)據(jù)處理模塊403，用于將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，且將產(chǎn)生的處理結(jié)果存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中。
[0088]響應(yīng)結(jié)果獲取模塊404，用于從第三存儲(chǔ)系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果。
[0089]數(shù)據(jù)刪除模塊409，用于從所述第二存儲(chǔ)系統(tǒng)中刪除所述待處理數(shù)據(jù)和所述處理結(jié)果。
[0090]本發(fā)明第四實(shí)施例將數(shù)據(jù)處理請求涉及的數(shù)據(jù)轉(zhuǎn)存至適合的存儲(chǔ)系統(tǒng)進(jìn)行處理，充分利用了各種存儲(chǔ)系統(tǒng)的特點(diǎn)，靈活應(yīng)用、且速度快、可靠性高實(shí)現(xiàn)各存儲(chǔ)系統(tǒng)之間的轉(zhuǎn)換，使同一業(yè)務(wù)也可以采用多種存儲(chǔ)系統(tǒng)，各個(gè)系統(tǒng)之間也可以進(jìn)行數(shù)據(jù)的平滑遷移。
[0091]在上述方案中，所述第一存儲(chǔ)系統(tǒng)和第二存儲(chǔ)系統(tǒng)可以相同或不同，為下述存儲(chǔ)系統(tǒng)中的任意一個(gè):分布式對象存儲(chǔ)系統(tǒng)、分布式塊存儲(chǔ)系統(tǒng)和分布式文件系統(tǒng)。
[0092]優(yōu)選是，數(shù)據(jù)讀取模塊401包括:目標(biāo)數(shù)據(jù)地址獲取單元4011、映射關(guān)系獲取單元4012和數(shù)據(jù)讀取單元4013。其中，目標(biāo)數(shù)據(jù)地址獲取單元4011，用于獲取接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址；映射關(guān)系獲取單元4012，用于獲取類Map/Reduce計(jì)算目標(biāo)數(shù)據(jù)在第一存儲(chǔ)系統(tǒng)中的映射關(guān)系；數(shù)據(jù)讀取單元4013，用于根據(jù)所述目標(biāo)數(shù)據(jù)地址，基于所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)。
[0093]在上述方案基礎(chǔ)上，該裝置還可以進(jìn)一步包括:數(shù)據(jù)請求接收模塊405、第二、三選擇模塊406、數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換模塊407和數(shù)據(jù)存儲(chǔ)模塊408。其中，數(shù)據(jù)請求接收模塊405，用于通過統(tǒng)一應(yīng)用程序編程接口接收用戶的統(tǒng)一數(shù)據(jù)存儲(chǔ)請求。第二、三選擇模塊406，用于根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換模塊407，用于根據(jù)獲取的至少一個(gè)存儲(chǔ)系統(tǒng)，基于設(shè)定轉(zhuǎn)換規(guī)則，將所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換為各所述存儲(chǔ)系統(tǒng)的至少一個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)請求。數(shù)據(jù)存儲(chǔ)模塊408，用于根據(jù)所述系統(tǒng)數(shù)據(jù)存儲(chǔ)請求將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)到對應(yīng)的各存儲(chǔ)系統(tǒng)中。
[0094]上述技術(shù)方案，能夠?yàn)橛脩籼峁┒啻鎯?chǔ)系統(tǒng)的統(tǒng)一接口，自動(dòng)完成適當(dāng)存儲(chǔ)系統(tǒng)的選擇和操作。
[0095]在本實(shí)施例中，第二、三選擇模塊406進(jìn)一步可包括第一選擇單元4061和/或第二選擇單元4062，其中第一選擇單元4061，用于從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中解析獲取系統(tǒng)標(biāo)識(shí)，根據(jù)系統(tǒng)標(biāo)識(shí)獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)；第二選擇單元4062，用于從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中識(shí)別待存儲(chǔ)數(shù)據(jù)的屬性，根據(jù)所述待存儲(chǔ)數(shù)據(jù)的屬性選擇對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。我們可以選擇分布式對象存儲(chǔ)系統(tǒng)、分布式塊存儲(chǔ)系統(tǒng)或者分布式文件系統(tǒng)中的其中一個(gè)，也可以選擇其中兩個(gè)等。所述待存儲(chǔ)數(shù)據(jù)為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果。
[0096]注意，上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會(huì)理解，本發(fā)明不限于這里所述的特定實(shí)施例，對本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會(huì)脫離本發(fā)明的保護(hù)范圍。因此，雖然通過以上實(shí)施例對本發(fā)明進(jìn)行了較為詳細(xì)的說明，但是本發(fā)明不僅僅限于以上實(shí)施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實(shí)施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。
【權(quán)利要求】
1.一種數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于，所述方法包括: 根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)； 根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲(chǔ)系統(tǒng)； 將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，且將產(chǎn)生的處理結(jié)果存儲(chǔ)到第三存儲(chǔ)系統(tǒng)中； 從第三存儲(chǔ)系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果； 從所述第二存儲(chǔ)系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲(chǔ)系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于: 所述第一存儲(chǔ)系統(tǒng)、第二存儲(chǔ)系統(tǒng)及第三存儲(chǔ)系統(tǒng)的類型相同或不同，為下述存儲(chǔ)系統(tǒng)中的任意一個(gè):分布式對象存儲(chǔ)系統(tǒng)、分布式塊存儲(chǔ)系統(tǒng)和分布式文件系統(tǒng)。
3.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于，根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)包括: 根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址，基于類Map/Reduce計(jì)算框架計(jì)算目標(biāo)數(shù)據(jù)第一存儲(chǔ)系統(tǒng)和第二存儲(chǔ)系統(tǒng)的映射關(guān)系，根據(jù)所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)到第二存儲(chǔ)系統(tǒng)。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于，還包括: 通過統(tǒng)一應(yīng)用程序編程接口接收用戶的統(tǒng)一數(shù)據(jù)存儲(chǔ)請求； 根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)； 根據(jù)獲取的至少一個(gè)存儲(chǔ)系統(tǒng)，基于設(shè)定轉(zhuǎn)換規(guī)則，將所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換為各所述存儲(chǔ)系統(tǒng)對應(yīng)的至少一個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)請求； 根據(jù)所述系統(tǒng)數(shù)據(jù)存儲(chǔ)請求將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)到對應(yīng)的各存儲(chǔ)系統(tǒng)中。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于，根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)包括: 從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中解析獲取系統(tǒng)標(biāo)識(shí)，根據(jù)系統(tǒng)標(biāo)識(shí)獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)； 從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中識(shí)別待存儲(chǔ)數(shù)據(jù)的屬性，根據(jù)所述待存儲(chǔ)數(shù)據(jù)的屬性選擇對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。
6.一種數(shù)據(jù)業(yè)務(wù)處理裝置，其特征在于，所述裝置包括: 數(shù)據(jù)讀取模塊，用于根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲(chǔ)系統(tǒng)中存儲(chǔ)的原數(shù)據(jù)中讀取待處理數(shù)據(jù)； 第一選擇模塊，用于根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲(chǔ)系統(tǒng)； 數(shù)據(jù)處理模塊，用于將所述待處理數(shù)據(jù)存儲(chǔ)到第二存儲(chǔ)系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計(jì)算處理，且將產(chǎn)生的處理結(jié)果存儲(chǔ)到第三存儲(chǔ)系統(tǒng)中； 響應(yīng)結(jié)果獲取模塊，用于從第三存儲(chǔ)系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果； 數(shù)據(jù)刪除模塊，用于從所述第二存儲(chǔ)系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲(chǔ)系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)業(yè)務(wù)處理裝置，其特征在于: 所述第一存儲(chǔ)系統(tǒng)、第二存儲(chǔ)系統(tǒng)及第三存儲(chǔ)系統(tǒng)的類型相同或不同，為下述存儲(chǔ)系統(tǒng)中的任意一個(gè):分布式對象存儲(chǔ)系統(tǒng)、分布式塊存儲(chǔ)系統(tǒng)和分布式文件系統(tǒng)。
8.根據(jù)權(quán)利要求6或7所述的數(shù)據(jù)業(yè)務(wù)處理裝置，其特征在于，數(shù)據(jù)讀取模塊包括: 目標(biāo)數(shù)據(jù)地址獲取單元，用于獲取接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址； 映射關(guān)系獲取單元，用于獲取類Map/Reduce計(jì)算框架計(jì)算目標(biāo)數(shù)據(jù)在第一存儲(chǔ)系統(tǒng)和第二存儲(chǔ)系統(tǒng)之間的映射關(guān)系； 數(shù)據(jù)讀取單元，用于根據(jù)所述目標(biāo)數(shù)據(jù)地址，基于所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)到第二存儲(chǔ)系統(tǒng)。
9.根據(jù)權(quán)利要求6所述的數(shù)據(jù)業(yè)務(wù)處理裝置，其特征在于，還包括: 數(shù)據(jù)請求接收模塊，用于通過統(tǒng)一應(yīng)用程序編程接口接收用戶的統(tǒng)一數(shù)據(jù)存儲(chǔ)請求；第二選擇模塊，用于根據(jù)所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)； 數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換模塊，用于根據(jù)獲取的至少一個(gè)存儲(chǔ)系統(tǒng)，基于設(shè)定轉(zhuǎn)換規(guī)則，將所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求轉(zhuǎn)換為各所述存儲(chǔ)系統(tǒng)對應(yīng)的至少一個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)請求； 第三選擇模塊，用于根據(jù)所述系統(tǒng)數(shù)據(jù)存儲(chǔ)請求獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)； 數(shù)據(jù)存儲(chǔ)模塊，用于根據(jù)所`述系統(tǒng)數(shù)據(jù)存儲(chǔ)請求將待存儲(chǔ)數(shù)據(jù)存儲(chǔ)到對應(yīng)的各存儲(chǔ)系統(tǒng)中。
10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)業(yè)務(wù)處理裝置，其特征在于，第二選擇模塊、第三選擇模塊都包括: 第一選擇單元，用于從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中解析獲取系統(tǒng)標(biāo)識(shí)，根據(jù)系統(tǒng)標(biāo)識(shí)獲取待存儲(chǔ)數(shù)據(jù)所對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)； 第二選擇單元，用于從所述統(tǒng)一數(shù)據(jù)存儲(chǔ)請求中識(shí)別待存儲(chǔ)數(shù)據(jù)的屬性，根據(jù)所述待存儲(chǔ)數(shù)據(jù)的屬性選擇對應(yīng)的至少一個(gè)存儲(chǔ)系統(tǒng)。
【文檔編號(hào)】G06F17/30GK103559247SQ201310522861
【公開日】2014年2月5日 申請日期:2013年10月29日 優(yōu)先權(quán)日:2013年10月29日
【發(fā)明者】鄭馳, 劉文學(xué), 李成金 申請人:北京華勝天成科技股份有限公司