面向云計(jì)算環(huán)境的分層存儲系統(tǒng)中的數(shù)據(jù)遷移方法
【專利摘要】本發(fā)明公開了一種面向云計(jì)算環(huán)境的分層存儲系統(tǒng)中的數(shù)據(jù)遷移方法，所述分層存儲系統(tǒng)包括在線業(yè)務(wù)平臺和大數(shù)據(jù)平臺，所述數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)并且在所述在線業(yè)務(wù)平臺與所述大數(shù)據(jù)平臺之間進(jìn)行遷移，所述方法包括：確定待遷移的數(shù)據(jù)的類型；以及根據(jù)所述數(shù)據(jù)的類型而在所述在線業(yè)務(wù)平臺與所述大數(shù)據(jù)平臺之間進(jìn)行遷移，其中，在確定待遷移的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時，采用MapReduce架構(gòu)來實(shí)現(xiàn)并行遷移，而在確定待遷移的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)時，采用FTP方式來實(shí)現(xiàn)并行遷移。
【專利說明】面向云計(jì)算環(huán)境的分層存儲系統(tǒng)中的數(shù)據(jù)遷移方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及分層存儲技術(shù)，更具體來說，涉及一種面向云計(jì)算環(huán)境的分層存儲系 統(tǒng)中的數(shù)據(jù)遷移方法。

【背景技術(shù)】
[0002] 在現(xiàn)有的大多數(shù)應(yīng)用場景中，一個應(yīng)用系統(tǒng)包含自身的一套業(yè)務(wù)系統(tǒng)、備份系統(tǒng) 和歸檔系統(tǒng)。多系統(tǒng)情況下，由于平臺較多，系統(tǒng)的管理比較復(fù)雜，而且很容易造成容量空 間的浪費(fèi)，對每個系統(tǒng)的存儲能力做出了限制。
[0003] 在當(dāng)前方案下，如果一個企業(yè)的系統(tǒng)較多，則管理員要同時負(fù)責(zé)多個系統(tǒng)的維護(hù) 工作，并且為每個系統(tǒng)設(shè)計(jì)備份系統(tǒng)和歸檔系統(tǒng)，并且隨著業(yè)務(wù)數(shù)據(jù)的增多，要定期的做數(shù) 據(jù)備份歸檔，數(shù)據(jù)備份和歸檔系統(tǒng)要求具有一定的可擴(kuò)展性，一般業(yè)務(wù)之間的存儲空間不 能共用，造成有的系統(tǒng)空間使用較多，有些系統(tǒng)的空間利用率反而很低。如果需要查詢很久 以前的數(shù)據(jù)，需要將歸檔系統(tǒng)中的數(shù)據(jù)進(jìn)行數(shù)據(jù)恢復(fù)，數(shù)據(jù)量較大的時候成本較高，而且不 容易找到所需數(shù)據(jù)。
[0004] 由上可見，現(xiàn)有系統(tǒng)不能很好地滿足多應(yīng)用系統(tǒng)統(tǒng)一管理，不能合理地使用空間。


【發(fā)明內(nèi)容】

[0005] 為解決上述問題，本發(fā)明提供了一種面向云計(jì)算的分層存儲系統(tǒng)。所述系統(tǒng)具有 高吞吐量、高安全性、高可靠性和可擴(kuò)展性，滿足了對多項(xiàng)業(yè)務(wù)數(shù)據(jù)的高性能、透明的數(shù)據(jù) 遷移要求。
[0006] 根據(jù)本發(fā)明的一個方面，提供了一種面向云計(jì)算環(huán)境的分層存儲系統(tǒng)中的數(shù)據(jù)遷 移方法，所述分層存儲系統(tǒng)包括在線業(yè)務(wù)平臺和大數(shù)據(jù)平臺，所述數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和 非結(jié)構(gòu)化數(shù)據(jù)并且在所述在線業(yè)務(wù)平臺與所述大數(shù)據(jù)平臺之間進(jìn)行遷移，所述方法包括： 確定待遷移的數(shù)據(jù)的類型；以及根據(jù)所述數(shù)據(jù)的類型而在所述在線業(yè)務(wù)平臺與所述大數(shù)據(jù) 平臺之間進(jìn)行遷移，其中，在確定待遷移的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時，采用MapReduce架構(gòu)來實(shí) 現(xiàn)并行遷移，而在確定待遷移的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)時，采用FTP方式來實(shí)現(xiàn)并行遷移。
[0007] 在上述數(shù)據(jù)遷移方法中，所述在線業(yè)務(wù)平臺配置成存儲近期的數(shù)據(jù)，而所述大數(shù) 據(jù)平臺配置成存儲長時期的業(yè)務(wù)數(shù)據(jù)。
[0008] 在上述數(shù)據(jù)遷移方法中，采用MapReduce架構(gòu)來實(shí)現(xiàn)并行遷移包括：獲取待轉(zhuǎn)移 的數(shù)據(jù)源和約束參數(shù)；收集配置信息并且根據(jù)所述配置信息來相應(yīng)地設(shè)置所述MapReduce 架構(gòu)中的任務(wù)的配置信息；以及調(diào)用所述任務(wù)來進(jìn)行數(shù)據(jù)遷移。
[0009] 在上述數(shù)據(jù)遷移方法中，所述約束參數(shù)包含映射的個數(shù)要求。
[0010] 在上述數(shù)據(jù)遷移方法中，所述任務(wù)的配置信息包括輸入地址、輸出地址、映射器所 使用類、輸入數(shù)據(jù)的格式以及輸出數(shù)據(jù)的格式。
[0011] 在上述數(shù)據(jù)遷移方法中，采用FTP方式來實(shí)現(xiàn)并行遷移包括：獲取配置文件，其中 所述配置文件包含數(shù)據(jù)遷移源數(shù)據(jù)文件夾地址、并發(fā)過程所采用的線程數(shù)量、遷移目的數(shù) 據(jù)文件夾地址以及數(shù)據(jù)遷移后文件的命名方式；對所述配置文件進(jìn)行解析；根據(jù)解析后的 配置文件，建立FTP連接。
[0012] 在上述數(shù)據(jù)遷移方法中，采用FTP方式來實(shí)現(xiàn)并行遷移還包括：在對所述配置文 件進(jìn)行解析后，判斷所要遷移的文件列表是否為空；其中，如果為空，則結(jié)束遷移，反之則啟 動配置文件中指定個數(shù)的線程數(shù)進(jìn)行數(shù)據(jù)遷移。
[0013] 在上述數(shù)據(jù)遷移方法中，采用FTP方式來實(shí)現(xiàn)并行遷移還包括：在建立FTP連接 后，判斷遷移是否成功；其中如果成功，則結(jié)束數(shù)據(jù)遷移，反之則將遷移錯誤信息打印到日 志文件中。
[0014] 本發(fā)明的技術(shù)方案通過采用一個大數(shù)據(jù)平臺完成了多個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)備份，簡 化了系統(tǒng)管理復(fù)雜性，提高了系統(tǒng)空間使用率，能夠?qū)崿F(xiàn)在線業(yè)務(wù)平臺和大數(shù)據(jù)平臺之間 的自動數(shù)據(jù)遷移。遷移的數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，采用了并發(fā)式的數(shù)據(jù)遷移 模式以滿足系統(tǒng)對遷移的性能要求。

【專利附圖】

【附圖說明】
[0015] 在參照附圖閱讀了本發(fā)明的【具體實(shí)施方式】以后，本領(lǐng)域技術(shù)人員將會更清楚地了 解本發(fā)明的各個方面。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是：這些附圖僅僅用于配合具體實(shí)施方 式說明本發(fā)明的技術(shù)方案，而并非意在對本發(fā)明的保護(hù)范圍構(gòu)成限制。
[0016] 圖1是根據(jù)本發(fā)明的一個實(shí)施例的面向云計(jì)算存儲系統(tǒng)結(jié)構(gòu)示意圖； 圖2是根據(jù)本發(fā)明的一個實(shí)施例的面向云計(jì)算存儲系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)遷移流程圖； 圖3是根據(jù)本發(fā)明的一個實(shí)施例的面向云計(jì)算存儲系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)遷移流程圖。

【具體實(shí)施方式】
[0017] 下面介紹的是本發(fā)明的多個可能實(shí)施例中的一些，旨在提供對本發(fā)明的基本了 解，并不旨在確認(rèn)本發(fā)明的關(guān)鍵或決定性的要素或限定所要保護(hù)的范圍。容易理解，根據(jù)本 發(fā)明的技術(shù)方案，在不變更本發(fā)明的實(shí)質(zhì)精神下，本領(lǐng)域的一般技術(shù)人員可以提出可相互 替換的其它實(shí)現(xiàn)方式。因此，以下【具體實(shí)施方式】以及附圖僅是對本發(fā)明的技術(shù)方案的示例 性說明，而不應(yīng)當(dāng)視為本發(fā)明的全部或者視為對本發(fā)明技術(shù)方案的限定或限制。
[0018] 圖示提供的實(shí)例提供了面向云計(jì)算的分層存儲系統(tǒng)結(jié)構(gòu)圖和動態(tài)遷移數(shù)據(jù)的實(shí) 現(xiàn)機(jī)制。分層存儲系統(tǒng)包含了在線業(yè)務(wù)平臺和大數(shù)據(jù)平臺，兩個數(shù)據(jù)平臺保存了不同生命 周期的數(shù)據(jù)，近期的數(shù)據(jù)保存在在線業(yè)務(wù)平臺上，長期的數(shù)據(jù)保存在大數(shù)據(jù)平臺上。兩個平 臺間數(shù)據(jù)的遷移包含了結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。
[0019] 如將進(jìn)一步描述，結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)遷移采取的方法是不同的。對于結(jié) 構(gòu)化數(shù)據(jù)遷移采用MapReduce架構(gòu)，對于非結(jié)構(gòu)化數(shù)據(jù)遷移則采用FTP方式。數(shù)據(jù)遷移充 分考慮并發(fā)性，確保遷移性能。
[0020] 下面結(jié)合實(shí)施例和附圖對本發(fā)明進(jìn)行詳細(xì)說明。
[0021] 根據(jù)本發(fā)明的一個實(shí)施例，本發(fā)明公開了一種基于hadoop的分層存儲系統(tǒng)。
[0022] Hadoop是一種分布式系統(tǒng)基礎(chǔ)架構(gòu)，其由Apache基金會開發(fā)。用戶可以在不了解 分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運(yùn)算和存儲。Hadoop 實(shí)現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System)，簡稱HDFS。HDFS有著高 容錯性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的硬件上。而且它提供高傳輸率來訪問應(yīng)用程序 的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。
[0023] Hadoop有許多元素構(gòu)成。其最底部是分布式文件系統(tǒng)HDFS，它存儲了 Hadoop集 群中所有存儲節(jié)點(diǎn)上的文件。HDFS的上一層是MapReduce引擎。MapReduce本身就是用于 并行處理大數(shù)據(jù)集的軟件框架。MapReduce的根源是函數(shù)性編程中的map和reduce函數(shù)。 它由兩個可能包含有許多實(shí)例的操作組成。Map函數(shù)接受一組數(shù)據(jù)并將其轉(zhuǎn)換為一個鍵/ 值對列表，輸入域中的每個元素對應(yīng)一個鍵/值對。Reduce函數(shù)接受Map函數(shù)生成的列表， 然后根據(jù)它們的鍵(為每個鍵生成一個鍵/值對）縮小鍵/值對列表。
[0024] 如圖1所示，所述的分層存儲系統(tǒng)包含了由103和104組成的在線業(yè)務(wù)平臺存儲 系統(tǒng)和106組成的大數(shù)據(jù)平臺存儲系統(tǒng)。所述的在線業(yè)務(wù)平臺系統(tǒng)提供了如101所示的業(yè) 務(wù)，包含了移動支付服務(wù)、持卡人服務(wù)、商戶服務(wù)/收單服務(wù)，聯(lián)合營銷、電子票據(jù)、互聯(lián)網(wǎng) 支付等業(yè)務(wù)。102是在線業(yè)務(wù)平臺之上的虛擬機(jī)層。105是大數(shù)據(jù)存儲平臺之上所提供的 服務(wù)，包含了歷史數(shù)據(jù)查詢、數(shù)據(jù)挖掘功能，并且作為數(shù)據(jù)歸檔備份系統(tǒng)。
[0025] 所述的107的過程即在線業(yè)務(wù)平臺向大數(shù)據(jù)平臺的數(shù)據(jù)遷移的過程，包含了結(jié)構(gòu) 化數(shù)據(jù)遷移和非結(jié)構(gòu)化數(shù)據(jù)遷移。所述的結(jié)構(gòu)化數(shù)據(jù)主要是關(guān)系型數(shù)據(jù)庫所存儲的數(shù)據(jù)； 所述的非結(jié)構(gòu)化數(shù)據(jù)主要是電子票據(jù)、系統(tǒng)日志等。數(shù)據(jù)的生命期指數(shù)據(jù)從產(chǎn)生到要求遷 移到大數(shù)據(jù)平臺歸檔備份的時間窗口，即在線業(yè)務(wù)平臺數(shù)據(jù)的有效性時間段。
[0026] 本發(fā)明所述的分層次存儲系統(tǒng)，可以極大簡化系統(tǒng)的管理成本。多個業(yè)務(wù)平臺系 統(tǒng)的備份系統(tǒng)和歸檔系統(tǒng)統(tǒng)一為一個，有效的提高了存儲空間的使用，不需為每個系統(tǒng)分 配合理的數(shù)據(jù)存儲空間?，F(xiàn)有大數(shù)據(jù)平臺上多業(yè)務(wù)平臺數(shù)據(jù)共用存儲空間，減少空間的浪 費(fèi)，有效提升空間利用率。數(shù)據(jù)遷移的功能自動化實(shí)現(xiàn)，無需管理員管理。最大化的并行化 數(shù)據(jù)遷移，提升數(shù)據(jù)遷移性能，減少對在線業(yè)務(wù)平臺業(yè)務(wù)的影響。
[0027] 參考圖2,將在線業(yè)務(wù)平臺關(guān)系型數(shù)據(jù)遷移到大數(shù)據(jù)平臺上可采用MapReduce架 構(gòu)并行實(shí)行。如圖2所示，該過程可包括如下 ： Q1，準(zhǔn)備遷移數(shù)據(jù)； Q2,輸入所要轉(zhuǎn)移數(shù)據(jù)源和其他的約束參數(shù)；其中，所述數(shù)據(jù)源包含了各類結(jié)構(gòu)化數(shù)據(jù) 庫，包括MySQL，DB2, Oracle等，指明具體所要遷移的表名稱；所述其他的約束參數(shù)，包含映 射（map)的個數(shù)要求； Q3, Q4,開始數(shù)據(jù)遷移功能； Q5,收集所有的配置信息并且復(fù)制； Q6,根據(jù)配置信息，配置MapReduce的任務(wù)（job)的配置信息； Q7?Q11，設(shè)置MapReduce的任務(wù)（job)的輸入地址，輸出地址，映射器（Mapper)所使用 類，輸入數(shù)據(jù)的格式，輸出數(shù)據(jù)的格式； Q12~Q13,調(diào)用映射（map)任務(wù)開始進(jìn)行數(shù)據(jù)遷移，將源地址的數(shù)據(jù)復(fù)制到目的地址； Q14,結(jié)構(gòu)化數(shù)據(jù)遷移過程結(jié)束。
[0028] 如上所述，對結(jié)構(gòu)化數(shù)據(jù)采用MapReduce架構(gòu)并行地進(jìn)行遷移。遷移后的數(shù)據(jù)可 以保存在HBase、Hive和HDFS中，可以指定數(shù)據(jù)的存儲方式和存儲位置。數(shù)據(jù)遷移過程 即將大量的數(shù)據(jù)復(fù)制到Hadoop，復(fù)制工作由集群并行運(yùn)行的映射（map)任務(wù)完成。采用 MapReduce的架構(gòu)可以將數(shù)據(jù)并行復(fù)制，加快數(shù)據(jù)的遷移速度。
[0029] 進(jìn)一步優(yōu)化，結(jié)構(gòu)化數(shù)據(jù)遷移的過程中可以采用資源調(diào)度算法進(jìn)行負(fù)載均衡，檢 查現(xiàn)有磁盤的負(fù)載使用情況。如果磁盤10已經(jīng)超過了一定閾值，則認(rèn)為此tasktracker的 10負(fù)載很重，則不再將映射（map)任務(wù)分配給這個tasktracker。
[0030] 由此，結(jié)構(gòu)化數(shù)據(jù)遷移有效地利用MapReduce架構(gòu)從而完成并發(fā)數(shù)據(jù)遷移。
[0031] 參考圖3,將在線業(yè)務(wù)平臺非關(guān)系型數(shù)據(jù)（非結(jié)構(gòu)化數(shù)據(jù)）遷移到大數(shù)據(jù)平臺上可 采用FTP架構(gòu)來并行實(shí)行增量式數(shù)據(jù)遷移。該過程可包括如下： R1，開始遷移數(shù)據(jù)； R2,獲取配置文件；其中，所述配置文件包含了數(shù)據(jù)遷移源數(shù)據(jù)文件夾地址，并發(fā)過程 所采用的線程數(shù)量，遷移目的數(shù)據(jù)文件夾地址，數(shù)據(jù)遷移后文件的命名方式； R3對配置文件進(jìn)行解析； R4配置文件格式正確，進(jìn)一步獲取所要遷移的文件的列表，文件格式不正確，則結(jié)束數(shù) 據(jù)遷移過程； R5,判斷所要遷移的文件列表是否為空，如果為空，則不需要進(jìn)行數(shù)據(jù)遷移，結(jié)束遷移， 反之，啟動配置文件中指定個數(shù)的線程數(shù)進(jìn)行數(shù)據(jù)遷移； R6,根據(jù)配置文件信息，建立FTP連接；判斷遷移是否成功，如果成功，則結(jié)束數(shù)據(jù)遷移 過程，反之，將遷移錯誤信息打印到日志文件中； R7,結(jié)束遷移。
[0032] 可見，非結(jié)構(gòu)化數(shù)據(jù)遷移有效地利用FTP服務(wù)器來完成并發(fā)數(shù)據(jù)遷移。在一個實(shí) 施方式中，遷移后的數(shù)據(jù)存放在HDFS中指定的目錄之下。
[0033] 進(jìn)一步優(yōu)化，非結(jié)構(gòu)化數(shù)據(jù)遷移過程中可采用增量數(shù)據(jù)遷移方法，同步在線業(yè)務(wù) 平臺和大數(shù)據(jù)平臺的時間，將已經(jīng)超過生命期的在線業(yè)務(wù)平臺上的數(shù)據(jù)遷移到大數(shù)據(jù)平 臺，從而減少在線業(yè)務(wù)平臺的成本。
[0034] 綜上所述，本發(fā)明通過采用一個大數(shù)據(jù)平臺完成了多個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)備份，簡 化了系統(tǒng)管理復(fù)雜性，提高了系統(tǒng)空間使用率，能夠?qū)崿F(xiàn)在線業(yè)務(wù)平臺和大數(shù)據(jù)平臺之間 的自動數(shù)據(jù)遷移。遷移的數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，采用了并發(fā)式的數(shù)據(jù)遷移 模式以滿足系統(tǒng)對遷移的性能要求。
[0035] 上文中，參照附圖描述了本發(fā)明的【具體實(shí)施方式】。但是，本領(lǐng)域中的普通技術(shù)人員 能夠理解，在不偏離本發(fā)明的精神和范圍的情況下，還可以對本發(fā)明的【具體實(shí)施方式】作各 種變更和替換。這些變更和替換都落在本發(fā)明權(quán)利要求書所限定的范圍內(nèi)。
【權(quán)利要求】
1. 一種面向云計(jì)算環(huán)境的分層存儲系統(tǒng)中的數(shù)據(jù)遷移方法，其特征在于，所述分層存 儲系統(tǒng)包括在線業(yè)務(wù)平臺和大數(shù)據(jù)平臺，所述數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)并且在 所述在線業(yè)務(wù)平臺與所述大數(shù)據(jù)平臺之間進(jìn)行遷移，所述方法包括： 確定待遷移的數(shù)據(jù)的類型；以及 根據(jù)所述數(shù)據(jù)的類型而在所述在線業(yè)務(wù)平臺與所述大數(shù)據(jù)平臺之間進(jìn)行遷移，其中， 在確定待遷移的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時，采用MapReduce架構(gòu)來實(shí)現(xiàn)并行遷移，而在確定待 遷移的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)時，采用FTP方式來實(shí)現(xiàn)并行遷移。
2. 如權(quán)利要求1所述的數(shù)據(jù)遷移方法，其中，所述在線業(yè)務(wù)平臺配置成存儲近期的數(shù) 據(jù)，而所述大數(shù)據(jù)平臺配置成存儲長時期的業(yè)務(wù)數(shù)據(jù)。
3. 如權(quán)利要求1所述的數(shù)據(jù)遷移方法，其中，采用MapReduce架構(gòu)來實(shí)現(xiàn)并行遷移包 括： 獲取待轉(zhuǎn)移的數(shù)據(jù)源和約束參數(shù)； 收集配置信息并且根據(jù)所述配置信息來相應(yīng)地設(shè)置所述MapReduce架構(gòu)中的任務(wù)的 配置信息；以及 調(diào)用所述任務(wù)來進(jìn)行數(shù)據(jù)遷移。
4. 如權(quán)利要求3所述的數(shù)據(jù)遷移方法，其中，所述約束參數(shù)包含映射的個數(shù)要求。
5. 如權(quán)利要求3所述的數(shù)據(jù)遷移方法，其中，所述任務(wù)的配置信息包括輸入地址、輸 出地址、映射器所使用類、輸入數(shù)據(jù)的格式以及輸出數(shù)據(jù)的格式。
6. 如權(quán)利要求1所述的數(shù)據(jù)遷移方法，其中，采用FTP方式來實(shí)現(xiàn)并行遷移包括： 獲取配置文件，其中所述配置文件包含數(shù)據(jù)遷移源數(shù)據(jù)文件夾地址、并發(fā)過程所采用 的線程數(shù)量、遷移目的數(shù)據(jù)文件夾地址以及數(shù)據(jù)遷移后文件的命名方式； 對所述配置文件進(jìn)行解析； 根據(jù)解析后的配置文件，建立FTP連接。
7. 如權(quán)利要求6所述的數(shù)據(jù)遷移方法，其中，采用FTP方式來實(shí)現(xiàn)并行遷移還包括： 在對所述配置文件進(jìn)行解析后，判斷所要遷移的文件列表是否為空； 其中，如果為空，則結(jié)束遷移，反之則啟動配置文件中指定個數(shù)的線程數(shù)進(jìn)行數(shù)據(jù)遷 移。
8. 如權(quán)利要求6所述的數(shù)據(jù)遷移方法，其中，采用FTP方式來實(shí)現(xiàn)并行遷移還包括： 在建立FTP連接后，判斷遷移是否成功； 其中如果成功，則結(jié)束數(shù)據(jù)遷移，反之則將遷移錯誤信息打印到日志文件中。
9. 如權(quán)利要求1所述的方法，其中，在結(jié)構(gòu)化數(shù)據(jù)遷移的過程中可以采用資源調(diào)度算 法進(jìn)行負(fù)載均衡。
10. 如權(quán)利要求1所述的方法，其中，在非結(jié)構(gòu)化數(shù)據(jù)遷移的過程中可以采用增量數(shù) 據(jù)遷移方法，同步所述在線業(yè)務(wù)平臺和所述大數(shù)據(jù)平臺的時間，將已經(jīng)超過生命期的在線 業(yè)務(wù)平臺上的數(shù)據(jù)遷移到大數(shù)據(jù)平臺。
【文檔編號】G06F17/30GK104065685SQ201310093809
【公開日】2014年9月24日 申請日期:2013年3月22日 優(yōu)先權(quán)日:2013年3月22日
【發(fā)明者】劉磊, 何東杰, 何朔, 魯志軍 申請人:中國銀聯(lián)股份有限公司