跨集群數(shù)據(jù)遷移方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明實施例提供一種跨集群數(shù)據(jù)遷移方法和系統(tǒng)。通過使源集群的各子節(jié)點停止數(shù)據(jù)操作，以及將源集群的分布式數(shù)據(jù)庫的內(nèi)存中的數(shù)據(jù)持久化，能夠?qū)崿F(xiàn)遷移前源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)持久化；通過對源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表進行壓縮，能夠減小數(shù)據(jù)傳送量，將源集群的分布式數(shù)據(jù)庫中的壓縮后的數(shù)據(jù)表遷移至目標(biāo)集群中，提高了遷移效率；然后通過將遷移前的源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的存儲空間大小及總文件塊數(shù)，與遷移后的目標(biāo)集群的數(shù)據(jù)表占有的存儲空間大小和總文件塊數(shù)進行匹配，能夠根據(jù)匹配結(jié)果驗證遷移的完整性。
【專利說明】跨集群數(shù)據(jù)遷移方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明實施例涉及數(shù)據(jù)庫【技術(shù)領(lǐng)域】，尤其涉及一種跨集群數(shù)據(jù)遷移方法和系統(tǒng)。

【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，用戶量的激增，數(shù)據(jù)存儲數(shù)量呈指數(shù)遞增，傳統(tǒng)的單庫存儲技術(shù)無法滿足海量數(shù)據(jù)的存取需求，HDFS (Hadoop Distributed File System,分布式文件系統(tǒng))和分布式數(shù)據(jù)庫應(yīng)用而生。
[0003]HBase (Hadoop Database，分布式數(shù)據(jù)庫)是一種可擴展的、面向列存儲的分布式數(shù)據(jù)庫，利用HDFS作為文件存儲系統(tǒng)，以數(shù)據(jù)表的形式存儲數(shù)據(jù)，能在普通硬件環(huán)境基礎(chǔ)上支撐十億量級行、百萬量級列的大型數(shù)據(jù)表，并支持對這種規(guī)模的數(shù)據(jù)進行隨機存儲和讀取操作。由于具有高可靠性、高可擴展性、支持隨機存取以及支持MapReduce (映射化簡)并行計算，因此得到了廣泛應(yīng)用。其中，Hadoop是一個由“Apache”基金會開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力實現(xiàn)高速運算和海量數(shù)據(jù)的存取。
[0004]實際應(yīng)用過程中，不可避免地涉及數(shù)據(jù)遷移，尤其是當(dāng)線上某個HBase集群需要下線，或者機房維護搬遷的時候，都會面臨海量數(shù)據(jù)遷移的緊迫任務(wù)，即把老集群的數(shù)據(jù)表遷移到新集群中繼續(xù)為接入業(yè)務(wù)方提供海量數(shù)據(jù)存取服務(wù)。
[0005]現(xiàn)有的數(shù)據(jù)遷移技術(shù)，通常采用Hadoop的數(shù)據(jù)拷貝組件進行分布式拷貝，從而達到將一個集群中的數(shù)據(jù)表遷移到新集群的目的。當(dāng)數(shù)據(jù)拷貝完成后，啟動新集群相關(guān)服務(wù)進程。
[0006]上述數(shù)據(jù)遷移技術(shù)存在的缺陷在于:無法保證遷移后數(shù)據(jù)的完整性；遷移耗時嚴(yán)格依賴于遷移數(shù)據(jù)的規(guī)模，導(dǎo)致遷移所用時間很難控制，如果集群間網(wǎng)絡(luò)帶寬有限，同時遷移數(shù)據(jù)又多，很難保證在短暫的遷移窗口完成遷移工作，也即遷移效率低。


【發(fā)明內(nèi)容】

[0007]本發(fā)明實施例提供一種跨集群數(shù)據(jù)遷移方法和系統(tǒng)，以確保跨集群數(shù)據(jù)遷移的完整性和高效性。
[0008]第一方面，本發(fā)明實施例提供了一種跨集群數(shù)據(jù)遷移方法，包括:
[0009]源集群的主控節(jié)點調(diào)用停止命令控制源集群的各子節(jié)點停止數(shù)據(jù)操作；
[0010]源集群的主控節(jié)點利用源集群的分布式數(shù)據(jù)庫的清空緩沖區(qū)組件，將所述分布式數(shù)據(jù)庫內(nèi)存中的數(shù)據(jù)持久化到分布式文件系統(tǒng)HDFS中；
[0011]源集群的主控節(jié)點控制對源集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表，采用設(shè)定的壓縮算法進行壓縮；
[0012]源集群的主控節(jié)點統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)；
[0013]源集群的主控節(jié)點基于預(yù)先獲取的目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，將源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至所述目標(biāo)集群的分布式數(shù)據(jù)庫中；
[0014]如果獲取到源集群的映射化簡進程的網(wǎng)頁管理界面返回的數(shù)據(jù)遷移完成消息，則目標(biāo)集群的主控節(jié)點統(tǒng)計目標(biāo)集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表占有的對應(yīng)的HDFS的第二存儲空間大小和第二總文件塊數(shù)，并將所述第二存儲空間大小和第二總文件塊數(shù)與所述第一存儲空間大小和所述第一總文件塊數(shù)匹配；
[0015]如果匹配成功，則目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓；
[0016]目標(biāo)集群的主控節(jié)點基于啟動策略，啟動所述目標(biāo)集群。
[0017]第二方面，本發(fā)明實施例還提供了一種跨集群數(shù)據(jù)遷移系統(tǒng)，包括源集群和目標(biāo)集群，所述源集群包括主控節(jié)點和至少一個子節(jié)點，所述目標(biāo)集群包括主控節(jié)點和至少一個子節(jié)點；
[0018]所述源集群的主控節(jié)點包括:
[0019]停止模塊，用于調(diào)用停止命令控制源集群的各子節(jié)點停止數(shù)據(jù)操作；
[0020]持久化模塊，用于利用源集群的分布式數(shù)據(jù)庫的清空緩沖區(qū)組件，將所述分布式數(shù)據(jù)庫內(nèi)存中的數(shù)據(jù)持久化到分布式文件系統(tǒng)HDFS中；
[0021]壓縮模塊，用于對源集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表，采用設(shè)定的壓縮算法進行壓縮；
[0022]統(tǒng)計模塊，用于統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)；
[0023]遷移模塊，用于基于預(yù)先獲取的目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，將源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至所述目標(biāo)集群的分布式數(shù)據(jù)庫中；
[0024]所述目標(biāo)集群的主控節(jié)點包括:
[0025]統(tǒng)計模塊，用于如果獲取到源集群的映射化簡進程的網(wǎng)頁管理界面返回的數(shù)據(jù)遷移完成消息，則統(tǒng)計目標(biāo)集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表占有的對應(yīng)的HDFS的第二存儲空間大小和第二總文件塊數(shù)，并將所述第二存儲空間大小和第二總文件塊數(shù)與所述第一存儲空間大小和所述第一總文件塊數(shù)匹配；
[0026]解壓模塊，用于如果匹配成功，則采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓；
[0027]啟動模塊,用于基于啟動策略,啟動所述目標(biāo)集群。
[0028]本發(fā)明實施例提供的跨集群數(shù)據(jù)遷移方法和系統(tǒng)，通過使源集群的各子節(jié)點停止數(shù)據(jù)操作，以及將源集群的分布式數(shù)據(jù)庫的內(nèi)存中的數(shù)據(jù)持久化，能夠?qū)崿F(xiàn)遷移前源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)持久化；通過對源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表進行壓縮，能夠減小數(shù)據(jù)傳送量，將源集群的分布式數(shù)據(jù)庫中的壓縮后的數(shù)據(jù)表遷移至目標(biāo)集群中，提高了遷移效率；然后通過將遷移前的源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的存儲空間大小及總文件塊數(shù)，與遷移后的目標(biāo)集群的數(shù)據(jù)表占有的存儲空間大小和總文件塊數(shù)進行匹配，能夠根據(jù)匹配結(jié)果驗證遷移的完整性。

【專利附圖】

【附圖說明】
[0029]為了更清楚地說明本發(fā)明，下面將對本發(fā)明中所需要使用的附圖做一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0030]圖1為本發(fā)明實施例一提供的一種跨集群數(shù)據(jù)遷移方法的流程圖；
[0031]圖2為本發(fā)明實施例三提供的一種跨集群數(shù)據(jù)遷移方法的流程圖；
[0032]圖3a為本發(fā)明實施例四提供的一種跨集群數(shù)據(jù)遷移系統(tǒng)中源集群的主控節(jié)點的結(jié)構(gòu)示意圖；
[0033]圖3b為本發(fā)明實施例四提供的一種跨集群數(shù)據(jù)遷移系統(tǒng)中目標(biāo)集群的主控節(jié)點的結(jié)構(gòu)示意圖。

【具體實施方式】
[0034]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施例中的技術(shù)方案作進一步詳細(xì)描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?？梢岳斫獾氖?，此處所描述的具體實施例僅用于解釋本發(fā)明，而非對本發(fā)明的限定，基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。
[0035]實施例一
[0036]請參閱圖1，為本發(fā)明實施例一提供的一種跨集群數(shù)據(jù)遷移方法的流程圖。本發(fā)明實施例的方法適用于跨集群數(shù)據(jù)遷移系統(tǒng)，該系統(tǒng)包括源集群和目標(biāo)集群，所述源集群包括主控節(jié)點和至少一個子節(jié)點，所述目標(biāo)集群包括主控節(jié)點和至少一個子節(jié)點。其中，源集群的主控節(jié)點和至少一個子節(jié)點形成HDFS，源集群中存儲有待遷移的數(shù)據(jù)表；目標(biāo)集群的主控節(jié)點和至少一個子節(jié)點也可形成HDFS，用于遷移存儲源集群中的數(shù)據(jù)表。
[0037]該方法包括:
[0038]步驟110、源集群的主控節(jié)點調(diào)用停止命令控制源集群的各子節(jié)點停止數(shù)據(jù)操作；
[0039]本步驟具體是通過將源集群的各子節(jié)點停止數(shù)據(jù)操作，使得遷移前各節(jié)點中的數(shù)據(jù)持久化。具體地，可以通知各子節(jié)點對應(yīng)的業(yè)務(wù)方停止數(shù)據(jù)寫入或者讀取操作，然后調(diào)用停止命令使源集群的各子節(jié)點停止數(shù)據(jù)操作。當(dāng)然，也可以直接調(diào)用停止命令使源集群的各子節(jié)點停止數(shù)據(jù)操作。
[0040]步驟120、源集群的主控節(jié)點利用源集群的分布式數(shù)據(jù)庫的清空緩沖區(qū)組件，將所述分布式數(shù)據(jù)庫內(nèi)存中的數(shù)據(jù)持久化到HDFS中；
[0041]本步驟具體是將源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)持久化。
[0042]其中所述清空緩沖區(qū)組件用于將暫存在所述分布式數(shù)據(jù)庫的內(nèi)存中的數(shù)據(jù)持久化到HDFS的磁盤中。
[0043]步驟130、源集群的主控節(jié)點控制對源集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表，采用設(shè)定的壓縮算法進行壓縮；
[0044]本步驟具體是對源集群中的待遷移的數(shù)據(jù)表進行壓縮。具體地，可以通過查看各數(shù)據(jù)表的壓縮狀態(tài)，對未進行壓縮的數(shù)據(jù)表進行壓縮，具體可以采用LZO (Lempel-Ziv-Oberhumer)壓縮算法、SNAPPY壓縮算法或其他壓縮算法。
[0045]其中，LZO壓縮算法是一種高壓縮比和解壓速度極快的壓縮算法，為無損壓縮，也即壓縮后的數(shù)據(jù)能準(zhǔn)確還原。SNAPPY壓縮算法是一個用于壓縮和解壓縮的開發(fā)包，旨在提供高速壓縮速度和合理的壓縮率。
[0046]分布式數(shù)據(jù)庫利用HDFS作為文件存儲系統(tǒng)，以數(shù)據(jù)表的形式存儲數(shù)據(jù)，能在普通硬件環(huán)境基礎(chǔ)上支撐十億量級行、百萬量級列的大型數(shù)據(jù)表，因此通過對待遷移的數(shù)據(jù)表進行壓縮，能夠有效減少數(shù)據(jù)傳輸率，有利于提高數(shù)據(jù)遷移效率。
[0047]步驟140、源集群的主控節(jié)點統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)；
[0048]本步驟中，源集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表作為待遷移的數(shù)據(jù)表，可以存儲在該分布式數(shù)據(jù)庫的根目錄中，由于源集群的分布式數(shù)據(jù)庫利用HDFS作為文件存儲系統(tǒng)，因此基于HDFS形成了磁盤存儲空間，該磁盤存儲空間是源集群的各子節(jié)點的磁盤存儲空間的總和，所述數(shù)據(jù)表在所述HDFS的磁盤存儲空間中所占用的存儲空間即為所述第一存儲空間。
[0049]由于待遷移的數(shù)據(jù)表存儲的數(shù)據(jù)量非常大，實際存儲過程中，對所述待遷移的數(shù)據(jù)表采用的是分布式存儲，也即將所述待遷移的數(shù)據(jù)表進行分塊，形成多個文件塊，將不同的文件塊存儲在源集群的不同子節(jié)點的磁盤中。所述第一總文件塊數(shù)是指待遷移的數(shù)據(jù)表對應(yīng)的文件塊的塊數(shù)的總和。
[0050]步驟150、源集群的主控節(jié)點基于預(yù)先獲取的目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，將源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至所述目標(biāo)集群的分布式數(shù)據(jù)庫中；
[0051]本步驟具體是將源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至目標(biāo)集群的分布式數(shù)據(jù)庫中。
[0052]需要說明的是，步驟110中只是停止源集群的分布式數(shù)據(jù)庫提供的數(shù)據(jù)存取服務(wù)，而源集群的HDFS的服務(wù)仍正常運行。
[0053]還需要說明的是，根據(jù)目標(biāo)集群所包含的節(jié)點的IP地址和主機名的映射關(guān)系，源集群的主控節(jié)點能夠找到目標(biāo)集群的HDFS，從而基于所述映射關(guān)系，能夠?qū)崿F(xiàn)源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至目標(biāo)集群的HDFS中，由于目標(biāo)集群的分布式數(shù)據(jù)庫利用HDFS作為文件存儲系統(tǒng)，從而能夠?qū)崿F(xiàn)源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至目標(biāo)集群的分布式數(shù)據(jù)庫中。
[0054]步驟160、如果獲取到源集群的MapReduce (映射化簡)進程的網(wǎng)頁管理界面返回的數(shù)據(jù)遷移完成消息，則目標(biāo)集群的主控節(jié)點統(tǒng)計目標(biāo)集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表占有的對應(yīng)的HDFS的第二存儲空間大小和第二總文件塊數(shù)，并將所述第二存儲空間大小和第二總文件塊數(shù)與所述第一存儲空間大小和所述第一總文件塊數(shù)匹配；
[0055]本步驟具體是在監(jiān)測到所述數(shù)據(jù)表遷移完成之后，首先統(tǒng)計目標(biāo)集群的分布式數(shù)據(jù)庫的數(shù)據(jù)表占有的對應(yīng)的HDFS的第二存儲空間大小和第二總文件塊數(shù)，然后將所述第二存儲空間大小與所述第一存儲空間大小進行比對，并將第二總文件塊數(shù)與所述第一總文件塊數(shù)進行比對。
[0056]本步驟中所述第二存儲空間大小和所述第二總文件塊數(shù)與所述第一存儲空間大小和所述第一總文件塊數(shù)類似，此處不再贅述。
[0057]其中，MapReduce是一種實現(xiàn)分布式并行計算任務(wù)的通用編程模型，用于處理大規(guī)模數(shù)據(jù)的并行運算。通過MapReduce進程的網(wǎng)頁管理界面可以監(jiān)測具體的遷移情況，例如，實時遷移速度、遷移百分比、估計剩余時間和已遷移數(shù)據(jù)的描述信息等。
[0058]步驟170、如果匹配成功，則目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓；
[0059]本步驟中匹配成功是指遷移前的源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小與遷移后所占用的目標(biāo)集群的HDFS的第二存儲空間大小一致，以及遷移前的總文件塊數(shù)與遷移后的總文件塊數(shù)一致，也即所述匹配成功即為源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表被完整地遷移到了目標(biāo)集群的分布式數(shù)據(jù)庫中。
[0060]本步驟具體是在數(shù)據(jù)表完整遷移之后，解壓遷移至目標(biāo)集群中數(shù)據(jù)表。
[0061]步驟180、目標(biāo)集群的主控節(jié)點基于啟動策略,啟動所述目標(biāo)集群。
[0062]本步驟具體是啟動所述目標(biāo)集群，以使所述目標(biāo)集群的各節(jié)點正常工作。
[0063]本實施例的技術(shù)方案，通過使源集群的各子節(jié)點停止數(shù)據(jù)操作，以及將源集群的分布式數(shù)據(jù)庫的內(nèi)存中的數(shù)據(jù)持久化，能夠?qū)崿F(xiàn)遷移前源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)持久化；通過對源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表進行壓縮，能夠減小數(shù)據(jù)傳送量，將源集群的分布式數(shù)據(jù)庫中的壓縮后的數(shù)據(jù)表遷移至目標(biāo)集群中，提高了遷移效率；然后通過將遷移前的源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的存儲空間大小及總文件塊數(shù)，與遷移后的目標(biāo)集群的數(shù)據(jù)表占有的存儲空間大小和總文件塊數(shù)進行匹配，能夠根據(jù)匹配結(jié)果驗證遷移的完整性。
[0064]實施例二
[0065]本實施例在上述實施例的基礎(chǔ)上，在源集群的主控節(jié)點統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)之前，還包括:
[0066]源集群的主控節(jié)點利用源集群的分布式數(shù)據(jù)庫的完整文件合并組件，清除所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中符合預(yù)設(shè)清除策略的數(shù)據(jù)表。
[0067]本步驟具體是在對待遷移的數(shù)據(jù)表進行壓縮之后，清除所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的失效的數(shù)據(jù)表，以進一步減少遷移的數(shù)據(jù)量，提高遷移效率。
[0068]其中，所述預(yù)設(shè)清除策略可以有多種實現(xiàn)方式，例如包括下述至少一種:
[0069]將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的帶有刪除標(biāo)識的數(shù)據(jù)表作為待清除的數(shù)據(jù)表；
[0070]將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的達到生存時間的數(shù)據(jù)表作為待清除的數(shù)據(jù)表；
[0071]需要說明的是，可以根據(jù)需要預(yù)先設(shè)置數(shù)據(jù)表的生存時間，根據(jù)數(shù)據(jù)表的生存時間淘汰過期的數(shù)據(jù)表。以電子商務(wù)平臺為例，通常，會根據(jù)促銷活動的持續(xù)時間設(shè)置對應(yīng)的數(shù)據(jù)表的生存時間，例如30天、7天、或特定的某一天中的某個時段，如店慶這一天從早上10點到晚上10點，在店慶結(jié)束時，生存時間針對此次店慶的數(shù)據(jù)表即為過期的數(shù)據(jù)表，通過清除過期的數(shù)據(jù)表，有利于節(jié)省存儲空間和提高遷移效率。
[0072]將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的最大版本數(shù)大于門限值的數(shù)據(jù)表作為待清除的數(shù)據(jù)表。
[0073]需要說明的是，可以根據(jù)需要預(yù)先設(shè)置數(shù)據(jù)表的最大版本數(shù)，通常設(shè)置為3。對于更新比較頻繁的數(shù)據(jù)表可以設(shè)置為1，從而能夠快速地淘汰失效的數(shù)據(jù)表，有利于節(jié)省存儲空間和提聞遷移效率。
[0074]本實施例的技術(shù)方案，在對遷移前源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)進行持久化之后，對待遷移的數(shù)據(jù)表進行壓縮，能夠減小傳輸?shù)臄?shù)據(jù)量，并且通過清除所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的失效的數(shù)據(jù)表，能夠進一步減少遷移的數(shù)據(jù)量，將源集群的分布式數(shù)據(jù)庫中的經(jīng)過壓縮和清除操作的數(shù)據(jù)表遷移至目標(biāo)集群中，提高了遷移效率；通過將遷移前的源集群的分布式數(shù)據(jù)庫的數(shù)據(jù)表所占用的存儲空間大小及總文件塊數(shù)，與遷移后的目標(biāo)集群的數(shù)據(jù)表占有的存儲空間大小和總文件塊數(shù)進行匹配，能夠根據(jù)匹配結(jié)果驗證遷移的完整性。
[0075]在上述方案中，可以通過調(diào)用源集群的分布式數(shù)據(jù)庫命令行接口觸發(fā)清空緩沖區(qū)組件和完整文件合并組件。
[0076]其中，命令行接口是操作系統(tǒng)與用戶的交互界面。在Linux操作系統(tǒng)中，稱命令行接口為shell，其作用主要是為用戶提供服務(wù)，如接收來自鍵盤的輸入數(shù)據(jù)，或在屏幕上顯示執(zhí)行結(jié)果等。
[0077]在上述方案中，在目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓之前，還優(yōu)選包括:
[0078]目標(biāo)集群的主控節(jié)點調(diào)用目標(biāo)集群中的一致性檢測組件，檢測目標(biāo)集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表的一致性；
[0079]如果一致，則觸發(fā)目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓。
[0080]需要說明的是，檢測數(shù)據(jù)表的一致性是指檢測數(shù)據(jù)表的描述信息與目標(biāo)集群的HDFS中真實存在的數(shù)據(jù)表的屬性信息是否一致。如果一致，則觸發(fā)目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓；如果不一致，則利用所述一致性檢測組件進行修復(fù)。本步驟是在進行數(shù)據(jù)表遷移完整性驗證之后的補充驗證，可以提高遷移至目標(biāo)集群中的數(shù)據(jù)表的一致性。
[0081]實施例三
[0082]請參閱圖2，為本發(fā)明實施例三提供的一種跨集群數(shù)據(jù)遷移方法的流程圖。本實施例在上述各實施例的基礎(chǔ)上，提供了目標(biāo)集群的主控節(jié)點基于啟動策略，啟動所述目標(biāo)集群的優(yōu)選方案。該優(yōu)選方法包括:
[0083]步驟210、目標(biāo)集群的主控節(jié)點調(diào)用啟動命令啟動目標(biāo)集群；
[0084]步驟220、如果目標(biāo)集群的分布式數(shù)據(jù)庫關(guān)聯(lián)的日志文件中不存在錯誤日志信息或警告日志信息，則目標(biāo)集群的主控節(jié)點調(diào)用目標(biāo)集群的分布式數(shù)據(jù)庫中的整體健康度檢查組件，查看目標(biāo)集群的整體健康度；
[0085]本步驟具體是查看目標(biāo)集群所包含的節(jié)點中的與分布式數(shù)據(jù)庫關(guān)聯(lián)的日志文件，如果存在錯誤日志信息或警告日志信息，則根據(jù)提示調(diào)用目標(biāo)集群的分布式數(shù)據(jù)庫的相關(guān)組件解決問題；如果不存在錯誤日志信息或警告日志信息，則利用目標(biāo)集群的分布式數(shù)據(jù)庫的健康度檢查組件，查看目標(biāo)集群的整體健康度。
[0086]其中，查看目標(biāo)集群的整體健康度包括查看目標(biāo)集群的數(shù)據(jù)表是否處于正常狀態(tài)。
[0087]步驟230、目標(biāo)集群的主控節(jié)點調(diào)用分布式數(shù)據(jù)庫的命令行接口將所述數(shù)據(jù)表的狀態(tài)置為使能狀態(tài)。
[0088]本步驟具體是根據(jù)步驟220中的目標(biāo)集群的整體健康度的檢測結(jié)果，使目標(biāo)集群中的數(shù)據(jù)表的狀態(tài)維持在“使能”的正常狀態(tài)。
[0089]本實施例的技術(shù)方案,通過在啟動目標(biāo)集群之后,查看目標(biāo)集群所包含的節(jié)點中的與分布式數(shù)據(jù)庫關(guān)聯(lián)的日志文件，如果存在錯誤日志信息或警告日志信息，則根據(jù)提示調(diào)用目標(biāo)集群的分布式數(shù)據(jù)庫的相關(guān)組件解決問題；如果不存在錯誤日志信息或警告日志信息，則利用目標(biāo)集群的分布式數(shù)據(jù)庫的健康度檢查組件，查看目標(biāo)集群的整體健康度；并基于目標(biāo)集群的整體健康度的檢測結(jié)果，使目標(biāo)集群中的數(shù)據(jù)表的狀態(tài)維持在“使能”的正常狀態(tài)，從而使目標(biāo)集群中的數(shù)據(jù)表能夠提供正常的存取服務(wù)。
[0090]在上述方案中，在通過目標(biāo)集群的分布式數(shù)據(jù)庫管理頁面，如果目標(biāo)集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表沒有處于使能狀態(tài)，則目標(biāo)集群的主控節(jié)點調(diào)用分布式數(shù)據(jù)庫的命令行接口將所述數(shù)據(jù)表的狀態(tài)置為使能狀態(tài)之后，還優(yōu)選包括:
[0091]將目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，以及目標(biāo)集群的分布式數(shù)據(jù)庫中的連接信息發(fā)送至業(yè)務(wù)方，并通知所述業(yè)務(wù)方對目標(biāo)集群的數(shù)據(jù)服務(wù)進行驗證。
[0092]實施例四
[0093]請參閱圖3a和圖3b。本發(fā)明實施例四提供一種跨集群數(shù)據(jù)遷移系統(tǒng)，該系統(tǒng)包括:源集群和目標(biāo)集群，所述源集群包括主控節(jié)點和至少一個子節(jié)點，所述目標(biāo)集群包括主控節(jié)點和至少一個子節(jié)點。
[0094]所述源集群的主控節(jié)點包括:停止模塊310、持久化模塊320、壓縮模塊330、統(tǒng)計模塊340和遷移模塊350。
[0095]所述目標(biāo)集群的主控節(jié)點包括:統(tǒng)計模塊360、解壓模塊370和啟動模塊380。
[0096]其中，停止模塊310用于調(diào)用停止命令控制源集群的各子節(jié)點停止數(shù)據(jù)操作；持久化模塊320用于利用源集群的分布式數(shù)據(jù)庫的清空緩沖區(qū)組件，將所述分布式數(shù)據(jù)庫內(nèi)存中的數(shù)據(jù)持久化到HDFS中；壓縮模塊330用于對源集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表，采用設(shè)定的壓縮算法進行壓縮；統(tǒng)計模塊340用于統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)；遷移模塊350用于基于預(yù)先獲取的目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，將源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至所述目標(biāo)集群的分布式數(shù)據(jù)庫中；
[0097]其中，統(tǒng)計模塊360用于如果獲取到源集群的映射化簡進程的網(wǎng)頁管理界面返回的數(shù)據(jù)遷移完成消息，則統(tǒng)計目標(biāo)集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表占有的對應(yīng)的HDFS的第二存儲空間大小和第二總文件塊數(shù)，并將所述第二存儲空間大小和第二總文件塊數(shù)與所述第一存儲空間大小和所述第一總文件塊數(shù)匹配；解壓模塊370用于如果匹配成功，則采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓；啟動模塊380用于基于啟動策略,啟動所述目標(biāo)集群。
[0098]本實施例的技術(shù)方案，通過使源集群的各子節(jié)點停止數(shù)據(jù)操作，以及將源集群的分布式數(shù)據(jù)庫的內(nèi)存中的數(shù)據(jù)持久化，能夠?qū)崿F(xiàn)遷移前源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)持久化；通過對源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表進行壓縮，能夠減小數(shù)據(jù)傳送量，將源集群的分布式數(shù)據(jù)庫中的壓縮后的數(shù)據(jù)表遷移至目標(biāo)集群中，提高了遷移效率；然后通過將遷移前的源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的存儲空間大小及總文件塊數(shù)，與遷移后的目標(biāo)集群的數(shù)據(jù)表占有的存儲空間大小和總文件塊數(shù)進行匹配，能夠根據(jù)匹配結(jié)果驗證遷移的完整性。
[0099]在上述方案中，所述源集群的主控節(jié)點還優(yōu)選包括:清除模塊，用于在統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)之前，利用源集群的分布式數(shù)據(jù)庫的完整文件合并組件，清除所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中符合預(yù)設(shè)清除策略的數(shù)據(jù)表。
[0100]在上述方案中，所述預(yù)設(shè)清除策略包括下述至少一項:
[0101]將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的帶有刪除標(biāo)識的數(shù)據(jù)表作為待清除的數(shù)據(jù)表；
[0102]將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的達到生存時間的數(shù)據(jù)表作為待清除的數(shù)據(jù)表；
[0103]將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的最大版本數(shù)大于門限值的數(shù)據(jù)表作為待清除的數(shù)據(jù)表。
[0104]在上述方案中，所述持久化模塊310具體用于通過調(diào)用源集群的分布式數(shù)據(jù)庫命令行接口觸發(fā)清空緩沖區(qū)組件，將所述分布式數(shù)據(jù)庫內(nèi)存中的數(shù)據(jù)持久化到分布式文件系統(tǒng)HDFS中；所述清除模塊，具體用于在統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)之前，通過調(diào)用源集群的分布式數(shù)據(jù)庫命令行接口觸發(fā)完整文件合并組件，清除所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中符合預(yù)設(shè)清除策略的數(shù)據(jù)表。
[0105]在上述方案中，所述目標(biāo)集群的主控節(jié)點還優(yōu)選包括:一致性檢測模塊，用于在采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓之前，調(diào)用目標(biāo)集群中的一致性檢測組件，檢測目標(biāo)集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表的一致性；如果一致，則觸發(fā)目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓。
[0106]在上述方案中，所述啟動模塊390優(yōu)選包括:啟動單元、整體健康度檢測單元和數(shù)據(jù)表狀態(tài)設(shè)置單元。
[0107]其中，啟動單元用于調(diào)用啟動命令啟動目標(biāo)集群；整體健康度檢測單元用于如果目標(biāo)集群的分布式數(shù)據(jù)庫關(guān)聯(lián)的日志文件中不存在錯誤日志信息或警告日志信息，則調(diào)用目標(biāo)集群的分布式數(shù)據(jù)庫中的整體健康度檢查組件，查看目標(biāo)集群的整體健康度；數(shù)據(jù)表狀態(tài)設(shè)置單元用于調(diào)用分布式數(shù)據(jù)庫的命令行接口將所述數(shù)據(jù)表的狀態(tài)置為使能狀態(tài)。
[0108]在上述方案中，所述啟動模塊390還可以包括:數(shù)據(jù)服務(wù)驗證單元，用于在通過目標(biāo)集群的分布式數(shù)據(jù)庫管理頁面，如果目標(biāo)集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表沒有處于使能狀態(tài)，則調(diào)用分布式數(shù)據(jù)庫的命令行接口將所述數(shù)據(jù)表的狀態(tài)置為使能狀態(tài)之后，將目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，以及目標(biāo)集群的分布式數(shù)據(jù)庫中的連接信息發(fā)送至業(yè)務(wù)方，并通知所述業(yè)務(wù)方對目標(biāo)集群的數(shù)據(jù)服務(wù)進行驗證。
[0109]本發(fā)明實施例提供的跨集群數(shù)據(jù)遷移系統(tǒng)中源集群的主控節(jié)點和目標(biāo)集群的主控節(jié)點可執(zhí)行本發(fā)明任意實施例所提供的跨集群數(shù)據(jù)遷移方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。
[0110]最后應(yīng)說明的是:以上各實施例僅用于說明本發(fā)明的技術(shù)方案，而非對其進行限制；實施例中優(yōu)選的實施方式，并非對其進行限制，對于本領(lǐng)域技術(shù)人員而言，本發(fā)明可以有各種改動和變化。凡在本發(fā)明的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種跨集群數(shù)據(jù)遷移方法，其特征在于，包括: 源集群的主控節(jié)點調(diào)用停止命令控制源集群的各子節(jié)點停止數(shù)據(jù)操作； 源集群的主控節(jié)點利用源集群的分布式數(shù)據(jù)庫的清空緩沖區(qū)組件，將所述分布式數(shù)據(jù)庫內(nèi)存中的數(shù)據(jù)持久化到分布式文件系統(tǒng)HDFS中； 源集群的主控節(jié)點控制對源集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表，采用設(shè)定的壓縮算法進行壓縮； 源集群的主控節(jié)點統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)； 源集群的主控節(jié)點基于預(yù)先獲取的目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，將源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至所述目標(biāo)集群的分布式數(shù)據(jù)庫中；如果獲取到源集群的映射化簡進程的網(wǎng)頁管理界面返回的數(shù)據(jù)遷移完成消息，則目標(biāo)集群的主控節(jié)點統(tǒng)計目標(biāo)集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表占有的對應(yīng)的HDFS的第二存儲空間大小和第二總文件塊數(shù)，并將所述第二存儲空間大小和第二總文件塊數(shù)與所述第一存儲空間大小和所述第一總文件塊數(shù)匹配； 如果匹配成功，則目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓； 目標(biāo)集群的主控節(jié)點基于啟動策略，啟動所述目標(biāo)集群。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在源集群的主控節(jié)點統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)之前，還包括: 源集群的主控節(jié)點利用源集群的分布式數(shù)據(jù)庫的完整文件合并組件，清除所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中符合預(yù)設(shè)清除策略的數(shù)據(jù)表。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)清除策略包括下述至少一項: 將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的帶有刪除標(biāo)識的數(shù)據(jù)表作為待清除的數(shù)據(jù)表； 將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的達到生存時間的數(shù)據(jù)表作為待清除的數(shù)據(jù)表； 將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的最大版本數(shù)大于門限值的數(shù)據(jù)表作為待清除的數(shù)據(jù)表。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，通過調(diào)用源集群的分布式數(shù)據(jù)庫命令行接口觸發(fā)清空緩沖區(qū)組件和完整文件合并組件。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓之前，還包括: 目標(biāo)集群的主控節(jié)點調(diào)用目標(biāo)集群中的一致性檢測組件，檢測目標(biāo)集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表的一致性； 如果一致，則觸發(fā)目標(biāo)集群的主控節(jié)點采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓。
6.根據(jù)權(quán)利要求1-5任一所述的方法，其特征在于，目標(biāo)集群的主控節(jié)點基于啟動策略，啟動所述目標(biāo)集群，包括: 目標(biāo)集群的主控節(jié)點調(diào)用啟動命令啟動目標(biāo)集群； 如果目標(biāo)集群的分布式數(shù)據(jù)庫關(guān)聯(lián)的日志文件中不存在錯誤日志信息或警告日志信息，則目標(biāo)集群的主控節(jié)點調(diào)用目標(biāo)集群的分布式數(shù)據(jù)庫中的整體健康度檢查組件，查看目標(biāo)集群的整體健康度； 目標(biāo)集群的主控節(jié)點調(diào)用分布式數(shù)據(jù)庫的命令行接口將所述數(shù)據(jù)表的狀態(tài)置為使能狀態(tài)。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在通過目標(biāo)集群的分布式數(shù)據(jù)庫管理頁面，如果目標(biāo)集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表沒有處于使能狀態(tài)，則目標(biāo)集群的主控節(jié)點調(diào)用分布式數(shù)據(jù)庫的命令行接口將所述數(shù)據(jù)表的狀態(tài)置為使能狀態(tài)之后，還包括: 將目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，以及目標(biāo)集群的分布式數(shù)據(jù)庫中的連接信息發(fā)送至業(yè)務(wù)方，并通知所述業(yè)務(wù)方對目標(biāo)集群的數(shù)據(jù)服務(wù)進行驗證。
8.一種跨集群數(shù)據(jù)遷移系統(tǒng)，包括源集群和目標(biāo)集群，所述源集群包括主控節(jié)點和至少一個子節(jié)點，所述目標(biāo)集群包括主控節(jié)點和至少一個子節(jié)點，其特征在于: 所述源集群的主控節(jié)點包括: 停止模塊，用于調(diào)用停止命令控制源集群的各子節(jié)點停止數(shù)據(jù)操作； 持久化模塊，用于利用源集群的分布式數(shù)據(jù)庫的清空緩沖區(qū)組件，將所述分布式數(shù)據(jù)庫內(nèi)存中的數(shù)據(jù)持久化到分布式文件系統(tǒng)HDFS中； 壓縮模塊，用于對源集群的分布式數(shù)據(jù)庫所包含的數(shù)據(jù)表，采用設(shè)定的壓縮算法進行壓縮； 統(tǒng)計模塊，用于統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)； 遷移模塊，用于基于預(yù)先獲取的目標(biāo)集群所包含的節(jié)點的IP地址與主機名稱的映射關(guān)系，將源集群中分布式數(shù)據(jù)庫中的數(shù)據(jù)表遷移至所述目標(biāo)集群的分布式數(shù)據(jù)庫中； 所述目標(biāo)集群的主控節(jié)點包括: 統(tǒng)計模塊，用于如果獲取到源集群的映射化簡進程的網(wǎng)頁管理界面返回的數(shù)據(jù)遷移完成消息，則統(tǒng)計目標(biāo)集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表占有的對應(yīng)的HDFS的第二存儲空間大小和第二總文件塊數(shù)，并將所述第二存儲空間大小和第二總文件塊數(shù)與所述第一存儲空間大小和所述第一總文件塊數(shù)匹配； 解壓模塊，用于如果匹配成功，則采用與所述設(shè)定的壓縮算法對應(yīng)的解壓算法對遷移至目標(biāo)集群中的數(shù)據(jù)表進行解壓； 啟動模塊，用于基于啟動策略，啟動所述目標(biāo)集群。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述源集群的主控節(jié)點還包括: 清除模塊，用于在統(tǒng)計源集群的分布式數(shù)據(jù)庫中的數(shù)據(jù)表所占用的HDFS的第一存儲空間大小及第一總文件塊數(shù)之前，利用源集群的分布式數(shù)據(jù)庫的完整文件合并組件，清除所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中符合預(yù)設(shè)清除策略的數(shù)據(jù)表。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述預(yù)設(shè)清除策略包括下述至少一項: 將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的帶有刪除標(biāo)識的數(shù)據(jù)表作為待清除的數(shù)據(jù)表； 將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的達到生存時間的數(shù)據(jù)表作為待清除的數(shù)據(jù)表； 將所述源集群的分布式數(shù)據(jù)庫的磁盤存儲空間中的最大版本數(shù)大于門限值的數(shù)據(jù)表作為待清除的數(shù)據(jù)表。
【文檔編號】G06F17/30GK104239493SQ201410455695
【公開日】2014年12月24日 申請日期:2014年9月9日 優(yōu)先權(quán)日:2014年9月9日
【發(fā)明者】黃剛, 何洋 申請人:北京京東尚科信息技術(shù)有限公司, 北京京東世紀(jì)貿(mào)易有限公司