專利名稱：用于擴(kuò)展無共享系統(tǒng)的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及在無共享系統(tǒng)中的數(shù)字?jǐn)?shù)據(jù)的存儲和檢索。更具體地，本發(fā)明涉及一種采用最小服務(wù)中斷來擴(kuò)展無共享系統(tǒng)的技術(shù)。
背景技術(shù)：
附圖1中示出了本領(lǐng)域中已知的無共享網(wǎng)絡(luò)100。所述無共享網(wǎng)絡(luò)100或體系結(jié)構(gòu)100包括主節(jié)點(diǎn)102和一組無共享節(jié)點(diǎn)104_A至104_H。每個無共享節(jié)點(diǎn)104具有它自己的專用存儲器、磁盤和輸入/輸出設(shè)備，并獨(dú)立于體系結(jié)構(gòu)100中的其他節(jié)點(diǎn)運(yùn)行。每個節(jié)點(diǎn)自給自足，在整個網(wǎng)絡(luò)中無共享。因此，在整個系統(tǒng)中沒有爭論的焦點(diǎn)并沒有共享系統(tǒng)資源。本體系結(jié)構(gòu)的優(yōu)點(diǎn)是它具有高擴(kuò)展性。數(shù)據(jù)庫系統(tǒng)將數(shù)據(jù)存儲在分布在無共享節(jié)點(diǎn)中的表中。通過將每個數(shù)據(jù)(例如，每個記錄或每行)分配到節(jié)點(diǎn)之一來存儲數(shù)據(jù)。數(shù)據(jù)通常根據(jù)兩種方式之一分配給節(jié)點(diǎn)。一種方法是散列分布，使用散列函數(shù)映射數(shù)據(jù)到節(jié)點(diǎn)。另一個方法是以循環(huán)或隨機(jī)方式將數(shù)據(jù)分配至節(jié)點(diǎn)。散列計(jì)算得出的部分?jǐn)?shù)據(jù)被稱為分布鍵。分布鍵可以是復(fù)合鍵，也就是包含一行中的幾個列。散列分布產(chǎn)生均勻的數(shù)據(jù)分布和具有相同分布鍵的協(xié)同定位記錄(也就是指具有相同分布鍵的記錄被分配至相同的節(jié)點(diǎn))。協(xié)同定位數(shù)據(jù)經(jīng)常被用于連接操作，連接操作中來自不同數(shù)據(jù)庫表的數(shù)據(jù)被合并。在查詢工作負(fù)載中，連接操作通常是成本最高的操作。通常通過選用連接列作為分布鍵，連接在每個節(jié)點(diǎn)的基礎(chǔ)上被執(zhí)行，而無需在處理步驟之間在節(jié)點(diǎn)中再分布數(shù)據(jù)。表的所有行都是使用相同的分布鍵進(jìn)行分布。單獨(dú)的表通常選擇不同的分布鍵。節(jié)點(diǎn)被增加至無共享系統(tǒng)用來容納更多的數(shù)據(jù)或額外的查詢工作負(fù)載。當(dāng)新的節(jié)點(diǎn)加至系統(tǒng)，數(shù)據(jù)需要被再分布。數(shù)據(jù)再分布通常需要單個數(shù)據(jù)的審查和位置的再分配。再評估大型數(shù)據(jù)的每一行需耗費(fèi)大量時(shí)間，例如再分配數(shù)千萬TB字節(jié)的數(shù)據(jù)要花費(fèi)數(shù)日。因此，當(dāng)需要增加一個節(jié)點(diǎn)至無共享系統(tǒng)時(shí)，通常的做法就是安排幾天的宕機(jī)時(shí)間。這就需要降低與擴(kuò)大無共享數(shù)據(jù)存儲相關(guān)的停機(jī)時(shí)間。

發(fā)明內(nèi)容
一種包括可執(zhí)行指令用于評估擴(kuò)展無共享數(shù)據(jù)存儲配置的方法和計(jì)算機(jī)可讀存儲介質(zhì)。形成具有特定參數(shù)的數(shù)據(jù)再分布安排表。數(shù)據(jù)根據(jù)數(shù)據(jù)再分布安排表在擴(kuò)展的無共享數(shù)據(jù)存儲中再分布。


結(jié)合下面詳細(xì)的說明以及相關(guān)的附圖，本發(fā)明能夠得到更好的理解:附圖1圖示了本領(lǐng)域中已知的無共享網(wǎng)絡(luò)體系結(jié)構(gòu)。附圖2圖示了無共享網(wǎng)絡(luò)的主節(jié)點(diǎn)在本發(fā)明一實(shí)施例中的應(yīng)用。
附圖3圖示了無共享網(wǎng)絡(luò)的無共享節(jié)點(diǎn)在本發(fā)明一實(shí)施例中的應(yīng)用。附圖4圖示了有關(guān)擴(kuò)展鑒別器的處理操作在本發(fā)明一實(shí)施例中的應(yīng)用。附圖5圖示了安排表在本發(fā)明有關(guān)實(shí)施例中的應(yīng)用。附圖6圖示了依據(jù)本發(fā)明一實(shí)施例的表再分布操作的執(zhí)行。相同的標(biāo)號代表多個附圖中的視圖的對應(yīng)部分。
具體實(shí)施例方式圖2示出了主節(jié)點(diǎn)202配置為執(zhí)行本發(fā)明的操作。主節(jié)點(diǎn)202具有標(biāo)準(zhǔn)元件，例如一個或多個CPU210_A到210_N。所述CPU通過總線214連接到輸入/輸出設(shè)備212。輸入/輸出設(shè)備212可以包括標(biāo)準(zhǔn)元件，例如鍵盤、鼠標(biāo)、顯示器、打印機(jī)等等。網(wǎng)絡(luò)接口電路216也連接至總線214上，使得主節(jié)點(diǎn)202在聯(lián)網(wǎng)環(huán)境中進(jìn)行操作。存儲器220同樣連接至總線214上。存儲器220用于存儲執(zhí)行本發(fā)明實(shí)施例的可執(zhí)行指令。尤其是，存儲器220存儲擴(kuò)展鑒別器222。所述擴(kuò)展鑒別器222包括用于估計(jì)增加至無共享系統(tǒng)的一個或多個節(jié)點(diǎn)的可執(zhí)行指令?；谝延械暮驮黾拥墓?jié)點(diǎn)性能屬性，擴(kuò)展鑒別器222形成一個具有參數(shù)的數(shù)據(jù)再分布安排表224，存儲在存儲器220中。用戶可以訪問表224用來重新配置數(shù)據(jù)再分布任務(wù)和/或用來追蹤數(shù)據(jù)再分布任務(wù)的進(jìn)度。圖3示出了無共享節(jié)點(diǎn)304在本發(fā)明一實(shí)施例中的應(yīng)用。所述無共享節(jié)點(diǎn)304也包括標(biāo)準(zhǔn)元件，例如一組CPU310A_到310_N連接至總線314。一組輸入/輸出設(shè)備312也連接至總線314。網(wǎng)絡(luò)接口電路316同樣連接至總線314，為網(wǎng)絡(luò)提供連通性。存儲器320也連接至總線314。存儲器320包括用于執(zhí)行本發(fā)明的操作的數(shù)據(jù)和可執(zhí)行指令。尤其是，存儲器320包括具有可執(zhí)行指令的再分布模塊322，所述可執(zhí)行指令用來在無共享數(shù)據(jù)庫段324中再分布數(shù)據(jù)。所述再分布模塊322根據(jù)數(shù)據(jù)再分布安排表來分布數(shù)據(jù)。圖4示出了處理操作在本發(fā)明一實(shí)施例中的應(yīng)用。新的無共享數(shù)據(jù)存數(shù)配置被402估計(jì)。這可以用擴(kuò)展鑒別器222執(zhí)行。具有特定參數(shù)的數(shù)據(jù)再分布安排表隨后形成404。這一操作同樣也可以用擴(kuò)展鑒別器222執(zhí)行。數(shù)據(jù)隨后在無共享系統(tǒng)406中被再分布。位于單個節(jié)點(diǎn)的再分布模塊322可被用于執(zhí)行該操作。圖5不出了根據(jù)本發(fā)明一實(shí)施例配置的數(shù)據(jù)再分布安排表500。表500包括列502用來指明需要被遷移的不同的表。表500還包括列504指明優(yōu)先級，所述優(yōu)先級應(yīng)該被歸因于表的遷移。因此，例如頻繁使用的表可能被分配為高的優(yōu)先級。表500也指明了平行度506。平行度表征源表的數(shù)量，所述源表能夠同時(shí)再分布。表500也可以具有一個或多個時(shí)間列508。時(shí)間列可以為數(shù)據(jù)遷移任務(wù)指示起始時(shí)間。時(shí)間列508還可以指示任務(wù)被執(zhí)行的持續(xù)時(shí)間(例如，從午夜到早上六點(diǎn)連續(xù)幾日直到完成)。圖5示出的表500中可以包括一進(jìn)度列510。進(jìn)度信息表征數(shù)據(jù)遷移任務(wù)完成的百分比。最終，表500還可以包括一個完成列512，用以指示數(shù)據(jù)遷移任務(wù)是否完成。如前所述，擴(kuò)展鑒別器222可以被用于形成表500。優(yōu)選地，表可以被管理員進(jìn)行編輯。例如，表被管理員更好地編輯以改變參數(shù)，如，優(yōu)先級、平行度和時(shí)間。定期查詢工具，如SQL可以被用于改變表的參數(shù)。圖6示出了被再分布模塊222執(zhí)行的操作。在一個實(shí)施例中，再分布模塊602生成一個對應(yīng)于已有表602的目標(biāo)表。例如，目標(biāo)表在系統(tǒng)的新增加的節(jié)點(diǎn)上被形成。目標(biāo)表是原始表定義的復(fù)制，但是不包含任何數(shù)據(jù)，并且相對于其他事務(wù)處理不可見。源表隨后被604鎖定。這就阻止了升級，但是可讀。數(shù)據(jù)從源表中讀出并被再分布至目標(biāo)表606中。這就使得，數(shù)據(jù)被一排排讀出然后被插入目標(biāo)表。當(dāng)數(shù)據(jù)交換完成，源表和目標(biāo)表自動交換。就是說，系統(tǒng)看見新的目標(biāo)表替換了原始源表。表的分布策略對要用到的分布類型進(jìn)行編碼，例如散列或循環(huán)。在散列分布的情形下，分布策略定義分布鍵。優(yōu)選地，每個表的分布被記錄在數(shù)據(jù)庫目錄中(為了簡便，將表和表的部分都稱為表)。在散列分布的情形下，數(shù)據(jù)(一行中的一個或多個列)被用來計(jì)算散列值。散列值映射到節(jié)點(diǎn)，例如基于模操作。優(yōu)選地，分布策略對客戶應(yīng)用程序是透明的，在這種情況下，分布的數(shù)據(jù)可以被客戶以相同的查詢進(jìn)行訪問。根據(jù)應(yīng)用的分布，查詢處理器可以選擇不同的執(zhí)行方案并采用歸因于散列分布的協(xié)同定位。根據(jù)查詢工作負(fù)載，在有關(guān)響應(yīng)時(shí)間和資源占用(例如存儲)方面，其處理隨機(jī)分布數(shù)據(jù)不可能和處理散列分布數(shù)據(jù)一樣高效。本發(fā)明的數(shù)據(jù)遷移可以在最小的宕機(jī)時(shí)間下執(zhí)行。在一個實(shí)施例中，系統(tǒng)僅在初始化階段脫機(jī)。在初始化階段，形成數(shù)據(jù)目錄，并將從已有數(shù)據(jù)庫的有關(guān)所有用戶表的信息定義在新的節(jié)點(diǎn)上。這一過程在擴(kuò)展模式中為每個表獲取用于狀態(tài)追蹤的元數(shù)據(jù)。作為初始化過程的一部分，用于所有表的策略被設(shè)置為隨機(jī)分布(即散列分布策略是無效的)。在初始化完成之后，用戶可以繼續(xù)訪問數(shù)據(jù)庫，并且系統(tǒng)恢復(fù)聯(lián)機(jī)。聯(lián)機(jī)時(shí)，數(shù)據(jù)的完整性得以保障，正常運(yùn)行，例如ETL作業(yè)，支持用戶查詢和報(bào)告。只有當(dāng)表正在遷移時(shí)，每個表或表的部分不能進(jìn)行寫入操作，例如當(dāng)表正被再分布時(shí)。因此，本發(fā)明支持以最小的宕機(jī)時(shí)間擴(kuò)展無共享數(shù)據(jù)庫。本發(fā)明根據(jù)一新的映射，再分布單個表以均勻散布原有和增加的節(jié)點(diǎn)的數(shù)據(jù)。當(dāng)數(shù)據(jù)庫系統(tǒng)全面運(yùn)轉(zhuǎn)時(shí)，數(shù)據(jù)再分布可以執(zhí)行。沒有被再分布的數(shù)據(jù)仍然可以進(jìn)行訪問，盡管訪問效率可能會降低。優(yōu)選地，通過將每個數(shù)據(jù)保持在至少兩倍，來保持在再分布過程中的系統(tǒng)容錯。具有特定參數(shù)的數(shù)據(jù)再分布安排表允許管理員修改數(shù)據(jù)遷移任務(wù)。例如，所述表允許管理員賦予頻繁使用的表以優(yōu)先級，以使得它最先被再分布。表還可以被設(shè)置為在特定時(shí)間，例如僅在高峰時(shí)段，執(zhí)行數(shù)據(jù)再分布任務(wù)。平行度也可以被定義為指明一次再分布的表的數(shù)量。本發(fā)明的一個實(shí)施例涉及一種具有計(jì)算機(jī)可讀存儲介質(zhì)計(jì)算機(jī)存儲產(chǎn)品，所述計(jì)算機(jī)可讀存儲介質(zhì)上具有計(jì)算機(jī)代碼用于執(zhí)行不同的計(jì)算機(jī)執(zhí)行操作。所述介質(zhì)和計(jì)算機(jī)代碼可以是那些為本發(fā)明的目的而專門設(shè)計(jì)和構(gòu)造的，或者可以是對本計(jì)算機(jī)軟件領(lǐng)域人員所熟知的可用的介質(zhì)和代碼。例如計(jì)算機(jī)可讀介質(zhì)可包括但不限于:磁性介質(zhì)如硬盤、軟盤和磁帶；光介質(zhì)如⑶-ROM、DVD、和全息設(shè)備、磁光介質(zhì)；以及特別配置為存儲和執(zhí)行程序代碼的硬件設(shè)備，例如專用集成電路(ASIC)，可編程邏輯設(shè)備(PLD)及ROM和RAM設(shè)備。計(jì)算機(jī)代碼例如包括如編譯器產(chǎn)生的機(jī)器代碼，以及被計(jì)算機(jī)用解釋器執(zhí)行的包含更高級別的文件代碼。例如，本發(fā)明的實(shí)施例可以使用JAVA ，C++或其它編程語言和開發(fā)工具。本發(fā)明的另一實(shí)施例可以以硬線電路替代或與機(jī)器可執(zhí)行軟件指令結(jié)合來執(zhí)行。為了說明的目的，說明書在上述中采用了特定的術(shù)語以使本發(fā)明被徹底理解。然而，明顯對于本領(lǐng)域技術(shù)人員來講，為了實(shí)踐本發(fā)明，并不需要某些具體細(xì)節(jié)。因此，本發(fā)明上述的具體實(shí)施例的闡述只是為了說明和描述的目的。并不意圖詳盡或?qū)⒈景l(fā)明限定到公開的精密形式；顯然，上述內(nèi)容可能給出了很多實(shí)施例和變形的啟示。本發(fā)明中選出和描述的實(shí)施例是為了最好地解釋本發(fā)明及其實(shí)際應(yīng)用的理論，因此可被本領(lǐng)域技術(shù)人員可用多種改造對本發(fā)明及其多個實(shí)施例進(jìn)行充分利用。
權(quán)利要求
1.一種計(jì)算機(jī)可讀存儲介質(zhì)，包括可執(zhí)行指令用于: 估計(jì)擴(kuò)展無共享數(shù)據(jù)存儲配置； 形成具有特定參數(shù)的數(shù)據(jù)再分布安排表；及 根據(jù)數(shù)據(jù)再分布安排表，在擴(kuò)展無共享數(shù)據(jù)內(nèi)再分布數(shù)據(jù)。
2.根據(jù)權(quán)利要求1中的計(jì)算機(jī)可讀存儲介質(zhì)，其中所述數(shù)據(jù)再分布安排表識別源表，所述源表具有需被再分布的數(shù)據(jù)。
3.根據(jù)權(quán)利要求2中的計(jì)算機(jī)可讀存儲介質(zhì)，其中所述數(shù)據(jù)再分布安排表為源表識別再分布優(yōu)先級。
4.根據(jù)權(quán)利要求1中的計(jì)算機(jī)可讀存儲介質(zhì)，其中所述數(shù)據(jù)再分布安排表規(guī)定了平行度，所述平行度表征能被同時(shí)再分布的源表的數(shù)量。
5.根據(jù)權(quán)利要求1中的計(jì)算機(jī)可讀存儲介質(zhì)，其中所述數(shù)據(jù)再分布數(shù)據(jù)表規(guī)定了再分布源表的起始時(shí)間。
6.根據(jù)權(quán)利要求1中的計(jì)算機(jī)可讀存儲介質(zhì)，其中所述數(shù)據(jù)再分布分布表規(guī)定了再分布源表的持續(xù)時(shí)間。
7.根據(jù)權(quán)利要求1中的計(jì)算機(jī)可讀存儲介質(zhì)，其中所述數(shù)據(jù)在分布表顯示數(shù)據(jù)再分布進(jìn)程。
8.根據(jù)權(quán)利要求1中的計(jì)算機(jī)可讀存儲介質(zhì)，其中所述數(shù)據(jù)再分布安排表指示數(shù)據(jù)再分布完成狀態(tài)。
9.根據(jù)權(quán)利要求1中的計(jì)算機(jī)可讀存儲介質(zhì)，進(jìn)一步包括在初始化階段將已有表定義復(fù)制至新的無共享系統(tǒng)數(shù)據(jù)存儲資源的可執(zhí)行指令。
10.根據(jù)權(quán)利要求9中的計(jì)算機(jī)可讀存儲介質(zhì)，進(jìn)一步包括在初始化階段用于無效散列分布策略的可執(zhí)行指令。
11.根據(jù)權(quán)利要求1中的計(jì)算機(jī)可讀存儲介質(zhì)，進(jìn)一步包括用于形成數(shù)據(jù)再分布狀態(tài)追蹤的擴(kuò)展模式的可執(zhí)行指令。
12.—種擴(kuò)展無共享系統(tǒng)的方法，包括: 估計(jì)擴(kuò)展無共享數(shù)據(jù)存儲配置； 形成具有特定參數(shù)的數(shù)據(jù)再分布安排表；及 根據(jù)數(shù)據(jù)再分布安排表，在擴(kuò)展無共享數(shù)據(jù)內(nèi)再分布數(shù)據(jù)。
13.根據(jù)權(quán)利要求12中的方法，其中所述數(shù)據(jù)再分布安排表識別源表，所述源表具有需被再分布的數(shù)據(jù)。
14.根據(jù)權(quán)利要求12中的方法，進(jìn)一步包括在初始化階段將已有表定義復(fù)制至新的無共享系統(tǒng)數(shù)據(jù)存儲資源。
15.根據(jù)權(quán)利要求14中的方法，進(jìn)一步包括在初始化階段使散列分布策略無效。
16.根據(jù)權(quán)利要求12中的方法，進(jìn)一步包括形成數(shù)據(jù)再分布狀態(tài)追蹤的擴(kuò)展模式。
全文摘要
本發(fā)明涉及一種包含可執(zhí)行指令的計(jì)算機(jī)可讀存儲介質(zhì)及方法，所述可執(zhí)行指令用于估計(jì)擴(kuò)展的無共享數(shù)據(jù)存儲配置。形成具有特定參數(shù)的數(shù)據(jù)再分布安排表。數(shù)據(jù)在擴(kuò)展的無共享數(shù)據(jù)內(nèi)進(jìn)行再分布，所述數(shù)據(jù)根據(jù)數(shù)據(jù)再分布安排表進(jìn)行存儲。
文檔編號G06F12/00GK103180835SQ201180036769
公開日2013年6月26日 申請日期2011年5月17日 優(yōu)先權(quán)日2010年5月26日
發(fā)明者布萊恩·哈根布什, 加文·謝里, 杰弗瑞·艾爾·科恩, 克里斯·佩德羅第, 約翰·埃謝爾曼, 弗洛萊恩·邁克爾·華倫, 喬·杰·肯特 申請人:伊姆西公司