專利名稱：一種應(yīng)用于隨機(jī)存取的元數(shù)據(jù)管理方法及模塊的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種應(yīng)用于隨機(jī)存取的元數(shù)據(jù)管理方法及模塊，該方法應(yīng)用于分布式文件系統(tǒng)的元數(shù)據(jù)服務(wù)器集群管理及其元數(shù)據(jù)管理上，屬于計(jì)算機(jī)科學(xué)與技術(shù)領(lǐng)域。
背景技術(shù)：
近些年來，隨著互聯(lián)網(wǎng)的高速發(fā)展，每天都會產(chǎn)生數(shù)以億計(jì)的數(shù)據(jù)量，分布式文件系統(tǒng)逐漸成為大規(guī)模數(shù)據(jù)存儲的首要選擇。在分布式存儲架構(gòu)中，為了更有效地管理元數(shù)據(jù)和文件數(shù)據(jù)，通常把元數(shù)據(jù)的處理和文件數(shù)據(jù)的訪問分離開來，由元數(shù)據(jù)服務(wù)器管理文件系統(tǒng)命名空間和文件各種屬性，并負(fù)責(zé)向客戶端提供文件訪問權(quán)限和文件存儲位置等信息，同時由數(shù)據(jù)服務(wù)器負(fù)責(zé)存儲文件，并直接處理客戶端對文件數(shù)據(jù)的各種讀寫請求。這樣分離之后，就可以利用分布式文件系統(tǒng)的訪問特性，具體針對系統(tǒng)瓶頸進(jìn)行優(yōu)化，而最近的研究顯示，文件系統(tǒng)中50%-80%的訪問操作對象都是元數(shù)據(jù)，而不是數(shù)量較大的文件數(shù)據(jù)，因此，元數(shù)據(jù)的管理策略對 于系統(tǒng)性能具有至關(guān)重要的影響。元數(shù)據(jù)的管理策略大概可以分為兩類:子樹分割和哈希方法。其中子樹分割策略把分布式文件系統(tǒng)的全局命名空間和目錄層次按照一定策略分割成多棵子樹，每棵子樹都分布到元數(shù)據(jù)服務(wù)器集群中的一臺特定的元數(shù)據(jù)服務(wù)器中，但每臺元數(shù)據(jù)服務(wù)器中可能維護(hù)有一棵或多棵子樹；而哈希方法采用哈希函數(shù)來建立元數(shù)據(jù)存儲索引，意味著元數(shù)據(jù)管理系統(tǒng)利用每個文件和目錄的某個特征(名稱、路徑名等)來計(jì)算哈希值，并根據(jù)這些哈希值把對應(yīng)的文件或目錄分布到某臺元數(shù)據(jù)服務(wù)器中存儲。子樹分割方法在80至90年代的分布式文件系統(tǒng)中使用比較廣泛，如美國Sun公司的Network File System (NFS)和卡內(nèi)基梅隆大學(xué)的Andrew File System (AFS)都是采用的這種元數(shù)據(jù)管理策略。子樹分割方法非常接近人們的直觀思維，實(shí)現(xiàn)起來較為簡單，但缺點(diǎn)也較多，如權(quán)限驗(yàn)證耗時長，不能動態(tài)均衡負(fù)載等。2004年，Lustre分布式文件系統(tǒng)通過普通的哈希函數(shù)計(jì)算文件的上級目錄名的哈希值，把該哈希值作為元數(shù)據(jù)存儲索引值，而90年代末期的VESTA分布式文件系統(tǒng)和RAMA分布式文件系統(tǒng)通過普通的哈希函數(shù)直接計(jì)算文件的全路徑名稱的哈希值作為元數(shù)據(jù)存儲的索引值，這兩種元數(shù)據(jù)管理系統(tǒng)雖用不同的唯一標(biāo)志來計(jì)算哈希值，但都屬于哈希策略。此類策略具有明顯的優(yōu)點(diǎn)，元數(shù)據(jù)在元數(shù)據(jù)服務(wù)器集群中存儲均勻，存取負(fù)載分布均衡，且支持高并發(fā)存取，但同時缺點(diǎn)也是明顯的，當(dāng)客戶端對文件目錄進(jìn)行重命名操作時，元數(shù)據(jù)服務(wù)器需要遷移元數(shù)據(jù)，當(dāng)客戶端訪問文件或目錄時，文件系統(tǒng)要對該文件或目錄的上級目錄進(jìn)行權(quán)限認(rèn)證，而上級目錄可能存放在其他元數(shù)據(jù)服務(wù)器上，所以元數(shù)據(jù)服務(wù)器之間要頻繁地通信以確保用戶具有對文件或目錄的訪問權(quán)限。

發(fā)明內(nèi)容
本發(fā)明“一種應(yīng)用于隨機(jī)存取的元數(shù)據(jù)管理方法及模塊”由三個模塊組成，如圖1所示，分別是傳統(tǒng)哈希策略模塊、名字映射模塊和目錄結(jié)構(gòu)模塊，下面從各模塊的功能、具體實(shí)現(xiàn)以及模塊的執(zhí)行流程來對本發(fā)明做詳細(xì)說明。( I)本發(fā)明各模塊的功能 傳統(tǒng)哈希策略模塊:該發(fā)明的基礎(chǔ)模塊，它由一個哈希函數(shù)組成，該模塊的功能是運(yùn)用哈希函數(shù)對文件或目錄的全路徑計(jì)算哈希值，然后根據(jù)計(jì)算得到的哈希值確定存放文件或目錄的元數(shù)據(jù)的位置。 名字映射模塊:該發(fā)明的特色模塊，它由全路徑分解和名字映射表兩部分組成，所謂全路徑分解就是把文件或目錄的全路徑名分解成一個個單獨(dú)的目錄名和文件名，而名字映射表記載了文件或目錄的原始名和重命名的對應(yīng)關(guān)系。該模塊的功能是完成文件或目錄的重命名到原始名的轉(zhuǎn)換。 目錄結(jié)構(gòu)模塊:該發(fā)明的關(guān)鍵模塊，它由結(jié)構(gòu)化編碼，目錄結(jié)構(gòu)及權(quán)限查詢表以及權(quán)限認(rèn)證三部分組成。結(jié)構(gòu)化編碼是指對文件或目錄的全路徑名等信息進(jìn)行編碼；目錄及權(quán)限查詢表記錄了文件與目錄、目錄與目錄之間的關(guān)聯(lián)信息以及用戶對它們的訪問權(quán)限；權(quán)限認(rèn)證是指判斷用戶對某個文件或目錄是否具有訪問的權(quán)限。該發(fā)明的三個模塊各自具有各自的功能。傳統(tǒng)哈希策略模塊提供了高效的元數(shù)據(jù)訪問方法，名字映射模塊利用名字映射避免了在文件或目錄名字改變時遷移大量元數(shù)據(jù)，目錄結(jié)構(gòu)模塊提供了目錄與目錄、目錄與文件的元數(shù)據(jù)之間的關(guān)聯(lián)信息，避免了元數(shù)據(jù)服務(wù)器在交換元數(shù)據(jù)信息時的頻繁通信。具體功能如下:(2)本發(fā)明中各模塊功能的具體實(shí)現(xiàn)本發(fā)明中的每個模塊功能的實(shí)現(xiàn)是依賴于每個模塊中各組成部分的實(shí)現(xiàn)方法，具體介紹如下:
傳統(tǒng)哈希策略模塊的在實(shí)現(xiàn)上，是由一個哈希函數(shù)對文件或目錄的全路徑名計(jì)算哈希值。 名字映射模塊中的名字映射功能主要依靠名字映射表來實(shí)現(xiàn)，名字映射表主要由兩項(xiàng)組成，一項(xiàng)是文件名，本發(fā)明稱其為原始名，該文件名是在用戶創(chuàng)建文件時記載在表項(xiàng)中，同時也存儲在元數(shù)據(jù)服務(wù)器中，當(dāng)用戶對某個文件或者目錄進(jìn)行重命名時，客戶端查詢名字映射表，當(dāng)發(fā)現(xiàn)重命名處空白時就填入新的名字，當(dāng)重命名處已有名字時，把舊的名字替換為新的名字。 目錄結(jié)構(gòu)模塊的實(shí)現(xiàn)分目錄結(jié)構(gòu)及權(quán)限查詢表、結(jié)構(gòu)化編碼和權(quán)限認(rèn)證三個部分來介紹:目錄結(jié)構(gòu)及權(quán)限查詢表主要由三項(xiàng)組成，第一項(xiàng)是inode號，inode號是文件系統(tǒng)對文件或目錄的全局編號；第二項(xiàng)是結(jié)構(gòu)化編號，如圖4所示，這個編號記載了文件或目錄所在的目錄結(jié)構(gòu)，結(jié)構(gòu)化編號的頭部記載元數(shù)據(jù)所在的服務(wù)器的編號，中間部分是對全路徑的分級編號，尾部記載目錄級數(shù)；第三項(xiàng)是權(quán)限值。結(jié)構(gòu)化編碼是指對目錄或文件的全路徑進(jìn)行編號，編號采用二進(jìn)制編號，系統(tǒng)可以設(shè)定目錄結(jié)構(gòu)中每一段所占的二進(jìn)制位數(shù)。權(quán)限認(rèn)證是指通過查詢目錄結(jié)構(gòu)及權(quán)限查詢表來判斷用戶是否具有對文件或目錄的訪問權(quán)限。權(quán)限值是九位二進(jìn)制數(shù)，高三位表示用戶組權(quán)限，中間三位為用戶權(quán)限，低三位為其他用戶權(quán)限。三位二進(jìn)制數(shù)的最高位為讀權(quán)限，中間位為寫權(quán)限，最低位為執(zhí)行權(quán)限，“ I ”表示具有權(quán)限，“0”表示沒有權(quán)限。查詢要訪問文件或目錄的全路徑上的所有目錄的權(quán)限值，對這些權(quán)限值進(jìn)行與運(yùn)算，最終得到一個權(quán)限值。(3)本發(fā)明中模塊的執(zhí)行流程為了說明本發(fā)明執(zhí)行流程，從客戶端創(chuàng)建文件、重命名文件以及訪問文件的過程描述了本發(fā)明各模塊之間的關(guān)系和本發(fā)明的執(zhí)行流程，本發(fā)明的具體執(zhí)行流程如下: 創(chuàng)建文件階段為了直觀地說明在文件系統(tǒng)創(chuàng)建文件階段時各模塊的作用，如圖3所示，當(dāng)用戶發(fā)出創(chuàng)建文件/dl/fl請求時,流程如下:首先，名字映射模塊進(jìn)行工作，在該模塊中完成對/dl/fl的全路徑分解，然后把全路徑分解后的結(jié)果寫進(jìn)名字映射表，同時把結(jié)果發(fā)送給目錄結(jié)構(gòu)模塊中的結(jié)構(gòu)化編碼；然后，名字映射表完成名字映射操作，把新生成的全路徑名(fullname)交給哈希函數(shù)計(jì)算哈希值，客戶端根據(jù)哈希值得到要訪問的元數(shù)據(jù)服務(wù)器的編號(mds id),該元數(shù)據(jù)服務(wù)器根據(jù)客戶端的請求完成相應(yīng)操作，返回元數(shù)據(jù)信息(inode號、mds id及權(quán)限值)給目錄結(jié)構(gòu)模塊，并應(yīng)答客戶端；最后，目錄結(jié)構(gòu)模塊根據(jù)名字映射模塊以及元數(shù)據(jù)服務(wù)器發(fā)來的信息制作目錄結(jié)構(gòu)及權(quán)限查詢表。 訪問文件階段為了說明客戶端訪問文件時該發(fā)明中各模塊的作用，如圖4所示，當(dāng)用戶訪問文件name2時,流程如下:
首先，名字映射模塊對name2進(jìn)行全路徑名分解，并通過查詢名字映射表，完成重命名到原始名的映射，生成新的全路徑名fullname ；其次，傳統(tǒng)哈希策略模塊對fullname計(jì)算哈希值，客戶端獲取元數(shù)據(jù)服務(wù)器編號(mds id),并向元數(shù)據(jù)服務(wù)器請求要訪問文件name2的元數(shù)據(jù)；然后，元數(shù)據(jù)服務(wù)器查詢目錄結(jié)構(gòu)模塊中的目錄結(jié)構(gòu)及權(quán)限查詢表，并通過權(quán)限認(rèn)證判斷客戶端是否具有對該文件的訪問權(quán)限。最后，經(jīng)過權(quán)限認(rèn)證，如果用戶對文件有訪問權(quán)限，元數(shù)據(jù)服務(wù)器返回元數(shù)據(jù)信息給客戶端；如果沒有，則告知客戶端無權(quán)限訪問。


圖1元數(shù)據(jù)管理方法及模塊圖2結(jié)構(gòu)化編號的組成結(jié)構(gòu)圖3客戶端創(chuàng)建文件圖4客戶端訪問文件
具體實(shí)施例方式為了說明這種新的元數(shù)據(jù)管理方法，這里給出一些操作的實(shí)例。假設(shè)文件系統(tǒng)已經(jīng)存在如下數(shù)據(jù):/dl/fl;我們在文件系統(tǒng)中要建立目錄/d2，并設(shè)置權(quán)限為rwxr_xr_x。過程如下:第一步，客戶端首先發(fā)送請求，把全路徑/d2進(jìn)行分解，分解成根/和目錄名d2 ；
第二步，查尋名字映射表，發(fā)現(xiàn)表中無d2，則在表中添加d2項(xiàng)，如表I所示，并對全路徑進(jìn)行哈希計(jì)算，算出元數(shù)據(jù)服務(wù)器編號(mds id)給客戶端；根據(jù)/和d2進(jìn)行編號，假設(shè)文件系統(tǒng)設(shè)定元數(shù)據(jù)服務(wù)器(mds)是2位編碼，一級目錄是2位編碼，二級目錄是3位編碼，三級目錄是4位編碼，目錄級數(shù)是3位編碼，則編碼結(jié)果如表2所示；第三步，客戶端向指定的元數(shù)據(jù)服務(wù)器發(fā)送建立/d2的請求；第四步，元數(shù)據(jù)服務(wù)器完成建立元數(shù)據(jù)任務(wù)，將/d2元數(shù)據(jù)信息inode號以及執(zhí)行權(quán)限發(fā)給目錄結(jié)構(gòu)及權(quán)限查詢表，并回復(fù)客戶端執(zhí)行成功；第五步，目錄結(jié)構(gòu)服務(wù)器更新表2，將inode號和權(quán)限值填入表中。表I
權(quán)利要求
1.本發(fā)明提出“一種應(yīng)用于隨機(jī)存取的元數(shù)據(jù)管理方法及模塊”，該發(fā)明通過哈希函數(shù)將元數(shù)據(jù)均衡地分配到各臺元數(shù)據(jù)服務(wù)器中，同時增加兩個功能模塊，一個模塊是名字映射模塊，該模塊完成重命名到原始名的轉(zhuǎn)換；另一個模塊是目錄結(jié)構(gòu)模塊，該模塊通過對每個文件或目錄進(jìn)行結(jié)構(gòu)化編號，保存了目錄與目錄、目錄與文件間的關(guān)聯(lián)信息，這兩個新功能模塊幫助解決了傳統(tǒng)哈希策略遇到的問題。本發(fā)明的特征在于: (1)本發(fā)明提出名字映射模塊，提供重命名到原始名字的映射服務(wù)，分布式文件系統(tǒng)在重命名操作時無需遷移大量元數(shù)據(jù)。
(2)本發(fā)明提出目錄結(jié)構(gòu)模塊，提供對文件或目錄的結(jié)構(gòu)化編號，編號中包含了目錄與目錄、目錄與文件的 關(guān)聯(lián)信息，避免了傳統(tǒng)哈希策略中元數(shù)據(jù)服務(wù)器間的頻繁通信。
全文摘要
本發(fā)明提出一種應(yīng)用于隨機(jī)存取的元數(shù)據(jù)管理方法及模塊，該發(fā)明通過哈希函數(shù)將元數(shù)據(jù)均衡地分配到各臺元數(shù)據(jù)服務(wù)器中，同時增加兩個功能模塊，一個模塊是名字映射模塊，該模塊完成重命名到原始名的轉(zhuǎn)換；另一個模塊是目錄結(jié)構(gòu)模塊，該模塊通過對每個文件或目錄進(jìn)行結(jié)構(gòu)化編號，保存了目錄與目錄、目錄與文件間的關(guān)聯(lián)信息，這兩個新功能模塊幫助解決了傳統(tǒng)哈希策略遇到的問題。
文檔編號G06F17/30GK103218433SQ20131012969
公開日2013年7月24日 申請日期2013年4月15日 優(yōu)先權(quán)日2013年4月15日
發(fā)明者陸月明, 解曉偉, 袁玉宇, 及瑩 申請人:北京郵電大學(xué)