專利名稱：一種集群文件系統(tǒng)及其文件服務(wù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)存儲技術(shù)領(lǐng)域，特別涉及一種集群文件系統(tǒng)及其文件服務(wù)方法。
背景技術(shù)：
隨著信息社會建設(shè)與互聯(lián)網(wǎng)絡(luò)飛速發(fā)展，信息數(shù)據(jù)迅猛增長，應(yīng)用規(guī)?？焖贁U(kuò)大， 越來越多的大規(guī)模應(yīng)用不僅需要高性能的計算能力，而且對其存儲系統(tǒng)在大容量、高性能、 高擴(kuò)展性等方面提出了更高的要求，集群文件系統(tǒng)成為制約應(yīng)用發(fā)展的一個關(guān)鍵因素。集群文件系統(tǒng)需要提供巨大的存儲容量(如PB級別的存儲容量)，提供高聚合I/O性能(如達(dá)到GB/s級別，甚至數(shù)十、數(shù)百GB/s的I/O性能)。而對容量和性能的需求都需要高擴(kuò)展的集群文件系統(tǒng)，即要求能夠通過擴(kuò)展存儲設(shè)備的數(shù)量來滿足大容量和高聚合帶寬性能的需求。下面簡要介紹幾種現(xiàn)有的集群文件系統(tǒng)。NAS(網(wǎng)絡(luò)附加存儲)是一種傳統(tǒng)的集群文件系統(tǒng)?？蛻舳送ㄟ^文件服務(wù)器訪問塊存儲設(shè)備上的數(shù)據(jù)，實現(xiàn)了跨平臺的數(shù)據(jù)共享。然而，文件系統(tǒng)的控制數(shù)據(jù)(即元數(shù)據(jù))和文件內(nèi)容數(shù)據(jù)都由文件服務(wù)器維護(hù)，元數(shù)據(jù)訪問和數(shù)據(jù)訪問都需要通過文件服務(wù)器，因此文件服務(wù)器容易成為容量和性能擴(kuò)展的瓶頸。SAN FS (存儲局域網(wǎng)文件系統(tǒng))是一種改進(jìn)的集群文件系統(tǒng)。SAN FS為了增加集群文件系統(tǒng)的擴(kuò)展性，采用了一種元數(shù)據(jù)與文件內(nèi)容數(shù)據(jù)分離的方法。由單獨(dú)的元數(shù)據(jù)服務(wù)器處理元數(shù)據(jù)，而對文件內(nèi)容數(shù)據(jù)的訪問則直接訪問存儲設(shè)備。由于內(nèi)容數(shù)據(jù)的訪問不必再通過文件服務(wù)器，因此SAN FS有效降低了元數(shù)據(jù)服務(wù)器的負(fù)載，提高了集群文件系統(tǒng)的擴(kuò)展能力。然而元數(shù)據(jù)服務(wù)器仍然存在元數(shù)據(jù)處理能力的限制，也容易成為阻礙系統(tǒng)擴(kuò)展的瓶頸。對象存儲系統(tǒng)是另一種改進(jìn)的集群文件系統(tǒng)，目前典型的對象存儲系統(tǒng)有 Lustre (SUN公司研制的一種對象存儲系統(tǒng))和PanFS (Panasas公司研制的一種對象存儲系統(tǒng))等。對象存儲系統(tǒng)中，對象是數(shù)據(jù)存儲的基本單位，它由數(shù)據(jù)、屬性、布局三部分組成。對象的數(shù)據(jù)就是對象的內(nèi)容數(shù)據(jù)，它與傳統(tǒng)存儲系統(tǒng)中文件的數(shù)據(jù)相同。對象屬性是對象的邏輯大小、創(chuàng)建時間、實際占用物理空間、屬主、權(quán)限等涉及到對象管理與維護(hù)的屬性信息，對象布局則是對象的內(nèi)容數(shù)據(jù)在物理存儲介質(zhì)上分布信息，用于描述對象在物理磁盤上的塊分布，包括對象ID、塊索引地址等。在對象存儲系統(tǒng)中，對象布局由對象智能維護(hù)，文件系統(tǒng)元數(shù)據(jù)服務(wù)器不再維護(hù)基于塊的文件布局，僅維護(hù)基于對象的文件布局，因此進(jìn)一步降低了元數(shù)據(jù)服務(wù)器負(fù)載，提高了擴(kuò)展能力。然而，對象存儲系統(tǒng)中，對象之間的關(guān)系仍舊由元數(shù)據(jù)服務(wù)器維護(hù)，元數(shù)據(jù)服務(wù)器仍然存在元數(shù)據(jù)處理能力的限制，也容易成為阻礙系統(tǒng)擴(kuò)展的瓶頸。上文中，對象之間的關(guān)系是指一個文件是如何由多個對象按照何種方式組成的，比如多個對象之間構(gòu)成條帶、或者對象作為一種更大粒度的管理單位替換了數(shù)據(jù)塊管理單位。并且，對象存儲系統(tǒng)不能直接支持塊接口訪問存儲設(shè)備，只能通過對象存儲服務(wù)器導(dǎo)出為對象訪問接口。而目前占絕對主流的存儲設(shè)備都是直接提供塊訪問接口，因此對象存儲系統(tǒng)的兼容性相對較弱。對象存儲服務(wù)器需要維護(hù)設(shè)備內(nèi)的元數(shù)據(jù)和數(shù)據(jù)，并進(jìn)行對象訪問接口到塊訪問接口的轉(zhuǎn)換，不能直接提供塊訪問接口，導(dǎo)致無法有效利用SAN存儲網(wǎng)絡(luò)的高性能數(shù)據(jù)訪問。再者，對象存儲系統(tǒng)會增大數(shù)據(jù)訪問延時，影響數(shù)據(jù)訪問性能。由于目前的存儲設(shè)備絕大部分提供的是塊訪問接口，因此對象存儲系統(tǒng)必須進(jìn)行對象訪問協(xié)議與塊訪問協(xié)議的相互轉(zhuǎn)換，導(dǎo)致數(shù)據(jù)訪問延時的增加。據(jù)統(tǒng)計對象存儲系統(tǒng)訪問延時增長大約在5%左
右ο

綜上所述，當(dāng)前迫切需要一種能夠進(jìn)一步提高擴(kuò)展能力、兼容性強(qiáng)且訪問延時小的集群文件系統(tǒng)及其相應(yīng)的文件服務(wù)方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種能夠進(jìn)一步提高擴(kuò)展能力、兼容性強(qiáng)且訪問延時小的集群文件系統(tǒng)及其相應(yīng)的文件服務(wù)方法。為實現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種集群文件系統(tǒng)，其特征在于，包括目錄服務(wù)器，用于存儲目錄元數(shù)據(jù)并提供目錄服務(wù)；布局服務(wù)器機(jī)群，用于存儲布局元數(shù)據(jù)并提供布局服務(wù)；以及存儲設(shè)備陣列，用于存儲文件內(nèi)容數(shù)據(jù)。其中，所述目錄服務(wù)器包括目錄元數(shù)據(jù)服務(wù)器，用于維護(hù)全局目錄空間；目錄元數(shù)據(jù)資源管理服務(wù)器，用于維護(hù)目錄相關(guān)元數(shù)據(jù)資源狀態(tài)，所述目錄相關(guān)元數(shù)據(jù)資源狀態(tài)包括文件索引節(jié)點(diǎn)、目錄文件及其間接地址塊；以及目錄元數(shù)據(jù)存儲設(shè)備，用于存儲目錄元數(shù)據(jù)。其中，所述布局服務(wù)器機(jī)群包括多個布局服務(wù)器，用于維護(hù)文件系統(tǒng)的物理視圖以提供布局服務(wù)；一個布局元數(shù)據(jù)資源管理服務(wù)器，用于維護(hù)布局元數(shù)據(jù)資源狀態(tài)并協(xié)調(diào)布局服務(wù)器機(jī)群對共享資源的使用，所述布局元數(shù)據(jù)資源狀態(tài)包括全局?jǐn)?shù)據(jù)塊資源狀態(tài)、布局索引節(jié)點(diǎn)和布局間接地址塊；以及布局元數(shù)據(jù)存儲設(shè)備，用于存儲布局元數(shù)據(jù)。其中，所述布局服務(wù)器提供的布局服務(wù)包括將文件訪問邏輯位置映射到存儲設(shè)備物理地址；分配物理塊存儲資源并按一定格式組織文件布局；以及刪除文件時回收文件布局包含的物理塊存儲資源。其中，所述目錄服務(wù)包括維護(hù)文件系統(tǒng)邏輯視圖，提供整個文件系統(tǒng)統(tǒng)一的、一致的全局命名空間；負(fù)責(zé)文件系統(tǒng)的目錄層次、權(quán)限管理服務(wù)；以及提供全局命名空間操作。其中，所述目錄元數(shù)據(jù)包括目錄文件、文件索引節(jié)點(diǎn)、文件屬性和目錄文件布局。其中，對于數(shù)據(jù)文件，所述文件索引節(jié)點(diǎn)記錄該數(shù)據(jù)文件對應(yīng)的布局標(biāo)識，但不記錄該數(shù)據(jù)文件對應(yīng)的布局首部。對于非數(shù)據(jù)文件，如目錄文件、符號鏈接文件，文件索引節(jié)點(diǎn)記錄該非數(shù)據(jù)文件對應(yīng)的布局標(biāo)識和布局首部。其中，所述目錄元數(shù)據(jù)包括用戶屬性，用戶屬性是主要在用戶進(jìn)行目錄服務(wù)、權(quán)限驗證等過程中訪問使用，且不隨文件數(shù)據(jù)訪問而更新的文件屬性；所述布局元數(shù)據(jù)包括存儲屬性，所述存儲屬性是主要與文件布局服務(wù)密切相關(guān)，在文件數(shù)據(jù)訪問過程中頻繁更新的文件屬性。其中，所述文件服務(wù)方法包括文件訪問步驟客戶端首先訪問目錄服務(wù)器獲取文件的目錄信息；然后訪問布局服務(wù)器獲取文件數(shù)據(jù)在物理存儲設(shè)備上的分布信息；最后直接訪問物理存儲設(shè)備獲取數(shù)據(jù)信息。其中，所述文件服務(wù)方法還包括布局標(biāo)識維護(hù)步驟，所述布局標(biāo)識維護(hù)步驟包括 所述目錄服務(wù)器與所述布局服務(wù)器機(jī)群之間采用異步批量方式進(jìn)行布局標(biāo)識的申請與回收。其中，異步批量文件布局維護(hù)包括異步批量的文件布局標(biāo)識分配、訪問和釋放。其中，所述文件服務(wù)方法還包括文件創(chuàng)建、文件屬性獲取、文件屬性設(shè)置、文件數(shù)據(jù)訪問和文件刪除等步驟。與現(xiàn)有技術(shù)相比，本發(fā)明具有下列技術(shù)效果1、本發(fā)明能夠進(jìn)一步提高文件集群系統(tǒng)的擴(kuò)展能力；2、本發(fā)明兼容性強(qiáng)且訪問延時小。


圖1示出了本發(fā)明一個實施例中的集群文件系統(tǒng)的結(jié)構(gòu)示意圖；圖2示出了本發(fā)明另一個實施例中的集群文件系統(tǒng)的結(jié)構(gòu)示意圖；圖3示出了一個優(yōu)選實施例中布局元數(shù)據(jù)分層共享存儲的示意圖；圖4示出了一個優(yōu)選實施例中布局ID分配流程示意圖；圖5示出了一個優(yōu)選實施例中文件屬性分離的示意圖。
具體實施例方式本發(fā)明結(jié)合SAN文件系統(tǒng)的直接高性能數(shù)據(jù)訪問以及對象存儲系統(tǒng)元數(shù)據(jù)高性能、高擴(kuò)展性訪問的優(yōu)點(diǎn)，提出了一種目錄和布局分離的集群文件系統(tǒng)。下面，結(jié)合附圖和實施例對本發(fā)明做進(jìn)一步地描述。參考圖1，根據(jù)本發(fā)明的一個實施例，提供了一種集群文件系統(tǒng)，該集群文件系統(tǒng)包括目錄服務(wù)器、布局服務(wù)器機(jī)群和存儲設(shè)備陣列。其中，目錄服務(wù)器用于存儲目錄元數(shù)據(jù)并提供目錄服務(wù)，布局服務(wù)器機(jī)群用于存儲布局元數(shù)據(jù)并提供布局服務(wù)，存儲設(shè)備陣列用于存儲文件內(nèi)容數(shù)據(jù)。現(xiàn)有技術(shù)中，并未明確區(qū)分目錄元數(shù)據(jù)和布局元數(shù)據(jù)，而本案發(fā)明人分析了元數(shù)據(jù)的構(gòu)成并對元數(shù)據(jù)進(jìn)行分類，進(jìn)而把文件系統(tǒng)目錄、布局和數(shù)據(jù)服務(wù)進(jìn)行了服務(wù)分層分離，同時把目錄元數(shù)據(jù)、布局元數(shù)據(jù)和數(shù)據(jù)進(jìn)行了存儲分離。本發(fā)明中，之所以將目錄與布局分離是原因是目錄服務(wù)的負(fù)載相對較小，但其可擴(kuò)展性需求較弱，如果通過增加服務(wù)節(jié)點(diǎn)的方式來滿足更高的存儲及數(shù)據(jù)處理性能的要求，需要解決目錄切分以及目錄元數(shù)據(jù)一致性維護(hù)的復(fù)雜問題，這樣往往會導(dǎo)致較大的額外開銷。而布局服務(wù)的負(fù)載相對較大，現(xiàn)有的SAN FS技術(shù)中，在大文件負(fù)載情況下，元數(shù)據(jù)服務(wù)器的布局管理負(fù)載所占比重大約達(dá)到60 90 %左右。因此，本實施例中，使用專門的布局服務(wù)器機(jī)群來存儲布局元數(shù)據(jù)并提供布局服務(wù)。由于本實施例把布局管理的大量負(fù)載轉(zhuǎn)移到專門的布局服務(wù)器機(jī)群，因此目錄服務(wù)器的負(fù)載相對于現(xiàn)有SAN FS和對象存儲系統(tǒng)的元數(shù)據(jù)服務(wù)器的負(fù)載均大大減小，因此，在硬件條件相同的前提下，相對于現(xiàn)有的元數(shù)據(jù)服務(wù)器，本實施例提供的目錄服務(wù)器能夠支持更大規(guī)模和更高性能的集群文件系統(tǒng)，一般不會成為阻礙系統(tǒng)擴(kuò)展的瓶頸。一般地，通過增加布局服務(wù)器機(jī)群的節(jié)點(diǎn)數(shù)目，即可方便地對本實施例的集群文件系統(tǒng)進(jìn)行擴(kuò)展，因此，本實施例系統(tǒng)擴(kuò)展能力大大提高。如圖1所示，在優(yōu)選實施例中，目錄服務(wù)器使用專用的目錄元數(shù)據(jù)存儲設(shè)備存儲目錄元數(shù)據(jù)，布局服務(wù)器也使用專用的布局元數(shù)據(jù)存儲設(shè)備存儲布局元數(shù)據(jù)。進(jìn)一步地 ，在另一個優(yōu)選實施例中，集群文件系統(tǒng)的目錄服務(wù)由單獨(dú)的目錄服務(wù)器維護(hù)，這樣能夠避免多個目錄服務(wù)器之間目錄切分以及目錄元數(shù)據(jù)一致性維護(hù)的復(fù)雜問題。目錄服務(wù)器可以借用本地文件系統(tǒng)的成熟技術(shù)來提供目錄層次服務(wù)，比如 Ext3/4，ReiserFS(這些名稱在本領(lǐng)域是公知的，它們是兩種不同的本地文件系統(tǒng))等。目錄服務(wù)器中目錄的維護(hù)，包括目錄創(chuàng)建、刪除、查找等操作，也可以完全借助本地文件系統(tǒng)的成熟技術(shù)來實現(xiàn)。目錄元數(shù)據(jù)采用單獨(dú)存儲，避免與其他類型數(shù)據(jù)訪問的相互影響。目錄服務(wù)器還維護(hù)文件對應(yīng)的文件布局標(biāo)識，從而可以根據(jù)該布局標(biāo)識訪問對應(yīng)的布局服務(wù)器以獲取布局服務(wù)。目錄服務(wù)器與布局服務(wù)器進(jìn)行文件布局交互，以申請空閑的文件布局或回收已經(jīng)刪除的文件布局。目錄服務(wù)器對于文件的創(chuàng)建和刪除需要進(jìn)行相應(yīng)修改。對于文件創(chuàng)建，相對于SAN FS要增加為文件分配空閑的文件布局的操作，也就是建立文件與其文件布局之間的關(guān)系。 對于文件刪除，相對于SAN FS要增加把文件對應(yīng)的文件布局進(jìn)行釋放的操作，也就是解散文件與其文件布局之間的關(guān)系，其具體操作將在下文中進(jìn)一步描述。在另一個優(yōu)選實施例中，布局服務(wù)完全由布局服務(wù)器負(fù)責(zé)，主要管理文件布局，提供文件布局服務(wù)。布局服務(wù)器主要提供文件布局的初始化、分配、映射、刪除等服務(wù)，并管理布局相關(guān)的數(shù)據(jù)塊資源狀態(tài)。文件布局初始化過程中，把布局的各種屬性設(shè)置為初始狀態(tài)， 從而保證布局有效；文件布局分配過程中，為文件分配塊資源，并按照相應(yīng)文件布局格式組裝到文件布局中；文件布局映射過程中，把文件邏輯位置轉(zhuǎn)換為對應(yīng)的物理位置，并返回給客戶端相應(yīng)映射結(jié)果；文件布局刪除過程中，把布局中包含的塊資源逐項進(jìn)行釋放。在以上的布局分配或刪除更新操作中，都會涉及到塊存儲資源狀態(tài)的更新操作。文件布局可以包含分布在不同數(shù)據(jù)存儲設(shè)備上的塊資源，從而實現(xiàn)文件數(shù)據(jù)跨存儲設(shè)備的靈活分布。不同存儲設(shè)備之間的數(shù)據(jù)分布由布局服務(wù)器全局管理，而在對象存儲系統(tǒng)中，跨存儲設(shè)備的數(shù)據(jù)分布只能由元數(shù)據(jù)服務(wù)器管理。多個布局服務(wù)器構(gòu)成機(jī)群協(xié)同提供文件布局服務(wù)，以提高布局服務(wù)性能，避免布局服務(wù)成為系統(tǒng)瓶頸。因為不同文件的布局之間幾乎沒有相互關(guān)系，布局服務(wù)可以靈活分布到多個布局服務(wù)器。布局服務(wù)負(fù)載以一定方式布到不同的布局服務(wù)器，由布局服務(wù)器機(jī)群協(xié)同進(jìn)行布局服務(wù)的處理。當(dāng)多個并發(fā)負(fù)載訪問同一個存儲設(shè)備時，由于并發(fā)負(fù)載相互影響，導(dǎo)致存儲設(shè)備性能會降低，這主要是因為隨機(jī)訪問增加，導(dǎo)致磁盤磁頭頻繁移動而性能下降。本實施例中，布局元數(shù)據(jù)采用單獨(dú)存儲，避免與其他訪問的相互影響。布局服務(wù)器還管理數(shù)據(jù)塊資源狀態(tài)，維護(hù)各個存儲設(shè)備中數(shù)據(jù)塊存儲資源的空閑與否狀態(tài)，進(jìn)行塊資源的分配和回收。
在一個實施例中，數(shù)據(jù)服務(wù)由塊存儲設(shè)備直接提供，數(shù)據(jù)存儲設(shè)備數(shù)量可擴(kuò)展。大量的存儲設(shè)備直接提供塊訪問接口，客戶端直接并行訪問存儲設(shè)備以獲取高聚合I/O性能。數(shù)據(jù)存儲設(shè)備可以是通過網(wǎng)絡(luò)提供塊訪問接口的任何類型的存儲設(shè)備，比如iscsi接口的磁盤陣列，或者光纖陣列，虛擬存儲系統(tǒng)，或者是由I/O節(jié)點(diǎn)導(dǎo)出的可通過網(wǎng)絡(luò)訪問的磁盤設(shè)備。在一個實施例中，還提供了一個優(yōu)選的客戶端文件系統(tǒng)。應(yīng)用程序通常不直接使用塊接口的存儲系統(tǒng)，為有效支持應(yīng)用程序?qū)Υ鎯ο到y(tǒng)的訪問，需要在每個用戶節(jié)點(diǎn)部署客戶端文件系統(tǒng)，為上層應(yīng)用提供POSix兼容的文件系統(tǒng)接口，支持標(biāo)準(zhǔn)文件系統(tǒng)操作，如 Open, Read, Write, Close, Mat等操作?？蛻舳宋募到y(tǒng)把分離的目錄服務(wù)、布局服務(wù)和數(shù)據(jù)服務(wù)組織成為一個有機(jī)服務(wù)整體，為應(yīng)用提供統(tǒng)一的文件系統(tǒng)訪問界面?？蛻舳宋募到y(tǒng)訪問目錄服務(wù)器獲取文件對應(yīng)的文件布局，訪問布局服務(wù)器進(jìn)行布局的創(chuàng)建或映射服務(wù)，訪問存儲設(shè)備以獲取數(shù)據(jù)。上述實施例中，布局和目錄服務(wù)分離的結(jié)構(gòu)把布局元數(shù)據(jù)存儲和目錄元數(shù)據(jù)存儲進(jìn)行了分離，同時把布局元數(shù)據(jù)存儲和數(shù)據(jù)(指內(nèi)容數(shù)據(jù))存儲進(jìn)行了分離。這樣不但避免了 SAN文件系統(tǒng)中布局元數(shù)據(jù)和目錄元數(shù)據(jù)的共享訪問沖突，有利于緩解I/O瓶頸，提高系統(tǒng)整體性能；而且還避免了對象存儲系統(tǒng)中布局元數(shù)據(jù)和數(shù)據(jù)的共享訪問沖突。更具體地，把分散在各個對象存儲服務(wù)器中的布局元數(shù)據(jù)進(jìn)行集中存儲和管理，可以達(dá)到如下好處(1)避免布局元數(shù)據(jù)與數(shù)據(jù)的共享訪問沖突，有利于提高存儲設(shè)備效率，提高訪問性能；( 避免對象存儲系統(tǒng)中分散布局元數(shù)據(jù)存儲的負(fù)載不均、利用率低等問題，提高布局元數(shù)據(jù)存儲的利用率；C3)針對布局元數(shù)據(jù)訪問需求，可進(jìn)行針對性的優(yōu)化。本發(fā)明還提供了基于上述實施例所提供的文件集群系統(tǒng)的文件服務(wù)方法。在一個實施例中，文件服務(wù)方法包括文件訪問方法首先訪問目錄服務(wù)器獲取文件的目錄信息； 然后訪問布局服務(wù)器獲取文件數(shù)據(jù)在物理存儲設(shè)備上的分布信息；最后直接訪問物理存儲設(shè)備獲取數(shù)據(jù)信息。圖2示出了圖1實施例中的目錄服務(wù)器和布局服務(wù)器集群的一個優(yōu)選實施方案。 如圖2所示，根據(jù)本發(fā)明的另一個優(yōu)選實施例，還提供了另一種文件集群系統(tǒng)，該實施例的文件集群系統(tǒng)包括目錄服務(wù)器、布局服務(wù)器機(jī)群和存儲設(shè)備陣列。該文件集群系統(tǒng)中，采用多個布局服務(wù)器(LS，全稱為Layoutkrver)組成機(jī)群，專門提供布局服務(wù)。從而把布局服務(wù)與目錄服務(wù)進(jìn)行完全分離，同時把布局服務(wù)與數(shù)據(jù)服務(wù)也進(jìn)行分離。布局服務(wù)器機(jī)群主要負(fù)責(zé)文件布局的分配、映射、刪除等操作，以及數(shù)據(jù)塊存儲資源的管理。其中，目錄服務(wù)器包括目錄元數(shù)據(jù)服務(wù)器、目錄元數(shù)據(jù)資源管理服務(wù)器以及目錄元數(shù)據(jù)存儲設(shè)備。布局服務(wù)器機(jī)群包括多個布局服務(wù)器、一個布局元數(shù)據(jù)資源管理服務(wù)器以及布局元數(shù)據(jù)存儲設(shè)備。目錄元數(shù)據(jù)服務(wù)器(MDS，MDS全稱為MetaData Server)負(fù)責(zé)維護(hù)全局目錄空間。目錄元數(shù)據(jù)資源管理服務(wù)器(下文中稱為Dir_CRM模塊)，負(fù)責(zé)維護(hù)文件索引節(jié)點(diǎn)、目錄文件及其間接地址塊等目錄相關(guān)元數(shù)據(jù)資源狀態(tài)。布局元數(shù)據(jù)資源管理服務(wù)器(下文中稱為Lay_CRM模塊)負(fù)責(zé)維護(hù)全局?jǐn)?shù)據(jù)塊資源狀態(tài)以及布局索引節(jié)點(diǎn)、 布局間接地址塊等布局元數(shù)據(jù)資源狀態(tài)，并協(xié)調(diào)布局服務(wù)器機(jī)群對共享資源的使用。一般地，Dir_CRM模塊可安裝在目錄服務(wù)器上，Lay_CRM模塊安裝在布局服務(wù)器機(jī)群中的一個專用于提供布局元數(shù)據(jù)資源管理服務(wù)的節(jié)點(diǎn)上，即布局服務(wù)器機(jī)群包括多個布局服務(wù)器和一個布局中央資源管理服務(wù)器。參考圖2，下面結(jié)合更多的優(yōu)選實施例，分別進(jìn)一步介紹本發(fā)明的文件集群系統(tǒng)的各個組成部分及文件服務(wù)方法。一、目錄服 務(wù)器在一個優(yōu)選實施例中，目錄服務(wù)器維護(hù)文件系統(tǒng)邏輯視圖，提供整個文件系統(tǒng)統(tǒng)一的、一致的全局命名空間。負(fù)責(zé)文件系統(tǒng)的目錄層次、權(quán)限管理等服務(wù)，提供目錄查找、權(quán)限驗證、目錄創(chuàng)建、刪除等全局命名空間操作。單一目錄服務(wù)器采用本地文件系統(tǒng)常用的日志技術(shù)維護(hù)目錄更新一致性，一致性維護(hù)簡單高效。目錄層次維護(hù)采用Ext3 (擴(kuò)展文件系統(tǒng)布局格式第三版)的Htree (哈希樹，一種搜索高效的數(shù)據(jù)結(jié)構(gòu))方式組織目錄項Entry。目錄文件存儲該目錄下的目錄項Entry，每個Entry記錄文件名稱及其文件索引節(jié)點(diǎn)號。文件索引節(jié)點(diǎn)中記錄文件屬性以及文件布局標(biāo)識。根據(jù)文件名稱的Hash值搜索Entry所在目錄文件中的存儲位置，避免了線性目錄組織方式中查找效率低的問題。目錄元數(shù)據(jù)包括目錄文件、文件索引節(jié)點(diǎn)、文件屬性、目錄文件布局等，存儲在單獨(dú)的目錄元數(shù)據(jù)存儲設(shè)備中(Dii^Metadata設(shè)備)中，由Dir_CRM模塊維護(hù)元數(shù)據(jù)資源狀態(tài)。目錄元數(shù)據(jù)單獨(dú)存儲，有利于避免與數(shù)據(jù)訪問、布局訪問的相互影響，并可進(jìn)行針對性的優(yōu)化。MDS與Dir_CRM之間通過資源交互協(xié)議進(jìn)行資源的申請和回收。對于數(shù)據(jù)文件來說，MDS不再維護(hù)其文件布局，文件索引節(jié)點(diǎn)中不必記錄布局首部，僅需要記錄對應(yīng)的布局ID即可，因此相對于現(xiàn)有技術(shù)中的元數(shù)據(jù)服務(wù)器，本實施例降低了數(shù)據(jù)文件索引節(jié)點(diǎn)容量。比如Ext3中文件索引節(jié)點(diǎn)容量為128字節(jié)，其中布局首部就占用60個字節(jié)。索引節(jié)點(diǎn)容量的降低有助于節(jié)省元數(shù)據(jù)存儲空間，提高緩存利用率。本實施例中布局ID的具體構(gòu)成將在下文詳細(xì)描述。布局ID代表著系統(tǒng)中確定的一個文件布局?？蛻舳嗽L問MDS獲取數(shù)據(jù)文件布局 ID后，就可以根據(jù)該布局ID訪問布局服務(wù)器以獲取布局服務(wù)。空閑布局ID由MDS向各個布局服務(wù)器申請獲取，在文件創(chuàng)建時進(jìn)行分配和記錄?？臻e布局ID的申請采取批量預(yù)申請方式，以減少申請交互次數(shù)。為保證申請到的空閑布局ID在異常宕機(jī)等情況下的不丟失， MDS提供持久資源緩存用于記錄申請到的空閑布局ID。持久資源緩存還用于臨時記錄MDS 釋放的布局ID，然后以批量方式回收到布局服務(wù)器，由布局服務(wù)器最終完成布局回收。特別地，對于目錄文件、符號鏈接文件等非數(shù)據(jù)文件，其文件布局維護(hù)仍舊由MDS 維護(hù)。一方面，這部分布局負(fù)載較輕，對系統(tǒng)影響較?。涣硪环矫?，元數(shù)據(jù)訪問對響應(yīng)延時有較高的要求，如果也采用布局服務(wù)分離，則需要首先通過網(wǎng)絡(luò)訪問獲取布局，然后才能訪問元數(shù)據(jù)，會增加響應(yīng)延時。二、布局服務(wù)器機(jī)群在一個優(yōu)選實施例中，布局服務(wù)器維護(hù)文件系統(tǒng)的物理視圖，主要負(fù)責(zé)如下布局服務(wù)(1)文件訪問邏輯位置映射到存儲設(shè)備物理地址；(2)分配物理塊存儲資源并按一定格式組織文件布局；(3)刪除時回收文件布局包含的塊存儲資源。布局服務(wù)器維護(hù)離散的文件布局，各個文件布局之間沒有相互操作聯(lián)系，文件布局之間的關(guān)系根據(jù)目錄服務(wù)器中的目錄關(guān)系確定。多個布局服務(wù)器組成機(jī)群共同提供布局服務(wù)，從而避免單個布局服務(wù)器成為瓶頸，提高布局服務(wù)的訪問性能和擴(kuò)展能力。由于各個文件布局之間沒有相互操作聯(lián)系，因此布局服務(wù)負(fù)載可以靈活方便的分布到不同布局服務(wù)器中。布局元數(shù)據(jù)包括布局索引節(jié)點(diǎn)(Inode)、布局屬性、布局間接地址塊。布局索引節(jié)點(diǎn)(Inode)類似于文件索引節(jié)點(diǎn)(inode)，記錄布局屬性以及布局首部。布局索引節(jié)點(diǎn)編號為布局序號(Ino)，也類似于文件索引節(jié)點(diǎn)序號(ino)。在系統(tǒng)中，布局索引節(jié)點(diǎn)進(jìn)行全局統(tǒng)一編號，根據(jù)Ino可以訪問到唯一 lnode，從而獲取布局屬性和布局首部，進(jìn)而獲取整個布局。布局間接地址塊位于布局內(nèi)部，用于記錄布局映射關(guān)系。對于文件布局的定位，由于布局服務(wù)器直接根據(jù)Ino獲取lnode，避免了通常對象存儲系統(tǒng)中的對象目錄維護(hù)開銷，提高了布局服務(wù)性能。然而，在對象存儲系統(tǒng)中，通常采用文件系統(tǒng)目錄結(jié)構(gòu)來記錄對象ID與對象索引節(jié)點(diǎn)的映射關(guān)系，把對象ID作為文件名。對象目錄結(jié)構(gòu)一般采用平坦方式，即在對象目錄下記錄所有對象ID與對象索引節(jié)點(diǎn)映射關(guān)系的目錄項，而不需要維護(hù)子目錄。對象ID作為目錄名，在對象目錄中查找以獲取對應(yīng)的對象索引節(jié)點(diǎn)，增加了目錄維護(hù)開銷。在對象創(chuàng)建和刪除時，要進(jìn)行目錄更新操作；在對象訪問時要進(jìn)行目錄搜索操作。當(dāng)對象數(shù)量增加時，對象目錄的容量增加，導(dǎo)致目錄操作開銷也逐漸增加。當(dāng)多個服務(wù)器共享訪問對象存儲服務(wù)器時，對象目錄訪問還需要進(jìn)行加鎖互斥控制，也增加了開銷。而且，對象目錄維護(hù)也增加了對象存儲服務(wù)器緩存的占用，導(dǎo)致緩存利用率降低。布局序號Ino包含在文件布局ID中提供給MDS使用。客戶端從MDS獲取布局序號lno，布局服務(wù)器根據(jù)Ino直接獲取lnode，從而進(jìn)行布局訪問。布局服務(wù)器提供兩方面的服務(wù)，包括為MDS提供布局ID的申請、回收和為客戶端提供布局分配、映射、截斷等服務(wù)。(1)為MDS提供布局ID的申請與回收布局ID在整個系統(tǒng)中起著重要作用，布局ID標(biāo)識系統(tǒng)中唯一的布局?？蛻舳烁鶕?jù)布局ID訪問相應(yīng)LS，以獲取文件布局服務(wù)。MDS與布局服務(wù)器之間采用異步批量方式進(jìn)行布局ID的申請與回收。在布局ID 申請過程中，需要對布局進(jìn)行初始化。在布局回收過程中，需要釋放布局中包含的塊資源以及布局索引節(jié)點(diǎn)。(2)為客戶端提供布局服務(wù)當(dāng)布局服務(wù)器接收到客戶端的布局服務(wù)請求后，首先根據(jù)布局ID獲取相應(yīng)的布局索引節(jié)點(diǎn)，然后進(jìn)行后續(xù)的服務(wù)訪問。具體提供如下的三種布局服務(wù)布局分配布局服務(wù)器進(jìn)行數(shù)據(jù)塊資源的分配，并在必要時進(jìn)行布局內(nèi)間接地址塊分配，按照布局格式組織文件布局，并返回分配的布局映射項結(jié)果。布局映射根據(jù)布局格式，把文件邏輯偏移映射為物理地址，并返回布局映射項結(jié)果。布局截斷釋放布局中被截斷的塊資源。 在以上服務(wù)過程中，布局服務(wù)器與Lay_CRM模塊之間通過資源交互協(xié)議進(jìn)行布局元數(shù)據(jù)資源和數(shù)據(jù)塊資源的申請和回收。在布局初始化、分配、釋放等更新服務(wù)過程中，布局服務(wù)器采用本地日志技術(shù)維護(hù)布局元數(shù)據(jù)更新的一致性，避免出現(xiàn)資源丟失或重用的異常情況。 三、布局元數(shù)據(jù)存儲
在一個優(yōu)選實施例中，布局服務(wù)器機(jī)群維護(hù)布局元數(shù)據(jù)，完成文件系統(tǒng)布局服務(wù)。 布局元數(shù)據(jù)不可能一直保存在布局服務(wù)器的內(nèi)存中，需要最終保存到持久存儲介質(zhì)中。本實施例的策略是充分結(jié)合非共享存儲和共享存儲兩種方式的優(yōu)點(diǎn)，采用了一種分層共享存儲方法。如圖3所示，布局元數(shù)據(jù)存儲分為兩層，后端采用虛擬存儲系統(tǒng)提供共享存儲，前端采用日志存儲為每個布局服務(wù)器提供私有存儲。
布局元數(shù)據(jù)后端共享存儲采用由多個存儲設(shè)備構(gòu)成的虛擬存儲系統(tǒng)。虛擬存儲系統(tǒng)把多個設(shè)備的物理存儲資源組織成為統(tǒng)一邏輯線性地址空間，并提供統(tǒng)一塊訪問接口 ； 物理存儲資源的變化被虛擬存儲系統(tǒng)隱藏，可以有效支持物理存儲資源的擴(kuò)展；虛擬存儲還具有一定的智能，可以進(jìn)行數(shù)據(jù)管理優(yōu)化，以提供更優(yōu)的訪問性能；虛擬存儲還可以提供各種冗余配置，以保證高可用性。虛擬存儲系統(tǒng)在充分利用共享存儲優(yōu)點(diǎn)的同時，克服了共享存儲容易導(dǎo)致I/O瓶頸的不足。每個布局服務(wù)器上的日志存儲作為布局元數(shù)據(jù)的前端私有存儲。日志通常采用順序更新方式，然后以組提交方式延時刷新到后端的共享存儲，從而高效發(fā)揮日志存儲的效率。每個布局服務(wù)器上的日志容量可達(dá)數(shù)百M(fèi)B。一方面，日志保證了布局服務(wù)器異常宕機(jī)情況下布局元數(shù)據(jù)更新的狀態(tài)一致性；另一方面，日志吸收了布局元數(shù)據(jù)的大量重復(fù)更新。 當(dāng)日志最終刷新時，許多更新可能都已經(jīng)被撤銷了，從而不需要刷新后端的布局元數(shù)據(jù)共享存儲；或者，當(dāng)日志最終刷新時，許多更新可能被合并了，從而僅需要把最終狀態(tài)刷新到后端布局元數(shù)據(jù)共享存儲。以上都減少了對后端共享存儲的更新I/O負(fù)載。日志本質(zhì)上是后端共享存儲布局元數(shù)據(jù)的持久緩存，由布局服務(wù)器獨(dú)立管理和使用，不存在多個布局服務(wù)器之間的共享訪問沖突問題。布局服務(wù)器異常失效后，為解決日志中緩存的布局元數(shù)據(jù)無法訪問的問題，日志配置為可以被其他布局服務(wù)器訪問，從而恢復(fù)布局元數(shù)據(jù)最新狀態(tài)。此外，布局服務(wù)器機(jī)群專門提供布局元數(shù)據(jù)訪問服務(wù)，訪問最多的布局元數(shù)據(jù)能夠在布局服務(wù)器的Cache中命中，減少了布局元數(shù)據(jù)的讀取I/O負(fù)載。布局元數(shù)據(jù)資源狀態(tài)由Lay_CRM模塊維護(hù)，協(xié)調(diào)布局服務(wù)器機(jī)群對資源的共享訪問。把全局布局元數(shù)據(jù)進(jìn)行劃分，動態(tài)分布到不同布局服務(wù)器，保證各個布局服務(wù)器使用的資源不重疊。布局服務(wù)器與Lay_CRM模塊之間采用采用批量方式進(jìn)行資源申請與回收，以減少資源交互次數(shù)。四、文件布局ID格式文件布局ID標(biāo)志唯一確定的文件布局，是聯(lián)系目錄服務(wù)和布局服務(wù)的橋梁。如表1所示，在一個優(yōu)選實施例中，布局ID包含InoUgene兩部分內(nèi)容。其中Ino 為布局索引節(jié)點(diǎn)編號，根據(jù)Ino訪問到布局索引節(jié)點(diǎn)；Igene為該布局的版本號，根據(jù)版本號檢測布局訪問合法性。表 權(quán)利要求
1.一種集群文件系統(tǒng)，其特征在于，包括目錄服務(wù)器，用于存儲目錄元數(shù)據(jù)并提供目錄服務(wù)；布局服務(wù)器機(jī)群，用于存儲布局元數(shù)據(jù)并提供布局服務(wù)；以及存儲設(shè)備陣列，用于存儲文件內(nèi)容數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的集群文件系統(tǒng)，其特征在于，所述目錄服務(wù)器包括目錄元數(shù)據(jù)服務(wù)器，用于維護(hù)全局目錄空間；目錄元數(shù)據(jù)資源管理服務(wù)器，用于維護(hù)目錄相關(guān)元數(shù)據(jù)資源狀態(tài)，所述目錄相關(guān)元數(shù)據(jù)資源狀態(tài)包括文件索引節(jié)點(diǎn)、目錄文件及其間接地址塊；以及目錄元數(shù)據(jù)存儲設(shè)備，用于存儲目錄元數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的集群文件系統(tǒng)，其特征在于，所述布局服務(wù)器機(jī)群包括多個布局服務(wù)器，用于維護(hù)文件系統(tǒng)的物理視圖以提供布局服務(wù)；一個布局元數(shù)據(jù)資源管理服務(wù)器，用于維護(hù)布局元數(shù)據(jù)資源狀態(tài)并協(xié)調(diào)布局服務(wù)器機(jī)群對共享資源的使用，所述布局元數(shù)據(jù)資源狀態(tài)包括全局?jǐn)?shù)據(jù)塊資源狀態(tài)、布局索引節(jié)點(diǎn)和布局間接地址塊；以及布局元數(shù)據(jù)存儲設(shè)備，用于存儲布局元數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的集群文件系統(tǒng)，其特征在于，所述布局服務(wù)器提供的布局服務(wù)包括將文件訪問邏輯位置映射到存儲設(shè)備物理地址；分配物理塊存儲資源并按一定格式組織文件布局；以及刪除文件時回收文件布局包含的物理塊存儲資源。
5.根據(jù)權(quán)利要求1所述的集群文件系統(tǒng)，其特征在于，所述目錄服務(wù)包括維護(hù)文件系統(tǒng)邏輯視圖，提供整個文件系統(tǒng)統(tǒng)一的、一致的全局命名空間；負(fù)責(zé)文件系統(tǒng)的目錄層次、 權(quán)限管理服務(wù)；以及提供全局命名空間操作。
6.根據(jù)權(quán)利要求1所述的集群文件系統(tǒng)，其特征在于，所述目錄元數(shù)據(jù)包括目錄文件、 文件索引節(jié)點(diǎn)、文件屬性和目錄文件布局。
7.根據(jù)權(quán)利要求6所述的集群文件系統(tǒng)，其特征在于，對于數(shù)據(jù)文件，所述文件索引節(jié)點(diǎn)記錄該數(shù)據(jù)文件對應(yīng)的布局標(biāo)識，但不記錄該數(shù)據(jù)文件對應(yīng)的布局首部。
8.根據(jù)權(quán)利要求1所述的集群文件系統(tǒng)，其特征在于，所述目錄元數(shù)據(jù)包括用戶屬性， 用戶屬性是主要在用戶進(jìn)行目錄服務(wù)、權(quán)限驗證等過程中訪問使用，且不隨文件數(shù)據(jù)訪問而更新的文件屬性；所述布局元數(shù)據(jù)包括存儲屬性，所述存儲屬性是主要與文件布局服務(wù)密切相關(guān)，在文件數(shù)據(jù)訪問過程中頻繁更新的文件屬性。
9.一種基于權(quán)利要求1所述的集群文件系統(tǒng)的文件服務(wù)方法，其特征在于，所述文件服務(wù)方法包括文件訪問步驟客戶端首先訪問目錄服務(wù)器獲取文件的目錄信息；然后訪問布局服務(wù)器獲取文件數(shù)據(jù)在物理存儲設(shè)備上的分布信息；最后直接訪問物理存儲設(shè)備獲取數(shù)據(jù)信息。
10.根據(jù)權(quán)利要求9所述文件服務(wù)方法，其特征在于，所述文件服務(wù)方法還包括布局標(biāo)識維護(hù)步驟，所述布局標(biāo)識維護(hù)步驟包括所述目錄服務(wù)器與所述布局服務(wù)器機(jī)群之間采用異步批量方式進(jìn)行布局標(biāo)識的申請與回收。
全文摘要
本發(fā)明提供一種集群文件系統(tǒng)，其特征在于，包括目錄服務(wù)器，用于存儲目錄元數(shù)據(jù)并提供目錄服務(wù)；布局服務(wù)器機(jī)群，用于存儲布局元數(shù)據(jù)并提供布局服務(wù)；以及存儲設(shè)備陣列，用于存儲文件內(nèi)容數(shù)據(jù)。本發(fā)明還提供了相應(yīng)的文件服務(wù)方法。所述文件服務(wù)方法包括文件訪問步驟客戶端首先訪問目錄服務(wù)器獲取文件的目錄信息；然后訪問布局服務(wù)器獲取文件數(shù)據(jù)在物理存儲設(shè)備上的分布信息；最后直接訪問物理存儲設(shè)備獲取數(shù)據(jù)信息。與現(xiàn)有技術(shù)相比，本發(fā)明能夠進(jìn)一步提高文件集群系統(tǒng)的擴(kuò)展能力；本發(fā)明兼容性強(qiáng)且訪問延時小。
文檔編號H04L29/08GK102158546SQ20111004762
公開日2011年8月17日 申請日期2011年2月28日 優(yōu)先權(quán)日2011年2月28日
發(fā)明者劉振軍, 張軍偉, 張敬亮, 郭明陽 申請人:中國科學(xué)院計算技術(shù)研究所, 天津中科藍(lán)鯨信息技術(shù)有限公司