一種基于共享對象存儲的文件系統(tǒng)元數(shù)據(jù)日志機(jī)制的制作方法
【專利摘要】本發(fā)明提供一種基于共享對象存儲的文件系統(tǒng)元數(shù)據(jù)日志機(jī)制，屬于計算機(jī)存儲領(lǐng)域，其將文件系統(tǒng)中的元數(shù)據(jù)日志統(tǒng)一保存在一個對象存儲系統(tǒng)中，該機(jī)制主要包括以下模塊：對象存儲訪問器、元數(shù)據(jù)日志訪問器、元數(shù)據(jù)日志管理器；能夠?qū)崿F(xiàn)超長元數(shù)據(jù)日志的存儲，不需要循環(huán)控制，降低了系統(tǒng)的復(fù)雜度。
【專利說明】一種基于共享對象存儲的文件系統(tǒng)元數(shù)據(jù)日志機(jī)制
[0001]
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及計算機(jī)存儲領(lǐng)域，具體地說是一種基于共享對象存儲的文件系統(tǒng)元數(shù)據(jù)日志機(jī)制。
【背景技術(shù)】
[0003]隨著網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展，網(wǎng)絡(luò)信息數(shù)據(jù)量越來越大，PB級別的海量數(shù)據(jù)存儲變得越來越重要。傳統(tǒng)意義的文件系統(tǒng)已不能滿足現(xiàn)有應(yīng)用的大容量、高可靠性、高性能等要求，為滿足這些新要求，分布式文件系統(tǒng)應(yīng)用得到了廣泛重視。
[0004]現(xiàn)有分布式文件系統(tǒng)的研究主要分為元數(shù)據(jù)與實際數(shù)據(jù)存儲分開管理，文件系統(tǒng)中元數(shù)據(jù)請求占據(jù)所有請求的50%以上，因此，元數(shù)據(jù)管理問題成為分布式文件系統(tǒng)研究中的一個重要研究方向。
[0005]元數(shù)據(jù)操作模式主要大量的隨機(jī)IO操作，而目前的主要存儲設(shè)備一機(jī)械硬盤，其隨機(jī)IO操作相對于順序IO來說，性能存在較大差距。這主要因為機(jī)械磁盤在處理隨機(jī)IO時，進(jìn)行執(zhí)行大量的尋道操作，而尋道操作是機(jī)械操作，相對于電子操作來說耗時較長。針對這種情況，元數(shù)據(jù)日志機(jī)制能夠較大程度的提供元數(shù)據(jù)的性能。
[0006]元數(shù)據(jù)日志機(jī)制的主要思路是將隨機(jī)寫操作轉(zhuǎn)換為順序?qū)懖僮?。在該機(jī)制中，元數(shù)據(jù)的更新過程被分為三個步驟:(I)將元數(shù)據(jù)操作以日志條目的形式順序的寫入元數(shù)據(jù)日志；(2)更新元數(shù)據(jù)緩存；(3)將緩存中的臟數(shù)據(jù)異步的更新到元數(shù)據(jù)的數(shù)據(jù)區(qū)域。在該過程中，當(dāng)?shù)诙€過程完成后，即可以向客戶端報告元數(shù)據(jù)請求已經(jīng)執(zhí)行完成。而第三步可以在適當(dāng)?shù)臅r機(jī)，例如系統(tǒng)壓力較輕的時候異步的執(zhí)行。由于第一個步驟是數(shù)據(jù)的順序?qū)懭脒^程，因此，該方法相對于直接更新元數(shù)據(jù)具有更快的響應(yīng)速度，能夠顯著地提高元數(shù)據(jù)操作的效率。
[0007]但是傳統(tǒng)的元數(shù)據(jù)日志通常使用本地磁盤或文件，因此存在以下問題:1)元數(shù)據(jù)日志的大小受本地磁盤空間的限制。在集群存儲中，相對于整個系統(tǒng)的可用空間來說，本地磁盤所能提供的空間極為有限。因此通常需要采用循環(huán)控制機(jī)制，將日志規(guī)模控制在一定的范圍內(nèi)；2)本地磁盤不具備容災(zāi)能力。如果需要支持本地磁盤的容災(zāi)，則需要提供額外的RAID等容災(zāi)設(shè)備，而且這些設(shè)備大多不具備跨節(jié)點的容災(zāi)能力。
[0008]目前的分布式存儲系統(tǒng)逐漸過渡到對象存儲協(xié)議，即整個數(shù)據(jù)集群以對象作為數(shù)據(jù)的組織方式，所以急需一種新的元數(shù)據(jù)日志管理方式。

【發(fā)明內(nèi)容】

[0009]本發(fā)明提供了一種基于共享對象存儲的文件系統(tǒng)元數(shù)據(jù)日志機(jī)制，將文件系統(tǒng)中的元數(shù)據(jù)日志統(tǒng)一保存在一個對象存儲系統(tǒng)中，該機(jī)制主要包括以下模塊:對象存儲訪問器、元數(shù)據(jù)日志訪問器、元數(shù)據(jù)日志管理器； 對象存儲訪問器，該模塊負(fù)責(zé)實現(xiàn)對象存儲系統(tǒng)的訪問，包括對對象的讀、寫、刪除等操作的支持；
元數(shù)據(jù)日志訪問器，該模塊在對象存儲訪問器的基礎(chǔ)上，將對象操作包裝為日志操作，即提供一個虛擬的日志文件，該日志文件沒有長度限制，并且支持追加讀取、追加寫入和截斷操作；
元數(shù)據(jù)日志管理器，該模塊負(fù)責(zé)管理元數(shù)據(jù)日志，包括在系統(tǒng)啟動和恢復(fù)過程中執(zhí)行日志的重放，系統(tǒng)運行過程中執(zhí)行日志的截斷操作；
執(zhí)行步驟如下:
(I)構(gòu)造元數(shù)據(jù)日志條目，
(2 )提交元數(shù)據(jù)條目到元數(shù)據(jù)日志管理器，
(3)元數(shù)據(jù)日志管理器提交日志條目到元數(shù)據(jù)日志訪問器，
(4)元數(shù)據(jù)日志訪問器通過對象存儲訪問器將日志寫入到集群存儲中，
(5)對象存儲訪問器完成寫入操作后，向元數(shù)據(jù)日志訪問器報告寫入完成，
(6 )元數(shù)據(jù)日志訪問器向元數(shù)據(jù)日志管理器報告寫入完成，
(7 )元數(shù)據(jù)日志管理器向元數(shù)據(jù)服務(wù)器報告寫入完成，
(8)元數(shù)據(jù)服務(wù)器更新內(nèi)存緩存。
[0010](9)元數(shù)據(jù)服務(wù)器向客戶端報告元數(shù)據(jù)請求完成。
[0011 ] 所述的日志機(jī)制，其元數(shù)據(jù)日志管理器定時觸發(fā)日志的截斷流程。
[0012]所述的日志機(jī)制，其當(dāng)主元數(shù)據(jù)服務(wù)器發(fā)生宕機(jī)后，監(jiān)控模塊通知備份元數(shù)據(jù)服務(wù)器接管服務(wù)。
[0013]能夠支持元數(shù)據(jù)服務(wù)器集群模式和元數(shù)據(jù)服務(wù)器熱備模式。在元數(shù)據(jù)服務(wù)器集群模式中，不同元數(shù)據(jù)服務(wù)器根據(jù)其服務(wù)器ID對應(yīng)不同的日志對象組；在元數(shù)據(jù)服務(wù)器熱備模式中，主備服務(wù)器共享同一個日志對象組，正常狀態(tài)下，主服務(wù)器具有日志對象組的寫權(quán)限，主備切換時，備份服務(wù)器取得日志對象組的寫權(quán)限。
[0014]本發(fā)明的有益效果是:能夠?qū)崿F(xiàn)超長元數(shù)據(jù)日志的存儲，日志的大小僅受對象存儲系統(tǒng)的容量限制。另一方面，元數(shù)據(jù)日志可以持續(xù)使用追加寫入的模式，不需要循環(huán)控制，降低了系統(tǒng)的復(fù)雜度，支持元數(shù)據(jù)服務(wù)器集群模式和元數(shù)據(jù)服務(wù)器熱備模式。
【專利附圖】

【附圖說明】
[0015]附圖1為基于共享對象存儲的文件系統(tǒng)元數(shù)據(jù)日志機(jī)制的系統(tǒng)架構(gòu)圖。
【具體實施方式】
[0016]下面參照附圖，對本發(fā)明的內(nèi)容以具體實例來描述其實現(xiàn)方式及工作過程。
[0017]一、元數(shù)據(jù)請求流程
當(dāng)元數(shù)據(jù)服務(wù)器收到客戶端的元數(shù)據(jù)請求時，會執(zhí)行以下步驟完成請求的操作。
[0018](I)構(gòu)造元數(shù)據(jù)日志條目。元數(shù)據(jù)服務(wù)器根據(jù)請求的類型、請求的數(shù)據(jù)項和要執(zhí)行的操作等信息構(gòu)造對應(yīng)的日志條目數(shù)據(jù)。
[0019](2)提交元數(shù)據(jù)條目到元數(shù)據(jù)日志管理器。元數(shù)據(jù)服務(wù)器調(diào)用元數(shù)據(jù)日志管理器的提交日志方法，將元數(shù)據(jù)日志條目提交給元數(shù)據(jù)日志管理器。元數(shù)據(jù)日志管理器檢查日志條目的有效性，對日志條目進(jìn)行編號。
[0020]( 3)元數(shù)據(jù)日志管理器提交日志條目到元數(shù)據(jù)日志訪問器。元數(shù)據(jù)日志管理器完成一系列驗證操作后，將日志條目提交給元數(shù)據(jù)日志訪問器。
[0021](4)元數(shù)據(jù)日志訪問器通過對象存儲訪問器將日志寫入到集群存儲中。元數(shù)據(jù)日志訪問器收到日志寫入請求后，根據(jù)當(dāng)前日志的寫入位置，計算新條目的起始偏移量，然后將日志操作轉(zhuǎn)化為對象操作，并通過對象存儲訪問器執(zhí)行對應(yīng)的對象操作。
[0022](5)對象存儲訪問器完成寫入操作后，向元數(shù)據(jù)日志訪問器報告寫入完成。對象存儲訪問器負(fù)責(zé)執(zhí)行對象操作，與對象存儲設(shè)備通信，將數(shù)據(jù)寫入到對象存儲集群中。該操作是異步操作，在操作完成后，會通過回調(diào)方法通知元數(shù)據(jù)日志訪問器寫入完成。
[0023](6)元數(shù)據(jù)日志訪問器向元數(shù)據(jù)日志管理器報告寫入完成。元數(shù)據(jù)日志訪問器收到對象存儲訪問器的對象操作完成通知后，會更新當(dāng)前整個MDS日志的相關(guān)情況，包括下一個條目要寫入的偏移量等。完成更新后，向元數(shù)據(jù)日志管理器報告寫入完成。
[0024](7)元數(shù)據(jù)日志管理器向元數(shù)據(jù)服務(wù)器報告寫入完成。元數(shù)據(jù)日志管理器報告收到元數(shù)據(jù)日志訪問器報告的寫入完成消息后，向元數(shù)據(jù)服務(wù)器報告寫入成功。
[0025]( 8 )元數(shù)據(jù)服務(wù)器更新內(nèi)存緩存。當(dāng)元數(shù)據(jù)服務(wù)器收到日志寫入完成的報告后，即了解元數(shù)據(jù)更新操作已經(jīng)完成持久化，則更新內(nèi)存緩存，以便應(yīng)用元數(shù)據(jù)操作。
[0026]( 7 )元數(shù)據(jù)服務(wù)器向客戶端報告元數(shù)據(jù)請求完成。完成緩存更新后，元數(shù)據(jù)服務(wù)器向客戶端報告元數(shù)據(jù)請求完成。
[0027]二、日志截斷
元數(shù)據(jù)日志管理器定時觸發(fā)日志的截斷流程。
[0028]在執(zhí)行階段操作前，會首先判斷當(dāng)前系統(tǒng)的壓力，包括CPU、網(wǎng)絡(luò)、請求等待隊列長度等信息，判斷當(dāng)前是否時候執(zhí)行日志截斷操作。如果元數(shù)據(jù)日志管理器發(fā)現(xiàn)當(dāng)前系統(tǒng)壓力較大，則暫時中止日志的階段流程。
[0029]如果當(dāng)前系統(tǒng)負(fù)載允許執(zhí)行日志截斷操作，則元數(shù)據(jù)日志管理器開始將緩存中的臟數(shù)據(jù)刷新到元數(shù)據(jù)的數(shù)據(jù)區(qū)。刷新操作執(zhí)行成功后，通知元數(shù)據(jù)日志訪問器截斷已經(jīng)轉(zhuǎn)存到數(shù)據(jù)器的元數(shù)據(jù)條目。
[0030]三、容災(zāi)
當(dāng)主元數(shù)據(jù)服務(wù)器發(fā)生宕機(jī)后，監(jiān)控模塊通知備份元數(shù)據(jù)服務(wù)器接管服務(wù)。
[0031 ] 備份元數(shù)據(jù)服務(wù)器通過日志訪問器讀取主服務(wù)器的元數(shù)據(jù)日志，并執(zhí)行日志的回放操作，從而將備份服務(wù)器的緩存狀態(tài)置為與主服務(wù)器宕機(jī)前一致，然后繼續(xù)處理客戶端請求。
【權(quán)利要求】
1.一種基于共享對象存儲的文件系統(tǒng)元數(shù)據(jù)日志機(jī)制，其特征在于將文件系統(tǒng)中的元數(shù)據(jù)日志統(tǒng)一保存在一個對象存儲系統(tǒng)中，該機(jī)制主要包括以下模塊:對象存儲訪問器、元數(shù)據(jù)日志訪問器、元數(shù)據(jù)日志管理器； 對象存儲訪問器，該模塊負(fù)責(zé)實現(xiàn)對象存儲系統(tǒng)的訪問，包括對對象的讀、寫、刪除等操作的支持； 元數(shù)據(jù)日志訪問器，該模塊在對象存儲訪問器的基礎(chǔ)上，將對象操作包裝為日志操作，即提供一個虛擬的日志文件，該日志文件沒有長度限制，并且支持追加讀取、追加寫入和截斷操作； 元數(shù)據(jù)日志管理器，該模塊負(fù)責(zé)管理元數(shù)據(jù)日志，包括在系統(tǒng)啟動和恢復(fù)過程中執(zhí)行日志的重放，系統(tǒng)運行過程中執(zhí)行日志的截斷操作； 執(zhí)行步驟如下: (I)構(gòu)造元數(shù)據(jù)日志條目， (2 )提交元數(shù)據(jù)條目到元數(shù)據(jù)日志管理器， (3)元數(shù)據(jù)日志管理器提交日志條目到元數(shù)據(jù)日志訪問器， (4)元數(shù)據(jù)日志訪問器通過對象存儲訪問器將日志寫入到集群存儲中， (5)對象存儲訪問器完成寫入操作后，向元數(shù)據(jù)日志訪問器報告寫入完成， (6 )元數(shù)據(jù)日志訪問器向元數(shù)據(jù)日志管理器報告寫入完成， (7)元數(shù)據(jù)日志管理器向元數(shù)據(jù)服務(wù)器報告寫入完成， (8)元數(shù)據(jù)服務(wù)器更新內(nèi)存緩存； (9)元數(shù)據(jù)服務(wù)器向客戶端報告元數(shù)據(jù)請求完成。
2.根據(jù)權(quán)利要求書I所述的日志機(jī)制，其特征在于元數(shù)據(jù)日志管理器定時觸發(fā)日志的截斷流程。
3.根據(jù)權(quán)利要求書2所述的日志機(jī)制，其特征在于當(dāng)主元數(shù)據(jù)服務(wù)器發(fā)生宕機(jī)后，監(jiān)控模塊通知備份元數(shù)據(jù)服務(wù)器接管服務(wù)。
【文檔編號】H04L29/08GK103516549SQ201310447799
【公開日】2014年1月15日 申請日期:2013年9月27日 優(yōu)先權(quán)日:2013年9月27日
【發(fā)明者】袁冬 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司