表示可內(nèi)容尋址存儲(chǔ)系統(tǒng)的目錄結(jié)構(gòu)的制作方法
【專利說明】表示可內(nèi)容尋址存儲(chǔ)系統(tǒng)的目錄結(jié)構(gòu)
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2012年9月18日提交的美國專利申請第13/622，026號的部分繼續(xù)申請案的優(yōu)先權(quán)，即，2012年I月26日提交的美國專利申請第13/358，742號的部分繼續(xù)申請案，通過引用將其全部內(nèi)容結(jié)合在此，如同其在本文中闡述的那樣。
技術(shù)領(lǐng)域
[0003]本發(fā)明涉及存儲(chǔ)系統(tǒng)，更具體地，涉及用于表示層次結(jié)構(gòu)的可內(nèi)容尋址存儲(chǔ)系統(tǒng)中的目錄結(jié)構(gòu)。
【背景技術(shù)】
[0004]在典型的文件系統(tǒng)中，基于(a)各個(gè)項(xiàng)所存儲(chǔ)的位置和(b)各個(gè)項(xiàng)的名稱或者標(biāo)識符檢索所存儲(chǔ)的各個(gè)項(xiàng)。例如，如果名稱為“fo0.txt”的文件位于名稱為“c:\myfiles\text”的目錄下，貝U應(yīng)用程序可以使用路徑名稱“c: \myfiles\text\fo0.txt”作為訪問密鑰而從文件系統(tǒng)中檢索文件。
[0005]因?yàn)槌Ｒ?guī)訪問密鑰基于所檢索的各個(gè)項(xiàng)的位置，所以當(dāng)在文件系統(tǒng)的目錄結(jié)構(gòu)中移動(dòng)各個(gè)項(xiàng)時(shí)，則訪問密鑰改變。此外，一個(gè)項(xiàng)的每個(gè)副本均具有不同的訪問密鑰，因?yàn)槊總€(gè)副本均存儲(chǔ)在不同的位置處。另一方面，當(dāng)該項(xiàng)的內(nèi)容改變時(shí)，訪問密鑰保持不變。
[0006]與常規(guī)文件系統(tǒng)相比，可內(nèi)容尋址存儲(chǔ)系統(tǒng)允許應(yīng)用程序基于從各項(xiàng)內(nèi)容所生成的數(shù)據(jù)(諸如，用于內(nèi)容的哈希值)而從存儲(chǔ)器中檢索各項(xiàng)。因?yàn)榭蓛?nèi)容尋址存儲(chǔ)系統(tǒng)基于針對各項(xiàng)生成的哈希值對各項(xiàng)執(zhí)行存儲(chǔ)相關(guān)操作，并且哈希值基于各項(xiàng)內(nèi)容而非各項(xiàng)所存儲(chǔ)的位置，在未獲知各項(xiàng)的存儲(chǔ)副本的數(shù)目或者位置的情況下，請求該操作的應(yīng)用程序可執(zhí)行這樣的操作。例如，可內(nèi)容尋址存儲(chǔ)系統(tǒng)可將項(xiàng)X的多個(gè)副本存儲(chǔ)在位置A、B、以及C處。希望檢索項(xiàng)X的應(yīng)用程序?qū)⒒陧?xiàng)X的內(nèi)容通過利用哈希值發(fā)送請求可執(zhí)行此操作。基于該哈希值，可內(nèi)容尋址存儲(chǔ)系統(tǒng)將提供給應(yīng)用程序一份從位置A、B、以及C中的一個(gè)所檢索的項(xiàng)X的副本。因此，在不獲知項(xiàng)X實(shí)際存儲(chǔ)的位置、項(xiàng)X的存在的副本數(shù)目、獲知實(shí)際獲得的檢索副本的具體位置的情況下，應(yīng)用程序可獲得項(xiàng)X。
[0007]塊(chunk)存儲(chǔ)系統(tǒng)是一種在不了解數(shù)字信息本身的格式或者內(nèi)容的情況下執(zhí)行存儲(chǔ)操作的存儲(chǔ)系統(tǒng)。因?yàn)橄到y(tǒng)處理所有形式的數(shù)字項(xiàng)，如同這些項(xiàng)僅是不透明塊的數(shù)據(jù)，所以該存儲(chǔ)系統(tǒng)被稱之為塊存儲(chǔ)系統(tǒng)。例如，通過文字處理應(yīng)用程序、圖像管理應(yīng)用程序、以及日歷系統(tǒng)，可使用相同的塊存儲(chǔ)系統(tǒng)來分別存儲(chǔ)文件、圖像、以及約會(huì)。然而，就塊存儲(chǔ)系統(tǒng)而言，僅存儲(chǔ)一種類型的項(xiàng):不透明塊的數(shù)字信息。
[0008]塊存儲(chǔ)系統(tǒng)可被實(shí)現(xiàn)為可內(nèi)容尋址存儲(chǔ)系統(tǒng)。例如，塊存儲(chǔ)系統(tǒng)可通過將加密哈希函數(shù)(例如，MD5、SHA-1或者SHA2)應(yīng)用于塊而生成一個(gè)塊的哈希值。然后，塊存儲(chǔ)器可存儲(chǔ)該塊，并且保持使哈希值與該塊所存儲(chǔ)的位置相關(guān)聯(lián)的索引數(shù)據(jù)。
[0009]當(dāng)應(yīng)用程序隨后請求對該塊的檢索時(shí)，應(yīng)用程序?qū)⒐Ｖ堤峁┙o塊存儲(chǔ)系統(tǒng)。塊存儲(chǔ)系統(tǒng)使用索引數(shù)據(jù)來定位與該哈希值相關(guān)聯(lián)的塊，并且提供由此被定位至所請求應(yīng)用程序的塊。
[0010]當(dāng)由可內(nèi)容尋址存儲(chǔ)系統(tǒng)中的一個(gè)或者多個(gè)塊表示一個(gè)項(xiàng)時(shí)，則當(dāng)該項(xiàng)被更改時(shí)，必須將額外的塊添加到可內(nèi)容尋址存儲(chǔ)系統(tǒng)中。因?yàn)樵L問密鑰基于內(nèi)容，所以對應(yīng)于更改項(xiàng)的任一塊的訪問密鑰不同于對應(yīng)于原始項(xiàng)的塊的訪問密鑰。而且，對于原始項(xiàng)的導(dǎo)引(reference)，例如哈希值或者其他訪問密鑰等將僅有可用于訪問原始項(xiàng)。
[0011]該部分中所描述的解決方案是可以探索的解決方案，但不一定必須是之前構(gòu)思或者探索的解決方案。因此，除非另有規(guī)定，否則，不應(yīng)僅憑借其在該部分中的內(nèi)容而假設(shè)該部分中所描述的任一種解決方案作為現(xiàn)有技術(shù)。
【附圖說明】
[0012]圖1是描述了用于表示可內(nèi)容尋址存儲(chǔ)系統(tǒng)中的目錄結(jié)構(gòu)的系統(tǒng)的實(shí)施方式的框圖；
[0013]圖2是描述對應(yīng)于文件系統(tǒng)卷的對象塊的實(shí)施方式的框圖；
[0014]圖3A是描述目錄對象塊的實(shí)施方式的框圖；
[0015]圖3B是描述哈希集塊的層次結(jié)構(gòu)的實(shí)施方式的框圖；
[0016]圖3C是描述對象塊的實(shí)施方式的框圖；
[0017]圖3D是描述名稱索引塊的實(shí)施方式的框圖；
[0018]圖4是描述對應(yīng)于文件系統(tǒng)卷的特定目錄的哈希集塊的實(shí)施方式的框圖；
[0019]圖5是示出了用于訪問目錄的方法的實(shí)施方式的流程圖；
[0020]圖6是示出了用于將新對象添加到目錄中的方法的實(shí)施方式的流程圖；
[0021]圖7示出了可以實(shí)現(xiàn)一種或者多種實(shí)施方式的計(jì)算機(jī)系統(tǒng)。
【具體實(shí)施方式】
[0022]在下列描述中，出于說明性之目的，設(shè)定了無數(shù)種具體細(xì)節(jié)，以提供對本發(fā)明的完全理解。然而，顯而易見，在不具備這些具體細(xì)節(jié)的情況下可以實(shí)現(xiàn)本發(fā)明。在其他情況下，以框圖形式示出了所熟知的結(jié)構(gòu)和設(shè)備，以避免使本發(fā)明變得不清楚。
[0023]概述
[0024]以反映文件系統(tǒng)目錄結(jié)構(gòu)的方式提供用于構(gòu)造可內(nèi)容尋址存儲(chǔ)系統(tǒng)的技術(shù)?？蓛?nèi)容尋址存儲(chǔ)系統(tǒng)中的塊實(shí)現(xiàn)文件系統(tǒng)的對象(例如，文件和目錄)。對于包含一組子對象的特定目錄，可內(nèi)容尋址存儲(chǔ)系統(tǒng)包括對應(yīng)于該目錄的目錄對象塊、對應(yīng)于目錄內(nèi)所包含的子對象的一組子對象塊、以及包含子對象塊的哈希值的至少一個(gè)哈希集塊。使用目錄對象塊的哈希值可訪問目錄。
[0025]更改目錄(諸如，通過添加子對象、更改子對象、或者移除子對象)致使該目錄下子對象塊的該組哈希值發(fā)生變化。當(dāng)更改目錄時(shí)，生成包括新的或者經(jīng)更改的子對象的新哈希值的一個(gè)或多個(gè)新哈希集塊，或者省略所移除子對象的哈希值的一個(gè)或者多個(gè)新哈希集塊
[0026]在一種實(shí)施方式中，哈希集塊布置在層次結(jié)構(gòu)中。根哈希集塊是該哈希集塊的層次結(jié)構(gòu)中所有其他哈希集塊的祖代(ancestor)。當(dāng)從目錄中添加、更改、或者移除子對象時(shí)，這種變化影響導(dǎo)引(reference)子對象的哈希集塊以及受影響哈希集塊的祖代。
[0027]塊存儲(chǔ)服務(wù)器
[0028]圖1是描述用于表示可內(nèi)容尋址存儲(chǔ)系統(tǒng)中的目錄結(jié)構(gòu)的系統(tǒng)的實(shí)施方式的框圖。
[0029]塊存儲(chǔ)服務(wù)器112是被配置為存儲(chǔ)多個(gè)塊的可內(nèi)容尋址存儲(chǔ)系統(tǒng)。盡管示出了單個(gè)塊，然而，塊存儲(chǔ)服務(wù)器112可包括任意數(shù)目的服務(wù)器、數(shù)據(jù)存儲(chǔ)器、網(wǎng)絡(luò)、或者用于實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)系統(tǒng)的任何其他部件。例如，塊存儲(chǔ)服務(wù)器112可以是云存儲(chǔ)服務(wù)器。在圖1中所示的實(shí)施方式中，塊存儲(chǔ)服務(wù)器112被配置為通過諸如云網(wǎng)絡(luò)等一個(gè)或者多個(gè)網(wǎng)絡(luò)與一個(gè)或者多個(gè)文件系統(tǒng)客戶端102至106通信。
[0030]塊存儲(chǔ)服務(wù)器112被配置為存儲(chǔ)使用基于塊內(nèi)容的訪問密鑰可進(jìn)行訪問的塊。訪問密鑰可以是用于塊數(shù)據(jù)的哈希值。在一種實(shí)施方式中，哈希函數(shù)是不變哈希函數(shù)。即，給定塊的哈希函數(shù)的應(yīng)用程序始終產(chǎn)生相同的訪問密鑰?？捎糜谏稍L問密鑰的哈希函數(shù)的實(shí)施例包括但不限于MD5、SHA-1、以及SHA-2。盡管描述了使用哈希值作為訪問密鑰的細(xì)節(jié)實(shí)施方式，然而，可以使用用于表示可內(nèi)容尋址存儲(chǔ)系統(tǒng)中的目錄結(jié)構(gòu)的細(xì)節(jié)實(shí)施方式中的任何其他內(nèi)容類訪問密鑰。
[0031]文件系統(tǒng)客戶端
[0032]通常，文件系統(tǒng)客戶端102至106代表被配置為存儲(chǔ)和訪問使用塊存儲(chǔ)服務(wù)器112所實(shí)現(xiàn)的文件系統(tǒng)的文件的實(shí)體。因此，文件系統(tǒng)客戶端102至106可對應(yīng)于應(yīng)用程序、系統(tǒng)、服務(wù)、或者使用文件系統(tǒng)的任何其他類型的實(shí)體。塊存儲(chǔ)服務(wù)器112可存儲(chǔ)用于一個(gè)或者多個(gè)文件系統(tǒng)客戶端102至106的多個(gè)文件系統(tǒng)卷。而且，文件系統(tǒng)客戶端102至106中的每個(gè)均可訪問一個(gè)或者多個(gè)文件系統(tǒng)卷，并且每個(gè)文件系統(tǒng)卷均可被一個(gè)或者多個(gè)文件系統(tǒng)客戶端102至106訪問。
[0033]在一種實(shí)施方式中，文件系統(tǒng)客戶端106包括文件夾和文檔層108以及塊系統(tǒng)客戶端110。文件系統(tǒng)客戶端106可通過文件夾和文檔層108訪問由塊存儲(chǔ)服務(wù)器112所存儲(chǔ)的一個(gè)或者多個(gè)文件系統(tǒng)卷。在一種實(shí)施方式中，文件夾和文檔層108允許文件系統(tǒng)客戶端106的用戶和應(yīng)用程序以與傳統(tǒng)文件系統(tǒng)相似的方式遠(yuǎn)程訪問所存儲(chǔ)的文件系統(tǒng)卷。例如，文件夾和文檔層108可代表作為傳統(tǒng)層次結(jié)構(gòu)文件系統(tǒng)中的一組文件夾和文檔而存儲(chǔ)在塊存儲(chǔ)服務(wù)器112中的文件系統(tǒng)卷。
[0034]文件夾和文檔層108與塊系統(tǒng)客戶端110通信以訪問與塊存儲(chǔ)服務(wù)器112中所存儲(chǔ)的文件系統(tǒng)卷有關(guān)的數(shù)據(jù)。塊系統(tǒng)客戶端110被配置為與塊存儲(chǔ)服務(wù)器112通信以訪問由塊存儲(chǔ)服務(wù)器112所存儲(chǔ)的塊數(shù)據(jù)。在一種實(shí)施方式中，塊系統(tǒng)客戶端110被配置為通過諸如云網(wǎng)絡(luò)等一個(gè)或者多個(gè)網(wǎng)絡(luò)與塊存儲(chǔ)服務(wù)器112通信。在一種實(shí)施方式中，塊系統(tǒng)客戶端110被進(jìn)一步配置為基于從塊存儲(chǔ)服務(wù)器112所檢索的塊來構(gòu)造文件系統(tǒng)卷的一個(gè)或者多個(gè)目錄的目錄結(jié)構(gòu)。
[0035]出于說明之目的，詳細(xì)示出了文件系統(tǒng)客戶端106的內(nèi)部功能單元。盡管未獨(dú)立示出，然而，文件系統(tǒng)客戶端102和104可具有與文件系統(tǒng)客戶端106相同或者相似的部件。
[0036]文件系統(tǒng)卷
[0037]塊可以用來表示卷的文件系統(tǒng)層次結(jié)構(gòu)，其中，一些塊對應(yīng)于文件系統(tǒng)層次結(jié)構(gòu)的文件夾/目錄，而其他塊對應(yīng)于存儲(chǔ)在文件夾/目錄中的文件?？蓛?nèi)容尋址存儲(chǔ)系統(tǒng)通常不可變。一旦數(shù)據(jù)塊被存儲(chǔ)為與訪問密鑰相關(guān)聯(lián)，諸如，該塊的哈希值，則不可直接更改訪問密鑰位置處的數(shù)據(jù)塊。更確切地，創(chuàng)建該塊的新版本，并且該新版本與該塊的原始副本分開存儲(chǔ)。此外，數(shù)據(jù)被存儲(chǔ)為將新塊位置與新訪問密鑰相關(guān)聯(lián)，其中，新訪問密鑰基于更改塊的內(nèi)容。為表示通?？勺兾募到y(tǒng)的目錄結(jié)構(gòu)，必須考慮訪問密鑰的變化。
[0038]圖2是描述對應(yīng)于文件系統(tǒng)卷中諸如文件和目錄等對象的對象塊202至256的框圖。對象塊202至256包括對應(yīng)于目錄的目錄對象塊202至208和252至256以及對應(yīng)于文件的文件對象塊210至218和250。如本發(fā)明中所使用的，術(shù)語“文件”指與典型文件系統(tǒng)中諸如路徑名稱等訪問密鑰相關(guān)聯(lián)的任何非目錄數(shù)據(jù)。
[0039]盡管文件系統(tǒng)層次結(jié)構(gòu)200中的對象塊的布置反映了對象塊所對應(yīng)的目錄與文件之間的層次結(jié)構(gòu)關(guān)系，然而，塊存儲(chǔ)器內(nèi)對象塊的實(shí)際布置與該層次結(jié)構(gòu)沒有任何關(guān)系。例如，對象塊可被分布在諸如云存儲(chǔ)系統(tǒng)中等多個(gè)存儲(chǔ)設(shè)備上。
[0040]文件系統(tǒng)層次結(jié)構(gòu)200表示文件系統(tǒng)卷內(nèi)的目錄結(jié)構(gòu)。如圖2中所示，文件系統(tǒng)層次結(jié)構(gòu)200是沒有重疊結(jié)構(gòu)的一顆樹。如此處所使用的，術(shù)語“層次結(jié)構(gòu)”包括但不限于樹。例如，任何給定的對象塊或者對象塊的分層次結(jié)構(gòu)還可以屬于文件系統(tǒng)層次結(jié)構(gòu)200內(nèi)的多個(gè)分層次結(jié)構(gòu)。任何對象塊或者對象塊的分層次結(jié)構(gòu)還可以屬于用于不同文件系統(tǒng)卷的不同文件系統(tǒng)層次結(jié)構(gòu)。而且，通常，文件系統(tǒng)層次結(jié)構(gòu)200可以是有向非循環(huán)圖。有向非循環(huán)圖還可表示潛在共享一個(gè)或者多個(gè)對象塊的多個(gè)文件系統(tǒng)層次結(jié)構(gòu)。本發(fā)明中所描述的技術(shù)同樣適用于表示該層次結(jié)構(gòu)的塊存儲(chǔ)器，作為表示非重疊樹層次結(jié)構(gòu)的塊存儲(chǔ)器。
[0041]文件系統(tǒng)層次結(jié)構(gòu)200包括以反映文件系統(tǒng)卷中所存儲(chǔ)的對象之間的層次結(jié)構(gòu)關(guān)系的方式而布置的對象塊202至218。文件系統(tǒng)層次結(jié)構(gòu)200中的非葉(non-leaf)對象塊對應(yīng)于文件系統(tǒng)卷的非空目錄。文件系統(tǒng)層次結(jié)構(gòu)20