專利名稱：一種利用集群計算節(jié)點空閑硬盤空間擴展并行文件系統(tǒng)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體地說是一種利用集群計算節(jié)點空閑硬盤空間擴展并行文件系統(tǒng)的方法。
背景技術(shù)：
對于中小型集群，特別是小型集群，一般沒有配備專門并行文件系統(tǒng)，集群計算節(jié)點共享一般通過nfs實現(xiàn)，在提交過多對io要求很高的作業(yè)后，文件系統(tǒng)效率會嚴重降低。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)任務(wù)是解決現(xiàn)有技術(shù)的不足，提供一種利用集群計算節(jié)點空閑硬盤空間擴展并行文件系統(tǒng)的方法。本發(fā)明的技術(shù)方案是按以下方式實現(xiàn)的，通過lustre文件系統(tǒng)來實現(xiàn)利用集群計算節(jié)點空閑硬盤空間擴展并行文件操作，Lustre對象存儲文件系統(tǒng)是由客戶端、存儲服務(wù)器和元數(shù)據(jù)服務(wù)器MDS三個主要部分組成，Lustre的客戶端運行Lustre文件系統(tǒng)，它和OST進行文件數(shù)據(jù)I/O的交互，和MDS進行命名空間操作的交互，即用計算節(jié)點的閑置磁盤空間做lustre文件系統(tǒng)的存儲服務(wù)器ost，把計算節(jié)點的閑置磁盤空間整合成一個大的文件系統(tǒng)，然后客戶端或計算節(jié)點來掛載此文件系統(tǒng)使用；
具體實現(xiàn)過程如下
構(gòu)建一小型集群，一個管理節(jié)點和10個計算節(jié)點，其中計算節(jié)點的硬盤容量為500G，Luster文件系統(tǒng)實現(xiàn)方式如下
1)mds服務(wù)器的創(chuàng)建
在管理節(jié)點劃分一個30G的區(qū)分格式化為mdt和mgs分區(qū)；
2)ost服務(wù)器的創(chuàng)建
共10個計算節(jié)點，每個節(jié)點500G的磁盤空間，拿出50G安裝操作系統(tǒng)，剩下的450G空間做為lustre的ost空間；
把10個計算節(jié)點的空閑分區(qū)依次格式化為ostl—ostlO ；
至此lustre文件系統(tǒng)構(gòu)建完畢，由10個450G容量的ost分區(qū)組成，文件系統(tǒng)共4. 5T的容量；
3)客戶端掛載
管理節(jié)點和10個計算節(jié)點，都掛載此4. 5T存儲空間使用，這樣不僅計算節(jié)點的硬盤得到合理利用，增加了整個集群的存儲空間，多出4. 5T的使用容量，而且，對于有10個ost的lustre文件系統(tǒng)，其IO并發(fā)能力和帶寬都要遠遠高于nfs文件系統(tǒng)，提高了集群的整體性倉泛。本發(fā)明的突出的有益效果通過利用計算節(jié)點空閑硬盤空間做并行文件系統(tǒng)的方法，不僅可以解決文件系統(tǒng)IO并發(fā)和帶寬問題，而且能提高整個集群系統(tǒng)的存儲空間，合理利用集群資源。


圖1是系統(tǒng)結(jié)構(gòu)不意圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明的方法作進一步詳細說明。北京中科院對地觀測中心購買了一套小型集群，一個管理節(jié)點和10個計算節(jié)點，其中計算節(jié)點的硬盤容量為500G。Luster文件系統(tǒng)實現(xiàn)方式
1.mds服務(wù)器的創(chuàng)建
在管理節(jié)點劃分一個30G的區(qū)分格式化為mdt和mgs分區(qū)；
2.ost服務(wù)器的創(chuàng)建
共10個計算節(jié)點，每個節(jié)點500G的磁盤空間，拿出50G安裝操作系統(tǒng)，剩下的450G空間做為lustre的ost空間；
把10個計算節(jié)點的空閑分區(qū)依次格式化為ostl—ostlO
至此lustre文件系統(tǒng)構(gòu)建完畢，由10個450G容量的ost分區(qū)組成，文件系統(tǒng)共4. 5T的容量；
3.客戶端掛載
管理節(jié)點和10個計算節(jié)點，都掛載此4. 5T存儲空間使用即可。這樣不僅計算節(jié)點的硬盤得到合理利用，增加了整個集群的存儲空間(多出4. 5T的使用容量)，而且，對于有10個ost的lustre文件系統(tǒng)，其IO并發(fā)能力和帶寬都要遠遠高于nfs文件系統(tǒng)，提高了集群的整體性能。除本發(fā)明的說明書公開的技術(shù)特征外均為本專業(yè)技術(shù)人員的公職技術(shù)。
權(quán)利要求
1.一種利用集群計算節(jié)點空閑硬盤空間擴展并行文件系統(tǒng)的方法，其特征在于，通過lustre文件系統(tǒng)來實現(xiàn)利用集群計算節(jié)點空閑硬盤空間擴展并行文件操作，Lustre對象存儲文件系統(tǒng)是由客戶端、存儲服務(wù)器和元數(shù)據(jù)服務(wù)器MDS三個主要部分組成，Lustre的客戶端運行Lustre文件系統(tǒng)，它和OST進行文件數(shù)據(jù)I/O的交互，和MDS進行命名空間操作的交互，即用計算節(jié)點的閑置磁盤空間做lustre文件系統(tǒng)的存儲服務(wù)器ost，把計算節(jié)點的閑置磁盤空間整合成一個大的文件系統(tǒng)，然后客戶端或計算節(jié)點來掛載此文件系統(tǒng)使用； 具體實現(xiàn)過程如下: 構(gòu)建一小型集群，一個管理節(jié)點和10個計算節(jié)點，其中計算節(jié)點的硬盤容量為500G，Luster文件系統(tǒng)實現(xiàn)方式如下: 1)mds服務(wù)器的創(chuàng)建 在管理節(jié)點劃分一個30G的區(qū)分格式化為mdt和mgs分區(qū)； 2)ost服務(wù)器的創(chuàng)建 共10個計算節(jié)點，每個節(jié)點500G的磁盤空間，拿出50G安裝操作系統(tǒng)，剩下的450G空間做為lustre的ost空間； 把10個計算節(jié)點的空閑分區(qū)依次格式化為ostl—ostlO ； 至此lustre文件系統(tǒng)構(gòu)建完畢，由10個450G容量的ost分區(qū)組成，文件系統(tǒng)共4.5T的容量； 3)客戶端掛載 管理節(jié)點和10個計算節(jié)點，都掛載此4.5T存儲空間使用，這樣不僅計算節(jié)點的硬盤得到合理利用，增加了整個集群的存儲空間，多出4.5T的使用容量，而且，對于有10個ost的lustre文件系統(tǒng)，其IO并發(fā)能力和帶寬都要遠遠高于nfs文件系統(tǒng)，提高了集群的整體性倉泛。
全文摘要
本發(fā)明提供一種利用集群計算節(jié)點空閑硬盤空間擴展并行文件系統(tǒng)的方法，通過lustre文件系統(tǒng)來實現(xiàn)利用集群計算節(jié)點空閑硬盤空間擴展并行文件操作，Lustre對象存儲文件系統(tǒng)是由客戶端、存儲服務(wù)器和元數(shù)據(jù)服務(wù)器MDS三個主要部分組成，Lustre的客戶端運行Lustre文件系統(tǒng)，它和OST進行文件數(shù)據(jù)I/O的交互，和MDS進行命名空間操作的交互，即用計算節(jié)點的閑置磁盤空間做lustre文件系統(tǒng)的存儲服務(wù)器ost，把計算節(jié)點的閑置磁盤空間整合成一個大的文件系統(tǒng)，然后客戶端或計算節(jié)點來掛載此文件系統(tǒng)使用；通過利用計算節(jié)點空閑硬盤空間做并行文件系統(tǒng)的方法，不僅可以解決文件系統(tǒng)IO并發(fā)和帶寬問題，而且能提高整個集群系統(tǒng)的存儲空間，合理利用集群資源。
文檔編號G06F17/30GK103077245SQ20131001797
公開日2013年5月1日 申請日期2013年1月18日 優(yōu)先權(quán)日2013年1月18日
發(fā)明者孫玉超, 陳良華, 鄭輝 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司