專利名稱：支持分布式?jīng)Q策的大規(guī)模高并發(fā)訪問i/o服務(wù)器負(fù)載均衡系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明公開了一種大規(guī)模IO服務(wù)器負(fù)載均衡系統(tǒng)，尤其涉及一種支持分布式?jīng)Q策的高性能計算機(jī)文件系統(tǒng)中大規(guī)模高并發(fā)訪問I/o服務(wù)器間的負(fù)載均衡系統(tǒng)，I/O指輸入/輸出。屬于計算機(jī)技術(shù)領(lǐng)域。
背景技術(shù)：
并行輸入/輸出(Input/Output)系統(tǒng)歷來是計算機(jī)系統(tǒng)結(jié)構(gòu)領(lǐng)域一個熱點(diǎn)研究方向，其旨在內(nèi)存和磁盤之間創(chuàng)建多個數(shù)據(jù)通路來緩解計算機(jī)系統(tǒng)的I/o性能瓶頸問題。并行文件系統(tǒng)作為并行輸入/輸出系統(tǒng)的核心軟件之一，不僅提供了文件數(shù)據(jù)并行訪問所需的語義和接口，而且能夠通過文件的分條、文件的分配和數(shù)據(jù)服務(wù)器之間的動態(tài)負(fù)載均衡等手段來保證文件數(shù)據(jù)的聚合訪問速度。其中，文件分條是文件數(shù)據(jù)并行訪問的前提之一；有效的文件分配是發(fā)揮大規(guī)模存儲設(shè)備性能的有力保障；數(shù)據(jù)服務(wù)器之間的動態(tài)負(fù)載均衡則保證了并行文件系統(tǒng)的高性能和高擴(kuò)展性。本發(fā)明公開了一種涵蓋上述三項關(guān)鍵技術(shù)的面向高性能計算機(jī)文件系統(tǒng)中大規(guī)模IO服務(wù)器的服務(wù)器負(fù)載均衡系統(tǒng)?，F(xiàn)有主流的并行文件系統(tǒng)包括PVFS，Lustre和GPFS等。一般的文件數(shù)據(jù)負(fù)載均衡的完整流程可以抽象概括為三個關(guān)鍵步驟(如附

圖1所示):第一步，對進(jìn)入并行文件系統(tǒng)的文件進(jìn)行分塊(條)。第二步，分條文件的分配。第三步，并行文件系統(tǒng)中I/o服務(wù)器之間動態(tài)負(fù)載均衡。就文件分條而言，其中一個重要因素就是確定文件的分條寬度。下面我們將從本發(fā)明相關(guān)的學(xué)術(shù)研究及已發(fā)表論文分析、以及相關(guān)的專利分析兩方面對本專利的創(chuàng)新性進(jìn)行分析。(I)在支持分布式?jīng)Q策的高性能計算機(jī)文件系統(tǒng)中大規(guī)模高并發(fā)訪問I/O服務(wù)器間的負(fù)載均衡方法的相關(guān)研究和已發(fā)表論文分析方面，和本專利相關(guān)的包括文件分體方法、分體文件的分配方法和負(fù)載均衡三方面:首先，在文件分條方法的相關(guān)研究和已發(fā)表論文分析，首先因為面向單一的檢查點(diǎn)文件可以方便進(jìn)程失效之后的重啟；單一的結(jié)果文件可以使得計算結(jié)果良好的封裝，單一的共享文件也會降低元數(shù)據(jù)壓力等原因，傳統(tǒng)的“單文件-多進(jìn)程”的方式已被廣泛采用，目前迫切需要一種文件級的分條粒度。其次，隨著數(shù)據(jù)密集型，高性能計算機(jī)已進(jìn)入P級，即將進(jìn)入適于E級計算的高性能計算機(jī)研發(fā)，其文件系統(tǒng)中的文件請求具有更典型的大規(guī)模、高并發(fā)，高突發(fā)等特征，需要能夠刻畫該特征的分條模型。單一應(yīng)用程序內(nèi)部的計算階段和I/o階段相互交替(例如同步原語(MPI_File_sync、MPI_Barrier等)；訪問多個文件的平穩(wěn)請求流也可能轉(zhuǎn)換成為訪問單一文件的突發(fā)請求流(如Server-Si decoordination技術(shù))?？傮w看來,如表I所示，傳統(tǒng)利用實(shí)驗統(tǒng)計和最優(yōu)化的數(shù)學(xué)理論等方法，針對如何確定系統(tǒng)級或者目錄級的文件分條寬度的問題已經(jīng)進(jìn)行了大量的研究。但是由于系統(tǒng)級和目錄級的文件分條沒有考慮單一文件的訪問特性，在面對科學(xué)計算程序的I/O性能優(yōu)化時并不能很好刻畫文件級訪問特征，特別是大規(guī)模高性能計算機(jī)當(dāng)前(如P級)和未來(如E級)的大規(guī)模高并發(fā)等需求，具有一定的限制。與此相反，文件級別的分條方法能夠很好考慮單一文件訪問的特性，從而給出能夠提高該文件訪問性能的分條寬度。對于高性能計算機(jī)所使用的并行文件系統(tǒng)而言，由于其需要面對具有突發(fā)特性的科學(xué)計算程序的I/O請求、同時也得面對更高的文件訪問并行度，因此現(xiàn)有研究總體仍然缺乏一種能夠很好的應(yīng)用于高性能計算中數(shù)據(jù)并發(fā)訪問的文件級分條策略，尤其是該分條的策略需要滿足能夠根據(jù)每一個文件的自身的訪問特點(diǎn)和整個系統(tǒng)的負(fù)載情況來確定文件的分條寬度，從而為高效的并行數(shù)據(jù)的訪問提供保證。
權(quán)利要求
1.一種支持分布式?jīng)Q策的高性能計算機(jī)文件系統(tǒng)中大規(guī)模高并發(fā)訪問I/o服務(wù)器負(fù)載均衡系統(tǒng)，其特征在于包括如下三個模塊: (1)面向高并發(fā)文件訪問請求的文件級分條，該模塊能夠根據(jù)文件的訪問特點(diǎn)，如請求大小和文件并發(fā)訪問度等，自動設(shè)置文件的分條大小，從而為高效的并行I/o提供有利保證，具有滿足高并發(fā)和文件級分體實(shí)現(xiàn)的需求的技術(shù)特征； (2)最小化I/O訪問沖突概率的文件分配，該模塊主要完成最小化IO訪問沖突的文件分配，該方法不僅充分考慮文件的分條策略，而且充分考慮文件訪問的沖突概率，實(shí)現(xiàn)和保證了并行I/o性能，同時也是文件之間進(jìn)行并行數(shù)據(jù)訪問性能的有力根基； (3)基于分布式?jīng)Q策的動態(tài)負(fù)載均衡，該模塊具有高擴(kuò)展性、充分考慮決策延遲、遷移代價和遷移抖動的特征，可以有效的消除并行文件系統(tǒng)的性能瓶頸、保證并行文件數(shù)據(jù)訪問的性能和擴(kuò)展性；該模塊包括四個子模塊:1)基于時間序列分析的在線負(fù)載預(yù)測，用來估計這個數(shù)據(jù)服務(wù)器短期內(nèi)的負(fù)載，這些預(yù)測的負(fù)載可以被其他服務(wù)器收集來進(jìn)行負(fù)載決策，從而可以減少負(fù)載決策延遲；2)最小化IO訪問沖突的文件分配，其用于負(fù)載收集的信息交換可能降低整個系統(tǒng)的性能；3)面向大規(guī)模服務(wù)器的分布式負(fù)載決策機(jī)制，基于整個系統(tǒng)的負(fù)載狀況和本數(shù)據(jù)服務(wù)器自己的負(fù)載，該負(fù)載決策機(jī)制能夠在分布式體系結(jié)構(gòu)下決定是否需要觸發(fā)動態(tài)文件遷移以平衡服務(wù)器間的負(fù)載；4)自適應(yīng)的動態(tài)文件遷移，當(dāng)服務(wù)器需要轉(zhuǎn)移自己的負(fù)載時，其可以根據(jù)收集到的負(fù)載信息以及自己服務(wù)器上不同文件的負(fù)載狀況來選擇遷移的對象，以平衡動態(tài)文件遷移收益和副作用，用于把需要遷移的文件數(shù)據(jù)轉(zhuǎn)移到選擇的目標(biāo)服務(wù)器上。
2.權(quán)利要求1所述的支持分布式?jīng)Q策的高性能計算機(jī)文件系統(tǒng)中大規(guī)模高并發(fā)訪問I/O服務(wù)器負(fù)載均衡系統(tǒng)，其運(yùn)行流程為: (1)調(diào)用并執(zhí)行“面向高并發(fā)文件訪問請求的文件級分條”; (2)調(diào)用并執(zhí)行“最小化I/O訪問沖突概率的文件分配”； (3)調(diào)用并執(zhí)行“基于分布式?jīng)Q策的動態(tài)負(fù)載均衡”，具體包括，I)調(diào)用并執(zhí)行“基于時間序列分析的在線負(fù)載預(yù)測”，2)調(diào)用并執(zhí)行“最小化IO訪問沖突的文件分配”，3)調(diào)用并執(zhí)行“面向大規(guī)模服務(wù)器的分布式負(fù)載決策機(jī)制”，4)調(diào)用并執(zhí)行“自適應(yīng)的動態(tài)文件遷移”。
全文摘要
本發(fā)明針對高性能計算機(jī)中缺乏高數(shù)據(jù)并發(fā)訪問的文件級別的文件分條，針對面向分條文件的、并且能夠充分考慮動態(tài)文件訪問特性的分配方法以及一種支持分布式?jīng)Q策的負(fù)載均衡等問題，公開了一種支持分布式?jīng)Q策的大規(guī)模高并發(fā)訪問I/O服務(wù)器負(fù)載均衡系統(tǒng)，為高性能計算機(jī)提供了具有高擴(kuò)展性、充分考慮網(wǎng)絡(luò)延遲和遷移代價的新型動態(tài)負(fù)載均衡支持。在模塊構(gòu)成上主要包括面向高并發(fā)文件訪問請求的文件級分條，最小化IO訪問沖突的文件分配和基于分布式?jīng)Q策的負(fù)載均衡。本發(fā)明可以滿足具有大規(guī)模高并發(fā)和分布式?jīng)Q策的高性能計算機(jī)的負(fù)載均衡系統(tǒng)應(yīng)用需求。因此，本發(fā)明具有廣闊的應(yīng)用前景和可產(chǎn)生顯著的經(jīng)濟(jì)效益等特色。
文檔編號G06F9/50GK103188346SQ20131006992
公開日2013年7月3日 申請日期2013年3月5日 優(yōu)先權(quán)日2013年3月5日
發(fā)明者阮利, 董斌, 肖利民, 祝明發(fā) 申請人:北京航空航天大學(xué)