專利名稱：一種基于用戶請求響應(yīng)時間的副本創(chuàng)建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于分布式存儲中的副本管理技術(shù)領(lǐng)域，更具體地，涉及一種基于用戶請求響應(yīng)時間的副本創(chuàng)建方法。
背景技術(shù)：
在現(xiàn)代科學(xué)研究和應(yīng)用領(lǐng)域中，大量的數(shù)據(jù)是重要的資源，如高能物理和粒子物理、生物醫(yī)學(xué)研究、航空航天、數(shù)字地球、大型武器模擬、大型數(shù)據(jù)庫和數(shù)據(jù)倉庫等的應(yīng)用。其數(shù)據(jù)量將達(dá)到TB至PB的級別。同時，地理上廣泛分布的科研工作者和用戶都希望能訪問和分析這些龐大的數(shù)據(jù)。為了解決上述應(yīng)用面臨的問題，分布式存儲應(yīng)運(yùn)而生。分布式存儲為各種應(yīng)用提供了一個高性能、大容量、高速傳輸?shù)牟⑿蟹植紡V域計算平臺。它是對廣域范圍內(nèi)大規(guī)模的數(shù)據(jù)集進(jìn)行分布式管理和分析及使用的一個綜合的體系結(jié)構(gòu)，實現(xiàn)網(wǎng)格環(huán)境中安全、可靠和有效的數(shù)據(jù)傳輸以及訪問、復(fù)制等操作，并提供到不同存儲系統(tǒng)的統(tǒng)一接口，較好地解決了上述問題，從而使得數(shù)據(jù)密集型的高性能計算和大量的共享數(shù)據(jù)密集型的事務(wù)處理及科學(xué)研究成為可能。數(shù)據(jù)副本(Data R印lica)機(jī)制是分布式存儲領(lǐng)域的一個研究熱點(diǎn)，副本機(jī)制通過在不同地點(diǎn)存放數(shù)據(jù)的多個副本可以降低遠(yuǎn)程訪問該數(shù)據(jù)的網(wǎng)絡(luò)延遲及帶寬消耗，還可以提高網(wǎng)絡(luò)的負(fù)載均衡，同時能夠提高數(shù)據(jù)的安全性和可靠性以及系統(tǒng)的容錯性等。良好的數(shù)據(jù)副本管理策略是提高數(shù)據(jù)網(wǎng)格服務(wù)質(zhì)量的重要方面。作為副本管理策略的重要組成部分，目前的副本創(chuàng)建機(jī)制都是依據(jù)用戶訪問頻率來判斷“熱點(diǎn)數(shù)據(jù)”。通過記錄某個時間段(Time interval)內(nèi)的用戶對該文件的訪問次數(shù)，如果超過了某個閾值，就認(rèn)為該文件成為“熱點(diǎn)數(shù)據(jù)”，為該文件創(chuàng)建新的副本。然而，目前的這種副本創(chuàng)建機(jī)制存在兩個很明顯的問題:(I)并不能在最恰當(dāng)?shù)臅r機(jī)為“熱點(diǎn)數(shù)據(jù)”創(chuàng)建新的副本。目前的這種基于訪問記錄的副本創(chuàng)建方法，副本的創(chuàng)建一般發(fā)生在時間段的結(jié)尾，而用戶請求在一個時間段內(nèi)的分布是不均勻的，目前的副本創(chuàng)建策略并不能在用戶并發(fā)請求最高的時刻，做出響應(yīng)；(2)大大增加用戶請求的響應(yīng)時間。目前的這種基于訪問記錄的副本創(chuàng)建方法，會導(dǎo)致大量的用戶請求處于等待狀態(tài)，大大增加了用戶請求的響應(yīng)時間，降低了整個系統(tǒng)的性能。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提供一種基于用戶請求響應(yīng)時間的副本創(chuàng)建方法，其綜合考慮了系統(tǒng)并發(fā)數(shù)和用戶響應(yīng)時間，并在恰當(dāng)?shù)臅r機(jī)為熱點(diǎn)數(shù)據(jù)創(chuàng)建新的副本，從而降低用戶訪問的響應(yīng)時間，并提高整個系統(tǒng)的性能。為實現(xiàn)上述目的，本發(fā)明提供了一種基于用戶請求響應(yīng)時間的副本創(chuàng)建方法，包括以下步驟:(I)將分布式存儲環(huán)境中的待測數(shù)據(jù)塊復(fù)制η個副本，將η個副本分別分布在分布式存儲環(huán)境中的η個存儲節(jié)點(diǎn)上，每個副本的大小為Sb，并將這η個存儲節(jié)點(diǎn)的信息存儲在元數(shù)據(jù)服務(wù)器上；(2)獲取η個存儲節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)傳輸能力(NTC1, NTC2,..., NTCn).和節(jié)點(diǎn)并發(fā)訪問數(shù)(Num1, Num2,..., Numn)；(3)根據(jù)η個節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)傳輸能力(NTC1, NTC2,…，NTCn)、節(jié)點(diǎn)并發(fā)訪問數(shù)(Num1, Num2,..., Numn)和副本大小Sb獲取η個存儲節(jié)點(diǎn)的相關(guān)特征值；(4)根據(jù)η個存儲節(jié)點(diǎn)的相關(guān)特征值，對待測數(shù)據(jù)塊進(jìn)行副本創(chuàng)建過程。存儲節(jié)點(diǎn)的信息包括節(jié)點(diǎn)IP地址、網(wǎng)絡(luò)帶寬、磁盤利用率。副本大小Sb的取值范圍是IOMb到120Mb，η是大于等于3的正整數(shù)。特征值包括每個存儲節(jié)點(diǎn)的請求響應(yīng)時間(MSRT1, MSRT2,…，MSRTn),以及分布式存儲環(huán)境的請求平均響應(yīng)時間MSRTavwage和請求最大響應(yīng)時間MSRTmx。步驟(3)包括如下子步驟:(3-1)根據(jù)η個節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)傳輸能力(NTC1, NTC2,…，NTCn)、節(jié)點(diǎn)并發(fā)訪問數(shù)(Num1, Num2,..., Numn)和副本大小Sb并采用以下公式獲得η個存儲節(jié)點(diǎn)的請求響應(yīng)時間(MSRT1, MSRT2, —, MSRTn):
權(quán)利要求
1.一種基于用戶請求響應(yīng)時間的副本創(chuàng)建方法，其特征在于，包括以下步驟: (I)將分布式存儲環(huán)境中的待測數(shù)據(jù)塊復(fù)制η個副本，將η個副本分別分布在分布式存儲環(huán)境中的η個存儲節(jié)點(diǎn)上，每個副本的大小為Sb，并將這η個存儲節(jié)點(diǎn)的信息存儲在元數(shù)據(jù)服務(wù)器上； (2 )獲取η個存儲節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)傳輸能力(NTC1，NTC2，…，NTCn).和節(jié)點(diǎn)并發(fā)訪問數(shù)(Num1, Num2,…，Numn)； (3 )根據(jù)η個節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)傳輸能力(NTC1，NTC2，…，NTCn)、節(jié)點(diǎn)并發(fā)訪問數(shù)(Num1，Num2,..., Numn)和副本大小Sb獲取η個存儲節(jié)點(diǎn)的相關(guān)特征值； (4)根據(jù)η個存儲節(jié)點(diǎn)的相關(guān)特征值，對待測數(shù)據(jù)塊進(jìn)行副本創(chuàng)建過程。
2.根據(jù)權(quán)利要求1所述的副本創(chuàng)建方法，其特征在于，存儲節(jié)點(diǎn)的信息包括節(jié)點(diǎn)IP地址、網(wǎng)絡(luò)帶寬、磁盤利用率。
3.根據(jù)權(quán)利要求1所述的副本創(chuàng)建方法，其特征在于，副本大小Sb的取值范圍是IOMb到120Mb，η是大于等于3的正整數(shù)。
4.根據(jù)權(quán)利要求1所述的副本創(chuàng)建方法，其特征在于，特征值包括每個存儲節(jié)點(diǎn)的請求響應(yīng)時間(MSRT1,MSRT2, -,MSRTn),以及分布式存儲環(huán)境的請求平均響應(yīng)時間MSRTaverage和請求最大響應(yīng)時間MSRTmx。
5.根據(jù)權(quán)利要求4所述的副本創(chuàng)建方法，其特征在于，步驟(3)包括如下子步驟: (3-1)根據(jù)η個節(jié) 點(diǎn) 的節(jié)點(diǎn)網(wǎng)絡(luò)傳輸能力(NTC1，NTC2，…，NTCn)、節(jié)點(diǎn)并發(fā)訪問數(shù)(Num1，Num2,…，Numn)和副本大小Sb并采用以下公式獲得η個存儲節(jié)點(diǎn)的請求響應(yīng)時間(MSRT1,MSRT2, —, MSRTn):
6.根據(jù)權(quán)利要求5所述的副本創(chuàng)建方法，其特征在于，步驟(4)包括如下子步驟: (4-1)判斷平均請求響應(yīng)時間MSRTaverage是否大于一閾值，如果是則進(jìn)入步驟(4-2)，否則進(jìn)入步驟(4-5)； (4-2)從分布式存儲環(huán)境中選擇除上述η個節(jié)點(diǎn)以外的一個新節(jié)點(diǎn)； (4-3)將待測數(shù)據(jù)塊復(fù)制到該新節(jié)點(diǎn)上，并將該節(jié)點(diǎn)的信息保存到元數(shù)據(jù)服務(wù)器上； (4-4)對η個節(jié)點(diǎn)和新節(jié)點(diǎn)執(zhí)行負(fù)載均衡； (4-5)判斷最大請求響應(yīng)時間MSRTmax是否大于步驟(4-1)中的閾值，如果是則進(jìn)入步驟(4-6)，否則返回步驟(2)； (4-6)對η個節(jié)點(diǎn)執(zhí)行負(fù)載均衡操作。
7.根據(jù)權(quán)利要求6所述的副本創(chuàng)建方法，其特征在于，閾值的取值范圍是3秒到10秒。
全文摘要
本發(fā)明公開了一種基于用戶請求響應(yīng)時間的副本創(chuàng)建方法，包括將分布式存儲環(huán)境中的待測數(shù)據(jù)塊復(fù)制n個副本，將n個副本分別分布在分布式存儲環(huán)境中的n個存儲節(jié)點(diǎn)上，每個副本的大小為Sb，并將這n個存儲節(jié)點(diǎn)的信息存儲在元數(shù)據(jù)服務(wù)器上，獲取n個存儲節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)傳輸能力(NTC1，NTC2，…，NTCn).和節(jié)點(diǎn)并發(fā)訪問數(shù)(Num1，Num2，…，Numn)，根據(jù)n個節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)傳輸能力(NTC1，NTC2，…，NTCn)、節(jié)點(diǎn)并發(fā)訪問數(shù)(Num1，Num2，…，Numn)和副本大小Sb獲取n個存儲節(jié)點(diǎn)的相關(guān)特征值，根據(jù)n個存儲節(jié)點(diǎn)的相關(guān)特征值，對待測數(shù)據(jù)塊進(jìn)行副本創(chuàng)建過程。本發(fā)明在恰當(dāng)?shù)臅r機(jī)為熱點(diǎn)數(shù)據(jù)創(chuàng)建新的副本，從而降低用戶訪問的響應(yīng)時間，并提高整個系統(tǒng)的性能。
文檔編號H04L29/08GK103095812SQ201210589460
公開日2013年5月8日 申請日期2012年12月29日 優(yōu)先權(quán)日2012年12月29日
發(fā)明者金海 , 邵志遠(yuǎn), 柏小虎 申請人:華中科技大學(xué)