一種負(fù)載均衡方法與系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式對象存儲系統(tǒng)領(lǐng)域，特別是涉及一種負(fù)載均衡方法與系統(tǒng)。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展，網(wǎng)絡(luò)信息數(shù)據(jù)量越來越大，PB級的海量數(shù)據(jù)存儲變得越來越重要。傳統(tǒng)意義的文件系統(tǒng)已不能滿足現(xiàn)有應(yīng)用的大容量、高可靠性、高性能等要求，為滿足這些新要求，新的分布式對象存儲系統(tǒng)應(yīng)用得到了廣泛的重視和應(yīng)用。
[0003]在基于兩級哈希的分布式對象存儲系統(tǒng)中，采用哈希和一致性哈希的兩級哈希算法實(shí)現(xiàn)對象的定位，即對于給定的對象，通過其對象名稱的哈希結(jié)果確定其所在的對象存儲設(shè)備。這種方法不需要查詢操作，也沒有單點(diǎn)瓶頸，因此具備良好的橫向擴(kuò)展特性。
[0004]但是隨著硬盤技術(shù)的飛速發(fā)展，硬盤容量不斷取得突破。目前市場上3TB、4TB硬盤比比皆是，容量較大且價格實(shí)惠。甚至在2014年，全球機(jī)械硬盤生廠商美國希捷連續(xù)推出了 6TB、8TB企業(yè)級機(jī)械硬盤，成功刷新全球機(jī)械硬盤容量之最。因此現(xiàn)實(shí)的很多分布式對象存儲系統(tǒng)的應(yīng)用場景中，部署著為數(shù)不多的存儲節(jié)點(diǎn)。
[0005]基于兩級哈希的對象存儲數(shù)據(jù)分布機(jī)制能夠很好地解決存儲對象到存儲節(jié)點(diǎn)的分布，及存儲節(jié)點(diǎn)發(fā)生故障時存儲對象的重新分布問題。但是兩級哈希算法并不是絕對的負(fù)載均衡，當(dāng)存儲節(jié)點(diǎn)較少，且系統(tǒng)容量大量使用后，負(fù)載的不均衡性會逐漸的暴露出來。特別是在整個存儲系統(tǒng)的存儲容量接近但未達(dá)到上限的時候，由于負(fù)載的不均衡性，可能存在部分對象存儲設(shè)備的空間占用率特別高。由于程序設(shè)計，個別滿載的對象存儲設(shè)備就會導(dǎo)致整個存儲系統(tǒng)的剩余部分空間不可用，用戶體驗(yàn)較差。

【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明的主要目的在于提供一種負(fù)載均衡方法與系統(tǒng)，可以更均衡地負(fù)載存儲對象到各存儲節(jié)點(diǎn)。
[0007]為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種負(fù)載均衡方法，將各物理存儲節(jié)點(diǎn)使用預(yù)設(shè)的哈希函數(shù)進(jìn)行計算一個哈希值，根據(jù)各所述哈希值分別確定各所述物理存儲節(jié)點(diǎn)在哈希環(huán)上的位置；
[0008]為每個所述物理存儲節(jié)點(diǎn)分別增加預(yù)設(shè)數(shù)量的虛擬存儲節(jié)點(diǎn)；
[0009]根據(jù)每個所述物理存儲節(jié)點(diǎn)對應(yīng)的虛擬存儲節(jié)點(diǎn)數(shù)量計算對應(yīng)數(shù)量個哈希值，每個所述物理存儲節(jié)點(diǎn)對應(yīng)的各哈希值分別確定各虛擬存儲節(jié)點(diǎn)的在哈希環(huán)上的位置，并將每個所述物理存儲節(jié)點(diǎn)對應(yīng)的虛擬存儲節(jié)點(diǎn)存放至哈希環(huán)上的對應(yīng)位置；
[0010]將各虛擬存儲節(jié)點(diǎn)映射到對應(yīng)的物理存儲節(jié)點(diǎn)。
[0011]優(yōu)選地，將各虛擬存儲節(jié)點(diǎn)映射到對應(yīng)的物理存儲節(jié)點(diǎn)后還包括:
[0012]當(dāng)對各目標(biāo)存儲對象進(jìn)行存儲時，繞所述哈希環(huán)輪詢，定位到各所述物理存儲節(jié)點(diǎn)對應(yīng)的各所述虛擬存儲節(jié)點(diǎn)，將所述各目標(biāo)存儲對象均衡存儲至各所述物理存儲節(jié)點(diǎn)對應(yīng)的各所述虛擬存儲節(jié)點(diǎn)中。
[0013]優(yōu)選地，將各物理存儲節(jié)點(diǎn)使用預(yù)設(shè)的哈希函數(shù)進(jìn)行計算一個哈希值包括:
[0014]根據(jù)所述物理存儲節(jié)點(diǎn)的IP或主機(jī)名作為關(guān)鍵字進(jìn)行一次哈希，計算一個哈希值。
[0015]優(yōu)選地，將各物理存儲節(jié)點(diǎn)使用預(yù)設(shè)的哈希函數(shù)進(jìn)行計算一個哈希值之前還包括:
[0016]將哈希值空間組織成哈希環(huán)。
[0017]本發(fā)明還提供了一種負(fù)載均衡系統(tǒng)，包括:
[0018]物理節(jié)點(diǎn)位置確定模塊，用于將各物理存儲節(jié)點(diǎn)使用預(yù)設(shè)的哈希函數(shù)進(jìn)行計算一個哈希值，根據(jù)各所述哈希值分別確定各所述物理存儲節(jié)點(diǎn)在哈希環(huán)上的位置；
[0019]虛擬節(jié)點(diǎn)增加模塊，為每個所述物理存儲節(jié)點(diǎn)分別增加預(yù)設(shè)數(shù)量的虛擬存儲節(jié)占.V，
[0020]虛擬節(jié)點(diǎn)位置確定模塊，根據(jù)每個所述物理存儲節(jié)點(diǎn)對應(yīng)的虛擬存儲節(jié)點(diǎn)數(shù)量計算對應(yīng)數(shù)量個哈希值，每個所述物理存儲節(jié)點(diǎn)對應(yīng)的各哈希值分別確定各虛擬存儲節(jié)點(diǎn)的在哈希環(huán)上的位置，并將每個所述物理存儲節(jié)點(diǎn)對應(yīng)的虛擬存儲節(jié)點(diǎn)存放至哈希環(huán)上的對應(yīng)位置；
[0021 ] 映射模塊，用于將各虛擬存儲節(jié)點(diǎn)映射到對應(yīng)的物理存儲節(jié)點(diǎn)。
[0022]優(yōu)選地，所述系統(tǒng)還包括:
[0023]負(fù)載均衡模塊，用于當(dāng)對各目標(biāo)存儲對象進(jìn)行存儲時，繞所述哈希環(huán)輪詢，定位到各所述物理存儲節(jié)點(diǎn)對應(yīng)的各所述虛擬存儲節(jié)點(diǎn)，將所述各目標(biāo)存儲對象均衡存儲至各所述物理存儲節(jié)點(diǎn)對應(yīng)的各所述虛擬存儲節(jié)點(diǎn)中。
[0024]優(yōu)選地，所述系統(tǒng)還包括:
[0025]哈希環(huán)生成模塊，用于將哈希值空間組織成哈希環(huán)。
[0026]應(yīng)用本發(fā)明提供的一種負(fù)載均衡方法與系統(tǒng)，將各物理存儲節(jié)點(diǎn)使用預(yù)設(shè)的哈希函數(shù)進(jìn)行計算一個哈希值，根據(jù)各所述哈希值分別確定各所述物理存儲節(jié)點(diǎn)在哈希環(huán)上的位置，為每個所述物理存儲節(jié)點(diǎn)分別增加預(yù)設(shè)數(shù)量的虛擬存儲節(jié)點(diǎn)，根據(jù)每個所述物理存儲節(jié)點(diǎn)對應(yīng)的虛擬存儲節(jié)點(diǎn)數(shù)量計算對應(yīng)數(shù)量個哈希值，每個所述物理存儲節(jié)點(diǎn)對應(yīng)的各哈希值分別確定各虛擬存儲節(jié)點(diǎn)的在哈希環(huán)上的位置，并將每個所述物理存儲節(jié)點(diǎn)對應(yīng)的虛擬存儲節(jié)點(diǎn)存放至哈希環(huán)上的對應(yīng)位置，將各虛擬存儲節(jié)點(diǎn)映射到對應(yīng)的物理存儲節(jié)點(diǎn)，通過為物理將存儲節(jié)點(diǎn)增加對應(yīng)的虛擬存儲節(jié)點(diǎn)對存儲對象進(jìn)行存儲，增加虛擬存儲節(jié)點(diǎn)到物理存儲節(jié)點(diǎn)的映射，能夠更加均衡地負(fù)載存儲對象到各個存儲節(jié)點(diǎn)，降低故障恢復(fù)過程中，存儲對象重新定位的運(yùn)算量。
【附圖說明】
[0027]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0028]圖1為本發(fā)明一種負(fù)載均衡方法一實(shí)施例的流程圖；
[0029]圖2為本發(fā)明一種負(fù)載均衡方法的原理示意圖；
[0030]圖3為本發(fā)明一種負(fù)載均衡方法的又一原理示意圖；
[0031]圖4為本發(fā)明一種負(fù)載均衡方法又一實(shí)施例的流程圖；
[0032]圖5為本發(fā)明一種負(fù)載均衡系統(tǒng)一實(shí)施例的結(jié)構(gòu)示意圖；
[0033]圖6為本發(fā)明一種負(fù)載均衡系統(tǒng)又一實(shí)施例的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0034]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0035]本發(fā)明提供了一種負(fù)載均衡方法，在分布式對象存儲系統(tǒng)中，兩級哈希算法可以高效地解決如何確定某個存儲對象應(yīng)該分配到分布式存儲系統(tǒng)中的哪一個存儲節(jié)點(diǎn)的問題。在建立存儲對象與存儲節(jié)點(diǎn)之間映射關(guān)系的過程中，引入了一個中間層，稱之為放置組。這樣將原本存儲對象-存儲節(jié)點(diǎn)之間的映射關(guān)系拆分為兩級映射關(guān)系:存儲對象-放置組之間的映射關(guān)系和放置組-存儲節(jié)點(diǎn)之間的映射關(guān)系。其中前者使用簡單的哈希算法，后者使用一致性哈希算法。這樣就建立了存儲對象與存儲節(jié)點(diǎn)之間的兩級哈希關(guān)系。
[0036]圖1示出了本發(fā)明負(fù)載均衡方法一個實(shí)施例的流程圖，對放置組-存儲節(jié)點(diǎn)之間的一致性哈希算法進(jìn)行優(yōu)化，包括:
[0037]步驟SlOl:將各物理存儲節(jié)點(diǎn)使用預(yù)設(shè)的哈希函數(shù)進(jìn)行計算一個哈希值，根據(jù)各所述哈希值分別確定各所述物理存儲節(jié)點(diǎn)在哈希環(huán)上的位置；
[0038]—致性哈希將整個哈希值空間組織成一個虛擬的圓環(huán)，假設(shè)使用哈希函數(shù)md5的值空間為0-232-1 ( 一般表示為一個32位的16進(jìn)制數(shù))整個空間按順時針方向組織。O和232-1在零點(diǎn)中方向重合。
[0039]將存儲系統(tǒng)中的各個存儲節(jié)點(diǎn)使用哈希函數(shù)md5進(jìn)行一個哈希，具體可以選擇存儲節(jié)點(diǎn)的IP或主機(jī)名作為關(guān)鍵字進(jìn)行哈希，這樣每個節(jié)點(diǎn)就能確定其在哈希環(huán)上的位置，這里假設(shè)分布式對象存儲系統(tǒng)中有兩個存儲節(jié)點(diǎn):Nodel和Node2，將這兩個存儲節(jié)點(diǎn)使用主機(jī)名哈希后在環(huán)空間的位置，如圖2所示。
[0040]步驟S102:為每個所述物理存儲節(jié)點(diǎn)分別增加預(yù)設(shè)數(shù)量的虛擬存儲節(jié)點(diǎn)；
[0041]增加虛擬存儲節(jié)點(diǎn)。
[0042]步驟S103:根據(jù)每個所述物理存儲節(jié)點(diǎn)對應(yīng)的虛擬存儲節(jié)點(diǎn)數(shù)量計算對應(yīng)數(shù)量個哈希值，每個所述物理存儲節(jié)點(diǎn)對應(yīng)的各哈希值分別確定各虛擬存儲節(jié)點(diǎn)的在哈希環(huán)上的位置，并將每個所述物理存儲節(jié)點(diǎn)對應(yīng)的虛擬存儲節(jié)點(diǎn)存放至哈希環(huán)上的對應(yīng)位置；
[0043]為每個物理存儲節(jié)點(diǎn)分別計算多個哈希值，每個計算結(jié)果位置都放置一個存儲節(jié)點(diǎn)，這些節(jié)點(diǎn)稱為虛擬存儲節(jié)點(diǎn)。具體做法是在物理存儲節(jié)點(diǎn)的主機(jī)名后面增加編號來實(shí)現(xiàn)。例如上面的情況，我們?yōu)镹odel和Node2分別計算出四個虛擬存儲節(jié)點(diǎn)，于是可以分別計 #“Nodel#l”、“Nodel#2”、“Nodel#3”、