專利名稱：一種基于特征碼的云存儲數據備份方法
技術領域：
本發(fā)明涉及云存儲領域，尤其涉及一種基于特征碼的云存儲數據備份方法。
背景技術：
隨著計算機技術的不斷發(fā)展和信息化程度的不斷提高，人們對信息的依賴程度越來越高。信息在IT環(huán)境中的高度集中存儲，很大程度上提高了信息和數據管理的自動化， 提高了運營效率，降低了成本。云存儲是在云計算概念上延伸和發(fā)展出來的一個新的概念， 是指通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數據的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設備，那么云計算系統(tǒng)就轉變成為一個云存儲系統(tǒng)，所以云存儲是一個以數據存儲和管理為核心的云計算系統(tǒng)。
目前云存儲系統(tǒng)都是通過取模或哈希再散列的方式分配存儲節(jié)點的，這樣能實現服務器的復雜均衡，但是每一個分塊的存儲節(jié)點都需要主服務器進行計算再分配，這樣會大大地增加了主服務器CPU的負荷，降低了系統(tǒng)的效率。傳統(tǒng)的備份方法是將每個子塊分配到一個節(jié)點上，該節(jié)點把此子塊發(fā)送給其他所有的節(jié)點，這樣明顯地增加了服務器的負荷，而且會導致大量的冗余數據的存在。發(fā)明內容
為了解決上述技術問題，本發(fā)明的目的是提供一種能提高系統(tǒng)效率，減少系統(tǒng)負荷的一種基于特征碼的云存儲數據備份方法。
本發(fā)明所采用的技術方案是
一種基于特征碼的云存儲數據備份方法，包括以下步驟
A、發(fā)送上傳文件的請求，并監(jiān)聽每個存儲區(qū)的可用存儲節(jié)點，生成索引表并反饋；
B、對文件進行切分，進而得到多個文件分塊，對多個文件分塊進行特征碼的分配；
C、對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配；
D、根據文件分塊特征碼信息以及相應存儲節(jié)點的特征碼信息，將文件分別上傳至對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點，進而進行存儲。
作為所述的一種基于特征碼的云存儲數據備份方法的進一步改進，所述的步驟B 包括
B1、主服務器根據預設的文件分塊大小對文件進行切分，得到多個文件分塊；
B2、主服務器根據文件分塊的順序，對得到的多個文件分塊依次編號；
B3、主服務器根據文件編號信息和文件分塊編號信息，對多個文件分塊進行特征碼的分配。
作為所述的一種基于特征碼的云存儲數據備份方法的進一步改進，所述的步驟C 包括
Cl、主服務器獲取對應存儲區(qū)和備份存儲區(qū)的編號；
C2、主服務器根據反饋的索引表，查詢得出與文件分塊相應的對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點；
C3、主服務器根據對應存儲區(qū)的編號信息、備份存儲區(qū)的編號信息以及文件分塊特征碼信息，對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配。
作為所述的一種基于特征碼的云存儲數據備份方法的進一步改進，所述的步驟D 包括
D1、主服務器將文件分塊特征碼信息、對應存儲區(qū)的存儲節(jié)點特征碼信息和備份存儲區(qū)的存儲節(jié)點特征碼信息返回給客戶端；
D2、客戶端根據返回的文件分塊特征碼信息、對應存儲區(qū)的存儲節(jié)點特征碼信息和備份存儲區(qū)的存儲節(jié)點特征碼信息，將文件分塊并行上傳到其相應對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點。
作為所述的一種基于特征碼的云存儲數據備份方法的進一步改進，所述的文件分塊特征碼信息包括文件編號信息和文件分塊編號信息。
作為所述的一種基于特征碼的云存儲數據備份方法的進一步改進，所述的文件編號信息包括用戶所在區(qū)的編號信息、用戶編號信息和文件編號。
作為所述的一種基于特征碼的云存儲數據備份方法的進一步改進，所述存儲節(jié)點的特征碼信息包括存儲節(jié)點所在存儲區(qū)的編號信息和存儲節(jié)點的編號信息。
本發(fā)明的有益效果是
本發(fā)明一種基于特征碼的云存儲數據備份方法，通過發(fā)送上傳文件的請求，并監(jiān)聽每個存儲區(qū)的可用存儲節(jié)點，生成索引表并反饋，對文件進行切分，進而得到多個文件分塊，對多個文件分塊進行特征碼的分配，對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配，根據文件分塊特征碼信息以及相應存儲節(jié)點的特征碼信息，將文件分別上傳至對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點，進而進行存儲。本發(fā)明一種基于特征碼的云存儲數據備份方法采用異存儲區(qū)域備份，每個備份都存儲在不同的存儲區(qū)，即使其中幾個存儲區(qū)的所有服務器都出現故障的情況，文件塊在系統(tǒng)正常工作的存儲區(qū)都存儲有備份，從而提高了云存儲數據的可靠性和可用性，而且通過特征碼的方式能夠有效降低查找存儲節(jié)點的時間開銷，提高系統(tǒng)的效率以及降低服務器的負荷。


下面結合附圖對本發(fā)明的具體實施方式
作進一步說明
圖1是本發(fā)明一種基于特征碼的云存儲數據備份方法的步驟流程圖2是本發(fā)明 一種基于特征碼的云存儲數據備份方法步驟B實施例一的步驟流程圖3是本發(fā)明一種基于特征碼的云存儲數據備份方法步驟C實施例二的步驟流程圖4是本發(fā)明一種基于特征碼的云存儲數據備份方法步驟D實施例三的步驟流程圖。
具體實施方式
圖1是本發(fā)明一種基于特征碼的云存儲數據備份方法的步驟流程圖，結合圖1，本發(fā)明作為一種基于特征碼的云存儲數據備份方法，包括以下步驟
A、發(fā)送上傳文件的請求，并監(jiān)聽每個存儲區(qū)的可用存儲節(jié)點，生成索引表并反饋；
B、對文件進行切分，進而得到多個文件分塊，對多個文件分塊進行特征碼的分配；
C、對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配；
D、根據文件分塊特征碼信息以及相應存儲節(jié)點的特征碼信息，將文件分別上傳至對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點，進而進行存儲。
圖2是本發(fā)明一種基于特征碼的云存儲數據備份方法步驟C實施例一的步驟流程圖，所述的步驟B包括
B1、主服務器根據預設的文件分塊大小對文件進行切分，得到多個文件分塊；
B2、主服務器根據文件分塊的順序，對得到的多個文件分塊依次編號；
B3、主服務器根據文件編號信息和文件分塊編號信息，對多個文件分塊進行特征碼的分配。
圖3是本發(fā)明一種基于特征碼的云存儲數據備份方法步驟D實施例二的步驟流程圖，所述的步驟C包括
Cl、主服務器獲取對應存儲區(qū)和備份存儲區(qū)的編號；
C2、主服務器根據反饋的索引表，查詢得出與文件分塊相應的對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點；
C3、主服務器根據對應存儲區(qū)的編號信息、備份存儲區(qū)的編號信息以及文件分塊特征碼信息，對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配。
圖4是本發(fā)明一種基于特征碼的云存儲數據備份方法步驟E實施例三的步驟流程圖，所述的步驟D包括
D1、主服務器將文件分塊特征碼信息、對應存儲區(qū)的存儲節(jié)點特征碼信息和備份存儲區(qū)的存儲節(jié)點特征碼信息返回給客戶端；
D2、客戶端根據返回的文件分塊特征碼信息、對應存儲區(qū)的存儲節(jié)點特征碼信息和備份存儲區(qū)的存儲節(jié)點特征碼信息，將文件分塊并行上傳到其相應對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點。
本發(fā)明的具體工作流程
客戶端發(fā)送請求要上傳文件到云端，監(jiān)聽服務器節(jié)點會監(jiān)聽每個存儲區(qū)的可用存儲節(jié)點，生成一張索引表并反饋給主服務器節(jié)點，副本數可以任意設定，這里選擇副本數為 3，分別選取三個存儲區(qū)，需要在每個存儲區(qū)存儲一份，當i區(qū)的第j個用戶(用戶編號為i_ j )要上傳一個文件時，i區(qū)的可用存儲服務器節(jié)點數為n，設該區(qū)的所有存儲節(jié)點都是可用的，則此存儲區(qū)的存儲服務器節(jié)點的編號從i_l到i_n，假設i區(qū)的第j個用戶(編號為i_ j)的第k+1個文件(編號為i_j_k)的切分為P塊，則此文件的每個分塊的編號依次為i_j_k_0、i_j_k_l···. .1_j_k_p-l,則此文件第一塊存儲在節(jié)點編號為i_(j mod η)的節(jié)點上,第二塊存儲在節(jié)點編號為i_(j+l)mod η的節(jié)點上，第ρ塊則存儲在節(jié)點編號為i_[((p+j_2) mod n)+l]的節(jié)點編號上，再根據文件塊信息和索引表選取三個區(qū)的特征碼，分別為((1-l)mod n)+l, (i mod n)+l, ((i+l)mod n)+l,最后根據文件塊特征碼和索引表中對應區(qū)的可用存儲節(jié)點特征碼選取文件塊對應的存儲節(jié)點。這里假設此三個區(qū)的所有存儲節(jié)點都是可用的，且可用存儲節(jié)點數分別為!!!((卜 。^)^，!!^ mQdn)+1，m((i+1)m()dn)+1,則((1- l)modn)+l區(qū)第 P塊存儲在節(jié)點特征碼為(Q - l)mod n)+l_[(p+j-2)mod m((i_1)mod n)+1+l]的存儲節(jié)點上，(i mod n)+l區(qū)第ρ塊存儲在節(jié)點特征碼為(i mod n)+1_[ (p+j-2)mod m(imodn)+1+l]的存儲節(jié)點上，((i+l)mod n)+l 區(qū)第 ρ 塊存儲在節(jié)點特征碼為((i+l)mod n)+1_[ (p+j_2)mod m((i+1) ffl0d n)+1+l]的存儲節(jié)點上，每個備份只需要找到第一個和最后一個文件塊的存儲節(jié)點，再把三個區(qū)的相應存儲節(jié)點地址返回給客戶端，并將相關信息寫入數據庫?？蛻舳耸盏椒祷匦畔⒑?，將文件分塊并行上傳到對應的存儲節(jié)點，由于每個區(qū)都存有一個副本，每個塊要傳到三個存儲區(qū)的相應存儲節(jié)點，若三個存儲區(qū)中有失效節(jié)點時，根據反饋的索引表，每個區(qū)中的存儲節(jié)點都對應一個特征碼，數據的每個分塊也都對應一個特征碼，根據分片的特征碼的最后一位數的大小依次存儲在可用節(jié)點上。當用戶下載文件時，發(fā)送請求給主服務器，主服務器根據監(jiān)控節(jié)點服務器反饋回來的索引表和數據庫表中的文件信息，首先選取本區(qū)的可用存儲節(jié)點，若本區(qū)中有失效節(jié)點并且此文件的文件塊存儲在此節(jié)點上，根據此文件塊特征碼，找出其`他兩個存儲區(qū)的此文件塊的可用存儲節(jié)點，并發(fā)送信息給存儲節(jié)點服務器， 不同存儲區(qū)的存儲節(jié)點服務器并行工作，這樣實現了存儲服務器的負載均衡，提高了數據可用性與傳輸效率。
從上述內容可以看出
本發(fā)明一種基于特征碼的云存儲數據備份方法，通過發(fā)送上傳文件的請求，并監(jiān)聽每個存儲區(qū)的可用存儲節(jié)點，生成索引表并反饋，對文件進行切分，進而得到多個文件分塊，對多個文件分塊進行特征碼的分配，對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配，根據文件分塊特征碼信息以及相應存儲節(jié)點的特征碼信息，將文件分別上傳至對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點，進而進行存儲。本發(fā)明一種基于特征碼的云存儲數據備份方法采用異存儲區(qū)域備份，每個備份都存儲在不同的存儲區(qū)，即使其中幾個存儲區(qū)的所有服務器都出現故障的情況，文件塊在系統(tǒng)正常工作的存儲區(qū)都存儲有備份，從而提高了云存儲數據的可靠性和可用性，而且通過特征碼的方式能夠有效降低查找存儲節(jié)點的時間開銷，提高系統(tǒng)的效率以及降低服務器的負荷。
以上是對本發(fā)明的較佳實施進行了具體說明，但本發(fā)明創(chuàng)造并不限于所述實施例，熟悉本領域的技術人員在不違背本發(fā)明精神的前提下還可做作出種種的等同變形或替換，這些等同的變形或替換均包含在本申請權利要求所限定的范圍內。
權利要求
1.一種基于特征碼的云存儲數據備份方法，其特征在于，包括以下步驟A、發(fā)送上傳文件的請求，并監(jiān)聽每個存儲區(qū)的可用存儲節(jié)點，生成索引表并反饋；B、對文件進行切分，進而得到多個文件分塊，對多個文件分塊進行特征碼的分配；C、對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配；D、根據文件分塊特征碼信息以及相應存儲節(jié)點的特征碼信息，將文件分別上傳至對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點，進而進行存儲。
2.根據權利要求1所述的一種基于特征碼的云存儲數據備份方法，其特征在于所述的步驟B包括B1、主服務器根據預設的文件分塊大小對文件進行切分，得到多個文件分塊；B2、主服務器根據文件分塊的順序，對得到的多個文件分塊依次編號；B3、主服務器根據文件編號信息和文件分塊編號信息，對多個文件分塊進行特征碼的分配。
3.根據權利要求1所述的一種基于特征碼的云存儲數據備份方法，其特征在于所述的步驟C包括Cl、主服務器獲取對應存儲區(qū)和備份存儲區(qū)的編號；C2、主服務器根據反饋的索弓I表，查詢得出與文件分塊相應的對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點；C3、主服務器根據對應存儲區(qū)的編號信息、備份存儲區(qū)的編號信息以及文件分塊特征碼信息，對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配。
4.根據權利要求1所述的一種基于特征碼的云存儲數據備份方法，其特征在于所述的步驟D包括D1、主服務器將文件分塊特征碼信息、對應存儲區(qū)的存儲節(jié)點特征碼信息和備份存儲區(qū)的存儲節(jié)點特征碼信息返回給客戶端；D2、客戶端根據返回的文件分塊特征碼信息、對應存儲區(qū)的存儲節(jié)點特征碼信息和備份存儲區(qū)的存儲節(jié)點特征碼信息，將文件分塊并行上傳到其相應對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點。
5.根據權利要求1所述的一種基于特征碼的云存儲數據備份方法，其特征在于所述文件分塊特征碼信息包括文件編號信息和文件分塊編號信息。
6.根據權利要求5所述的一種基于特征碼的云存儲數據備份方法，其特征在于所述的文件編號信息包括用戶所在區(qū)的編號信息、用戶編號信息和文件編號。
7.根據權利要求1所述的一種基于特征碼的云存儲數據備份方法，其特征在于所述存儲節(jié)點的特征碼信息包括存儲節(jié)點所在存儲區(qū)的編號信息和存儲節(jié)點的編號信息。
全文摘要
本發(fā)明公開了一種基于特征碼的云存儲數據備份方法，通過發(fā)送上傳文件的請求,并監(jiān)聽每個存儲區(qū)的可用存儲節(jié)點，生成索引表并反饋，對文件進行切分，進而得到多個文件分塊，對多個文件分塊進行特征碼的分配，對對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點進行特征碼的分配，將文件分別上傳至對應存儲區(qū)的存儲節(jié)點和備份存儲區(qū)的存儲節(jié)點，進而進行存儲。本發(fā)明一種基于特征碼的云存儲數據備份方法采用異存儲區(qū)域備份，每個備份都存儲在不同的存儲區(qū)，從而提高了云存儲數據的可靠性，而且通過特征碼的方式有效降低查找存儲節(jié)點的時間開銷，提高系統(tǒng)效率以及降低服務器的負荷。本發(fā)明作為一種基于特征碼的云存儲數據備份方法應用于云存儲系統(tǒng)中。
文檔編號H04L29/08GK103067525SQ20131002090
公開日2013年4月24日 申請日期2013年1月18日 優(yōu)先權日2013年1月18日
發(fā)明者凌捷, 柳毅, 錢進進, 毛宇, 余琦, 郭圣昌 申請人:廣東工業(yè)大學