專利名稱：分布式存儲系統(tǒng)的制作方法
技術領域：
本實用新型涉及一種存儲系統(tǒng)和方法，具體涉及一種分布式存儲系統(tǒng)。
背景技術：
隨著互聯(lián)網(wǎng)的發(fā)展和用戶寬帶接入的普及，一些大型網(wǎng)站開始為個人用戶提供數(shù) 據(jù)存儲功能。普通用戶只要接入互聯(lián)網(wǎng)便可以將自己的數(shù)碼照片、數(shù)據(jù)文件等信息存放到 此類系統(tǒng)中，也可以在任意時刻任意接入互聯(lián)網(wǎng)的地點從該系統(tǒng)中獲取已存入的文件信 息。該系統(tǒng)給普通用戶提供極大便利的同時，也對系統(tǒng)的設計提出了更高的要求，該系統(tǒng)必 須要能支撐海量數(shù)據(jù)文件進行高速讀寫且有一定容災能力。當前專業(yè)存儲產(chǎn)品SAN、NAS等 由于成本較高，并不適用于互聯(lián)網(wǎng)的應用。因此我們需要設計更為適用的分布式存儲系統(tǒng) 來支撐用戶的需求。當前云計算時代已經(jīng)到來，通過軟件程序將成百上千臺PC服務器組成 一個分布式系統(tǒng)的技術已經(jīng)可行。

實用新型內(nèi)容本實用新型的目的是提供一種分布式存儲系統(tǒng)，它基于Linux操作系統(tǒng)，采用高 效的TCP/IP網(wǎng)絡互聯(lián)技術，將數(shù)百臺服務器連接起來，組成一個統(tǒng)一的能夠支撐海量數(shù)據(jù) 存儲的分布式系統(tǒng)。本實用新型分布式存儲系統(tǒng)的目的是通過以下技術方案實現(xiàn)的一種分布式存儲 系統(tǒng)，包括客戶端訪問接口、管理服務器及文件刪除控制器；還包括元數(shù)據(jù)服務器集群A、 元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群A、數(shù)據(jù)存儲服務器集群B、數(shù)據(jù)庫服務器集群A 及數(shù)據(jù)庫服務器集群B。所述的客戶端訪問接口分別與元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B、數(shù)據(jù)存 儲服務器集群A及數(shù)據(jù)存儲服務器集群B連接；所述的客戶端訪問接口包括寫接口、讀接口 及刪除接口。所述的管理服務器分別與元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B連接；所述 的管理服務器還包括管理數(shù)據(jù)庫。所述的文件刪除控制器分別與數(shù)據(jù)存儲服務器集群A、數(shù)據(jù)存儲服務器集群B及 數(shù)據(jù)庫服務器集群B連接。所述的元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B通過TCP協(xié)議連接，相互檢測 對方狀態(tài)；數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)存儲服務器集群B通過TCP協(xié)議互連，相互備份文 件數(shù)據(jù)；數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B通過TCP協(xié)議相連，數(shù)據(jù)從數(shù)據(jù)庫服務 器集群A備份到數(shù)據(jù)庫服務器集群B。所述的元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B分別與數(shù)據(jù)存儲服務器集群A 及數(shù)據(jù)存儲服務器集群B兩兩連接。所述的元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B分別與數(shù)據(jù)庫服務器集群A及數(shù) 據(jù)庫服務器集群B兩兩連接。
3[0011]上述的分布式存儲系統(tǒng)，其中，所述的元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B、 數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)存儲服務器集群B是由一個或多個同一類型的服務器組成的 服務器集群；數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B是由一個或多個同一類型的數(shù)據(jù) 庫服務器組成的數(shù)據(jù)庫服務器集群。上述的分布式存儲系統(tǒng)，其中，所述的元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群 B及數(shù)據(jù)庫服務器集群B分別是元數(shù)據(jù)服務器集群A、數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)庫服務 器集群A的數(shù)據(jù)備份服務器。上述的分布式存儲系統(tǒng)，其中，所述的客戶端訪問接口適應所在的網(wǎng)絡的情況自 動選擇集群A或集群B進行最優(yōu)訪問。上述的分布式存儲系統(tǒng)，其中，所述的管理服務器從元數(shù)據(jù)服務器上收集整個系 統(tǒng)的信息記錄到管理數(shù)據(jù)庫中，控制整個系統(tǒng)。上述的分布式存儲系統(tǒng)，其中，所述的文件刪除控制器定時刪除已經(jīng)過期的數(shù)據(jù) 文件，進行數(shù)據(jù)的清理。應用與本實用新型分布式存儲系統(tǒng)的方法包括寫數(shù)據(jù)的方法、讀數(shù)據(jù)的方法、刪 除數(shù)據(jù)的方法、數(shù)據(jù)自動修復的方法及數(shù)據(jù)遷移的方法。上述的應用與本實用新型分布式存儲系統(tǒng)的方法，其中，所述的寫數(shù)據(jù)的方法至 少包括以下步驟步驟1，調用者調用客戶端訪問接口的寫接口。步驟2，客戶端訪問接口的寫接口嘗試連接最優(yōu)的元數(shù)據(jù)服務器，如果成功則進入 步驟4，否則進入步驟3。步驟3，客戶端訪問接口的寫接口嘗試連接在另一個互備的元數(shù)據(jù)服務器，如果成 功則進入步驟4，否則出錯，并跳到步驟13。步驟4，客戶端訪問接口向元數(shù)據(jù)服務器發(fā)送創(chuàng)建文件的指令，并將數(shù)據(jù)的大小等 信息發(fā)送給元數(shù)據(jù)服務器。步驟5，元數(shù)據(jù)服務器生成文件名，并將新創(chuàng)建的文件信息連同文件名一起存入數(shù) 據(jù)庫集群A，如果出錯則跳到步驟11，否則進入步驟6。步驟6，元數(shù)據(jù)服務器從數(shù)據(jù)存儲服務器集群A和數(shù)據(jù)存儲服務器集群B中挑選 出兩個服務器進行文件的存儲，如果無法挑選出兩臺服務器，則跳到步驟11，否則進入步驟 7。步驟7，元數(shù)據(jù)服務器挑選出的兩臺數(shù)據(jù)存儲服務器，并發(fā)送信號，命令選出的兩 臺數(shù)據(jù)存儲服務器進入待寫狀態(tài)。步驟8，元數(shù)據(jù)服務器返回給客戶端成功消息，并將數(shù)據(jù)存儲服務器列表及新創(chuàng)建 的文件名一并返回。步驟9，客戶端訪問接口根據(jù)網(wǎng)絡情況從兩臺數(shù)據(jù)存儲服務器中選出最優(yōu)的一臺 服務器，將文件數(shù)據(jù)發(fā)送給最優(yōu)數(shù)據(jù)存儲服務器，下稱其為數(shù)據(jù)存儲服務器A，另一臺稱數(shù) 據(jù)存儲服務器B。步驟10，數(shù)據(jù)存儲服務器A收到文件數(shù)據(jù)后，將文件保存到本地，并將數(shù)據(jù)發(fā)送給 數(shù)據(jù)存儲服務器B，等待數(shù)據(jù)存儲服務器B保存結果。如果數(shù)據(jù)存儲服務器A或數(shù)據(jù)存儲服 務器B任意一方保存文件失敗，則進入11，否則進入步驟12。[0028]步驟11，返回出錯結果給客戶端訪問接口，進入步驟13。步驟12，返回正確結果給客戶端訪問接口，進入步驟13。步驟13，客戶端訪問接口將結果返回給調用者。上述的應用與本實用新型分布式存儲系統(tǒng)的方法，其中，所述的讀數(shù)據(jù)的方法至 少包括以下步驟步驟1，調用者調用客戶端訪問接口的讀接口。步驟2，客戶端訪問接口的讀接口嘗試連接最優(yōu)的元數(shù)據(jù)服務器，如果成功則進入 步驟4，否則進入步驟3。步驟3，客戶端訪問接口的讀接口嘗試連接在另一個互備的元數(shù)據(jù)服務器，如果成 功則進入步驟4，否則出錯，并跳到步驟11。步驟4，客戶端訪問接口向元數(shù)據(jù)服務器發(fā)送讀的指令，并將所要讀文件的文件名 發(fā)送給元數(shù)據(jù)服務器。步驟5，元數(shù)據(jù)服務器從數(shù)據(jù)庫服務器中查詢所要讀的文件的文件名的元信息，若 數(shù)據(jù)存在則返回文件所在的數(shù)據(jù)存儲服務器列表，否則返回出錯信息給客戶端訪問接口。步驟6，若元數(shù)據(jù)服務器返回的結果顯示有錯誤發(fā)生，則跳轉至步驟9。否則進行 步驟7。步驟7，客戶端訪問接口從元數(shù)據(jù)服務器返回的數(shù)據(jù)存儲服務器列表中選擇一個 最優(yōu)的進行數(shù)據(jù)訪問，如果訪問成功則進入步驟10，否則進入步驟8。步驟8，客戶端訪問接口選擇另一個數(shù)據(jù)存儲服務器進行數(shù)據(jù)訪問，如果訪問成功 則進入步驟10，否則進入步驟9。步驟9，返回出錯結果給客戶端訪問接口，進入步驟11。步驟10，返回正確結果給客戶端訪問接口，進入步驟11。步驟11，客戶端訪問接口將結果返回給調用者。上述的應用與本實用新型分布式存儲系統(tǒng)的方法，其中，所述的刪除數(shù)據(jù)的方法 至少包括以下步驟步驟1，調用者調用客戶端訪問接口的刪除接口。步驟2，客戶端訪問接口的刪除接口嘗試連接最優(yōu)的元數(shù)據(jù)服務器，如果成功則進 入步驟4，否則進入步驟3。步驟3，客戶端訪問接口的刪除接口嘗試連接在另一個互備的元數(shù)據(jù)服務器，如果 成功則進入步驟4，否則出錯，并跳到步驟6。步驟4，客戶端訪問接口向元數(shù)據(jù)服務器發(fā)送刪除的指令，并將所要刪除文件的文 件名發(fā)送給元數(shù)據(jù)服務器。步驟5，元數(shù)據(jù)服務器從數(shù)據(jù)庫服務器中查詢所要刪除的文件的文件名的元信息， 并將所要刪除的文件刪除，并將結果返回給客戶端訪問接口。步驟6，客戶端訪問接口將調用結果返回給調用者。上述的應用與本實用新型分布式存儲系統(tǒng)的方法，其中，所述的數(shù)據(jù)自動修復的 方法至少包括以下步驟步驟1，數(shù)據(jù)存儲服務器發(fā)現(xiàn)數(shù)據(jù)損壞，發(fā)消息給元數(shù)據(jù)服務器。步驟2，元數(shù)據(jù)服務器挑選出一臺待寫數(shù)據(jù)存儲服務器，向選出的待寫數(shù)據(jù)存儲服務器發(fā)消息，并將選出的待寫數(shù)據(jù)存儲服務器設置為待寫狀態(tài)。步驟3，元數(shù)據(jù)服務器查找出損壞數(shù)據(jù)的另一份數(shù)據(jù)所在的數(shù)據(jù)存儲服務器，向另 一份數(shù)據(jù)所在的數(shù)據(jù)存儲服務器發(fā)消息命令，并將指定數(shù)據(jù)發(fā)送給待寫數(shù)據(jù)存儲服務器。步驟4，待寫數(shù)據(jù)存儲服務器接收數(shù)據(jù)，寫入磁盤，并將結果返回給發(fā)送方數(shù)據(jù)存 儲服務器。步驟5，發(fā)送方數(shù)據(jù)存儲服務器接收到結果后，將結果傳回元數(shù)據(jù)服務器，流程結
束ο上述的應用與本實用新型分布式存儲系統(tǒng)的方法，其中，所述的數(shù)據(jù)遷移的方法 至少包括以下步驟步驟1，管理員通過管理服務器主動向一臺元數(shù)據(jù)存儲服務器發(fā)送遷移指令，遷移 某臺數(shù)據(jù)存儲服務器上的所有數(shù)據(jù)。步驟2，元數(shù)據(jù)服務器從數(shù)據(jù)庫服務器中查找出所有在待遷移的數(shù)據(jù)存儲服務器 上存儲的文件信息。步驟3，元數(shù)據(jù)服務器依次為待遷移的文件挑選出一臺新的數(shù)據(jù)存儲服務器，并命 令原數(shù)據(jù)存儲服務器將數(shù)據(jù)發(fā)送到新的存儲服務器上。步驟4，元數(shù)據(jù)服務器將所有文件處理完畢，遷移流程結束。本實用新型分布式存儲系統(tǒng)由于采用了上述方案，使之與現(xiàn)有技術相比，具有以 下的優(yōu)點和積極效果1、本實用新型分布式存儲系統(tǒng)由于采用了元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器 集群B及數(shù)據(jù)庫服務器集群B，確保了數(shù)據(jù)的可靠備份，確保了有部分服務器損壞時，用戶 對數(shù)據(jù)的讀寫等操作迅速遷移。2、本實用新型分布式存儲系統(tǒng)由于采用先進的基于消息的網(wǎng)絡編程模型，數(shù)據(jù)存 儲部分采用了高效的AIO(異步10)對文件進行讀寫，系統(tǒng)的整體性能大大提升，提高了磁 盤的利用率。3、本實用新型分布式存儲系統(tǒng)由于提供了完善的界面管理軟件，另外本實用新型 還提供了數(shù)據(jù)恢復的功能，及刪除的數(shù)據(jù)在一定時間內(nèi)還能恢復，真正實現(xiàn)了自動化管理 的功能。

附圖1是本實用新型分布式存儲系統(tǒng)網(wǎng)絡架構模塊圖。附圖2是本實用新型分布式存儲系統(tǒng)的寫數(shù)據(jù)的方法的流程圖。附圖3是本實用新型分布式存儲系統(tǒng)的讀數(shù)據(jù)的方法的流程圖。附圖4是本實用新型分布式存儲系統(tǒng)的刪除數(shù)據(jù)的方法的流程圖。附圖5是本實用新型分布式存儲系統(tǒng)的數(shù)據(jù)的自動修復的方法的流程圖。附圖6是本實用新型分布式存儲系統(tǒng)的數(shù)據(jù)遷移的方法的流程圖。
具體實施方式
請參見附圖1所示，本實用新型分布式存儲系統(tǒng)，包括客戶端訪問接口 1、管理服 務器2及文件刪除控制器3 ；還包括元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群A、數(shù)據(jù)存儲服務器集群B、數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B。所有集 群A和集群B的服務器都可部署在兩個機房，以達到雙機房相互備份的目的。如果條件不 允許，實際部署中也可將其部署在一個機房，當一個機房失效時，另一個機房仍然能提供主 要的服務，以此達到機房數(shù)據(jù)冗余的目的。元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群A、數(shù)據(jù)存儲服務 器集群B、數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B均有主備機制，當這個系統(tǒng)中的任意 一方失效時，客戶端訪問接口 1均能迅速切換到另一方進行訪問，整過過程對上層透明。當 一方數(shù)據(jù)遭到損壞時，系統(tǒng)會自動檢測到，并發(fā)起遷移流程，保持數(shù)據(jù)的多冗余性。A或B表 明了這兩類服務器集群互做備份?？蛻舳嗽L問接口分別與元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務 器集群A及數(shù)據(jù)存儲服務器集群B連接；客戶端訪問接口 1包括寫接口、讀接口及刪除接 口，通過客戶端訪問接口 1訪問本系統(tǒng)時會跟據(jù)其所在網(wǎng)絡的情況自動選擇集群A或集群 B進行訪問，已達到最優(yōu)訪問的目的。管理服務器2分別與元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B連接；管理服務 器2還包括管理數(shù)據(jù)庫，用來檢測元數(shù)據(jù)服務器及與元數(shù)據(jù)服務器連接的數(shù)據(jù)庫服務器的 狀態(tài)。如果出現(xiàn)異常情況(如服務器失效)，管理服務器2會向管理員發(fā)出報警信息。管理 服務器2負責從元數(shù)據(jù)服務器上收集整個系統(tǒng)的信息，并記錄到管理數(shù)據(jù)庫中。管理員也 可以通過管理服務器2來控制整個系統(tǒng)。文件刪除控制器3分別與數(shù)據(jù)存儲服務器集群A、數(shù)據(jù)存儲服務器集群B及數(shù)據(jù)庫 服務器集群B連接，文件刪除控制器負責定時刪除已經(jīng)過期的數(shù)據(jù)文件，用來進行數(shù)據(jù)的清理。元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B通過TCP協(xié)議連接，相互檢測對方狀 態(tài)；數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)存儲服務器集群B通過TCP協(xié)議互連，相互備份文件數(shù) 據(jù)；數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B通過TCP協(xié)議相連，數(shù)據(jù)從數(shù)據(jù)庫服務器集 群A備份到數(shù)據(jù)庫服務器集群B。元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B分別與數(shù)據(jù)存儲服務器集群A及數(shù)據(jù) 存儲服務器集群B兩兩連接，元數(shù)據(jù)服務器會監(jiān)控數(shù)據(jù)存儲服務器的狀態(tài)，如果數(shù)據(jù)存儲 服務器失效，則元數(shù)據(jù)服務器會將其從可用列表中剔除；如果數(shù)據(jù)存儲服務器恢復，則元數(shù) 據(jù)服務器又會將其加入可用列表。元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B分別與數(shù)據(jù)存儲服務器集群A連接，用 來寫入讀取存儲文件的元數(shù)據(jù)(節(jié)點)信息；元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B分 別與數(shù)據(jù)存儲服務器集群B連接，當數(shù)據(jù)庫服務器集群A失效時，數(shù)據(jù)庫服務器集群B為元 數(shù)據(jù)服務器提供數(shù)據(jù)訪問功能。元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)存儲服 務器集群B是由一個或多個同一類型的服務器組成的服務器集群；數(shù)據(jù)庫服務器集群A及 數(shù)據(jù)庫服務器集群B是由一個或多個同一類型的數(shù)據(jù)庫服務器組成的數(shù)據(jù)庫服務器集群； 所述的元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群B及數(shù)據(jù)庫服務器集群B分別是元數(shù)據(jù)服 務器集群A、數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)庫服務器集群A的數(shù)據(jù)備份服務器。數(shù)據(jù)庫服務 器集群A和數(shù)據(jù)庫服務器集群B保存了數(shù)據(jù)文件的元數(shù)據(jù)信息，如文件大小、創(chuàng)建時間、所
7在數(shù)據(jù)存儲服務器的位置等信息，數(shù)據(jù)庫服務器集群B是數(shù)據(jù)庫服務器集群A的備份服務 器，當數(shù)據(jù)庫服務器集群A失效時數(shù)據(jù)庫服務器集群B為元數(shù)據(jù)服務器提供服務。本實用新型分布式存儲系統(tǒng)的數(shù)據(jù)庫服務器集群主要用來存儲數(shù)據(jù)的元信息，數(shù) 據(jù)表結構設計如下文件名字段，由元數(shù)據(jù)服務器生成的系統(tǒng)唯一的文件名。數(shù)據(jù)存儲服務器1字段，文件所在的第一個數(shù)據(jù)存儲服務器名稱。數(shù)據(jù)存儲服務器1文件位置字段，文件在第一個數(shù)據(jù)存儲服務器上的位置。數(shù)據(jù)存儲服務器1是否可用字段，表明該文件在第一個數(shù)據(jù)存儲服務器上是否可 用。數(shù)據(jù)存儲服務器2字段，文件所在的第二個數(shù)據(jù)存儲服務器名稱。數(shù)據(jù)存儲服務器2文件位置字段，文件在第二個數(shù)據(jù)存儲服務器上的位置。數(shù)據(jù)存儲服務器2是否可用字段，表明該文件在第二個數(shù)據(jù)存儲服務器上是否可 用。文件大小字段，表明了文件數(shù)據(jù)的大小。文件類型字段，表明了文件數(shù)據(jù)的類型，如圖片文件、普通數(shù)據(jù)文件等。文件驗證信息字段，用來驗證當前文件是否有損壞。文件創(chuàng)建時間字段，表明了文件的創(chuàng)建時間。本實用新型分布式存儲系統(tǒng)包括分布式存儲系統(tǒng)的寫數(shù)據(jù)的方法、分布式存儲系 統(tǒng)的讀數(shù)據(jù)的方法、分布式存儲系統(tǒng)的刪除數(shù)據(jù)的方法、分布式存儲系統(tǒng)的數(shù)據(jù)自動修復 的方法及分布式存儲系統(tǒng)的數(shù)據(jù)遷移的方法。請參見附圖2所示，附圖2是應用于本實用新型分布式存儲系統(tǒng)的方法的寫數(shù)據(jù) 的方法的流程圖，包括如下步驟步驟1，調用者調用客戶端訪問接口的寫接口。步驟2，客戶端訪問接口的寫接口嘗試連接最優(yōu)的元數(shù)據(jù)服務器，如果成功則進入 步驟4，否則進入步驟3。步驟3，客戶端訪問接口的寫接口嘗試連接在另一個互備的元數(shù)據(jù)服務器，如果成 功則進入步驟4，否則出錯，并跳到步驟13。步驟4，客戶端訪問接口向元數(shù)據(jù)服務器發(fā)送創(chuàng)建文件的指令，并將數(shù)據(jù)的大小等 信息發(fā)送給元數(shù)據(jù)服務器。步驟5，元數(shù)據(jù)服務器生成文件名，并將新創(chuàng)建的文件信息連同文件名一起存入數(shù) 據(jù)庫集群A，如果出錯則跳到步驟11，否則進入步驟6。步驟6，元數(shù)據(jù)服務器從數(shù)據(jù)存儲服務器集群A和數(shù)據(jù)存儲服務器集群B中挑選 出兩個服務器進行文件的存儲，如果無法挑選出兩臺服務器，則跳到步驟11，否則進入步驟 7。步驟7，元數(shù)據(jù)服務器挑選出的兩臺數(shù)據(jù)存儲服務器，并發(fā)送信號，命令挑選出的 兩臺數(shù)據(jù)存儲服務器進入待寫狀態(tài)。步驟8，元數(shù)據(jù)服務器返回給客戶端成功消息，并將數(shù)據(jù)存儲服務器列表及新創(chuàng)建 的文件名一并返回。步驟9，客戶端訪問接口根據(jù)網(wǎng)絡情況從兩臺數(shù)據(jù)存儲服務器中選出最優(yōu)的一臺 服務器，將文件數(shù)據(jù)發(fā)送給最優(yōu)數(shù)據(jù)存儲服務器，下稱其為數(shù)據(jù)存儲服務器A，另一臺稱數(shù)據(jù)存儲服務器B。步驟10，數(shù)據(jù)存儲服務器A收到文件數(shù)據(jù)后，將文件保存到本地，并將數(shù)據(jù)發(fā)送給 數(shù)據(jù)存儲服務器B，等待數(shù)據(jù)存儲服務器B保存結果。如果數(shù)據(jù)存儲服務器A或數(shù)據(jù)存儲服 務器B任意一方保存文件失敗，則進入11，否則進入步驟12。步驟11，返回出錯結果給客戶端訪問接口，進入步驟13。步驟12，返回正確結果給客戶端訪問接口，進入步驟13。步驟13，客戶端訪問接口將結果返回給調用者。請參見附圖3所示，附圖3是應用于本實用新型分布式存儲系統(tǒng)的方法的讀數(shù)據(jù) 的方法的流程圖，包括如下步驟步驟1，調用者調用客戶端訪問接口的讀接口。步驟2，客戶端訪問接口的讀接口嘗試連接最優(yōu)的元數(shù)據(jù)服務器，如果成功則進入 步驟4，否則進入步驟3。步驟3，客戶端訪問接口的讀接口嘗試連接在另一個互備的元數(shù)據(jù)服務器，如果成 功則進入步驟4，否則出錯，并跳到步驟11。步驟4，客戶端訪問接口向元數(shù)據(jù)服務器發(fā)送讀的指令，并將所要讀文件的文件名 發(fā)送給元數(shù)據(jù)服務器。步驟5，元數(shù)據(jù)服務器從數(shù)據(jù)庫服務器中查詢所要讀的文件的文件名的元信息，若 數(shù)據(jù)存在則返回文件所在的數(shù)據(jù)存儲服務器列表，否則返回出錯信息給客戶端訪問接口。步驟6，若元數(shù)據(jù)服務器返回的結果顯示有錯誤發(fā)生，則跳轉至步驟9。否則進行 步驟7。步驟7，客戶端訪問接口從元數(shù)據(jù)服務器返回的數(shù)據(jù)存儲服務器列表中選擇一個 最優(yōu)的進行數(shù)據(jù)訪問，如果訪問成功則進入步驟10，否則進入步驟8。步驟8，客戶端訪問接口選擇另一個數(shù)據(jù)存儲服務器進行數(shù)據(jù)訪問，如果訪問成功 則進入步驟10，否則進入步驟9。步驟9，返回出錯結果給客戶端訪問接口，進入步驟11。步驟10，返回正確結果給客戶端訪問接口，進入步驟11。步驟11，客戶端訪問接口將結果返回給調用者。請參見附圖4所示，附圖4是應用于本實用新型分布式存儲系統(tǒng)的方法的刪除數(shù) 據(jù)的方法的流程圖，包括如下步驟步驟1，調用者調用客戶端訪問接口的刪除接口。步驟2，客戶端訪問接口的刪除接口嘗試連接最優(yōu)的元數(shù)據(jù)服務器，如果成功則進 入步驟4，否則進入步驟3。步驟3，客戶端訪問接口的刪除接口嘗試連接在另一個互備的元數(shù)據(jù)服務器，如果 成功則進入步驟4，否則出錯，并跳到步驟6。步驟4，客戶端訪問接口向元數(shù)據(jù)服務器發(fā)送刪除的指令，并將所要刪除文件的文 件名發(fā)送給元數(shù)據(jù)服務器。步驟5，元數(shù)據(jù)服務器從數(shù)據(jù)庫服務器中查詢所要刪除的文件的文件名的元信息， 并將所要刪除的文件刪除，并將結果返回給客戶端訪問接口。步驟6，客戶端訪問接口將調用結果返回給調用者。[0125]請參見附圖5所示，附圖5是應用于本實用新型分布式存儲系統(tǒng)的方法的數(shù)據(jù)的 自動修復的方法的流程圖，包括如下步驟步驟1，數(shù)據(jù)存儲服務器發(fā)現(xiàn)數(shù)據(jù)損壞，發(fā)消息給元數(shù)據(jù)服務器。步驟2，元數(shù)據(jù)服務器挑選出一臺待寫數(shù)據(jù)存儲服務器，向選出的待寫數(shù)據(jù)存儲服 務器發(fā)消息，并將選出的待寫數(shù)據(jù)存儲服務器設置為待寫狀態(tài)。步驟3，元數(shù)據(jù)服務器查找出損壞數(shù)據(jù)的另一份數(shù)據(jù)所在的數(shù)據(jù)存儲服務器，向另 一份數(shù)據(jù)所在的數(shù)據(jù)存儲服務器發(fā)消息命令，并將指定數(shù)據(jù)發(fā)送給待寫數(shù)據(jù)存儲服務器。步驟4，待寫數(shù)據(jù)存儲服務器接收數(shù)據(jù)，寫入磁盤，并將結果返回給發(fā)送方數(shù)據(jù)存 儲服務器。步驟5，發(fā)送方數(shù)據(jù)存儲服務器接收到結果后，將結果傳回元數(shù)據(jù)服務器，流程結
束ο請參見附圖6所示，附圖6是應用于本實用新型分布式存儲系統(tǒng)的方法的數(shù)據(jù)遷 移的方法的流程圖，包括如下步驟步驟1，管理員通過管理服務器主動向一臺元數(shù)據(jù)存儲服務器發(fā)送遷移指令，遷移 某臺數(shù)據(jù)存儲服務器上的所有數(shù)據(jù)。步驟2，元數(shù)據(jù)服務器從數(shù)據(jù)庫服務器中查找出所有在待遷移的數(shù)據(jù)存儲服務器 上存儲的文件信息。步驟3，元數(shù)據(jù)服務器依次為待遷移的文件挑選出一臺新的數(shù)據(jù)存儲服務器，并命 令原數(shù)據(jù)存儲服務器將數(shù)據(jù)發(fā)送到新的存儲服務器上。步驟4，元數(shù)據(jù)服務器將所有文件處理完畢，遷移流程結束。本實用新型分布式存儲系統(tǒng)的需求如下需要開發(fā)分布式網(wǎng)絡框架，將數(shù)百臺機 器組成一個統(tǒng)一的分布式存儲系統(tǒng)；該系統(tǒng)每天至少能容納3000萬個平均大小為80KB的 文件存儲量；該系統(tǒng)中存儲的數(shù)據(jù)多份冗余，當一份數(shù)據(jù)損壞時，系統(tǒng)能自動偵測并予以修 復；機器的部署采取多機房冗余策略，當一個機房出現(xiàn)故障時，整個系統(tǒng)仍能對外提供主要 服務；系統(tǒng)需有較強的可擴展性，當系統(tǒng)無法支撐用戶海量數(shù)據(jù)存儲時，可以在管理端簡單 的通過增加機器數(shù)量的方法來提高整體集群的負載能力；提供用戶友好的部署和管理程 序，讓非專業(yè)人事也能輕松管理系統(tǒng)，以實現(xiàn)整個系統(tǒng)的管理自動化。綜上所述，本實用新型分布式存儲系統(tǒng)由于采用了元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲 服務器集群B及數(shù)據(jù)庫服務器集群B，確保了數(shù)據(jù)的可靠備份，確保了有部分服務器損壞 時，用戶對數(shù)據(jù)的讀寫等操作迅速遷移；本實用新型由于采用先進的基于消息的網(wǎng)絡編程 模型，數(shù)據(jù)存儲部分采用了高效的AIO(異步10)對文件進行讀寫，系統(tǒng)的整體性能大大提 升，提高了磁盤的利用率；本實用新型由于提供了完善的界面管理軟件，另外本實用新型還 提供了數(shù)據(jù)恢復的功能，及刪除的數(shù)據(jù)在一定時間內(nèi)還能恢復，真正實現(xiàn)了自動化管理的 功能。
10
權利要求一種分布式存儲系統(tǒng)，包括客戶端訪問接口、管理服務器及文件刪除控制器；其特征在于還包括元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群A、數(shù)據(jù)存儲服務器集群B、數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B；所述的客戶端訪問接口分別與元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)存儲服務器集群B連接；所述的客戶端訪問接口包括寫接口、讀接口及刪除接口；所述的管理服務器分別與元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B連接；所述的管理服務器還包括管理數(shù)據(jù)庫；所述的文件刪除控制器分別與數(shù)據(jù)存儲服務器集群A、數(shù)據(jù)存儲服務器集群B及數(shù)據(jù)庫服務器集群B連接；所述的元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B通過TCP協(xié)議連接，相互檢測對方狀態(tài)；數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)存儲服務器集群B通過TCP協(xié)議互連，相互備份文件數(shù)據(jù)；數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B通過TCP協(xié)議相連，數(shù)據(jù)從數(shù)據(jù)庫服務器集群A備份到數(shù)據(jù)庫服務器集群B；所述的元數(shù)據(jù)服務器集群A及元數(shù)據(jù)服務器集群B分別與數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)存儲服務器集群B兩兩連接；所述的元數(shù)據(jù)服務器集群A、元數(shù)據(jù)服務器集群B分別與數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B兩兩連接。
2.根據(jù)權利要求1所述的分布式存儲系統(tǒng)，其特征在于所述的元數(shù)據(jù)服務器集群A、 元數(shù)據(jù)服務器集群B、數(shù)據(jù)存儲服務器集群A及數(shù)據(jù)存儲服務器集群B是由一個或多個同一 類型的服務器組成的服務器集群；數(shù)據(jù)庫服務器集群A及數(shù)據(jù)庫服務器集群B是由一個或 多個同一類型的數(shù)據(jù)庫服務器組成的數(shù)據(jù)庫服務器集群。
3.根據(jù)權利要求1所述的分布式存儲系統(tǒng)，其特征在于所述的元數(shù)據(jù)服務器集群B、 數(shù)據(jù)存儲服務器集群B及數(shù)據(jù)庫服務器集群B分別是元數(shù)據(jù)服務器集群A、數(shù)據(jù)存儲服務器 集群A及數(shù)據(jù)庫服務器集群A的數(shù)據(jù)備份服務器。
專利摘要一種分布式存儲系統(tǒng)和方法包括客戶端訪問接口、管理服務器及文件刪除控制器、元數(shù)據(jù)服務器集群、數(shù)據(jù)存儲服務器集群及數(shù)據(jù)庫服務器集群；客戶端訪問接口分別與各服務器集群連接，管理服務器分別與元數(shù)據(jù)服務器集群連接，文件刪除控制器分別與數(shù)據(jù)存儲服務器集群及數(shù)據(jù)庫服務器集群連接，元數(shù)據(jù)服務器集群、數(shù)據(jù)存儲服務器集群及數(shù)據(jù)庫服務器集群相互連接，元數(shù)據(jù)服務器集群分別與數(shù)據(jù)存儲服務器集群兩兩連接，元數(shù)據(jù)服務器集群與數(shù)據(jù)存儲服務器集群兩兩連接。本實用新型確保數(shù)據(jù)的可靠備份及迅速操作，系統(tǒng)的整體性能大大提升，并提供了完善的界面管理軟件及數(shù)據(jù)恢復的功能，刪除的數(shù)據(jù)在一定時間內(nèi)還能恢復，真正實現(xiàn)了自動化管理的功能。
文檔編號G06F17/30GK201726424SQ200920208029
公開日2011年1月26日 申請日期2009年8月18日 優(yōu)先權日2009年8月18日
發(fā)明者崔博, 崔金峰, 李 杰, 林晨光 申請人:升東網(wǎng)絡科技發(fā)展(上海)有限公司