專利名稱：分布式交通信息存儲文件系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種電子信息技術(shù)領(lǐng)域數(shù)據(jù)網(wǎng)格的系統(tǒng)，具體地說是一種分布式交通信息存儲文件系統(tǒng)。
背景技術(shù)：
隨著網(wǎng)格應(yīng)用的日益增多，不局限于初始的應(yīng)用背景----科學(xué)計(jì)算，網(wǎng)格技術(shù)將其觸角伸向各行各業(yè)，把網(wǎng)格計(jì)算放在網(wǎng)絡(luò)服務(wù)的層面上來使用，將現(xiàn)有的社會公共服務(wù)資源整合起來成為發(fā)展趨勢。交通信息網(wǎng)格即是網(wǎng)格技術(shù)與公共服務(wù)相結(jié)合的產(chǎn)物。使用網(wǎng)絡(luò)服務(wù)大大提高了網(wǎng)格的通用性使之能夠更加契合交通信息服務(wù)的需求。數(shù)據(jù)模塊從原先網(wǎng)格技術(shù)的底層支持模塊逐漸被獨(dú)立出來。數(shù)據(jù)網(wǎng)格作為一種融合異構(gòu)資源將其變?yōu)橥坏馁Y源并提供通用接口的技術(shù)漸漸從整個(gè)網(wǎng)格體系中獨(dú)立開來。數(shù)據(jù)網(wǎng)格的發(fā)展趨勢為既可以支持別的網(wǎng)格組件又可以自己獨(dú)立運(yùn)行提供功能的系統(tǒng)。
為了契合網(wǎng)格計(jì)算向網(wǎng)絡(luò)服務(wù)靠攏的趨勢，數(shù)據(jù)網(wǎng)格需要一種不同于傳統(tǒng)的緊耦合的分布式文件系統(tǒng)，可以通過網(wǎng)絡(luò)服務(wù)進(jìn)行遠(yuǎn)程調(diào)用的松耦合的分布式文件系統(tǒng)。這樣對于用戶使用數(shù)據(jù)網(wǎng)格或者訪問這一分布式文件系統(tǒng)的要求就降低了，用戶可以通過任意終端訪問系統(tǒng)。
經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，中國專利申請?zhí)?2120971.5，發(fā)明名稱基于分布式文件系統(tǒng)的文件存儲系統(tǒng)及其文件訪問方法，公開號CN1464453。該專利的文件系統(tǒng)基于分布式文件系統(tǒng)，為使用存儲空間的用戶提供高效、快捷的訪問界面，使用戶能隨時(shí)隨地訪問所有的共享資源。該文件系統(tǒng)的不足(1)系統(tǒng)沒有基于一種統(tǒng)一的框架構(gòu)建，使得系統(tǒng)內(nèi)部不同型號的服務(wù)器的通信不具備統(tǒng)一性和通用性。(2)系統(tǒng)沒有對文件進(jìn)行分片存儲，使得在存儲大文件時(shí)，存儲零頭較高，存儲空間浪費(fèi)較多。(3)系統(tǒng)沒有對文件進(jìn)行復(fù)制，當(dāng)數(shù)據(jù)節(jié)點(diǎn)發(fā)生故障時(shí)，文件系統(tǒng)不可用，降低了系統(tǒng)的可用性。(4)系統(tǒng)沒有提供對文件帶狀傳輸和并行傳輸?shù)闹С郑褂迷撐募到y(tǒng)的性能較低。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的不足與缺陷，提供一種分布式交通信息存儲文件系統(tǒng)，使其在不同的服務(wù)器之間協(xié)作以及系統(tǒng)外對本系統(tǒng)的訪問都是基于同一規(guī)則，并且能夠使存儲系統(tǒng)的穩(wěn)健度與效率增高，更加符合交通信息存儲傳輸?shù)男枨螅骖櫫送ㄓ眯院瓦\(yùn)營能力(數(shù)據(jù)存儲量，傳輸速度)，為網(wǎng)格服務(wù)提供可靠的數(shù)據(jù)支持，推動了數(shù)據(jù)網(wǎng)格作為獨(dú)立模塊的發(fā)展。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括數(shù)據(jù)存儲服務(wù)器、存儲資源管理服務(wù)器、元數(shù)據(jù)管理服務(wù)器、傳輸管理服務(wù)器、副本管理服務(wù)器、信息監(jiān)控服務(wù)器、歷史分析及策略擴(kuò)展服務(wù)器、虛擬文件視圖終端、可靠傳輸維持終端。虛擬文件視圖終端和元數(shù)據(jù)管理服務(wù)器、副本管理服務(wù)器、存儲資源管理服務(wù)器及可靠傳輸維持終端相連，副本管理服務(wù)器和歷史分析及策略擴(kuò)展服務(wù)器、存儲資源管理服務(wù)器、傳輸管理服務(wù)器相連，傳輸管理服務(wù)器及可靠傳輸維持終端均和信息監(jiān)控服務(wù)器、數(shù)據(jù)存儲服務(wù)器相連，信息監(jiān)控服務(wù)器和歷史分析及策略擴(kuò)展服務(wù)器相連，存儲資源管理服務(wù)器和數(shù)據(jù)存儲服務(wù)器相連。虛擬文件視圖終端接受來自用戶或系統(tǒng)外部應(yīng)用程序的訪問請求，并根據(jù)不同的請求同元數(shù)據(jù)管理服務(wù)器、副本管理服務(wù)器、存儲資源管理服務(wù)器或可靠傳輸維持終端交互以處理請求；可靠文件傳輸終端在接受到虛擬文件視圖終端的請求并做出響應(yīng)，連接到數(shù)據(jù)存儲服務(wù)器和用戶所在的終端客戶機(jī)，發(fā)起數(shù)據(jù)存儲服務(wù)器和終端客戶機(jī)之間的數(shù)據(jù)傳輸；數(shù)據(jù)傳輸?shù)男阅鼙恍畔⒈O(jiān)控服務(wù)器捕獲，之后被發(fā)送到歷史分析及策略擴(kuò)展服務(wù)器；副本管理服務(wù)器在接受到虛擬文件視圖終端的請求并做出響應(yīng)，即連接到歷史分析及策略擴(kuò)展服務(wù)器獲取副本維護(hù)策略，連接到存儲資源管理服務(wù)器獲取數(shù)據(jù)存儲信息，連接到傳輸管理服務(wù)器發(fā)起系統(tǒng)內(nèi)部數(shù)據(jù)存儲服務(wù)器之間的數(shù)據(jù)傳輸；存儲資源管理服務(wù)器周期性的和數(shù)據(jù)存儲服務(wù)器交互，向數(shù)據(jù)存儲服務(wù)器收集各項(xiàng)指標(biāo)，以及下達(dá)數(shù)據(jù)存儲服務(wù)器的合法文件信息；數(shù)據(jù)存儲服務(wù)器除了上述和存儲資源管理服務(wù)器的通信外，還根據(jù)傳輸管理服務(wù)器和可靠傳輸維持終端發(fā)送來的數(shù)據(jù)傳輸請求，啟動數(shù)據(jù)存儲服務(wù)器與用戶所在客戶機(jī)之間的或者數(shù)據(jù)存儲服務(wù)器與數(shù)據(jù)存儲服務(wù)器之間的數(shù)據(jù)傳輸。
所述的數(shù)據(jù)存儲服務(wù)器包括文件傳輸服務(wù)器單元、存儲資源管理客戶端單元。文件傳輸服務(wù)器單元和可靠傳輸維持終端連接，各個(gè)數(shù)據(jù)存儲服務(wù)器中的文件傳輸服務(wù)器單元相互連接。文件傳輸服務(wù)器單元實(shí)現(xiàn)了特定的文件傳輸協(xié)議(如FTP協(xié)議、GridFTP協(xié)議)和文件傳輸服務(wù)器端代碼，用作文件傳輸中的傳輸服務(wù)器。存儲資源管理客戶端單元和存儲資源管理服務(wù)器連接，它周期性地啟動一個(gè)線程，用于和存儲資源管理服務(wù)器通信，向存儲資源管理服務(wù)器匯報(bào)本機(jī)各項(xiàng)指標(biāo)，從存儲資源管理服務(wù)器獲取本機(jī)的合法文件信息。
所述的存儲資源管理服務(wù)器，連接到一個(gè)或多個(gè)數(shù)據(jù)存儲服務(wù)器，管理與其連接的數(shù)據(jù)存儲服務(wù)器的生命周期，監(jiān)控所有這些數(shù)據(jù)存儲服務(wù)器的基本指標(biāo)以及在現(xiàn)階段的訪問可達(dá)性。一個(gè)存儲資源管理服務(wù)器及其管理的所有數(shù)據(jù)存儲服務(wù)器構(gòu)成一個(gè)獨(dú)立的域。
所述的元數(shù)據(jù)管理服務(wù)器包括邏輯文件映射單元以及分片地址映射單元兩部分。邏輯文件映射單元在用戶創(chuàng)建邏輯文件(同時(shí)也會將這個(gè)文件的實(shí)際內(nèi)容存入數(shù)據(jù)存儲服務(wù)器)，劃分分片時(shí)分配分片ID，在獲取文件時(shí)通過對用戶空間邏輯文件的查閱獲得文件在系統(tǒng)中被劃分成的分片的ID，分片地址映射單元在用戶創(chuàng)建邏輯文件時(shí)根據(jù)最后傳輸?shù)慕Y(jié)果確定分片的物理地址，在副本擴(kuò)散時(shí)增加分片可以鏈接到的副本地址。
所述的傳輸管理服務(wù)器和可靠傳輸維持終端，它們包含一個(gè)共同的傳輸控制子包，子包里含有傳輸線程調(diào)度單元、失敗任務(wù)恢復(fù)單元、動態(tài)任務(wù)更新單元。傳輸線程調(diào)度單元用于啟動、終止、暫停數(shù)據(jù)傳輸線程。失敗任務(wù)恢復(fù)單元用于重新啟動已經(jīng)失敗的數(shù)據(jù)傳輸任務(wù)，并保證新啟動的數(shù)據(jù)傳輸從上次傳輸任務(wù)失敗處啟動。動態(tài)任務(wù)更新單元根據(jù)任務(wù)完成的實(shí)時(shí)情況，動態(tài)更新數(shù)據(jù)傳輸任務(wù)，調(diào)整數(shù)據(jù)傳輸任務(wù)的起止位置。傳輸管理服務(wù)器和數(shù)據(jù)存儲服務(wù)器相連，它使用此子包完成系統(tǒng)內(nèi)部各個(gè)數(shù)據(jù)存儲服務(wù)器之間的可靠文件傳輸。可靠傳輸維持終端和數(shù)據(jù)存儲服務(wù)器、使用本系統(tǒng)的終端客戶機(jī)相連，它使用此子包完成系統(tǒng)內(nèi)部數(shù)據(jù)存儲服務(wù)器和使用本系統(tǒng)的終端客戶機(jī)之間的可靠文件傳輸。
所述副本管理服務(wù)器，主要用于副本的擴(kuò)散，即當(dāng)需要建立副本的時(shí)候副本管理服務(wù)器根據(jù)歷史分析及策略擴(kuò)展服務(wù)器返回的策略定制副本擴(kuò)散計(jì)劃，本單元通過調(diào)用傳輸管理服務(wù)器完成這一任務(wù)，并通過元數(shù)據(jù)管理服務(wù)器對分片的地址進(jìn)行更新。
所述信息監(jiān)控服務(wù)器包括信息監(jiān)控單元、歷史信息計(jì)算單元。信息監(jiān)控單元和存儲資源管理服務(wù)器相連，將各個(gè)時(shí)刻由各個(gè)數(shù)據(jù)存儲服務(wù)器發(fā)送給存儲資源管理服務(wù)器的本機(jī)信息收集起來。歷史信息計(jì)算單元和信息監(jiān)控單元、歷史分析及策略擴(kuò)展服務(wù)器相連，不但要將歷史時(shí)刻每個(gè)數(shù)據(jù)存儲服務(wù)器的基本信息進(jìn)行統(tǒng)計(jì)，還需要根據(jù)之前的傳輸情況，對各個(gè)數(shù)據(jù)存儲服務(wù)器的性能作出統(tǒng)計(jì)。具體當(dāng)有一個(gè)數(shù)據(jù)節(jié)點(diǎn)雖然在當(dāng)前具有很高的速率但是由于它在過去的十個(gè)小時(shí)中的平均傳輸速率很低，并且經(jīng)常出錯(cuò)，這樣的數(shù)據(jù)節(jié)點(diǎn)在下面要提到的歷史分析及策略擴(kuò)展服務(wù)器相連中的評價(jià)并不一定會比當(dāng)前速率低于它但擁有一個(gè)穩(wěn)定的歷史傳輸速率的數(shù)據(jù)節(jié)點(diǎn)高。
所述的歷史分析及策略擴(kuò)展服務(wù)器，對信息監(jiān)控服務(wù)器收集計(jì)算得到的有用數(shù)據(jù)進(jìn)行分析。分析過程中使用的策略是用戶定制的，具體由當(dāng)前傳輸速率最佳的數(shù)據(jù)存儲服務(wù)器進(jìn)行傳輸或者歷史傳輸速率最佳的數(shù)據(jù)存儲服務(wù)器進(jìn)行傳輸，抑或是將當(dāng)前速率和歷史速率綜合起來考慮分別給予兩個(gè)速率一定的權(quán)值，計(jì)算它們的加權(quán)和作為最后的評定。歷史分析及策略擴(kuò)展服務(wù)器就是一個(gè)打分系統(tǒng)，通過用戶增加策略庫中的策略，修改配置所使用的策略，策略的修改就變得非常靈活。另外使用自適應(yīng)策略，根據(jù)信息監(jiān)控模塊得到的數(shù)據(jù)對策略的使用進(jìn)行選擇，系統(tǒng)會隨著網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、網(wǎng)絡(luò)擁塞度等指標(biāo)的變化調(diào)整所使用的策略。這樣系統(tǒng)實(shí)際使用效率將逼近理想值。
所述的虛擬文件視圖終端是系統(tǒng)的主要入口端，是與用戶交互的窗口。用戶在這個(gè)終端所見的如同一個(gè)本地系統(tǒng)一樣，它可以發(fā)出各種對虛擬文件系統(tǒng)的指令。根據(jù)這些指令，虛擬文件視圖終端調(diào)用不同的管理服務(wù)器。虛擬文件視圖終端自身維護(hù)這些任務(wù)的執(zhí)行流程。
本發(fā)明基于當(dāng)前WSRF(網(wǎng)絡(luò)服務(wù)資源框架)技術(shù)及XML(可擴(kuò)展標(biāo)簽語言)技術(shù)相結(jié)合，以使得在不同型號的服務(wù)器之間能夠使用一種唯一的標(biāo)準(zhǔn)進(jìn)行通信。本發(fā)明基于分片的系統(tǒng)構(gòu)成方式，文件不再以整個(gè)文件的形式存在于數(shù)據(jù)存儲服務(wù)器上，而是以文件分片的形式存在使得存儲當(dāng)量可能等于甚至超過某一個(gè)數(shù)據(jù)存儲服務(wù)器的總存儲量。將大文件按照一定的閾值切片不但可以使那些無法容納大文件的資源得到利用，也可以減少存儲零頭，整合更多的存儲資源，增大了數(shù)據(jù)域的存儲能力也減少了負(fù)載壓力。另外以分片為單位存儲數(shù)據(jù)，在相同的存儲容量使用情況下，增加帶狀傳輸中傳輸帶的數(shù)量。所謂帶狀傳輸即同一客戶端與多個(gè)服務(wù)器進(jìn)行傳輸，每一組服務(wù)器-客戶端即為一條傳輸帶。同一帶上的多個(gè)傳輸進(jìn)程稱為并行傳輸。帶狀傳輸提高了客戶端帶寬的使用效率。本發(fā)明的三層結(jié)構(gòu)模型，即終端(客戶端)-管理服務(wù)器-資源，通過使用三層結(jié)構(gòu)模型，將終端和資源徹底從管理模塊中分離出，并讓終端和資源通過網(wǎng)絡(luò)服務(wù)與管理模塊交互，管理模塊可以很靈活的進(jìn)行擴(kuò)展，而不會影響終端的訪問和資源的資格。管理服務(wù)器也能擴(kuò)展出更為復(fù)雜的功能。這種模型減少了模塊間的耦合度。
本發(fā)明對于現(xiàn)有技術(shù)的特點(diǎn)在于1)通用性由于使用了WSRF協(xié)議來作為遠(yuǎn)程調(diào)用的方法，使得終端與管理服務(wù)器、管理服務(wù)器與資源之間的耦合度降到最低。終端容易訪問，資源容易加入到資源集。
2)穩(wěn)定性由于每次傳輸都具有出錯(cuò)控制，系統(tǒng)可以輕易捕捉到?jīng)]有成功的傳輸任務(wù)并將它恢復(fù)過來；另一方面存儲資源管理服務(wù)器并不是主動去尋找資源，而是建立一個(gè)框架讓資源加入到某個(gè)資源集合中，這個(gè)集合中的節(jié)點(diǎn)一般都是可用的，再通過選擇策略選擇最為健壯的數(shù)據(jù)存儲服務(wù)器進(jìn)行傳輸，進(jìn)一步提高了可用性。
3)高效性由于使用了歷史信息分析和動態(tài)策略自適應(yīng)的方法，系統(tǒng)變得更加智能，它總是傾向于選擇最穩(wěn)定的節(jié)點(diǎn)存儲數(shù)據(jù)、最快的節(jié)點(diǎn)下載數(shù)據(jù)，這樣使得系統(tǒng)在提高通用性的同時(shí)也兼顧了效率。
4)靈活性策略擴(kuò)展模塊在設(shè)計(jì)時(shí)就作為嵌入模塊加入系統(tǒng)，一方面每個(gè)調(diào)用歷史分析及策略擴(kuò)展服務(wù)器的模塊都具有與具體策略無關(guān)的接口，另一方面每個(gè)策略也需要符合一定的模版來描述自身，這樣用戶可以靈活的定制更新策略使系統(tǒng)變得更為智能。


圖1本發(fā)明系統(tǒng)框2本發(fā)明管理服務(wù)器通訊示意3本發(fā)明存儲文件系統(tǒng)時(shí)序4本發(fā)明獲取文件系統(tǒng)時(shí)序5本發(fā)明文件副本擴(kuò)散時(shí)序圖具體實(shí)施方式
下面對本發(fā)明的一實(shí)施例作詳細(xì)說明本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
如圖1所示，本實(shí)施例包括數(shù)據(jù)存儲服務(wù)器、存儲資源管理服務(wù)器、元數(shù)據(jù)管理服務(wù)器、傳輸管理服務(wù)器、副本管理服務(wù)器、信息監(jiān)控服務(wù)器、歷史分析及策略擴(kuò)展服務(wù)器、虛擬文件視圖終端、可靠傳輸維持終端。虛擬文件視圖終端和元數(shù)據(jù)管理服務(wù)器、副本管理服務(wù)器、存儲資源管理服務(wù)器及可靠傳輸維持終端相連，副本管理服務(wù)器和歷史分析及策略擴(kuò)展服務(wù)器、存儲資源管理服務(wù)器、傳輸管理服務(wù)器相連，傳輸管理服務(wù)器及可靠傳輸維持終端均和信息監(jiān)控服務(wù)器、數(shù)據(jù)存儲服務(wù)器相連，信息監(jiān)控服務(wù)器和歷史分析及策略擴(kuò)展服務(wù)器相連，存儲資源管理服務(wù)器和數(shù)據(jù)存儲服務(wù)器相連。虛擬文件視圖終端接受來自用戶或系統(tǒng)外部應(yīng)用程序的訪問請求，并根據(jù)不同的請求同元數(shù)據(jù)管理服務(wù)器、副本管理服務(wù)器、存儲資源管理服務(wù)器或可靠傳輸維持終端交互以處理請求；可靠文件傳輸終端在接受到虛擬文件視圖終端的請求并做出相應(yīng)時(shí)，連接到數(shù)據(jù)存儲服務(wù)器和用戶所在的終端客戶機(jī)，發(fā)起數(shù)據(jù)存儲服務(wù)器和終端客戶機(jī)之間的數(shù)據(jù)傳輸；數(shù)據(jù)傳輸?shù)男阅鼙恍畔⒈O(jiān)控服務(wù)器捕獲，之后被發(fā)送到歷史分析及策略擴(kuò)展服務(wù)器；副本管理服務(wù)器在接受到虛擬文件視圖終端的請求并做出相應(yīng)時(shí)，連接到歷史分析及策略擴(kuò)展服務(wù)器獲取副本維護(hù)策略，連接到存儲資源管理服務(wù)器獲取數(shù)據(jù)存儲信息，連接到傳輸管理服務(wù)器發(fā)起系統(tǒng)內(nèi)部數(shù)據(jù)存儲服務(wù)器之間的數(shù)據(jù)傳輸；存儲資源管理服務(wù)器周期性的和數(shù)據(jù)存儲服務(wù)器交互，向數(shù)據(jù)存儲服務(wù)器收集各項(xiàng)指標(biāo)，以及下達(dá)數(shù)據(jù)存儲服務(wù)器的合法文件信息；數(shù)據(jù)存儲服務(wù)器除了上述和存儲資源管理服務(wù)器的通信外，還根據(jù)傳輸管理服務(wù)器和可靠傳輸維持終端發(fā)送來的數(shù)據(jù)傳輸請求，啟動數(shù)據(jù)存儲服務(wù)器與用戶所在客戶機(jī)之間的或者數(shù)據(jù)存儲服務(wù)器與數(shù)據(jù)存儲服務(wù)器之間的數(shù)據(jù)傳輸。
所述的數(shù)據(jù)存儲服務(wù)器包括文件傳輸服務(wù)器單元、存儲資源管理客戶端單元。文件傳輸服務(wù)器單元和可靠傳輸維持終端連接，各個(gè)數(shù)據(jù)存儲服務(wù)器中的文件傳輸服務(wù)器單元相互連接。文件傳輸服務(wù)器單元實(shí)現(xiàn)了特定的文件傳輸協(xié)議(如FTP協(xié)議、GridFTP協(xié)議)和文件傳輸服務(wù)器端代碼，用作文件傳輸中的傳輸服務(wù)器。存儲資源管理客戶端單元和存儲資源管理服務(wù)器連接，它周期性地啟動一個(gè)線程，用于和存儲資源管理服務(wù)器通信，向存儲資源管理服務(wù)器匯報(bào)本機(jī)各項(xiàng)指標(biāo)，從存儲資源管理服務(wù)器獲取本機(jī)的合法文件信息。
所述的元數(shù)據(jù)管理服務(wù)器包括邏輯文件映射單元以及分片地址映射單元，邏輯文件映射單元在用戶創(chuàng)建邏輯文件，同時(shí)也會將這個(gè)文件的實(shí)際內(nèi)容存入數(shù)據(jù)存儲服務(wù)器，劃分分片時(shí)分配分片ID，在獲取文件時(shí)通過對用戶空間邏輯文件的查閱獲得文件在系統(tǒng)中被劃分成的分片的ID，分片地址映射單元在用戶創(chuàng)建邏輯文件時(shí)根據(jù)最后傳輸?shù)慕Y(jié)果確定分片的物理地址，在副本擴(kuò)散時(shí)增加分片鏈接到的副本地址。
所述的傳輸管理服務(wù)器和可靠傳輸維持終端，它們包含一個(gè)共同的傳輸控制子包，子包里含有傳輸線程調(diào)度單元、失敗任務(wù)恢復(fù)單元、動態(tài)任務(wù)更新單元。傳輸線程調(diào)度單元用于啟動、終止、暫停數(shù)據(jù)傳輸線程。失敗任務(wù)恢復(fù)單元用于重新啟動已經(jīng)失敗的數(shù)據(jù)傳輸任務(wù)，并保證新啟動的數(shù)據(jù)傳輸從上次傳輸任務(wù)失敗處啟動。動態(tài)任務(wù)更新單元根據(jù)任務(wù)完成的實(shí)時(shí)情況，動態(tài)更新數(shù)據(jù)傳輸任務(wù)，調(diào)整數(shù)據(jù)傳輸任務(wù)的起止位置。傳輸管理服務(wù)器和數(shù)據(jù)存儲服務(wù)器相連，它使用此子包完成系統(tǒng)內(nèi)部各個(gè)數(shù)據(jù)存儲服務(wù)器之間的可靠文件傳輸?？煽總鬏斁S持終端和數(shù)據(jù)存儲服務(wù)器、使用本系統(tǒng)的終端客戶機(jī)相連，它使用此子包完成系統(tǒng)內(nèi)部數(shù)據(jù)存儲服務(wù)器和使用本系統(tǒng)的終端客戶機(jī)之間的可靠文件傳輸。
所述副本管理服務(wù)器，用于副本的擴(kuò)散當(dāng)需要建立副本的時(shí)候副本管理服務(wù)器根據(jù)歷史分析及策略擴(kuò)展服務(wù)器返回的策略定制副本擴(kuò)散計(jì)劃，通過調(diào)用傳輸管理服務(wù)器完成這一任務(wù)，并通過元數(shù)據(jù)管理服務(wù)器對分片的地址進(jìn)行更新。
所述信息監(jiān)控服務(wù)器包括當(dāng)前信息監(jiān)控單元、歷史信息計(jì)算單元，當(dāng)前信息監(jiān)控單元將現(xiàn)在時(shí)刻由各個(gè)數(shù)據(jù)存儲服務(wù)器發(fā)送給數(shù)據(jù)存儲資源管理服務(wù)器的本機(jī)信息收集起來，歷史信息計(jì)算單元不但要將歷史時(shí)刻每個(gè)數(shù)據(jù)存儲服務(wù)器的基本信息進(jìn)行統(tǒng)計(jì)，還需要根據(jù)之前的傳輸情況，對各個(gè)數(shù)據(jù)存儲服務(wù)器的性能作出統(tǒng)計(jì)。
所述的歷史分析及策略擴(kuò)展服務(wù)器對信息監(jiān)控服務(wù)器收集計(jì)算得到的有用數(shù)據(jù)進(jìn)行分析，分析過程中使用的策略是用戶定制的，具體當(dāng)前傳輸速率最佳的數(shù)據(jù)存儲服務(wù)器進(jìn)行傳輸或者歷史傳輸速率最佳的數(shù)據(jù)存儲服務(wù)器進(jìn)行傳輸，抑或是將當(dāng)前速率和歷史速率綜合起來考慮分別給予兩個(gè)速率一定的權(quán)值，計(jì)算它們的加權(quán)和作為最后的評定。
所述的虛擬文件視圖終端是系統(tǒng)的主要入口端，是與用戶交互的窗口，用戶在這個(gè)終端發(fā)出各種對虛擬文件系統(tǒng)的指令，根據(jù)這些指令，終端調(diào)用不同的管理服務(wù)器。
如圖2所示，所述的存儲資源管理服務(wù)器，連接到一個(gè)或多個(gè)數(shù)據(jù)存儲服務(wù)器，管理與其連接的數(shù)據(jù)存儲服務(wù)器的生命周期，監(jiān)控所有這些數(shù)據(jù)存儲服務(wù)器的基本指標(biāo)以及在現(xiàn)階段的訪問可達(dá)性。
如圖3所示，將用戶的文件存儲至虛擬的文件系統(tǒng)具體過程包括(1)虛擬文件視圖終端向元數(shù)據(jù)管理服務(wù)器的邏輯文件映射單元發(fā)送創(chuàng)建文件的請求，邏輯文件映射單元接受請求，創(chuàng)建這一文件及其相應(yīng)的目錄關(guān)系，并將這一文件的狀態(tài)標(biāo)注為“傳輸中”，之后邏輯文件映射單元向虛擬文件視圖終端返回確認(rèn)信息；(2)虛擬文件視圖終端得到來自元數(shù)據(jù)管理服務(wù)器的確認(rèn)信息后，向存儲資源管理服務(wù)器發(fā)送返回資源的請求，存儲資源管理服務(wù)器根據(jù)所請求的文件大小的信息，在可用資源集中選擇可用資源，并為每個(gè)文件分片分配與之配對的存儲資源。之后，存儲資源管理服務(wù)器將分配結(jié)果返回虛擬文件視圖終端；(3)虛擬文件視圖終端根據(jù)返回的分配結(jié)果構(gòu)造傳輸計(jì)劃文件，并將傳輸計(jì)劃文件發(fā)送至可靠傳輸維持終端的傳輸線程調(diào)度單元，傳輸線程調(diào)度單元據(jù)此啟動數(shù)據(jù)傳輸線程，以根據(jù)傳輸計(jì)劃將分片傳輸并存儲至數(shù)據(jù)存儲服務(wù)器上。在傳輸過程中，如有故障發(fā)生，則由傳輸線程調(diào)度單元調(diào)用失敗任務(wù)恢復(fù)單元，以從故障中恢復(fù)。傳輸完畢后，可靠傳輸維持終端的傳輸線程調(diào)度單元將實(shí)際傳輸結(jié)果返回給虛擬文件視圖終端。
(4)虛擬文件視圖終端接受到可靠傳輸維持終端的傳輸線程調(diào)度單元發(fā)送的實(shí)際傳輸結(jié)果后，向元數(shù)據(jù)管理服務(wù)器的邏輯文件映射單元發(fā)送消息，邏輯文件映射單元改變文件狀態(tài)為“可用”，并調(diào)用元數(shù)據(jù)管理服務(wù)器的分片地址映射單元以添加分片地址映射信息。
如圖4所示，從虛擬文件系統(tǒng)獲取用戶的文件具體過程包括(1)虛擬文件視圖終端向元數(shù)據(jù)管理服務(wù)器的邏輯文件映射單元發(fā)送請求，邏輯文件映射單元接受請求，查詢獲得文件的分片信息，再將文件的分片信息發(fā)送至分片地址映射單元，以獲取文件的所有分片的位置信息。之后，邏輯文件映射單元將所獲得的位置信息返回給虛擬文件視圖終端。
(2)虛擬文件視圖終端接受到元數(shù)據(jù)管理服務(wù)器發(fā)送來的文件分片位置信息后，根據(jù)位置信息信息生成傳輸計(jì)劃文件，并將傳輸計(jì)劃文件發(fā)送至可靠傳輸維持終端的傳輸線程調(diào)度單元，傳輸線程調(diào)度單元據(jù)此啟動數(shù)據(jù)傳輸線程，以根據(jù)傳輸計(jì)劃將文件的所有分片傳輸至用戶所在的客戶機(jī)上。在傳輸過程中，如有故障發(fā)生，則由傳輸線程調(diào)度單元調(diào)用失敗任務(wù)恢復(fù)單元，以從故障中恢復(fù)。傳輸完畢后，可靠傳輸維持終端的傳輸線程調(diào)度單元發(fā)送確認(rèn)消息到虛擬文件視圖終端。
如圖5所示，在系統(tǒng)中進(jìn)行副本擴(kuò)散具體過程包括(1)虛擬文件視圖終端向副本管理服務(wù)器發(fā)送副本擴(kuò)散請求；(2)副本管理服務(wù)器向歷史分析及策略擴(kuò)展服務(wù)器發(fā)出請求，歷史分析及策略擴(kuò)展服務(wù)器向副本管理服務(wù)器返回需要擴(kuò)散的分片列表；(3)副本管理服務(wù)器接受到歷史分析及策略擴(kuò)展服務(wù)器返回的擴(kuò)散分片列表后，據(jù)此生成傳輸計(jì)劃文件，并將傳輸計(jì)劃文件發(fā)送至傳輸管理服務(wù)器的傳輸線程調(diào)度單元，傳輸線程調(diào)度單元據(jù)此啟動數(shù)據(jù)傳輸線程，并根據(jù)傳輸計(jì)劃執(zhí)行數(shù)據(jù)傳輸。在傳輸過程中，如有故障發(fā)生，則由傳輸線程調(diào)度單元調(diào)用失敗任務(wù)恢復(fù)單元，以從故障中恢復(fù)。傳輸完畢后，傳輸管理服務(wù)器的傳輸線程調(diào)度單元返回實(shí)際傳輸結(jié)果到副本管理服務(wù)器。
(4)副本管理服務(wù)器接受到傳輸管理服務(wù)器返回的實(shí)際傳輸結(jié)果后，將實(shí)際傳輸結(jié)果發(fā)送給虛擬文件視圖終端。
(5)虛擬文件視圖終端接受到副本管理系統(tǒng)返回的實(shí)際傳輸結(jié)果后，發(fā)送請求至元數(shù)據(jù)管理服務(wù)器的邏輯文件映射單元，邏輯文件映射單元更新文件分片映射關(guān)系，調(diào)用分片地址映射單元添加分片地址映射關(guān)系，最后邏輯文件映射單元返回確認(rèn)消息至虛擬文件視圖終端。
權(quán)利要求
1.一種分布式交通信息存儲文件系統(tǒng)，包括數(shù)據(jù)存儲服務(wù)器、存儲資源管理服務(wù)器、元數(shù)據(jù)管理服務(wù)器、傳輸管理服務(wù)器、副本管理服務(wù)器、信息監(jiān)控服務(wù)器、歷史分析及策略擴(kuò)展服務(wù)器、虛擬文件視圖終端和可靠傳輸維持終端，其特征在于，虛擬文件視圖終端和元數(shù)據(jù)管理服務(wù)器、副本管理服務(wù)器、存儲資源管理服務(wù)器及可靠傳輸維持終端相連，副本管理服務(wù)器和歷史分析及策略擴(kuò)展服務(wù)器、存儲資源管理服務(wù)器、傳輸管理服務(wù)器相連，傳輸管理服務(wù)器及可靠傳輸維持終端均和信息監(jiān)控服務(wù)器、數(shù)據(jù)存儲服務(wù)器相連，信息監(jiān)控服務(wù)器和歷史分析及策略擴(kuò)展服務(wù)器相連，存儲資源管理服務(wù)器和數(shù)據(jù)存儲服務(wù)器相連；虛擬文件視圖終端接受來自用戶或系統(tǒng)外部應(yīng)用程序的訪問請求，并根據(jù)不同的請求同元數(shù)據(jù)管理服務(wù)器、副本管理服務(wù)器、存儲資源管理服務(wù)器或可靠傳輸維持終端交互以處理請求；可靠文件傳輸終端在接受到虛擬文件視圖終端的請求并做出響應(yīng)時(shí)，連接到數(shù)據(jù)存儲服務(wù)器和用戶所在的終端客戶機(jī)，發(fā)起數(shù)據(jù)存儲服務(wù)器和終端客戶機(jī)之間的數(shù)據(jù)傳輸，數(shù)據(jù)傳輸?shù)男阅鼙恍畔⒈O(jiān)控服務(wù)器捕獲，之后被發(fā)送到歷史分析及策略擴(kuò)展服務(wù)器；副本管理服務(wù)器在接受到虛擬文件視圖終端的請求并做出響應(yīng)，即連接到歷史分析及策略擴(kuò)展服務(wù)器獲取副本維護(hù)策略，連接到存儲資源管理服務(wù)器獲取數(shù)據(jù)存儲信息，連接到傳輸管理服務(wù)器發(fā)起系統(tǒng)內(nèi)部數(shù)據(jù)存儲服務(wù)器之間的數(shù)據(jù)傳輸；存儲資源管理服務(wù)器周期性的和數(shù)據(jù)存儲服務(wù)器交互，向數(shù)據(jù)存儲服務(wù)器收集各項(xiàng)指標(biāo)，以及下達(dá)數(shù)據(jù)存儲服務(wù)器的合法文件信息；數(shù)據(jù)存儲服務(wù)器除了上述和存儲資源管理服務(wù)器的通信外，還根據(jù)傳輸管理服務(wù)器和可靠傳輸維持終端發(fā)送來的數(shù)據(jù)傳輸請求，啟動數(shù)據(jù)存儲服務(wù)器與用戶所在客戶機(jī)之間的或者數(shù)據(jù)存儲服務(wù)器與數(shù)據(jù)存儲服務(wù)器之間的數(shù)據(jù)傳輸。
2.根據(jù)權(quán)利要求1所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述的數(shù)據(jù)存儲服務(wù)器包括文件傳輸服務(wù)器單元、存儲資源管理客戶端單元，其中文件傳輸服務(wù)器單元和可靠傳輸維持終端連接，各個(gè)數(shù)據(jù)存儲服務(wù)器中的文件傳輸服務(wù)器單元相互連接，文件傳輸服務(wù)器單元實(shí)現(xiàn)了文件傳輸協(xié)議和文件傳輸服務(wù)器端代碼，用作文件傳輸中的傳輸服務(wù)器；存儲資源管理客戶端單元和存儲資源管理服務(wù)器連接，它周期性地啟動一個(gè)線程，用于和存儲資源管理服務(wù)器通信，向存儲資源管理服務(wù)器匯報(bào)本機(jī)各項(xiàng)指標(biāo)，從存儲資源管理服務(wù)器獲取本機(jī)的合法文件信息。
3.根據(jù)權(quán)利要求1所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述的存儲資源管理服務(wù)器，連接到一個(gè)或多個(gè)數(shù)據(jù)存儲服務(wù)器，管理與其連接的數(shù)據(jù)存儲服務(wù)器的生命周期，監(jiān)控所有這些數(shù)據(jù)存儲服務(wù)器的基本指標(biāo)以及在現(xiàn)階段的訪問可達(dá)性。
4.根據(jù)權(quán)利要求1所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述的元數(shù)據(jù)管理服務(wù)器包括邏輯文件映射單元以及分片地址映射單元，邏輯文件映射單元在用戶創(chuàng)建邏輯文件，同時(shí)也會將這個(gè)文件的實(shí)際內(nèi)容存入數(shù)據(jù)存儲服務(wù)器，劃分分片時(shí)分配分片ID，在獲取文件時(shí)通過對用戶空間邏輯文件的查閱獲得文件在系統(tǒng)中被劃分成的分片的ID，分片地址映射單元在用戶創(chuàng)建邏輯文件時(shí)根據(jù)最后傳輸?shù)慕Y(jié)果確定分片的物理地址，在副本擴(kuò)散時(shí)增加分片鏈接到的副本地址。
5.根據(jù)權(quán)利要求1所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述的傳輸管理服務(wù)器和可靠傳輸維持終端，它們包含一個(gè)共同的傳輸控制子包，傳輸管理服務(wù)器和數(shù)據(jù)存儲服務(wù)器相連，它使用此子包完成系統(tǒng)內(nèi)部各個(gè)數(shù)據(jù)存儲服務(wù)器之間的可靠文件傳輸；可靠傳輸維持終端和數(shù)據(jù)存儲服務(wù)器、使用本系統(tǒng)的終端客戶機(jī)相連，它使用此子包完成系統(tǒng)內(nèi)部數(shù)據(jù)存儲服務(wù)器和使用本系統(tǒng)的終端客戶機(jī)之間的可靠文件傳輸。
6.根據(jù)權(quán)利要求5所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述的傳輸控制子包里含有傳輸線程調(diào)度單元、失敗任務(wù)恢復(fù)單元、動態(tài)任務(wù)更新單元，其中傳輸線程調(diào)度單元用于啟動、終止、暫停數(shù)據(jù)傳輸線程；失敗任務(wù)恢復(fù)單元用于重新啟動已經(jīng)失敗的數(shù)據(jù)傳輸任務(wù)，并保證新啟動的數(shù)據(jù)傳輸從上次傳輸任務(wù)失敗處啟動；動態(tài)任務(wù)更新單元根據(jù)任務(wù)完成的實(shí)時(shí)情況，動態(tài)更新數(shù)據(jù)傳輸任務(wù)，調(diào)整數(shù)據(jù)傳輸任務(wù)的起止位置。
7.根據(jù)權(quán)利要求1所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述副本管理服務(wù)器，用于副本的擴(kuò)散當(dāng)需要建立副本的時(shí)候副本管理服務(wù)器根據(jù)歷史分析及策略擴(kuò)展服務(wù)器返回的策略定制副本擴(kuò)散計(jì)劃，通過調(diào)用傳輸管理服務(wù)器完成這一任務(wù)，并通過元數(shù)據(jù)管理服務(wù)器對分片的地址進(jìn)行更新。
8.根據(jù)權(quán)利要求1所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述信息監(jiān)控服務(wù)器包括當(dāng)前信息監(jiān)控單元、歷史信息計(jì)算單元，當(dāng)前信息監(jiān)控單元將現(xiàn)在時(shí)刻由各個(gè)數(shù)據(jù)存儲服務(wù)器發(fā)送給數(shù)據(jù)存儲資源管理服務(wù)器的本機(jī)信息收集起來，歷史信息計(jì)算單元不但將歷史時(shí)刻每個(gè)數(shù)據(jù)存儲服務(wù)器的基本信息進(jìn)行統(tǒng)計(jì)，還根據(jù)之前的傳輸情況，對各個(gè)數(shù)據(jù)存儲服務(wù)器的性能作出統(tǒng)計(jì)。
9.根據(jù)權(quán)利要求1所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述的歷史分析及策略擴(kuò)展服務(wù)器，對信息監(jiān)控服務(wù)器收集計(jì)算得到的有用數(shù)據(jù)進(jìn)行分析，分析過程中使用的策略是用戶定制的，具體由當(dāng)前傳輸速率最佳的數(shù)據(jù)存儲服務(wù)器進(jìn)行傳輸或者歷史傳輸速率最佳的數(shù)據(jù)存儲服務(wù)器進(jìn)行傳輸，抑或是將當(dāng)前速率和歷史速率綜合起來考慮分別給予兩個(gè)速率一定的權(quán)值，計(jì)算它們的加權(quán)和作為最后的評定。
10.根據(jù)權(quán)利要求1所述的分布式交通信息存儲文件系統(tǒng)，其特征是，所述的虛擬文件視圖終端是系統(tǒng)的主要入口端，是與用戶交互的窗口，用戶在這個(gè)終端發(fā)出各種對虛擬文件系統(tǒng)的指令，根據(jù)這些指令，終端調(diào)用不同的管理服務(wù)器。
全文摘要
一種電子信息技術(shù)領(lǐng)域的分布式交通信息存儲文件系統(tǒng)。本發(fā)明中，存儲資源管理服務(wù)器管理數(shù)據(jù)存儲服務(wù)器，收集數(shù)據(jù)存儲服務(wù)器的各項(xiàng)指標(biāo)，元數(shù)據(jù)管理服務(wù)器在獲取文件時(shí)，用于維護(hù)可靠的端到端的傳輸，傳輸管理服務(wù)器用于數(shù)據(jù)存儲服務(wù)器之間的傳輸，副本管理服務(wù)器包括與元數(shù)據(jù)服務(wù)器通信的單元、與歷史分析及策略擴(kuò)展服務(wù)器通信的單元以及調(diào)用傳輸管理服務(wù)器的單元，信息監(jiān)控服務(wù)器求得傳輸速率的計(jì)算得到需要的信息，歷史分析及策略擴(kuò)展服務(wù)器對有用數(shù)據(jù)進(jìn)行分析，虛擬文件視圖終端是系統(tǒng)的主要入口端，與數(shù)據(jù)存儲資源管理服務(wù)器交互的單元以及與副本管理服務(wù)器交互的單元。本發(fā)明能更合理分配數(shù)據(jù)網(wǎng)格資源，通用、穩(wěn)定、高效、靈活。
文檔編號G06F17/30GK101022397SQ20071003807
公開日2007年8月22日 申請日期2007年3月15日 優(yōu)先權(quán)日2007年3月15日
發(fā)明者黃林鵬, 楊歡 申請人:上海交通大學(xué)