一種基于soa的分布式圖檔系統(tǒng)的制作方法
【專利摘要】一種基于SOA的分布式圖檔系統(tǒng)，該系統(tǒng)由客戶端和分布式圖檔服務(wù)器模塊組成；其中，分布式圖檔服務(wù)器模塊在結(jié)構(gòu)層次上劃分為三層，分別為：客戶端訪問接口層，網(wǎng)絡(luò)通信層，數(shù)據(jù)訪問層；由位于客戶端訪問接口層的客戶端接口模塊，位于網(wǎng)絡(luò)通信層的網(wǎng)絡(luò)通信模塊以及數(shù)據(jù)訪問層的數(shù)據(jù)訪問模塊三部分依次連接組成。本發(fā)明通過分布式技術(shù)，對(duì)字符流進(jìn)行分片分布式處理，解決傳統(tǒng)FTP等服務(wù)器處理大文件等數(shù)據(jù)時(shí)，網(wǎng)絡(luò)長(zhǎng)連接、帶寬擁塞問題。
【專利說明】-種基于SOA的分布式圖檔系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本方明涉及采用S0A及分布式網(wǎng)絡(luò)技術(shù)，實(shí)現(xiàn)圖檔文件共享的技術(shù)，對(duì)企業(yè)協(xié)同 系統(tǒng)和知識(shí)管理系統(tǒng)的核心技術(shù)有比較現(xiàn)實(shí)意義。

【背景技術(shù)】
[0002] 企業(yè)級(jí)的協(xié)同系統(tǒng)，如0A、知識(shí)管理系統(tǒng)、文件服務(wù)器、圖檔服務(wù)器有大量的二進(jìn) 制非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用，傳統(tǒng)采用FTP文件服務(wù)器技術(shù)可以實(shí)現(xiàn)二進(jìn)制非結(jié)構(gòu)化數(shù)據(jù)，如 文件、圖檔的上傳、下載、瀏覽和簡(jiǎn)單的權(quán)限管理。但是由于企業(yè)級(jí)應(yīng)用，需要把這些非結(jié)構(gòu) 化數(shù)據(jù)與企業(yè)應(yīng)用中的存儲(chǔ)在RDBMS關(guān)系數(shù)據(jù)庫(kù)中大量結(jié)構(gòu)化數(shù)據(jù)進(jìn)行關(guān)聯(lián)。FTP技術(shù)很 難在數(shù)據(jù)庫(kù)操作的事務(wù)中進(jìn)行完整集成，造成圖檔數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)往往會(huì)不一致；另外， 傳統(tǒng)的FTP服務(wù)器由于，動(dòng)輒幾十兆的圖檔文件較大，在數(shù)據(jù)分享時(shí)網(wǎng)絡(luò)帶寬、存儲(chǔ)容量往 往是制約圖檔系統(tǒng)性能的關(guān)鍵技術(shù)。本文介紹一種通過采用S0A架構(gòu)技術(shù)和分布式網(wǎng)絡(luò)技 術(shù)設(shè)計(jì)實(shí)現(xiàn)的一種基于S0A的分布式圖檔系統(tǒng)技術(shù)，可以為圖檔共享技術(shù)提供一種全新的 實(shí)現(xiàn)思路。


【發(fā)明內(nèi)容】

[0003] 傳統(tǒng)的文檔處理采用FTP服務(wù)，不利于集成在Web應(yīng)用中。要集成在Web應(yīng) 用，必須從兩個(gè)方面入手解決：一方面必須數(shù)據(jù)傳問題，需要將文件二進(jìn)制流在S0A架構(gòu) WebService中通過Base64、CRC編碼轉(zhuǎn)換問字符流傳輸；另一方面在大文件等數(shù)據(jù)處理中 要通過分布式技術(shù)，對(duì)字符流進(jìn)行分片分布式處理，解決傳統(tǒng)FTP等服務(wù)器處理文件時(shí)，網(wǎng) 絡(luò)長(zhǎng)連接、帶寬擁塞等問題。本發(fā)明提出了一種利用S0A架構(gòu)，采取分布式網(wǎng)絡(luò)、存儲(chǔ)技術(shù) 解決海量圖檔共享的技術(shù)，系統(tǒng)架構(gòu)如圖-1所示。
[0004] 一種基于S0A的分布式圖檔系統(tǒng)，本發(fā)明特征在于，該系統(tǒng)由客戶端和分布式圖 檔服務(wù)器模塊組成；其中，分布式圖檔服務(wù)器模塊在結(jié)構(gòu)層次上劃分為三層，分別為：客戶 端訪問接口層，網(wǎng)絡(luò)通信層，數(shù)據(jù)訪問層；由位于客戶端訪問接口層的客戶端接口模塊，位 于網(wǎng)絡(luò)通信層的網(wǎng)絡(luò)通信模塊以及數(shù)據(jù)訪問層的數(shù)據(jù)訪問模塊三部分依次連接組成；
[0005] 客戶端利用客戶端接口模塊通過SOCKET方式與分布式圖檔服務(wù)器模塊通信；客 戶端接口模塊的的功能為：
[0006] 1)二進(jìn)制文件分片組包，對(duì)任意大小的二進(jìn)制文件，按照可傳輸數(shù)據(jù)包大小進(jìn)行 分割，每個(gè)包1KB，超過1KB，對(duì)其進(jìn)行分割；
[0007] 2)按照通信協(xié)議進(jìn)行組包，以TCP協(xié)議進(jìn)行socket網(wǎng)絡(luò)數(shù)據(jù)通信；客戶端接口模 塊接收數(shù)據(jù)后，按通信協(xié)議進(jìn)行解包，提供客戶端使用；
[0008] 3)客戶端接口模塊提供文件上傳、文件下載、文件搜索功能；
[0009] 網(wǎng)絡(luò)通信模塊提供網(wǎng)絡(luò)傳輸，為客戶端接口模塊服務(wù)；
[0010] 數(shù)據(jù)訪問模塊提供網(wǎng)絡(luò)通訊模塊所需的信息，其功能為：
[0011] 1)完成數(shù)據(jù)的分布式存儲(chǔ)，同一個(gè)文件的二進(jìn)制數(shù)據(jù)分布在不同的存儲(chǔ)位置進(jìn) 行存儲(chǔ)，以文件ID和數(shù)據(jù)片ID做為索引進(jìn)行數(shù)據(jù)訪問；
[0012] 2)完成分布式存儲(chǔ)的數(shù)據(jù)訪問，數(shù)據(jù)通訊包到達(dá)數(shù)據(jù)訪問模塊后，按照數(shù)據(jù)文件 的ID和分片數(shù)據(jù)ID，先在主存儲(chǔ)服務(wù)器中獲取到存放數(shù)據(jù)片段的物理服務(wù)器host和存儲(chǔ) 位置，再去實(shí)際物理存放位置，實(shí)現(xiàn)分布式的數(shù)據(jù)片段的讀/寫。
[0013] 本發(fā)明所述的文件二進(jìn)制數(shù)據(jù)不能直接用于S0A的Web Service字符流調(diào)用，需 要將二進(jìn)制數(shù)據(jù)轉(zhuǎn)化為值為0-127的ASCII字符JS0N格式,編碼方式采用GZIP-2壓縮，再 用BASE64編碼，或CRC編碼；其中，對(duì)文件名稱、文件創(chuàng)建時(shí)間、文件屬性數(shù)據(jù)，需要與經(jīng)過 編碼處理后的文件二進(jìn)制數(shù)據(jù)一樣用JS0N格式編碼。
[0014] 本發(fā)明所述的分布式數(shù)據(jù)存儲(chǔ)，指數(shù)據(jù)的分割存儲(chǔ)，即同一個(gè)文件的二進(jìn)制數(shù)據(jù) 可以分布在不同的存儲(chǔ)位置進(jìn)行存儲(chǔ)。
[0015] 具體關(guān)鍵技術(shù)要點(diǎn)和內(nèi)容如下：
[0016] 二進(jìn)制文件轉(zhuǎn)為JS0N字符流的處理技術(shù)說明：
[0017] 文件二進(jìn)制數(shù)據(jù)不能直接用于S0A的Web Service字符流調(diào)用，必須采用一定的 編碼方式，將二機(jī)制數(shù)據(jù)轉(zhuǎn)化為值為0-127的ASCII字符JS0N格式，才能通過HTTP協(xié)議進(jìn) 行Web Service傳輸數(shù)據(jù)。數(shù)據(jù)編碼采用GZIP-2壓縮，再用BASE64編碼，CRC編碼。
[0018] 對(duì)文件名稱、文件創(chuàng)建時(shí)間、文件屬性等數(shù)據(jù)，需要與經(jīng)過編碼處理后的文件二進(jìn) 制數(shù)據(jù)用JS0N格式編碼。
[0019] 圖檔二進(jìn)制文件分布式存儲(chǔ)：
[0020] 隨著IT存儲(chǔ)成本的不斷下降，圖檔服務(wù)器最重要的指標(biāo)就是存儲(chǔ)容量和檢索速 度。傳統(tǒng)依靠單機(jī)的存儲(chǔ)和檢索在面對(duì)高并發(fā)流量、大容量?jī)?nèi)容時(shí)會(huì)遇到性能瓶頸。因此， 針對(duì)圖檔文檔的二進(jìn)制文件存儲(chǔ)，需要采用以下手段，從而實(shí)現(xiàn)了圖檔二進(jìn)制文件的海量 存儲(chǔ)（兆T級(jí)）和高并發(fā)的檢索能力：
[0021] 分布式數(shù)據(jù)通信：將二進(jìn)制文件通過分割算法，分割成有利于socket通信的數(shù)據(jù) 包，通過分層設(shè)計(jì)方式進(jìn)行網(wǎng)絡(luò)分布式數(shù)據(jù)通信。分布式數(shù)據(jù)通信模塊還要處理集群服務(wù) 器的數(shù)據(jù)統(tǒng)一、數(shù)據(jù)傳輸?shù)臓顟B(tài)反饋問題。
[0022] 分布式數(shù)據(jù)存儲(chǔ)：分布式數(shù)據(jù)存儲(chǔ)主要指兩個(gè)層面，一個(gè)是指數(shù)據(jù)的分割存儲(chǔ)，即 同一個(gè)文件的二進(jìn)制數(shù)據(jù)可以分布在不同的存儲(chǔ)位置進(jìn)行存儲(chǔ)。
[0023] 1.分布式圖檔服務(wù)器模塊劃分
[0024] 1. 1服務(wù)器結(jié)構(gòu)層次
[0025] 分布式圖檔服務(wù)器在結(jié)構(gòu)層次上劃分為三層，分別為：客戶端訪問接口，網(wǎng)絡(luò)通信 層，數(shù)據(jù)訪問層，其結(jié)構(gòu)如圖1所示。各層之間的接口調(diào)用示意如圖2所示。
[0026] 下邊分別為各個(gè)模塊的詳細(xì)介紹。
[0027] 1.2客戶端接口
[0028] 客戶端接口主要功能：
[0029] 二進(jìn)制文件分片組包，對(duì)任意大小的二進(jìn)制文件，按照配置的可傳輸數(shù)據(jù)包大小 進(jìn)行分割，組包成一定長(zhǎng)度的數(shù)據(jù)包（長(zhǎng)度可配置）；
[0030] 按照通信協(xié)議組包，以TCP協(xié)議進(jìn)行socket網(wǎng)絡(luò)數(shù)據(jù)通信；接收數(shù)據(jù)后，按通信協(xié) 議解包，提供客戶端應(yīng)用程序使用。
[0031] 從分布式的后臺(tái)文件存儲(chǔ)對(duì)提供客戶端應(yīng)用文件上傳、文件下載、文件搜索等功 能。
[0032] 1· 2· 1文件上傳
[0033]

【權(quán)利要求】
1. 一種基于SOA的分布式圖檔系統(tǒng)，其特征在于，該系統(tǒng)由客戶端和分布式圖檔服務(wù) 器模塊組成；其中，分布式圖檔服務(wù)器模塊在結(jié)構(gòu)層次上劃分為三層，分別為：客戶端訪問 接口層，網(wǎng)絡(luò)通信層，數(shù)據(jù)訪問層；由位于客戶端訪問接口層的客戶端接口模塊，位于網(wǎng)絡(luò) 通信層的網(wǎng)絡(luò)通信模塊以及數(shù)據(jù)訪問層的數(shù)據(jù)訪問模塊三部分依次連接組成； 客戶端利用客戶端接口模塊通過SOCKET方式與分布式圖檔服務(wù)器模塊通信；客戶端 接口模塊的的功能為： 1) 二進(jìn)制文件分片組包，對(duì)任意大小的二進(jìn)制文件，按照可傳輸數(shù)據(jù)包大小進(jìn)行分割， 每個(gè)包1KB，超過1KB，對(duì)其進(jìn)行分割； 2) 按照通信協(xié)議進(jìn)行組包，以TCP協(xié)議進(jìn)行socket網(wǎng)絡(luò)數(shù)據(jù)通信；客戶端接口模塊接 收數(shù)據(jù)后，按通信協(xié)議進(jìn)行解包，提供客戶端使用； 3) 客戶端接口模塊提供文件上傳、文件下載、文件搜索功能； 網(wǎng)絡(luò)通信模塊提供網(wǎng)絡(luò)傳輸，為客戶端接口模塊服務(wù)； 數(shù)據(jù)訪問模塊提供網(wǎng)絡(luò)通訊模塊所需的信息，其功能為： 1) 完成數(shù)據(jù)的分布式存儲(chǔ)，同一個(gè)文件的二進(jìn)制數(shù)據(jù)分布在不同的存儲(chǔ)位置進(jìn)行存 儲(chǔ)，以文件ID和數(shù)據(jù)片ID做為索引進(jìn)行數(shù)據(jù)訪問； 2) 完成分布式存儲(chǔ)的數(shù)據(jù)訪問，數(shù)據(jù)通訊包到達(dá)數(shù)據(jù)訪問模塊后，按照數(shù)據(jù)文件的ID 和分片數(shù)據(jù)ID，先在主存儲(chǔ)服務(wù)器中獲取到存放數(shù)據(jù)片段的物理服務(wù)器host和存儲(chǔ)位置， 再去實(shí)際物理存放位置，實(shí)現(xiàn)分布式的數(shù)據(jù)片段的讀/寫。
2. 根據(jù)權(quán)利要求所述的一種基于S0A的分布式圖檔系統(tǒng)，其特征在于，所述的文件二 進(jìn)制數(shù)據(jù)不能直接用于S0A的Web Service字符流調(diào)用，需要將二進(jìn)制數(shù)據(jù)轉(zhuǎn)化為值為 0-127的ASCII字符JS0N格式，編碼方式采用GZIP-2壓縮，再用BASE64編碼，或CRC編碼； 其中，對(duì)文件名稱、文件創(chuàng)建時(shí)間、文件屬性數(shù)據(jù)，需要與經(jīng)過編碼處理后的文件二進(jìn)制數(shù) 據(jù)一樣用JS0N格式編碼。
【文檔編號(hào)】G06F17/30GK104298718SQ201410491949
【公開日】2015年1月21日 申請(qǐng)日期:2014年9月23日 優(yōu)先權(quán)日:2014年9月23日
【發(fā)明者】于曉義, 詹衛(wèi)許, 易勇強(qiáng), 董燦, 吳方權(quán), 陳彬, 胡俊楊, 陳曉洪, 徐兵元 申請(qǐng)人:中國(guó)南方電網(wǎng)有限責(zé)任公司, 云南云電同方科技有限公司