非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，包括：前端控件模塊，其安裝于外圍系統(tǒng)的用戶終端上，用于非結(jié)構(gòu)化數(shù)據(jù)的采集、交互和展現(xiàn)；協(xié)議封裝模塊，其封裝了用戶終端與消息服務(wù)模塊、文件傳輸模塊的通信協(xié)議；消息服務(wù)模塊，其用于多線程并發(fā)處理，實(shí)現(xiàn)消息的接收、處理和反饋；文件傳輸模塊，其用于內(nèi)容傳輸；批處理模塊，其讀取外圍系統(tǒng)批量生成的內(nèi)容文件和元數(shù)據(jù)文件，通過多線程輪詢方式，將內(nèi)容文件和元數(shù)據(jù)文件直接存儲(chǔ)到數(shù)據(jù)庫模塊中；數(shù)據(jù)庫模塊，其存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)本發(fā)明實(shí)現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的全生命周期管理，制定統(tǒng)一接口和數(shù)據(jù)規(guī)范，建立穩(wěn)定有效的數(shù)據(jù)管理架構(gòu)，實(shí)時(shí)共享，可擴(kuò)展性強(qiáng)，保證高可靠、及時(shí)以及高吞吐量。
【專利說明】非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)管理系統(tǒng)，特別涉及一種非結(jié)構(gòu)化數(shù)據(jù)的管理系統(tǒng)。
【背景技術(shù)】
[0002]隨著經(jīng)濟(jì)全球化的發(fā)展趨勢，出現(xiàn)了一大批跨地區(qū)、跨國界的大型企業(yè)集團(tuán)。這些企業(yè)集團(tuán)的分支機(jī)構(gòu)分布于世界各地，而各地分支機(jī)構(gòu)需要共享信息以聯(lián)合作業(yè)。因此，如何對其信息進(jìn)行管控，以實(shí)現(xiàn)企業(yè)資源的共享，已成為該類企業(yè)營運(yùn)的一個(gè)重要組成部分。而信息技術(shù)的發(fā)展，使得跨機(jī)構(gòu)、跨地域的數(shù)據(jù)訪問與協(xié)作成為可能。目前，為了提高數(shù)據(jù)訪問的效率以及減小故障的損失，企業(yè)一般采用分布式數(shù)據(jù)管理系統(tǒng)。分布式數(shù)據(jù)管理系統(tǒng)是指物理空間分散、邏輯上通過網(wǎng)絡(luò)連接在一起的數(shù)據(jù)存儲(chǔ)、管理系統(tǒng)，在該系統(tǒng)中，用戶能像訪問本地存儲(chǔ)區(qū)的數(shù)據(jù)一樣使用遠(yuǎn)程存儲(chǔ)區(qū)的數(shù)據(jù)。
[0003]而在企業(yè)信息化建設(shè)中，除了結(jié)構(gòu)數(shù)據(jù)之外，還出現(xiàn)了大量的非結(jié)構(gòu)化數(shù)據(jù)。Web環(huán)境中出現(xiàn)的海量HTML與XML等格式數(shù)據(jù)，多媒體數(shù)據(jù)如聲音、影片、圖形等，企業(yè)信息化建設(shè)中合同文本、電子表格、簡報(bào)檔案、電子郵件數(shù)據(jù)、產(chǎn)品設(shè)計(jì)文檔等，都是沒有明確結(jié)構(gòu)約束的非結(jié)構(gòu)化數(shù)據(jù)。據(jù)研究報(bào)告顯示，非結(jié)構(gòu)化數(shù)據(jù)占全部數(shù)據(jù)總量的80%以上。非結(jié)構(gòu)化數(shù)據(jù)在政府、企業(yè)決策中的重大應(yīng)用需求中日趨重要。
[0004]面對如此紛繁復(fù)雜的分布式結(jié)構(gòu)，面對形式各異、信息量龐大的非結(jié)構(gòu)化數(shù)據(jù)，如何能對分散的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一的集中管理，結(jié)束分散管理局面，如何能實(shí)現(xiàn)新增業(yè)務(wù)快速接入統(tǒng)一管理系統(tǒng)，以及如何滿足行業(yè)企業(yè)系統(tǒng)的高并發(fā)、實(shí)時(shí)性和異地共享等需求，這些都是各個(gè)行業(yè)企業(yè)急需解決的技術(shù)問題。
[0005]此外，非結(jié)構(gòu)化數(shù)據(jù)隸屬于外圍系統(tǒng)業(yè)務(wù)，這些數(shù)據(jù)隨業(yè)務(wù)生命周期的發(fā)展，利用頻率會(huì)逐漸下降；為了合理利用資源，同時(shí)保證在線業(yè)務(wù)數(shù)據(jù)的訪問效率，需要將非結(jié)構(gòu)化數(shù)據(jù)定義全生命周期:在線、近線、離線。對于不同生命周期的非結(jié)構(gòu)化數(shù)據(jù)采用不同的數(shù)據(jù)訪問以及數(shù)據(jù)備份策略。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提出一種非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，按照統(tǒng)一的接口和規(guī)范，統(tǒng)一管理分布式結(jié)構(gòu)中的非結(jié)構(gòu)化數(shù)據(jù)，使得正確的數(shù)據(jù)在正確的時(shí)間到達(dá)正確的地點(diǎn)，并打破地域界限，實(shí)現(xiàn)異地?cái)?shù)據(jù)資源實(shí)時(shí)共享和非結(jié)構(gòu)化數(shù)據(jù)的全生命周期管理。
[0007]為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提出了一種非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其包括:
[0008]前端控件模塊，安裝于外圍系統(tǒng)的用戶終端上，用于非結(jié)構(gòu)化數(shù)據(jù)的采集、交互和展現(xiàn)；
[0009]協(xié)議封裝模塊，封裝了所述用戶終端與消息服務(wù)模塊、文件傳輸模塊的通信協(xié)議；
[0010]消息服務(wù)模塊，用于多線程并發(fā)處理消息的接收、處理和反饋，具有消息線程數(shù)量及協(xié)議的動(dòng)態(tài)配置與集群部署功能；
[0011 ] 文件傳輸模塊，用于內(nèi)容傳輸；
[0012]批處理模塊，讀取所述外圍系統(tǒng)批量生成的內(nèi)容文件和元數(shù)據(jù)文件，通過多線程輪詢方式，將所述內(nèi)容文件和元數(shù)據(jù)文件存儲(chǔ)到數(shù)據(jù)庫模塊中；
[0013]數(shù)據(jù)庫模塊，存儲(chǔ)所述非結(jié)構(gòu)化數(shù)據(jù)，其中包括所述批處理模塊傳輸?shù)乃鰞?nèi)容文件和元數(shù)據(jù)文件，并為所述消息服務(wù)模塊提供內(nèi)容操作。
[0014]優(yōu)選地，所述各個(gè)模塊之間的接口規(guī)范以及數(shù)據(jù)規(guī)范被預(yù)先規(guī)定。
[0015]優(yōu)選地，所述前端控件模塊具有影像掃描，影像補(bǔ)錄，影像修改，影像質(zhì)檢，批注，圖像編輯，打印，導(dǎo)出，元數(shù)據(jù)編輯，同/異步上傳下載功能。
[0016]優(yōu)選地，所述前端控件模塊是使用C#所實(shí)現(xiàn)的ActiveX標(biāo)準(zhǔn)控件。
[0017]優(yōu)選地，所述協(xié)議封裝模塊使用SDK工具實(shí)施，通過調(diào)用所述SDK，執(zhí)行影像內(nèi)容的入庫出庫操作；所述SDK有java版和.net版,支持安裝部署在AIX、Windows、Linux、HP四種操作系統(tǒng)。
[0018]優(yōu)選地，所述消息服務(wù)模塊能夠經(jīng)由所述前端控件模塊或所述協(xié)議封裝模塊，與所述外圍系統(tǒng)的用戶終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作，還能直接與所述外圍系統(tǒng)的服務(wù)器終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作。
[0019]優(yōu)選地,所述消息服務(wù)模塊使用java實(shí)現(xiàn)多個(gè)socket接口，所述多個(gè)socket接口是并發(fā)的。
[0020]優(yōu)選地，所述文件傳輸模塊能夠經(jīng)由所述前端控件模塊或所述協(xié)議封裝模塊，與所述外圍系統(tǒng)的用戶終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作，還能直接與所述外圍系統(tǒng)的服務(wù)器終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作；所述文件傳輸模塊通過C語言實(shí)現(xiàn)。
[0021]優(yōu)選地，所述批處理模塊使用FTP工具將所述內(nèi)容文件和元數(shù)據(jù)文件放置在指定目錄下。
[0022]優(yōu)選地，所述前端控件模塊還具有條形碼識(shí)別功能，可在文件掃描時(shí)同步識(shí)別文件上的條形碼，自動(dòng)將影像掛在條形碼所對應(yīng)的交易編號目錄下，從而對影像自動(dòng)歸類。
[0023]優(yōu)選地，所述文件傳輸模塊支持?jǐn)帱c(diǎn)續(xù)傳功能。
[0024]優(yōu)選地，所述文件傳輸模塊具有參數(shù)化配置傳輸數(shù)據(jù)包大小功能，根據(jù)網(wǎng)絡(luò)帶寬的情況，改變傳輸數(shù)據(jù)包大小，從而增加傳輸成功的概率。
[0025]優(yōu)選地，非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)還包括:歸檔模塊,將業(yè)務(wù)辦理結(jié)束的非結(jié)構(gòu)化數(shù)據(jù)遷移到歷史庫中供外圍系統(tǒng)查詢，減輕對在線系統(tǒng)的壓力。
[0026]優(yōu)選地，所述歸檔模塊從所述外圍系統(tǒng)獲知業(yè)務(wù)已辦理結(jié)束的非結(jié)構(gòu)化數(shù)據(jù)，將非結(jié)構(gòu)化數(shù)據(jù)從數(shù)據(jù)庫模塊遷移至歷史庫，外圍系統(tǒng)再經(jīng)由前端控件模塊、消息服務(wù)模塊訪問所述歸檔模塊。
[0027]根據(jù)上述技術(shù)方案的分析可知，使用本發(fā)明中的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)及方法與現(xiàn)有技術(shù)相比較，具有如下有益的技術(shù)效果:
[0028]1、對非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)實(shí)施統(tǒng)一的接口，制定統(tǒng)一的非結(jié)構(gòu)內(nèi)容數(shù)據(jù)及元數(shù)據(jù)存儲(chǔ)格式規(guī)范；
[0029]2、對分布式結(jié)構(gòu)中的非結(jié)構(gòu)化數(shù)據(jù)建立穩(wěn)定有效的數(shù)據(jù)管理架構(gòu)，打破地域界限，實(shí)時(shí)共享，保證高可靠、及時(shí)以及高吞吐量；
[0030]3、對新增業(yè)務(wù)實(shí)現(xiàn)快速接入，增強(qiáng)系統(tǒng)的靈活性和可擴(kuò)展性；
[0031]4、實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的全生命周期管理。
【專利附圖】

【附圖說明】
[0032]圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的結(jié)構(gòu)框圖。
[0033]圖2是根據(jù)圖1所示實(shí)施例的影像內(nèi)容管理系統(tǒng)架構(gòu)圖。
[0034]圖3是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0035]下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)描述，但不作為對本發(fā)明的限定。
[0036]參見圖1，表示根據(jù)本發(fā)明的一個(gè)實(shí)施例的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的結(jié)構(gòu)框圖。本發(fā)明的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)需要與分布式安裝于各個(gè)地點(diǎn)的外圍系統(tǒng)相交互，尤其與外圍系統(tǒng)中的用戶終端相交互。這些用戶終端可以分布在不同的辦公地點(diǎn)，不同的城市，甚至可以分布于不同的國家。用戶終端的用戶對非結(jié)構(gòu)化數(shù)據(jù)要采取一系列操作，這些非結(jié)構(gòu)化數(shù)據(jù)例如HTML與XML等格式的數(shù)據(jù)，多媒體數(shù)據(jù)如聲音、影片、圖形等，企業(yè)信息化建設(shè)中合同文本、電子表格、簡報(bào)檔案、電子郵件數(shù)據(jù)、產(chǎn)品設(shè)計(jì)文檔等，其格式各異，種類繁雜。外圍系統(tǒng)中還具有一服務(wù)器終端，用于存儲(chǔ)和備份大量的數(shù)據(jù)信息，可以為非結(jié)構(gòu)化數(shù)據(jù)的批量處理提供數(shù)據(jù)支持。
[0037]針對外圍系統(tǒng)用戶終端上用戶操作多樣性，以及服務(wù)器終端上數(shù)據(jù)的分散性、復(fù)雜性和實(shí)時(shí)性，設(shè)計(jì)了本發(fā)明的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其主要具有以下幾個(gè)模塊:
[0038]a)前端控件模塊，其安裝于外圍系統(tǒng)的用戶終端上，用于非結(jié)構(gòu)化數(shù)據(jù)的采集、交互和展現(xiàn)。該模塊可以根據(jù)用戶終端的交互指令，對所需要處理的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行影像掃描，影像補(bǔ)錄，影像修改，影像質(zhì)檢，批注，圖像編輯，打印，導(dǎo)出，元數(shù)據(jù)編輯，同/異步上傳下載等操作。由于非結(jié)構(gòu)化數(shù)據(jù)的特殊性，使用影像掃描等操作能最大的保證數(shù)據(jù)的真實(shí)有效性。通過上述一系列對非結(jié)構(gòu)化數(shù)據(jù)的操作，能夠最真實(shí)有效的展現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)，并且可以實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)與用戶之間的交互。該前端控件模塊是使用C#而實(shí)現(xiàn)的ActiveX標(biāo)準(zhǔn)控件。
[0039]b)協(xié)議封裝模塊，其封裝了所述用戶終端與消息服務(wù)模塊、文件傳輸模塊的通信協(xié)議。任何通信都需要協(xié)議的支持，協(xié)議中規(guī)定了通信的各種規(guī)則，而分布式結(jié)構(gòu)中的通信既要保證各個(gè)終端之間通信的準(zhǔn)確及時(shí)，又要保證通信數(shù)據(jù)的完整有效，因此，這里所提到的通信協(xié)議相當(dāng)?shù)膹?fù)雜。
[0040]該協(xié)議封裝模塊是使用java或者.net來實(shí)現(xiàn)的一種SDK工具，因此，該SDK有java版本和.net版本之分。該SDK工具可以被各個(gè)企業(yè)中業(yè)務(wù)系統(tǒng)中的應(yīng)用程序所調(diào)用，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容文件的上傳下載和其它管理操作，能輕松的實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的入庫出庫操作。
[0041]以上前端控件模塊和協(xié)議封裝模塊都屬于本發(fā)明非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的前端應(yīng)用部分，其位于分布式結(jié)構(gòu)中的前端應(yīng)用處，為用戶終端和非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)之間的指令交互和信息交互提供了支持。
[0042]c)消息服務(wù)模塊，其用于多線程并發(fā)處理消息的接收、處理和反饋，具有消息線程數(shù)量及協(xié)議的動(dòng)態(tài)配置與集群部署功能。
[0043]由于分布式結(jié)構(gòu)中，分散于各個(gè)地點(diǎn)的終端或者服務(wù)器會(huì)發(fā)送各種各樣的消息，來對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行各種不同的實(shí)時(shí)操作，因此在消息服務(wù)模塊中需要進(jìn)行大量的消息處理。本發(fā)明的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)在apache mina基礎(chǔ)上,使用java把消息處理模塊開發(fā)成能處理大量并發(fā)的socket接口程序，控制消息流。MINA是一個(gè)網(wǎng)絡(luò)應(yīng)用程序框架，利用它可以容易地開發(fā)高性能和高伸縮性的網(wǎng)絡(luò)應(yīng)用程序。本發(fā)明的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)decode (解碼)和encode (編碼)方法，完成字節(jié)和消息POJO的相互轉(zhuǎn)換，再為每個(gè)接口實(shí)現(xiàn)handler方法，調(diào)用非結(jié)構(gòu)化數(shù)據(jù)管理API，以此來實(shí)現(xiàn)大量消息命令的接收、處理和反饋。另外，消息服務(wù)模塊將mina和Spring框架結(jié)合，可以實(shí)現(xiàn)消息線程數(shù)量、協(xié)議安裝的動(dòng)態(tài)配置、集群部署等功能，從而實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)消息服務(wù)易擴(kuò)展松耦合特性。
[0044]所述消息服務(wù)模塊能夠經(jīng)由所述前端控件模塊或所述協(xié)議封裝模塊，與所述外圍系統(tǒng)的用戶終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作，還能直接與所述外圍系統(tǒng)的服務(wù)器終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作；
[0045]d)文件傳輸模塊，其用于內(nèi)容傳輸，這里的內(nèi)容包括非結(jié)構(gòu)化數(shù)據(jù)文件內(nèi)容。該文件傳輸模塊通過C語言實(shí)現(xiàn)，其接收用戶終端發(fā)出的指令消息，按照指令所示，進(jìn)行文件內(nèi)容的傳輸。所述文件傳輸模塊能夠經(jīng)由所述前端控件模塊或所述協(xié)議封裝模塊，與所述外圍系統(tǒng)的用戶終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作，還能直接與所述外圍系統(tǒng)的服務(wù)器終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作。
[0046]e)批處理模塊，其讀取所述外圍系統(tǒng)批量生成的內(nèi)容文件和元數(shù)據(jù)文件，通過多線程輪詢方式，將所述內(nèi)容文件和元數(shù)據(jù)文件存儲(chǔ)到數(shù)據(jù)庫模塊中。所述批處理模塊要求分布式結(jié)構(gòu)中的各個(gè)業(yè)務(wù)系統(tǒng)按照批量接口來生成內(nèi)容文件和元數(shù)據(jù)文件，它使用FTP工具將所述內(nèi)容文件和元數(shù)據(jù)文件放置在指定目錄下。它通過多線程輪詢的方式，調(diào)用綜合上傳接口來實(shí)現(xiàn)將內(nèi)容文件存儲(chǔ)到數(shù)據(jù)庫中的操作，在非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)完畢后，生成結(jié)果文件。
[0047]上述消息服務(wù)模塊、文件傳輸模塊和批處理模塊都屬于本發(fā)明非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)中的系統(tǒng)平臺(tái)部分，其用于接收外圍系統(tǒng)中用戶終端或服務(wù)器終端所發(fā)指令消息，在后臺(tái)對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行上傳、下載及管理操作。
[0048]f)數(shù)據(jù)庫模塊，其存儲(chǔ)所述非結(jié)構(gòu)化數(shù)據(jù)，其中包括所述批處理模塊傳輸?shù)乃鰞?nèi)容文件和元數(shù)據(jù)文件，并為所述消息服務(wù)模塊提供內(nèi)容操作。
[0049]其中所述各個(gè)模塊之間的接口規(guī)范以及數(shù)據(jù)規(guī)范都是預(yù)先規(guī)定好的。這樣，外圍系統(tǒng)可以通過前端控件模塊、協(xié)議封裝模塊的SDK工具、外圍系統(tǒng)與系統(tǒng)平臺(tái)直連、批處理模塊批量上傳等四種接入方式，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容的上傳、下載、版本管理等操作。本發(fā)明的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)便于數(shù)據(jù)接口和規(guī)范的統(tǒng)一，便于系統(tǒng)新增業(yè)務(wù)的擴(kuò)展，從而能夠?qū)崿F(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理，建立了穩(wěn)定有效的數(shù)據(jù)架構(gòu)，保證了高可靠性和及時(shí)性。
[0050]下面參考圖2，根據(jù)一個(gè)實(shí)施例，表示一個(gè)影像內(nèi)容管理系統(tǒng)架構(gòu)圖。上述已經(jīng)提到非結(jié)構(gòu)化數(shù)據(jù)包括例如HTML與XML等格式的數(shù)據(jù)，多媒體數(shù)據(jù)如聲音、影片、圖形等，企業(yè)信息化建設(shè)中合同文本、電子表格、簡報(bào)檔案、電子郵件數(shù)據(jù)、產(chǎn)品設(shè)計(jì)文檔等，其格式各異，種類繁雜。而在該實(shí)施例中，使用用戶終端采集的影像內(nèi)容作為典型的非結(jié)構(gòu)化數(shù)據(jù)，對這類影像內(nèi)容數(shù)據(jù)進(jìn)行管理，進(jìn)而設(shè)計(jì)了如圖2所示的影像內(nèi)容管理架構(gòu)圖，它主要包括兩大部分:外圍系統(tǒng)和影像內(nèi)容管理系統(tǒng)。
[0051]I)外圍系統(tǒng)中包括多個(gè)用戶終端以及多個(gè)服務(wù)器終端。同樣的，外圍系統(tǒng)中的用戶終端也是分布式的設(shè)置于不同的辦公地點(diǎn)，不同城市，甚至不同的國家。外圍系統(tǒng)還包括服務(wù)器終端，其也是分布式的設(shè)置于不同辦公地點(diǎn)，它用于存儲(chǔ)和備份大量的數(shù)據(jù)信息，可以為諸如影像內(nèi)容的非結(jié)構(gòu)化數(shù)據(jù)的批量處理提供數(shù)據(jù)支持。
[0052]2)影像內(nèi)容管理系統(tǒng)主要包括前端應(yīng)用模塊和平臺(tái)應(yīng)用模塊。
[0053]2.1)前端應(yīng)用模塊為用戶終端和數(shù)據(jù)管理系統(tǒng)平臺(tái)之間的指令交互和信息交互提供了支持，它包括:
[0054]2.1.1)前端控件模塊，它安裝于外圍系統(tǒng)的用戶終端上，用于非結(jié)構(gòu)化數(shù)據(jù)的采集、交互和展現(xiàn)。該模塊可以根據(jù)用戶終端的交互指令，對所需要處理的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行影像掃描，影像補(bǔ)錄，影像修改，影像質(zhì)檢，批注，圖像編輯，打印，導(dǎo)出，元數(shù)據(jù)編輯，同/異步上傳下載等操作。該實(shí)施例中非結(jié)構(gòu)化數(shù)據(jù)具體化為影像內(nèi)容。由于這些非結(jié)構(gòu)化數(shù)據(jù)的特殊性，使用影像掃描等操作能最大的保證數(shù)據(jù)的真實(shí)有效性。通過上述一系列對影像內(nèi)容的操作，可以實(shí)現(xiàn)影像內(nèi)容數(shù)據(jù)與用戶之間的交互，以及能夠最真實(shí)有效的展現(xiàn)影像內(nèi)容。該前端控件是使用C#而實(shí)現(xiàn)的一種ActiveX標(biāo)準(zhǔn)控件。
[0055]所述前端控件模塊包含豐富的接口，具有很強(qiáng)的兼容性，外圍系統(tǒng)可傳入不同的接口參數(shù)，達(dá)到不同的展現(xiàn)和控制目的，包括:自定義操作方式(上傳/查閱/修改)，自定義控件各區(qū)域顯示，自定義菜單按鈕顯示，自定義文件層級目錄結(jié)構(gòu)，自定義影像屬性名稱，自定義掃描默認(rèn)參數(shù)，自定義影像展示方式，自定義同步或異步模式，自定義日志保存路徑
坐寸ο
[0056]所述前端控件模塊還具有條碼識(shí)別功能，可在文件掃描時(shí)同步識(shí)別文件上的條形碼，條形碼代表交易編號，自動(dòng)將影像掛在對應(yīng)的交易編號目錄下，實(shí)現(xiàn)影像自動(dòng)歸類。
[0057]2.1.2)協(xié)議封裝模塊，其封裝了所述用戶終端與消息服務(wù)模塊、文件傳輸模塊的通信協(xié)議。任何通信都需要協(xié)議的支持，協(xié)議中規(guī)定了通信的各種規(guī)則，而分布式結(jié)構(gòu)中的通信既要保證各個(gè)終端之間通信的準(zhǔn)確及時(shí)，又要保證通信數(shù)據(jù)的完整有效，因此，這里所提到的通信協(xié)議相當(dāng)?shù)膹?fù)雜。
[0058]該協(xié)議封裝是使用java或者.net來實(shí)現(xiàn)的一種SDK工具，因此,該SDK有java版本和.net版本之分。該SDK工具可以被各個(gè)企業(yè)中業(yè)務(wù)系統(tǒng)中的應(yīng)用程序所調(diào)用，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容文件的上傳下載和其它管理操作，能輕松的實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的入庫出庫操作。
[0059]如圖2所示，協(xié)議封裝模塊里包含文件傳輸客戶端，文件傳輸客戶端負(fù)責(zé)與文件傳輸模塊進(jìn)行文件傳輸，其封裝了文件傳輸?shù)耐ㄐ艆f(xié)議。關(guān)于圖2，需要指出的是，前端應(yīng)用模塊屬于影像內(nèi)容管理系統(tǒng)為外圍系統(tǒng)提供的標(biāo)準(zhǔn)接入工具。邏輯上屬于影像內(nèi)容管理系統(tǒng)產(chǎn)品的一部分，由影像內(nèi)容管理系統(tǒng)開發(fā)并提供給外圍系統(tǒng)使用。但是物理部署時(shí)，前端應(yīng)用模塊部署在外圍系統(tǒng)的終端上。由于物理部署圖不容易清晰地體現(xiàn)整個(gè)影像內(nèi)容管理系統(tǒng)產(chǎn)品的各個(gè)模塊之間的邏輯關(guān)系，因此，圖2中把前端應(yīng)用模塊劃分在影像內(nèi)容管理系統(tǒng)中，外圍系統(tǒng)可通過前端應(yīng)用模塊接入影像內(nèi)容管理系統(tǒng)，體現(xiàn)了各個(gè)模塊之間的邏輯關(guān)系而不是物理部署關(guān)系。
[0060]2.2)平臺(tái)應(yīng)用模塊中包括兩個(gè)主要功能模塊:內(nèi)容管理平臺(tái)模塊和內(nèi)容服務(wù)器模塊。
[0061]2.2.1)內(nèi)容管理平臺(tái)模塊包括以下三個(gè)部分:
[0062]?消息服務(wù)模塊，其用于多線程并發(fā)處理消息的接收、處理和反饋，具有消息線程數(shù)量及協(xié)議的動(dòng)態(tài)配置與集群部署功能。
[0063]由于分布式結(jié)構(gòu)中，分散于各個(gè)地點(diǎn)的終端或者服務(wù)器會(huì)發(fā)送各種各樣的消息，來對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行各種不同的實(shí)時(shí)操作，因此在消息服務(wù)模塊中需要進(jìn)行大量的消息處理。本發(fā)明的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)在apache mina基礎(chǔ)上,使用java把消息處理模塊開發(fā)成能處理大量并發(fā)的socket接口程序，控制消息流。MINA是一個(gè)網(wǎng)絡(luò)應(yīng)用程序框架，利用它可以容易地開發(fā)高性能和高伸縮性的網(wǎng)絡(luò)應(yīng)用程序。本發(fā)明的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)decode和encode方法，完成字節(jié)和消息POJO的相互轉(zhuǎn)換，再為每個(gè)接口實(shí)現(xiàn)handler方法，調(diào)用非結(jié)構(gòu)化數(shù)據(jù)管理API，以此來實(shí)現(xiàn)大量消息命令的接收、處理和反饋。另外，消息服務(wù)模塊將mina和Spring框架結(jié)合，可以實(shí)現(xiàn)消息線程數(shù)量、協(xié)議安裝的動(dòng)態(tài)配置、集群部署等功能，從而實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)消息服務(wù)易擴(kuò)展松耦合特性。
[0064]所述消息服務(wù)模塊能夠經(jīng)由所述前端控件模塊或所述協(xié)議封裝模塊，與所述外圍系統(tǒng)的用戶終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作，還能經(jīng)由聯(lián)機(jī)Socket直接與所述外圍系統(tǒng)的服務(wù)器終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作。
[0065]?文件傳輸模塊，其用于內(nèi)容傳輸，這里的內(nèi)容包括非結(jié)構(gòu)化數(shù)據(jù)文件內(nèi)容，還包括各種元數(shù)據(jù)文件內(nèi)容。該文件傳輸模塊通過C語言實(shí)現(xiàn)，其接收用戶終端發(fā)出的指令消息，按照指令所示，進(jìn)行文件內(nèi)容的傳輸。與通用的FTP工具不同，所述文件傳輸模塊具有支持?jǐn)帱c(diǎn)續(xù)傳功能，可以在網(wǎng)絡(luò)情況不通暢導(dǎo)致傳輸中斷后，記錄文件傳輸偏移量標(biāo)記，重新發(fā)起傳輸。另外，所述文件傳輸模塊具有多進(jìn)程并發(fā)的功能，支持配置進(jìn)程數(shù)量，可以并發(fā)傳輸多個(gè)文件。所述文件傳輸模塊還具有參數(shù)化配置傳輸數(shù)據(jù)包大小功能，根據(jù)網(wǎng)絡(luò)帶寬的情況，改變傳輸數(shù)據(jù)包大小能增加傳輸?shù)某晒Ω怕?。例如在帶寬緊張的情況下，可以通過減小傳輸數(shù)據(jù)包大小，提高單包發(fā)送成功概率，從而提高整個(gè)文件傳輸?shù)某晒Ω怕?。所述文件傳輸模塊能夠經(jīng)由所述前端控件模塊或所述協(xié)議封裝模塊，與所述外圍系統(tǒng)的用戶終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作，還能經(jīng)由聯(lián)機(jī)Socket直接與所述外圍系統(tǒng)的服務(wù)器終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作。
[0066]?批處理模塊，其讀取所述外圍系統(tǒng)批量生成的內(nèi)容文件和元數(shù)據(jù)文件，通過多線程輪詢方式，將所述內(nèi)容文件和元數(shù)據(jù)文件存儲(chǔ)到數(shù)據(jù)庫模塊中。所述批處理模塊要求分布式結(jié)構(gòu)中的各個(gè)業(yè)務(wù)系統(tǒng)按照批量接口來生成內(nèi)容文件和元數(shù)據(jù)文件，它使用FTP工具將所述內(nèi)容文件和元數(shù)據(jù)文件放置在指定目錄下。它通過多線程輪詢的方式，調(diào)用綜合上傳接口來實(shí)現(xiàn)將內(nèi)容文件存儲(chǔ)到數(shù)據(jù)庫中的操作，在非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)完畢后，生成結(jié)果文件。
[0067]上述消息服務(wù)模塊、文件傳輸模塊和批處理模塊都屬于本發(fā)明非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)中的系統(tǒng)平臺(tái)部分，其用于接收外圍系統(tǒng)中用戶終端或服務(wù)器終端所發(fā)指令消息，在后臺(tái)對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行上傳、下載及管理操作。[0068]2.2.2)內(nèi)容數(shù)據(jù)庫模塊，其中包括多個(gè)內(nèi)容庫，用于存儲(chǔ)影像內(nèi)容數(shù)據(jù)，其中包括所述批處理模塊傳輸?shù)乃鰞?nèi)容文件和元數(shù)據(jù)文件，并為所述消息服務(wù)模塊提供內(nèi)容操作。
[0069]其中所述各個(gè)模塊之間的接口規(guī)范以及數(shù)據(jù)規(guī)范都是預(yù)先規(guī)定好的，這樣便于數(shù)據(jù)接口和規(guī)范的統(tǒng)一，便于系統(tǒng)新增業(yè)務(wù)的擴(kuò)展，從而能夠?qū)崿F(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理，建立了穩(wěn)定有效的數(shù)據(jù)架構(gòu)，保證了高可靠性和及時(shí)性。
[0070]參見圖3，表示根據(jù)本發(fā)明的另一個(gè)實(shí)施例的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的結(jié)構(gòu)框圖。本實(shí)施例與圖1所示實(shí)施例的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)的區(qū)別僅在于本實(shí)施例的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)還包括歸檔模塊，其他部分與圖1所示的實(shí)施例相同，在此不再贅述。
[0071]本實(shí)施例的歸檔模塊將業(yè)務(wù)辦理結(jié)束的非結(jié)構(gòu)化數(shù)據(jù)遷移到歷史庫中供外圍系統(tǒng)查詢，減輕對在線系統(tǒng)的壓力。
[0072]歸檔模塊從所述外圍系統(tǒng)獲知業(yè)務(wù)已辦理結(jié)束的非結(jié)構(gòu)化數(shù)據(jù)，將非結(jié)構(gòu)化數(shù)據(jù)從數(shù)據(jù)庫模塊遷移至歷史庫，外圍系統(tǒng)再經(jīng)由前端控件模塊、消息服務(wù)模塊訪問所述歸檔模塊，從而可以實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的全生命周期管理。
[0073]本發(fā)明的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)可以應(yīng)用到各個(gè)領(lǐng)域和行業(yè)，例如銀行業(yè)務(wù)管理，大型連鎖企業(yè)業(yè)務(wù)管理，電信資費(fèi)收繳等等。由于使用了統(tǒng)一的接口和數(shù)據(jù)規(guī)范，大大減輕了分布式結(jié)構(gòu)聯(lián)機(jī)的負(fù)擔(dān)，為數(shù)據(jù)處理加快了速度，提高了效率，統(tǒng)一了標(biāo)準(zhǔn)，同時(shí)也增強(qiáng)了數(shù)據(jù)處理的靈活性和擴(kuò)展性。此外還可以實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的全生命周期管理。
[0074]顯然，本領(lǐng)域技術(shù)人員應(yīng)該明白，上述本申請技術(shù)放案中的各個(gè)模塊可以使用通用的計(jì)算裝置來實(shí)現(xiàn)，它們可以集中在單個(gè)計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上。
[0075]以上所述僅為本申請的優(yōu)選實(shí)施例而已，對于本領(lǐng)域技術(shù)人員來說，本申請可以有各種更改和變化。凡在本申請的發(fā)明精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于，包括: 前端控件模塊，安裝于外圍系統(tǒng)的用戶終端上，用于非結(jié)構(gòu)化數(shù)據(jù)的采集、交互和展現(xiàn)； 協(xié)議封裝模塊，封裝了所述用戶終端與消息服務(wù)模塊、文件傳輸模塊的通信協(xié)議；消息服務(wù)模塊，用于多線程并發(fā)處理消息的接收、處理和反饋，具有消息線程數(shù)量及協(xié)議的動(dòng)態(tài)配置與集群部署功能； 文件傳輸模塊，用于內(nèi)容傳輸； 批處理模塊，讀取所述外圍系統(tǒng)批量生成的內(nèi)容文件和元數(shù)據(jù)文件，通過多線程輪詢方式，將所述內(nèi)容文件和元數(shù)據(jù)文件直接存儲(chǔ)到數(shù)據(jù)庫模塊中； 數(shù)據(jù)庫模塊，存儲(chǔ)所述非結(jié)構(gòu)化數(shù)據(jù)，其中包括所述批處理模塊傳輸?shù)乃鰞?nèi)容文件和元數(shù)據(jù)文件，并為所述消息服務(wù)模塊提供內(nèi)容操作。
2.根據(jù)權(quán)利要求1所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 各個(gè)模塊之間的接口規(guī)范以及數(shù)據(jù)規(guī)范被預(yù)先規(guī)定。
3.根據(jù)權(quán)利要求1所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 所述前端控件模塊具 有影像掃描，影像補(bǔ)錄，影像修改，影像質(zhì)檢，批注，圖像編輯，打印，導(dǎo)出，元數(shù)據(jù)編輯，同/異步上傳下載功能。
4.根據(jù)權(quán)利要求1所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 所述前端控件模塊是使用C#所實(shí)現(xiàn)的ActiveX標(biāo)準(zhǔn)控件。
5.根據(jù)權(quán)利要求1所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 所述協(xié)議封裝模塊使用SDK工具實(shí)施，通過調(diào)用所述SDK，執(zhí)行影像內(nèi)容的入庫出庫操作。
6.根據(jù)權(quán)利要求5所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 所述SDK有java版和.net版,支持安裝部署在AIX、Windows、Linux、HP四種操作系統(tǒng)。
7.根據(jù)權(quán)利要求1所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 所述消息服務(wù)模塊能夠經(jīng)由所述前端控件模塊或所述協(xié)議封裝模塊，與所述外圍系統(tǒng)的用戶終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作；還能直接與所述外圍系統(tǒng)的服務(wù)器終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作。
8.根據(jù)權(quán)利要求7所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 所述消息服務(wù)模塊使用java實(shí)現(xiàn)多個(gè)socket接口，所述多個(gè)socket接口是并發(fā)的。
9.根據(jù)權(quán)利要求1所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 所述文件傳輸模塊能夠經(jīng)由所述前端控件模塊或所述協(xié)議封裝模塊，與所述外圍系統(tǒng)的用戶終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作，還能直接與所述外圍系統(tǒng)的服務(wù)器終端進(jìn)行交互，用于所述非結(jié)構(gòu)化數(shù)據(jù)的操作。
10.根據(jù)權(quán)利要求1所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于: 所述批處理模塊使用FTP工具將所述內(nèi)容文件和元數(shù)據(jù)文件放置在指定目錄下。
11.如權(quán)利要求3所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于， 所述前端控件模塊還具有條形碼識(shí)別功能，可在文件掃描時(shí)同步識(shí)別文件上的條形碼，自動(dòng)將影像掛在條形碼所對應(yīng)的交易編號目錄下，從而對影像自動(dòng)歸類。
12.如權(quán)利要求9所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于， 所述文件傳輸模塊支持?jǐn)帱c(diǎn)續(xù)傳功能。
13.如權(quán)利要求9所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于， 所述文件傳輸模塊具有參數(shù)化配置傳輸數(shù)據(jù)包大小功能，根據(jù)網(wǎng)絡(luò)帶寬的情況，改變傳輸數(shù)據(jù)包大小，從而增加傳輸成功的概率。
14.如權(quán)利要求1所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于， 還包括:歸檔模塊，將業(yè)務(wù)辦理結(jié)束的非結(jié)構(gòu)化數(shù)據(jù)遷移到歷史庫中供外圍系統(tǒng)查詢，減輕對在線系統(tǒng)的壓力。
15.如權(quán)利要求14所述的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，其特征在于， 所述歸檔模塊從所述外圍系統(tǒng)獲知業(yè)務(wù)已辦理結(jié)束的非結(jié)構(gòu)化數(shù)據(jù)，將非結(jié)構(gòu)化數(shù)據(jù)從數(shù)據(jù)庫模塊遷移至歷史庫，外圍系統(tǒng)再經(jīng)由前端控件模塊、消息服務(wù)模塊訪問所述歸檔模塊。
【文檔編號】G06F17/30GK103793531SQ201410067233
【公開日】2014年5月14日 申請日期:2014年2月26日 優(yōu)先權(quán)日:2014年2月26日
【發(fā)明者】陳愛華, 何方敏, 湯海榮, 劉哲, 張海鵬, 許純旻, 歐陽蜀蓉, 徐樹軍 申請人:中國銀行股份有限公司