一種分布式信息處理結(jié)構(gòu)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)通信技術(shù)領(lǐng)域，尤其涉及一種分布式信息處理結(jié)構(gòu)。
【背景技術(shù)】
[0002]分布式信息處理技術(shù)是一種將一個(gè)或多個(gè)大型信息處理任務(wù)分解為多個(gè)子任務(wù)，并在不同的系統(tǒng)中分別處理的技術(shù).這項(xiàng)技術(shù)中很關(guān)鍵的一個(gè)問題就是子任務(wù)的分布式組織方法。
[0003]目前的分布式信息處理系統(tǒng)主要可以分為三類，一類是客戶機(jī)-服務(wù)器系統(tǒng)，這類系統(tǒng)也稱為兩層系統(tǒng)?？蛻魴C(jī)-服務(wù)器系統(tǒng)中主要包含一臺或多臺提供特定服務(wù)功能的服務(wù)器和多臺供用戶使用的客戶機(jī)，當(dāng)用戶需要執(zhí)行某種特定功能的時(shí)候，客戶機(jī)向特定的服務(wù)器發(fā)送請求，服務(wù)器對請求進(jìn)行處理以后將結(jié)果返回給該客戶機(jī)。
[0004]第二類分布式信息處理系統(tǒng)通常稱為中間件系統(tǒng)或者三層系統(tǒng)。這一類系統(tǒng)主要是在客戶機(jī)和服務(wù)器之間添加了一層中間件，用于屏蔽硬件平臺、操作系統(tǒng)和網(wǎng)絡(luò)協(xié)議的差異，使應(yīng)用軟件能夠比較平滑地運(yùn)行于不同平臺上。同時(shí)中間件在負(fù)載平衡、連接管理和調(diào)度方面起了很大的作用，使應(yīng)用的性能得到大幅的提升，以滿足關(guān)鍵業(yè)務(wù)的需求。
[0005]第三類分布式信息處理系統(tǒng)通常稱為分布式對象系統(tǒng)或者多層系統(tǒng)。在該系統(tǒng)中，每一臺計(jì)算機(jī)即可以作為客戶機(jī)，也作為其他系統(tǒng)提供服務(wù)的服務(wù)器，所提供的服務(wù)以及對象的形式進(jìn)行描述。當(dāng)某個(gè)用戶需要進(jìn)行某種形式的信息處理時(shí)，所使用的計(jì)算機(jī)自動在網(wǎng)上搜尋適當(dāng)?shù)膶ο?服務(wù)器)，并向這些服務(wù)器發(fā)送處理請求。
[0006]然而，現(xiàn)有的分布式信息處理系統(tǒng)只能以固定的線程分配方式進(jìn)行處理，系統(tǒng)預(yù)先設(shè)定后，用戶無法根據(jù)實(shí)際需求對所述線程進(jìn)行重新分配。，即只能靜態(tài)進(jìn)行線程分配，無法動態(tài)線程分配。

【發(fā)明內(nèi)容】

[0007]本發(fā)明解決的問題是提供一種分布式信息處理機(jī)構(gòu)，以動態(tài)分配線程處理模型。
[0008]為解決上述問題，本發(fā)明提供一種分布式信息處理結(jié)構(gòu)，包括:
[0009]數(shù)據(jù)處理模塊，包括數(shù)據(jù)處理管理單元、若干數(shù)目的線程處理單元及若干數(shù)目的抽象管道單元，所述數(shù)據(jù)處理單元用于接收拓?fù)渑渲梦募⒏鶕?jù)所述拓?fù)渑渲梦募討B(tài)創(chuàng)建數(shù)據(jù)處理模型，所述數(shù)據(jù)處理模型由線程處理單元構(gòu)成，或者由線程處理單元及抽象管道單元組合構(gòu)成。
[0010]可選的，所述數(shù)據(jù)處理模型中，各個(gè)所述線程處理單元為各自獨(dú)立的處理單元。
[0011]可選的，所述線程處理單元為所述分布式信息處理結(jié)構(gòu)中最小數(shù)據(jù)處理單元，用以向用戶提供虛接口，并通過繼承所述虛接口在所述線程處理單元內(nèi)部實(shí)現(xiàn)工作流代碼。
[0012]可選的，所述抽象管道單元為數(shù)據(jù)傳輸容器，用于線程處理單元之間的數(shù)據(jù)傳輸，傳輸方向?yàn)閱蜗騻鬏敗?br>[0013]可選的，一個(gè)所述線程處理單元具有一個(gè)或一個(gè)以上的抽象管道單元，所述抽象管道單元用于連接所述線程處理單元。
[0014]可選的，若所述數(shù)據(jù)處理模型由線程處理單元構(gòu)成，則提供預(yù)先約定的協(xié)議格式，各個(gè)所述線程處理單元之間按照所述協(xié)議格式發(fā)送消息進(jìn)行通信。
[0015]可選的，所述數(shù)據(jù)處理模型對應(yīng)的拓?fù)浣Y(jié)構(gòu)為線型、星型、環(huán)型或樹型。
[0016]可選的，還包括動態(tài)配置模塊，用于接收工作流的需求指令，并根據(jù)所述需求指令生成拓?fù)渑渲梦募?br>[0017]可選的，還包括代理客戶端模塊，用以向用戶提供工作流的操作接口 ；及進(jìn)程管理模塊，負(fù)責(zé)創(chuàng)建或者銷毀數(shù)據(jù)處理過程。
[0018]可選的，還包括工作流管理模塊，負(fù)責(zé)所述分布式信息處理結(jié)構(gòu)中各模塊間的通信，以控制所述分布式信息處理結(jié)構(gòu)的工作流。
[0019]可選的，所述數(shù)據(jù)處理模型為單機(jī)模型或多機(jī)模型。
[0020]可選的，當(dāng)所述數(shù)據(jù)處理模型為多機(jī)模型時(shí)，還包括數(shù)據(jù)發(fā)送處理機(jī)及數(shù)據(jù)接收處理機(jī)，所述數(shù)據(jù)發(fā)送處理機(jī)具有發(fā)送功能單元，所述數(shù)據(jù)接收處理機(jī)上具有數(shù)據(jù)接收單元，用于跨機(jī)器的數(shù)據(jù)傳輸。
[0021]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn):
[0022]本方法提供一套可復(fù)用的應(yīng)用軟件結(jié)構(gòu)，用戶使用時(shí)只需要繼承一個(gè)功能導(dǎo)出類，并在里面實(shí)現(xiàn)自己的算法即可，無須關(guān)心更多的軟件實(shí)現(xiàn)細(xì)節(jié)，易用性強(qiáng)。
[0023]涉及的所有軟件模塊均采用低耦合設(shè)計(jì)，各個(gè)模塊之間相對獨(dú)立，易拆解也易組口 ο
[0024]基于上述的低耦合特性，本方法提供的軟件結(jié)構(gòu)具有很高的擴(kuò)展性，用戶只需修改配置文件就能實(shí)現(xiàn)不同結(jié)構(gòu)的處理框架。本特性極大地了滿足了醫(yī)學(xué)行業(yè)紛繁復(fù)雜的應(yīng)用場景。而現(xiàn)有的技術(shù)不能動態(tài)改變分布式處理的結(jié)構(gòu)，具有很大的使用局限性。
[0025]本方法可以同時(shí)創(chuàng)建多個(gè)進(jìn)程進(jìn)行批處理操作。同時(shí)用戶對進(jìn)程可以執(zhí)行掛起、取消、恢復(fù)等操作，增強(qiáng)了可控性。
【附圖說明】
[0026]圖1所示為本發(fā)明一個(gè)實(shí)施例的分布式信息處理結(jié)構(gòu)的結(jié)構(gòu)示意圖；
[0027]圖2所示為所述代理客戶端模塊提供的工作流操作接口示意圖；
[0028]圖3?圖5為本實(shí)施例的數(shù)據(jù)處理模型對應(yīng)的拓?fù)浣Y(jié)構(gòu)；
[0029]圖6所示為本發(fā)明一個(gè)實(shí)施例的數(shù)據(jù)處理模塊的結(jié)構(gòu)示意圖；
[0030]圖7所示為本發(fā)明一個(gè)實(shí)施例的進(jìn)程管理模塊的結(jié)構(gòu)示意圖；
[0031]圖8所示為本發(fā)明一個(gè)實(shí)施例的單機(jī)模型結(jié)構(gòu)示意圖；
[0032]圖9所示為本發(fā)明一個(gè)實(shí)施例的多機(jī)模型結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0033]在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以很多不同于在此描述的其它方式來實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類似推廣，因此本發(fā)明不受下面公開的具體實(shí)施的限制。
[0034]其次，本發(fā)明利用示意圖進(jìn)行詳細(xì)描述，在詳述本發(fā)明實(shí)施例時(shí)，為便于說明，所述示意圖只是實(shí)例，其在此不應(yīng)限制本發(fā)明保護(hù)的范圍。
[0035]現(xiàn)有的分布式信息處理系統(tǒng)只能以固定的線程分配方式進(jìn)行處理，系統(tǒng)預(yù)先設(shè)定后，用戶無法根據(jù)實(shí)際需求對所述線程進(jìn)行重新分配。
[0036]為解決上述問題，本發(fā)明提供一種分布式信息處理結(jié)構(gòu)，包括:數(shù)據(jù)處理模塊，包括數(shù)據(jù)處理管理單元、若干數(shù)目的線程處理單元及若干數(shù)目的抽象管道單元，所述數(shù)據(jù)處理單元用于接收拓?fù)渑渲梦募?，并根?jù)所述拓?fù)渑渲梦募討B(tài)創(chuàng)建數(shù)據(jù)處理模型，所述數(shù)據(jù)處理模型由線程處理單元構(gòu)成，或者由線程處理單元及抽象管道單元組合構(gòu)成。其中，所述數(shù)據(jù)處理模型中，各個(gè)所述線程處理單元為各自獨(dú)立的處理單元。所述線程處理單元為所述分布式信息處理結(jié)構(gòu)中最小數(shù)據(jù)處理單元，用以向用戶提供虛接口，并通過繼承所述虛接口在所述線程處理單元內(nèi)部實(shí)現(xiàn)工作流代碼。
[0037]若所述數(shù)據(jù)處理模型由線程處理單元構(gòu)成，則提供預(yù)先約定的協(xié)議格式，各個(gè)所述線程處理單元之間按照所述協(xié)議格式發(fā)送消息進(jìn)行通信；若所述數(shù)據(jù)處理模型由線程處理單元及抽象管道單元構(gòu)成，則所述抽象管道單元為數(shù)據(jù)傳輸容器，用于線程處理單元之間的數(shù)據(jù)傳輸，傳輸方向?yàn)閱蜗騻鬏敗?br>[0038]對應(yīng)的，一個(gè)所述線程處理單元具有一個(gè)或一個(gè)以上的抽象管道單元，所述抽象管道單元用于連接所述線程處理單元。
[0039]可選的，所述數(shù)據(jù)處理模型對應(yīng)的拓?fù)浣Y(jié)構(gòu)為線型、星型、環(huán)型或樹型。
[0040]還包括動態(tài)配置模塊，用于接收工作流的需求指令，并根據(jù)所述需求指令生成拓?fù)渑渲梦募淮砜蛻舳四K，用以向用戶提供工作流的操作接口 ；及進(jìn)程管理模塊，負(fù)責(zé)創(chuàng)建或者銷毀數(shù)據(jù)處理過程；工作流管理模塊，負(fù)責(zé)所述分布式信息處理結(jié)構(gòu)中各模塊間的通信，以控制所述分布式信息處理結(jié)構(gòu)的工作流。
[0041]進(jìn)一步地，所述數(shù)據(jù)處理模型為單機(jī)模型或多機(jī)模型。當(dāng)所述數(shù)據(jù)處理模型為多機(jī)模型時(shí)，還包括數(shù)據(jù)發(fā)送處理機(jī)及數(shù)據(jù)接收處理機(jī)，所述數(shù)據(jù)發(fā)送處理機(jī)具有發(fā)送功能單元，所述數(shù)據(jù)接收處理機(jī)上具有數(shù)據(jù)接收單元，用于跨機(jī)器的數(shù)據(jù)傳輸。
[0042]下面結(jié)合附圖對本發(fā)明實(shí)施例進(jìn)行詳細(xì)說明。
[0043]如圖1所示為本發(fā)明一個(gè)實(shí)施例的分布式信息處理結(jié)構(gòu)的結(jié)構(gòu)示意圖，包括:代理客戶端模塊(Job Delegate) 10、工作流管理模塊(Job Manager) 20、數(shù)據(jù)處理模塊(Pipeline) 30及進(jìn)程管理模塊(System Manager) 40?下面對各模塊的功能及通信進(jìn)行說明。
[0044]如圖2所示為所述代理客戶端模塊10提供的工作流操作接口示意圖，用戶調(diào)用該系列接口可以對工作流進(jìn)行控制，包括:新增工作流接口(AppendJob);掛起工作流接口(Susp