專利名稱：集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)傳送的網(wǎng)絡(luò)系統(tǒng)，具體地說，是涉及一種適用于Internet/Intranet環(huán)境，集成集中式計算和分布式計算兩種算法的網(wǎng)絡(luò)系統(tǒng)。
隨著用戶業(yè)務(wù)需求的增長及Internet/Intranet的普及，瀏覽器/服務(wù)器計算模式正逐漸取代客戶機/服務(wù)器計算模式，瀏覽器/服務(wù)器計算模式是三層或四層的體系結(jié)構(gòu)。三層結(jié)構(gòu)就是把客戶機/服務(wù)器模式中用戶端的業(yè)務(wù)邏輯獨立出來，并與數(shù)據(jù)庫服務(wù)器中存儲過程合并在一起，構(gòu)成應(yīng)用層，以提高計算能力，實現(xiàn)靈活性；如果再加一層Web服務(wù)器層，就構(gòu)成了四層結(jié)構(gòu)。在這種模式中用戶端僅僅是處理用戶界面(GUI)，即所謂瘦客戶機的工作方式，而目前的趨勢是采用具有交互功能的瀏覽器，即瀏覽器/服務(wù)器計算模式。雖然這種模式取得了相當(dāng)成功，降低了瀏覽器端的維護(hù)成本，但是又面臨著離線無法實現(xiàn)業(yè)務(wù)操作的窘境；同時，無論用戶的機器是什么樣的配置，都只是作為一個標(biāo)準(zhǔn)的瀏覽器來訪問服務(wù)器，不能按照個性化的特點來進(jìn)行系統(tǒng)配置，也不能充分發(fā)揮客戶機的軟硬件資源的作用。
為達(dá)到上述目的，本發(fā)明的技術(shù)方案是提供一種集成集中式算法和分布式算法的網(wǎng)絡(luò)系統(tǒng)，適用于Internet/Intranet環(huán)境，其包括在橫向上設(shè)有依次以上下級管理連結(jié)，形成三層結(jié)構(gòu)的控制中心層、邏輯服務(wù)器層和互聯(lián)網(wǎng)臺層，特點是，該網(wǎng)絡(luò)系統(tǒng)在縱向上設(shè)有自上而下的下載管理系統(tǒng)和自下而上的上載管理系統(tǒng)；它們和橫向上設(shè)有依次以上下級管理連結(jié)的三層結(jié)構(gòu)共同構(gòu)成該網(wǎng)絡(luò)系統(tǒng)的分布式計算模式和閉合環(huán)路運行模式。
所述的控制中心層位于局域網(wǎng)或互聯(lián)網(wǎng)上，其包括一個控制中心網(wǎng)絡(luò)單元或邏輯關(guān)系相互平等的多個控制中心網(wǎng)絡(luò)單元；所述的邏輯服務(wù)器層位于互聯(lián)網(wǎng)上，其包括至少一個邏輯服務(wù)器網(wǎng)絡(luò)單元或接受同一控制中心網(wǎng)絡(luò)單元管理的多個平行的邏輯服務(wù)器網(wǎng)絡(luò)單元，所述的邏輯服務(wù)器網(wǎng)絡(luò)單元上各具有一個固定的IP地址；所述的邏輯服務(wù)器層中的網(wǎng)絡(luò)單元是一級邏輯結(jié)構(gòu)或多級邏輯結(jié)構(gòu)；所說的邏輯服務(wù)器網(wǎng)絡(luò)單元可以是一個邏輯服務(wù)器網(wǎng)絡(luò)單元位于一臺物理服務(wù)器上，也可以是多個邏輯服務(wù)器共同位于一臺物理服務(wù)器上；所述的互聯(lián)網(wǎng)臺層，其對應(yīng)于邏輯服務(wù)器層上的每一個邏輯服務(wù)器網(wǎng)絡(luò)單元至少有一個互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元或接受同一邏輯服務(wù)器網(wǎng)絡(luò)單元平行管理的多個互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元。
所述的下載管理系統(tǒng)，其包括分別設(shè)在一個網(wǎng)絡(luò)系統(tǒng)上的控制中心單元、邏輯服務(wù)器網(wǎng)絡(luò)單元和互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元上的后臺守護(hù)程序于數(shù)據(jù)庫表；安裝在所述的每個網(wǎng)絡(luò)單元上的SSH服務(wù)器程序、客戶端程序與相應(yīng)的公鑰和私鑰，由連接上下級網(wǎng)絡(luò)單元用以自上而下逐級下傳軟件包和下一級網(wǎng)絡(luò)單元逆向上傳的加密虛擬通道構(gòu)成的邏輯管理路徑；所述邏輯管理路徑的起點是該控制中心網(wǎng)絡(luò)單元，沿著樹形網(wǎng)絡(luò)結(jié)構(gòu)自上而下，而路徑的終點則可以是邏輯服務(wù)器網(wǎng)絡(luò)單元，也可以是互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元；所述的虛擬通道包括通過SCP命令實現(xiàn)文件傳輸所建立的虛擬通道和通過SSH的端口轉(zhuǎn)發(fā)實現(xiàn)遠(yuǎn)程操作所建立的虛擬通道；所述的后臺守護(hù)程序包括由控制中心網(wǎng)絡(luò)單元讀入用戶輸入內(nèi)容而發(fā)動執(zhí)行任務(wù)，并具有邏輯連接的主線程功能模塊、任務(wù)容器線程功能模塊、任務(wù)隊列線程功能模塊、任務(wù)執(zhí)行線程功能模塊、任務(wù)監(jiān)視線程功能模塊、任務(wù)報告線程功能模塊和任務(wù)清理線程功能模塊。
所述的上載管理系統(tǒng)，其包括分別設(shè)在所說的網(wǎng)絡(luò)系統(tǒng)上的每個邏輯服務(wù)器網(wǎng)絡(luò)單元和每個互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元上的一個數(shù)據(jù)匯總和采集子系統(tǒng)及一個定期獲取和傳送子系統(tǒng)；設(shè)在每個互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元上用于執(zhí)行本機上載管理工作的實時運行數(shù)據(jù)模塊和定期匯總數(shù)據(jù)模塊以及鏈接設(shè)在本機上的數(shù)據(jù)匯總和采集子系統(tǒng)的數(shù)據(jù)采集規(guī)則；鏈接設(shè)在本機上的定期獲取和傳送子系統(tǒng)數(shù)據(jù)匯報規(guī)則；設(shè)在每個邏輯服務(wù)器網(wǎng)絡(luò)單元上，用于執(zhí)行本機上載管理工作和下一級匯總數(shù)據(jù)模塊和定期匯總數(shù)據(jù)模塊、鏈接設(shè)在本機上的數(shù)據(jù)匯總和采集子系統(tǒng)的數(shù)據(jù)采集規(guī)則、鏈接設(shè)在本機上的定期獲取和傳送子系統(tǒng)的數(shù)據(jù)匯報規(guī)則、以及共用所述的構(gòu)成系統(tǒng)邏輯管理路徑的加密虛擬通道；在該上載管理系統(tǒng)中還設(shè)有匯報系統(tǒng)定時機制模塊。
本發(fā)明綜合了瀏覽器/服務(wù)器模式和傳統(tǒng)的客戶機/服務(wù)器模式兩者的優(yōu)點，有效集成了集中式計算和分布式計算兩種算法，既可以靈活地實現(xiàn)對客戶端的管理，高效利用分布在組織內(nèi)部的各種資源，實現(xiàn)系統(tǒng)的有效管理和安全控制，又能夠?qū)崿F(xiàn)系統(tǒng)的不間斷運行和無限擴展。從而克服了瀏覽器/服務(wù)器模式的弱點，更好地支持了客戶端多樣化的應(yīng)用需求和聯(lián)網(wǎng)、離線的使用狀態(tài)。
圖10為本發(fā)明中任務(wù)執(zhí)行線程的流程示意圖；圖11為本發(fā)明中任務(wù)監(jiān)視線程的工作原理圖；圖12為本發(fā)明中任務(wù)監(jiān)視線程的流程示意圖；圖13為本發(fā)明中任務(wù)報告線程的工作原理圖；圖14為本發(fā)明中任務(wù)報告線程的流程示意圖；圖15為本發(fā)明中任務(wù)報告協(xié)議的說明圖；圖16為本發(fā)明中任務(wù)發(fā)送/接收流程示意圖；圖17為本發(fā)明中任務(wù)發(fā)送/接收協(xié)議的說明圖；圖18為本發(fā)明中主線程的工作原理示意圖；圖19為本發(fā)明中任務(wù)清理線程的流程示意圖；圖20為本發(fā)明中上載管理系統(tǒng)在互聯(lián)網(wǎng)臺層的工作原理圖；圖21為本發(fā)明中上載管理系統(tǒng)在邏輯服務(wù)器層的工作原理圖；
如圖1所示，為本發(fā)明的結(jié)構(gòu)示意圖，本發(fā)明適用于Internet/Intranet環(huán)境，橫向上由控制中心層1(Control Center Layer，CCL)、邏輯服務(wù)器層2(Logical Server Layer，LSL)和互聯(lián)網(wǎng)臺層3(Net-station Layer，NSL)組成，縱向上由自上而下的下載管理系統(tǒng)4(Download Management System，DMS)和自下而上的上載管理系統(tǒng)5(Upload Management System，UMS)組成。這樣，橫向上的三層結(jié)構(gòu)和縱向上的兩套系統(tǒng)共同構(gòu)成了該網(wǎng)絡(luò)系統(tǒng)平臺的分布式計算模式和閉合環(huán)路運行模式。
該網(wǎng)絡(luò)系統(tǒng)平臺的控制中心層1既可以位于內(nèi)部網(wǎng)(LAN)中，也可以位于互聯(lián)網(wǎng)(Internet)上，其包括一個控制中心網(wǎng)絡(luò)單元或邏輯關(guān)系相互平等的多個控制中心網(wǎng)絡(luò)單元，在各控制中心網(wǎng)絡(luò)單元上還加載控制中心任務(wù)管理程序10(參見圖3)；邏輯服務(wù)器層2必須位于互聯(lián)網(wǎng)上，并具有固定的IP地址；互聯(lián)網(wǎng)臺層3可以以任一種方式接入互聯(lián)網(wǎng)，如PSTN、ISDN、ADSL、LAN、Wireless等。每一層可包括一臺或多臺具有同類功能的機器NS(或LS，稱作網(wǎng)絡(luò)單元)。當(dāng)控制中心層1和互聯(lián)網(wǎng)臺層3有多個網(wǎng)絡(luò)單元時，它們的邏輯關(guān)系是平等的，沒有管理與被管理的關(guān)系；而邏輯服務(wù)器層2又可以分為多級，自上而下，上級管理下級。這樣，控制中心層1、邏輯服務(wù)器層2(可以是多級)及互聯(lián)網(wǎng)臺層3構(gòu)成了自上而下的樹型的網(wǎng)絡(luò)結(jié)構(gòu)。
如圖2所示，為本發(fā)明中下載管理系統(tǒng)4的結(jié)構(gòu)示意圖，下載管理系統(tǒng)4在控制中心層1、邏輯服務(wù)器層2和互聯(lián)網(wǎng)臺層3上的每個網(wǎng)絡(luò)單元都分別有相應(yīng)的后臺守護(hù)程序(daemon)42和數(shù)據(jù)庫表43，來執(zhí)行相應(yīng)的任務(wù)。每一個下載的任務(wù)都由管理員在控制中心網(wǎng)絡(luò)單元上發(fā)起，然后沿著邏輯管理路徑借助加密的虛擬通道41(Virtual Linkage)逐級把軟件包下傳到下一級網(wǎng)絡(luò)單元，下一級網(wǎng)絡(luò)單元執(zhí)行完任務(wù)后，把執(zhí)行的結(jié)果借助虛擬通道41逆向逐級報告，報告完成后，就完成一個完整的下載動作。每個邏輯管理路徑的起點都是控制中心層1中的控制中心網(wǎng)絡(luò)單元CC，沿著樹型網(wǎng)絡(luò)結(jié)構(gòu)自上而下，路徑的終點可以是邏輯服務(wù)器2中的網(wǎng)絡(luò)單元LS，也可以是互聯(lián)網(wǎng)臺層3中的NS。
如圖3所示，為控制中心層1上控制中心網(wǎng)絡(luò)單元的任務(wù)管理程序10的流程示意圖；首先，當(dāng)需要執(zhí)行下載任務(wù)時，操作員在控制中心上啟動專用的任務(wù)管理程序(步驟101、102)；任務(wù)管理程序讀取用戶輸入的任務(wù)指令(步驟103)；根據(jù)任務(wù)指令創(chuàng)建任務(wù)腳本(步驟104)；把任務(wù)存進(jìn)數(shù)據(jù)庫DB(步驟105)；把創(chuàng)建的腳本文件發(fā)給后臺守護(hù)程序去處理后(步驟106，定義為A)；結(jié)束運行(步驟107)。
下面分別介紹虛擬通道41、后臺守護(hù)程序42、數(shù)據(jù)庫表43及其工作原理。
虛擬通道41在所有的網(wǎng)絡(luò)單元CC、LS、NS之間，需要統(tǒng)一的通道，完成網(wǎng)絡(luò)連接、信息加密、身份認(rèn)證和信息傳輸功能，保障系統(tǒng)的安全。本發(fā)明中，借助OpenSSH技術(shù)來完成上述過程。OpenSSH是業(yè)界公認(rèn)的開放的加密通訊技術(shù)。關(guān)于它的技術(shù)細(xì)節(jié)這里不做介紹，僅說明這項技術(shù)在本發(fā)明中的應(yīng)用。
如圖4所示為本發(fā)明實現(xiàn)遠(yuǎn)程操作的結(jié)構(gòu)示意圖。首先，在每個網(wǎng)絡(luò)單元上都裝有SSH(和與之相對應(yīng)的SSHD)的服務(wù)器程序和客戶端程序以及相應(yīng)的公鑰和私鑰。本發(fā)明在兩種情況下用到虛擬通道文件傳輸和遠(yuǎn)程操作。文件傳輸通過scp命令完成，遠(yuǎn)程操作通過SSH的端口轉(zhuǎn)發(fā)(port forwarding)完成。文件傳輸時，scp命令自動建立虛擬通道，傳輸完成后，自動關(guān)閉通道。假如要從本機上將文件filename傳到遠(yuǎn)程主機的dir目錄下，命令格式如下scp filename username@remotehost/dir/其中username是遠(yuǎn)程主機上的用戶名，remotehost是遠(yuǎn)程主機的域名或IP地址。遠(yuǎn)程操作要復(fù)雜得多，首先要建立虛擬通道，完成操作后再關(guān)閉通道。建立端口轉(zhuǎn)發(fā)的命令格式如下ssh-q-g-i identity-Llocalportlocalhostremoteportusername@remotehost這樣，對本地主機localhost的本地端口localport的操作就被轉(zhuǎn)發(fā)到遠(yuǎn)程主機remotehost上的端口remoteport的操作，username是遠(yuǎn)程主機的用戶名。主單元上的程序A連接到本地主機(127.0.0.1)的本地端口，從單元上的程序B監(jiān)聽本地主機(127.0.0.1)的遠(yuǎn)程端口，在兩個主機上的兩個程序就可以互相通訊了，實現(xiàn)了遠(yuǎn)程操作。
后臺守護(hù)程序42在每一個網(wǎng)絡(luò)單元上，都有后臺守護(hù)程序42運行，以便執(zhí)行相應(yīng)的下載管理任務(wù)。根據(jù)要執(zhí)行的任務(wù)，后臺守護(hù)程序42分成如下幾個功能模塊，每個模塊對應(yīng)一個線程(thread)主線程421，任務(wù)容器線程422，任務(wù)隊列線程423，任務(wù)執(zhí)行線程424，任務(wù)監(jiān)視線程425，任務(wù)報告線程426，任務(wù)清理線程427，為方便逐一介紹各個模塊，假定如下端口對應(yīng)關(guān)系主線程監(jiān)聽端口 3001任務(wù)執(zhí)行線程監(jiān)聽端口 3011任務(wù)監(jiān)視線程監(jiān)聽端口 3003任務(wù)報告線程監(jiān)聽端口(本機) 3012任務(wù)報告線程監(jiān)聽端口(遠(yuǎn)程主機) 3013主線程421如圖5所示，為下載管理程序進(jìn)程(process)主線程421工作原理示意圖；主線程監(jiān)聽端口3001監(jiān)聽，處理數(shù)據(jù)包，并產(chǎn)生其它功能模塊的線程任務(wù)容器線程422，任務(wù)隊列線程423，任務(wù)執(zhí)行線程424，任務(wù)監(jiān)視線程425，任務(wù)報告線程426，任務(wù)清理線程427。
如圖6所示，為任務(wù)容器線程422的流程示意圖。任務(wù)后臺守護(hù)程序一直在后臺運行，它的任務(wù)容器線程422連續(xù)掃描3001端口，看有沒有新任務(wù)、處于等待空閑狀態(tài)(步驟4221)。當(dāng)創(chuàng)建的腳本文件發(fā)給后臺守護(hù)程序去處理后(圖3中的步驟106，定義為A)，任務(wù)容器線程422如果接收到任務(wù)信號(步驟4222)，其從接收到的任務(wù)腳本文件中讀取數(shù)據(jù)(步驟4223)；把腳本中的任務(wù)分成原子任務(wù)(步驟4224)；把所有原子任務(wù)發(fā)給任務(wù)隊列線程423(步驟4225，定義為B)；恢復(fù)空閑狀態(tài)，繼續(xù)掃描3001端口，等待新的任務(wù)(步驟4226)。
如圖7所示，為任務(wù)隊列線程423的工作原理圖，任務(wù)隊列線程423管理多優(yōu)先級的任務(wù)隊列，如分配隊列資源，監(jiān)聽隊列消息等，并根據(jù)所監(jiān)聽的隊列消息，進(jìn)行輸入新任務(wù)、讀取新任務(wù)、鎖定/解鎖任務(wù)、修改任務(wù)狀態(tài)、設(shè)定任務(wù)結(jié)果等工作。如圖8所示，為任務(wù)隊列線程423的流程圖，任務(wù)隊列線程423也象后臺守護(hù)程序的其它線程一樣，一直在后臺運行，連續(xù)掃描它的端口，看有沒有新任務(wù)發(fā)過來(即空閑狀態(tài))(步驟42301)。如任務(wù)容器線程發(fā)來原子任務(wù)(B)，其收到新的任務(wù)請求(步驟42302)，判斷該任務(wù)是否任務(wù)輸入請求(步驟42303)，如果是，則把新任務(wù)插入到隊列尾部，這里的隊列是先進(jìn)先出的隊列(42304)，從隊列頭部輸出新任務(wù)(步驟42305)，把輸出的任務(wù)發(fā)給任務(wù)執(zhí)行線程(步驟42306，定義為C)，并回到空閑狀態(tài)(步驟42307)；如果否，則轉(zhuǎn)到步驟42308繼續(xù)，即判斷該任務(wù)是否是任務(wù)修改請求，如果否，回到空閑狀態(tài)(步驟42310)；如果是，根據(jù)修改請求修改隊列中的任務(wù)(步驟42309)；判斷是否完成(步驟42311)，如果否，回到空閑狀態(tài)(步驟42314)，如果是，從隊列中刪除該任務(wù)(步驟42312)，向任務(wù)報告線程發(fā)信號(步驟42313，定義為D)，并回到空閑狀態(tài)(步驟42314)。
如圖9所示，為本發(fā)明中任務(wù)執(zhí)行線程424的工作原理圖，任務(wù)執(zhí)行線程424從任務(wù)隊列中取得任務(wù)去執(zhí)行，可以是本地執(zhí)行任務(wù)或與遠(yuǎn)程主機交互來執(zhí)行任務(wù)。如圖10所示，為任務(wù)執(zhí)行線程424的流程圖，任務(wù)執(zhí)行線程424沒有接收到信號時，處于空閑狀態(tài)(步驟42401)，如收到任務(wù)隊列線程發(fā)來的信號(步驟42402，C)，檢查要執(zhí)行的目標(biāo)和數(shù)據(jù)包(步驟42403)，判斷是否可運行(步驟42404)，如果否，向任務(wù)監(jiān)視線程發(fā)失敗信號(步驟42405，定義為E)；如果是，給該任務(wù)編上順序號(步驟42406)，把要執(zhí)行的任務(wù)寫盡日志文件，以備查核(步驟42407)。判斷該任務(wù)是否在本機執(zhí)行(步驟42408)，如果否，則轉(zhuǎn)到步驟42411繼續(xù)執(zhí)行。如果是，在本機上執(zhí)行該任務(wù)(步驟42409)，并回到空閑狀態(tài)(步驟42410)。步驟42411判斷是否向下一級發(fā)送，如果否，則回到空閑狀態(tài)(步驟42412)，如果是，把任務(wù)向下一級網(wǎng)絡(luò)單元發(fā)送(步驟42413)，判斷發(fā)送是否成功(步驟42414)，如果是，則到空閑狀態(tài)(步驟42415)；如果否，則向任務(wù)監(jiān)視線程發(fā)失敗信號(步驟42405，定義為E)。
任務(wù)監(jiān)視線程425帶監(jiān)聽端口3003，處理有錯誤消息或結(jié)果消息的數(shù)據(jù)包。其原理圖如圖11所示。如圖12所示，為任務(wù)監(jiān)視線程425的流程圖，沒有收到信號時，任務(wù)監(jiān)視線程425處于空閑狀態(tài)(步驟42501)。收到任務(wù)執(zhí)行線程發(fā)送的任務(wù)結(jié)果信號(E)后(步驟42502)，判斷任務(wù)結(jié)果是否成功(步驟42503)，如果是，向任務(wù)隊列線程423發(fā)刪除信號(步驟42504，定義為B)，并回到空閑狀態(tài)(步驟42505)；則繼續(xù)步驟4至5；如果否，則轉(zhuǎn)到步驟42506繼續(xù)。判斷是否失敗，如果否，則回到空閑狀態(tài)(步驟42507)。如果是，把失敗次數(shù)加1(步驟42508)，判斷失敗次數(shù)是否到最大值(步驟42509)，如果是，則向任務(wù)隊列線程423發(fā)刪除信號(步驟42510)，如果否，向任務(wù)隊列線程423發(fā)重做信號(步驟42511)，然后回到空閑狀態(tài)(步驟42512)。
任務(wù)報告線程426向遠(yuǎn)程主機寫入任務(wù)報告，或把任務(wù)執(zhí)行結(jié)果寫在本地主機上。其工作原理圖如圖13所示，如圖14所示，為任務(wù)報告線程426的流程圖，在沒有收到任務(wù)報告信號時，任務(wù)報告線程處于空閑狀態(tài)(步驟42601)，收到任務(wù)報告信號后(如任務(wù)隊列線程發(fā)來的信號步驟42602)，根據(jù)信號，把成功執(zhí)行的任務(wù)移到歷史目錄中，刪除執(zhí)行失敗的任務(wù)文件(步驟42603)，向上一級任務(wù)監(jiān)視線程發(fā)任務(wù)報告信號(步驟42604)，判斷是否失敗(步驟42605)，如果是，把當(dāng)前報告存入硬盤(步驟42606)，并回到空閑狀態(tài)(步驟42607)，如果否，則直接回到空閑狀態(tài)(步驟42607)。
在后臺守護(hù)程序42中還包含一任務(wù)報告協(xié)議，該任務(wù)報告協(xié)議用于任務(wù)監(jiān)視線程425和任務(wù)報告線程426之間的信息傳遞，其說明圖如圖15所示。下載管理系統(tǒng)4中的任務(wù)發(fā)送/接收可以圖16來作說明，如圖16所示，開始(步驟401)，任務(wù)執(zhí)行線程收到要執(zhí)行的任務(wù)參數(shù)，此時本機為主單元(步驟402)，主單元向從單元建立SSH虛擬通道(步驟403)，判斷虛擬通道的建立是否成功(步驟404)，如果否，結(jié)束(步驟405)；如果是，任務(wù)執(zhí)行線程424向從單元上的服務(wù)器端程序發(fā)出任務(wù)請求(步驟406)，主單元上的任務(wù)執(zhí)行線程等待任務(wù)許可(步驟407)；判斷是否超時(步驟408)，如果是，結(jié)束(步驟409)；如果否，把任務(wù)文件從主單元復(fù)制到從單元，如果失敗，可自動重復(fù)n次(步驟410)，判斷復(fù)制是否成功(步驟411)，如果否，結(jié)束(步驟412)，如果是，把復(fù)制好的文件發(fā)給從單元的后臺守護(hù)程序(步驟413)，主單元等待從單元的任務(wù)匯報(步驟414)，判斷是否超時(步驟415)，如果是，結(jié)束(步驟416)；如果否，更新本地任務(wù)緩沖(步驟417)，結(jié)束(步驟418)。
下載管理系統(tǒng)4還包含任務(wù)發(fā)送/接收協(xié)議，用以維護(hù)發(fā)送方和后臺守護(hù)程序之間的信號傳輸，其說明圖如圖17所示。
在后臺守護(hù)程序42中還包含任務(wù)清理線程427，任務(wù)清理線程427定期檢查任務(wù)隊列，清除隊列中超時的任務(wù)。如圖18所示，為任務(wù)清理線程427的流程圖，任務(wù)清理線程427睡眠(即停止運行)一段固定的時間間隔(步驟4271)。時間間隔到了，就開始運行，運行時掃描任務(wù)隊列(步驟4272)，判斷隊列中是否有超時的任務(wù)(步驟4273)，如果有，則向任務(wù)隊列線程發(fā)刪除信號(步驟4274，至上述B)如果沒有，則開始新的睡眠(返回步驟4271)。
兩個網(wǎng)絡(luò)單元之間下載任務(wù)并執(zhí)行的工作原理如圖19所示。
以下就上面所述的部分名詞作一些解釋任務(wù)腳本本發(fā)明執(zhí)行的每一個任務(wù)都是從控制中心層1開始的。每一個任務(wù)都有一個文本文件來說明任務(wù)的具體內(nèi)容，這個文本文件就是任務(wù)腳本。任務(wù)腳本在控制中心層1生成并連同其它軟件包一起發(fā)送給下一級網(wǎng)絡(luò)單元，下一級網(wǎng)絡(luò)單元的后臺守護(hù)程序?qū)θ蝿?wù)腳本1按預(yù)先定義好的格式進(jìn)行解析，把解析結(jié)果放在一個結(jié)構(gòu)數(shù)據(jù)類型里去執(zhí)行。網(wǎng)絡(luò)單元邏輯管理關(guān)系的自動再分配通常一個邏輯服務(wù)器位于一臺物理服務(wù)器上，也可以多個邏輯服務(wù)器共同位于一臺物理服務(wù)器上。當(dāng)互聯(lián)網(wǎng)臺層3中的網(wǎng)絡(luò)單元NS更改管理它的邏輯服務(wù)器，一個邏輯服務(wù)器分為多個邏輯服務(wù)器，或多個邏輯服務(wù)器合并為一個邏輯服務(wù)器時，都可以作為一個任務(wù)來自動執(zhí)行，而不會影響網(wǎng)絡(luò)系統(tǒng)的正常運行。
原子任務(wù)系統(tǒng)通過一次指令操作能完成的任務(wù)。
任務(wù)序列號網(wǎng)絡(luò)單元上的每個任務(wù)都有一個父編號和一個本機編號，本機編號是本機上要執(zhí)行的任務(wù)的順序編號，上一級網(wǎng)絡(luò)單元的本機編號就是本機上任務(wù)的父編號。假設(shè)一個任務(wù)由網(wǎng)絡(luò)單元A傳到B再傳到C，在B上該任務(wù)的父編號為A，本機編號為B，在C上該任務(wù)的父編號為B，本機編號為C。在本單元處理任務(wù)時，使用本機編號，向上一級單元匯報任務(wù)時，使用任務(wù)的父編號。
任務(wù)隊列中的多優(yōu)先級任務(wù)的優(yōu)先級分為10級，用0-9標(biāo)示，0級最高，9級最低，優(yōu)先級相同的任務(wù)按先后順序插入同一隊列。當(dāng)執(zhí)行任務(wù)時，先執(zhí)行優(yōu)先級高的隊列，高一級的隊列里的任務(wù)都執(zhí)行完后，再執(zhí)行下一級隊列里的任務(wù)，依次類推。
上載管理系統(tǒng)5的實現(xiàn)由數(shù)據(jù)采集管理(Data Collection Management，DCM)和數(shù)據(jù)匯報管理(Data Report Management，DRM)組成。前者負(fù)責(zé)將實時數(shù)據(jù)或者下一級匯總的數(shù)據(jù)按照一定的數(shù)據(jù)采集規(guī)則進(jìn)行處理，產(chǎn)生新的匯總數(shù)據(jù)；后者負(fù)責(zé)將本級匯總后的數(shù)據(jù)按照一定的數(shù)據(jù)匯報規(guī)則進(jìn)行處理，并傳送到指定的上一級服務(wù)器。除了控制中心層1上的控制中心網(wǎng)絡(luò)單元以外，邏輯服務(wù)器層2和互聯(lián)網(wǎng)臺層3上的網(wǎng)絡(luò)單元上都有上載管理系統(tǒng)5在運行，負(fù)責(zé)把本單元上的數(shù)據(jù)按數(shù)據(jù)采集規(guī)則進(jìn)行處理，再按數(shù)據(jù)匯報規(guī)則進(jìn)行處理，最后利用前述的虛擬通道41上傳到指定的上一級網(wǎng)絡(luò)單元。網(wǎng)絡(luò)單元的數(shù)據(jù)從最末端的一級逐級匯總，逐級匯報，直到控制中心層1。
隨著網(wǎng)絡(luò)系統(tǒng)平臺的業(yè)務(wù)范圍的不斷擴展，所需要采集和匯報的數(shù)據(jù)內(nèi)容、格式、數(shù)量以及匯報頻度等都可能發(fā)生變化，因此上載管理系統(tǒng)5采用符合XML規(guī)范的文件來提供對上述數(shù)據(jù)采集和匯報特性的可配置支持。也就是說，上載管理系統(tǒng)5所要完成的工作通過外部的XML配置文件來進(jìn)行控制。
上載管理系統(tǒng)5在互聯(lián)網(wǎng)臺層3上的工作原理如圖20所示，在邏輯服務(wù)器層2上的工作原理如圖21所示。
以下對上述上載管理系統(tǒng)5中的部分名詞作一些解釋數(shù)據(jù)采集規(guī)則采用XML規(guī)范進(jìn)行定義，或采用配置文件的方式定義規(guī)則，其能夠全面描述原始數(shù)據(jù)的結(jié)構(gòu)和匯總數(shù)據(jù)的結(jié)構(gòu)，并參考SQL規(guī)范，建立原始數(shù)據(jù)與匯總數(shù)據(jù)的完全映射關(guān)系；數(shù)據(jù)匯報規(guī)則采用XML規(guī)范進(jìn)行定義，或采用配置文件的方式定義規(guī)則，其能夠全面描述匯總數(shù)據(jù)的結(jié)構(gòu)和上層數(shù)據(jù)庫的結(jié)構(gòu)，并參考SQL規(guī)范，建立匯總數(shù)據(jù)與上層數(shù)據(jù)庫的完全映射關(guān)系；采集規(guī)則處理功能其處理XML文件，并按照上述采集規(guī)則定制XML解析功能，能產(chǎn)生程序執(zhí)行的映射表(該表應(yīng)當(dāng)包含具體程序操作可用的定義)。
數(shù)據(jù)采集功能讀寫數(shù)據(jù)庫；按照采集規(guī)則產(chǎn)生出來的映射表抽取數(shù)據(jù)，并寫入到匯總數(shù)據(jù)表中；采集操作需要處理時標(biāo)問題；部分匯總數(shù)據(jù)是從其他匯總數(shù)據(jù)中再次計算產(chǎn)生，所以操作的先后次序必須有嚴(yán)格限制。
匯報規(guī)則處理功能處理XML文件；按照上述匯報規(guī)則定制XML解析功能；產(chǎn)生程序執(zhí)行的映射表(該表應(yīng)當(dāng)包含具體程序操作可用的定義)。
數(shù)據(jù)傳送功能讀寫數(shù)據(jù)庫；按照數(shù)據(jù)傳送規(guī)則產(chǎn)生的映射表抽取數(shù)據(jù)到緩沖區(qū)(可以是表緩沖方式，也可以是內(nèi)存緩沖方式)；連接遠(yuǎn)程數(shù)據(jù)庫(通過虛擬通道)；數(shù)據(jù)從緩沖區(qū)寫入到遠(yuǎn)程數(shù)據(jù)庫；數(shù)據(jù)傳送同樣也需要注意時標(biāo)問題；緩沖表、緩沖區(qū)的清除工作。
權(quán)利要求
1.一種集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，適用于Internet/Intranet環(huán)境，其包括在橫向上設(shè)有依次以上下級管理連結(jié)，形成三層結(jié)構(gòu)的控制中心層、邏輯服務(wù)器層和互聯(lián)網(wǎng)臺層，其特征在于，所述的網(wǎng)絡(luò)系統(tǒng)在縱向上設(shè)有自上而下的下載管理系統(tǒng)和自下而上的上載管理系統(tǒng)；所說的橫向上設(shè)有依次以上下級管理連結(jié)的三層結(jié)構(gòu)和縱向上的該兩套管理系統(tǒng)共同構(gòu)成該網(wǎng)絡(luò)系統(tǒng)的分布式計算模式和閉合環(huán)路運行模式。
2.如權(quán)利要求1所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的控制中心層位于局域網(wǎng)或互聯(lián)網(wǎng)上，其包括一個控制中心網(wǎng)絡(luò)單元或邏輯關(guān)系相互平等的多個控制中心網(wǎng)絡(luò)單元。
3.如權(quán)利要求1或2所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的邏輯服務(wù)器層位于互聯(lián)網(wǎng)上，其包括至少一個邏輯服務(wù)器網(wǎng)絡(luò)單元或接受同一控制中心網(wǎng)絡(luò)單元管理的多個平行的邏輯服務(wù)器網(wǎng)絡(luò)單元，所述的邏輯服務(wù)器網(wǎng)絡(luò)單元上各具有一個固定的IP地址。
4.如權(quán)利要求3所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的邏輯服務(wù)器層中的網(wǎng)絡(luò)單元是一級邏輯結(jié)構(gòu)或多級邏輯結(jié)構(gòu)。
5.如權(quán)利要求3所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所說的邏輯服務(wù)器網(wǎng)絡(luò)單元可以是一個邏輯服務(wù)器網(wǎng)絡(luò)單元位于一臺物理服務(wù)器上，也可以是多個邏輯服務(wù)器網(wǎng)絡(luò)單元共同位于一臺物理服務(wù)器上。
6.如權(quán)利要求1或2或4所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的互聯(lián)網(wǎng)臺層，其對應(yīng)于邏輯服務(wù)器層上的每一個邏輯服務(wù)器網(wǎng)絡(luò)單元至少有一個互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元或接受同一邏輯服務(wù)器網(wǎng)絡(luò)單元平行管理的多個互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元。
7.如權(quán)利要求6所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的下載管理系統(tǒng)，其包括分別設(shè)在一個網(wǎng)絡(luò)系統(tǒng)上的控制中心單元、邏輯服務(wù)器網(wǎng)絡(luò)單元和互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元上的后臺守護(hù)程序與數(shù)據(jù)庫表；安裝在所述的每個網(wǎng)絡(luò)單元上的SSH服務(wù)器程序、客戶端程序與相應(yīng)的公鑰和私鑰，以及由連接上下級網(wǎng)絡(luò)單元用以自上而下逐級下傳軟件包和下一級網(wǎng)絡(luò)單元逆向上傳的加密虛擬通道構(gòu)成的邏輯管理路徑；所述邏輯管理路徑的起點是該控制中心網(wǎng)絡(luò)單元，沿著樹形網(wǎng)絡(luò)結(jié)構(gòu)自上而下，而路徑的終點則可以是邏輯服務(wù)器網(wǎng)絡(luò)單元，也可以是互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元。
8.如權(quán)利要求7所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的虛擬通道包括通過SCP命令實現(xiàn)文件傳輸所建立的虛擬通道和通過SSH的端口轉(zhuǎn)發(fā)實現(xiàn)遠(yuǎn)程操作所建立的虛擬通道。
9.如權(quán)利要求7所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的后臺守護(hù)程序包括由控制中心網(wǎng)絡(luò)單元讀入用戶輸入內(nèi)容而發(fā)動執(zhí)行任務(wù)，并具有邏輯連接的主線程功能模塊、任務(wù)容器線程功能模塊、任務(wù)隊列線程功能模塊、任務(wù)執(zhí)行線程功能模塊、任務(wù)監(jiān)視線程功能模塊、任務(wù)報告線程功能模塊和任務(wù)清理線程功能模塊。
10.如權(quán)利要求7所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的上載管理系統(tǒng)，其包括分別設(shè)在所說的網(wǎng)絡(luò)系統(tǒng)上的每個邏輯服務(wù)器網(wǎng)絡(luò)單元和每個互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元上的一個數(shù)據(jù)匯總和采集子系統(tǒng)及一個定期獲取和傳送子系統(tǒng)；設(shè)在每個互聯(lián)網(wǎng)臺網(wǎng)絡(luò)單元上用于執(zhí)行本機上載管理工作的實時運行數(shù)據(jù)模塊和定期匯總數(shù)據(jù)模塊、以及鏈接設(shè)在本機上的數(shù)據(jù)匯總和采集子系統(tǒng)的數(shù)據(jù)采集規(guī)則，鏈接設(shè)在本機上的定期獲取和傳送子系統(tǒng)數(shù)據(jù)匯報規(guī)則，設(shè)在每個邏輯服務(wù)器網(wǎng)絡(luò)單元上，用于執(zhí)行本機上載管理工作和下一級匯總數(shù)據(jù)模塊和定期匯總數(shù)據(jù)模塊，鏈接設(shè)在本機上的數(shù)據(jù)匯總和采集子系統(tǒng)的數(shù)據(jù)采集規(guī)則；鏈接設(shè)在本機上的定期獲取和傳送子系統(tǒng)的數(shù)據(jù)匯報規(guī)則，以及共用所述的構(gòu)成系統(tǒng)邏輯管理路徑的加密虛擬通道。
11.如權(quán)利要求10所述的集成集中式計算和分布式計算的網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述的上載管理系統(tǒng)中還設(shè)有匯報系統(tǒng)定時機制模塊。
全文摘要
本發(fā)明涉及一種集成集中式算法和分布式算法的網(wǎng)絡(luò)系統(tǒng)，適用于Internet/Intranet環(huán)境，其包括在橫向上設(shè)有依次以上下級管理連結(jié)，形成三層結(jié)構(gòu)的控制中心層、邏輯服務(wù)器層和互聯(lián)網(wǎng)臺層，該網(wǎng)絡(luò)系統(tǒng)在縱向上設(shè)有自上而下的下載管理系統(tǒng)和自下而上的上載管理系統(tǒng)；它們和橫向上設(shè)有依次以上下級管理連結(jié)的三層結(jié)構(gòu)共同構(gòu)成該網(wǎng)絡(luò)系統(tǒng)的分布式計算模式和閉合環(huán)境運行模式，可以靈活地實現(xiàn)對客戶端的管理，高效利用分布在組織內(nèi)部的各種資源，實現(xiàn)系統(tǒng)的有效管理和安全控制，又能夠?qū)崿F(xiàn)系統(tǒng)的不間斷運行和無限擴展。
文檔編號G06F17/00GK1412691SQ02147268
公開日2003年4月23日 申請日期2002年10月21日 優(yōu)先權(quán)日2001年10月21日
發(fā)明者梁亮 申請人:天象網(wǎng)絡(luò)技術(shù)(上海)有限公司