專利名稱：在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)的制作方法
技術領域：
本發(fā)明公開了在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，屬于無線通信的技術領域
背景技術：
隨著社會的信息化發(fā)展，很多部門也逐步建立各自的業(yè)務信息系統(tǒng)，但由于部門間共享理念和共享技術方面的原因，導致位于不同地理位置的各部門雖然都各自擁有足夠充分的數(shù)據(jù)，但這些數(shù)據(jù)仍然沒有被有效共享而集中利用起來。而且即使在同一部門中，由于各業(yè)務系統(tǒng)建立時間和提供商不同，各系統(tǒng)的數(shù)據(jù)存在形式、來源和記錄格式也各不相同，這也為異構自治系統(tǒng)間實現(xiàn)數(shù)據(jù)共享帶來不便。同時，隨著社會高速發(fā)展，很多企業(yè)部門對數(shù)據(jù)的“實時性”需求也越來越高，因為數(shù)據(jù)實時性越高，將更有利于企業(yè)部門高層做出更及時、更準確的決策。因此綜上所述，在這些企業(yè)部門間建立一個整合了各系統(tǒng)數(shù)據(jù)的“實時數(shù)據(jù)共享云”，以實現(xiàn)完成各部門、各系統(tǒng)的數(shù)據(jù)實時共享，對各企業(yè)部門的高端決策具有很大意義。目前關于通過多系統(tǒng)間數(shù)據(jù)集成最終實現(xiàn)數(shù)據(jù)共享的方法與系統(tǒng)也有很多，但是這些方法與系統(tǒng)對數(shù)據(jù)共享的實時性都還不高。

發(fā)明內容
本發(fā)明所要解決的技術問題是針對上述背景技術的不足，提供了在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)。本發(fā)明為實現(xiàn)上述發(fā)明目的采用如下技術方案:
在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，包括實時監(jiān)測模塊、文件審核模塊、實時處理模塊；
所述實時監(jiān)測模塊，用于實時監(jiān)測異構自治系統(tǒng)的數(shù)據(jù)更新情況，將獲取的實時數(shù)據(jù)傳輸至文件審核模塊；
所述文件審核模塊，用于從獲取的實時數(shù)據(jù)中挑選目標數(shù)據(jù)文件，審核目標數(shù)據(jù)文件的正確性以及實時性,將通過目標文件正確性以及實時性審核的目標數(shù)據(jù)文件傳輸至實時處理模塊；
所述實時處理模塊，用于根據(jù)目標數(shù)據(jù)文件格式提取需要的數(shù)據(jù)，審核數(shù)據(jù)正確性、刪除重復數(shù)據(jù)，將唯一正確的數(shù)據(jù)傳輸至數(shù)據(jù)共享云。所述在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)中，實時處理模塊得到唯一正確數(shù)據(jù)后，按照異構自治系統(tǒng)對共享數(shù)據(jù)的需求把唯一正確的數(shù)據(jù)處理為直接共享的數(shù)據(jù)。所述在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，還包括文件優(yōu)先級審核模塊；
所述文件優(yōu)先級審核模塊，用于向通過文件審核模塊審核的目標數(shù)據(jù)文件添加優(yōu)先級
信息，實時處理模塊根據(jù)目標數(shù)據(jù)文件攜帶的優(yōu)先級信息按序處理目標數(shù)據(jù)文件。所述在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，還包括實時推送模塊；
所述實時推送模塊，用于將實時處理模塊得到的數(shù)據(jù)實時推送至異構自治系統(tǒng)。本發(fā)明采用上述技術方案，具有以下有益效果:根據(jù)各異構自治系統(tǒng)數(shù)據(jù)的存儲形式和數(shù)據(jù)特征，制定相應監(jiān)測方案實時監(jiān)測各類數(shù)據(jù)，并通過審核數(shù)據(jù)文件的正確性以及實時性，按照優(yōu)先級處理數(shù)據(jù)文件得到直接共享數(shù)據(jù)，提高了異構自治系統(tǒng)間實時數(shù)據(jù)共享的效率。


圖1為在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)的架構圖。圖2為實時監(jiān)測模塊實時監(jiān)測數(shù)據(jù)更新的示意圖。圖3文件審核模塊審核實時數(shù)據(jù)文件示意圖。圖4為實時處理模塊處理數(shù)據(jù)文件的示意圖。圖5為實時推送模塊推送數(shù)據(jù)的示意圖。
具體實施例方式下面結合附圖對發(fā)明的技術方案進行詳細說明:
在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，如圖1所示。異構自治系統(tǒng)中，部門一有系統(tǒng)
1、系統(tǒng)2，部門_M由系統(tǒng)3、系統(tǒng)4，部門M有系統(tǒng)1、系統(tǒng)2、系統(tǒng)k,，部門N有系統(tǒng)m、系統(tǒng)η。每一個子系統(tǒng)中的數(shù)據(jù)構成目標數(shù)據(jù)源。實時監(jiān)測模塊、文件審核模塊、文件優(yōu)先級審核模塊、實時處理模塊、實時推送模塊構成本發(fā)明所述的在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)。實時監(jiān)測模塊，用于實時監(jiān)測異構自治系統(tǒng)的數(shù)據(jù)更新情況，將獲取的實時數(shù)據(jù)傳輸至文件審核模塊。文件審核模塊，用于從獲取的實時數(shù)據(jù)中挑選目標數(shù)據(jù)文件，審核目標數(shù)據(jù)文件的正確性以及實時性，將通過目標文件正確性以及實時性審核的目標數(shù)據(jù)文件傳輸至文件優(yōu)先級審核模塊。文件優(yōu)先級審核模塊向通過文件審核模塊審核的目標數(shù)據(jù)文件添加優(yōu)先級信息，實時處理模塊根據(jù)目標數(shù)據(jù)文件攜帶的優(yōu)先級信息按序處理目標數(shù)據(jù)文件。實時處理模塊根據(jù)目標數(shù)據(jù)文件格式:提取需要的數(shù)據(jù)、審核數(shù)據(jù)正確性、刪除重復數(shù)據(jù)得到唯一正確的數(shù)據(jù)，將唯一正確的數(shù)據(jù)處理為直接共享的數(shù)據(jù)，將直接共享的數(shù)據(jù)傳輸至數(shù)據(jù)共享云。實時推送模塊將實時處理模塊得到的數(shù)據(jù)實時推送至異構自治系統(tǒng)。系統(tǒng)安全性模塊，是在系統(tǒng)在與目標數(shù)據(jù)源進行數(shù)據(jù)傳輸前需完成的一個安全認證模塊，以確保各部門系統(tǒng)數(shù)據(jù)使用過程中的安全性，當系統(tǒng)在初始時通過了安全性認證，那么后續(xù)模塊都不再需要進行認證，對系統(tǒng)其余模塊“透明”。實時監(jiān)測模塊如圖2所示，根據(jù)目標數(shù)據(jù)源的格式采取各種數(shù)據(jù)格式對應的監(jiān)測方式監(jiān)測數(shù)據(jù)更新:
(1)本地數(shù)據(jù)文件:可采用本地文件監(jiān)測，目前幾種框架都支持對本地文件的實時監(jiān)測方法，比如.NET Framework中FileSystemWatcher類可以偵聽文件系統(tǒng)更改通知，并在目錄或目錄中的文件發(fā)生更改時引發(fā)事件；
(2)異地數(shù)據(jù)文件:可采用將異地數(shù)據(jù)文件路徑以“映射盤”的形式映射為本地路徑，然后再采用(1)方法；
(3)FTP數(shù)據(jù)文件:主要是采用“定時掃描”的方式，即指每隔指定時間后對所有文件進行一次掃描，以發(fā)現(xiàn)這段時間內是否有新增文件或文件發(fā)生變化。系統(tǒng)主要結合FTP文件更新頻率設置系統(tǒng)定時掃描頻率。對于具有固定文件更新頻率(即每隔固定時間更新一次文件)的FTP服務器，系統(tǒng)主要按照文件的更新頻率設置系統(tǒng)掃描頻率。而對于沒有固定文件更新頻率的FTP服務器，系統(tǒng)掃描頻率主要根據(jù)實時性要求和系統(tǒng)與FTP服務器負荷而定。系統(tǒng)掃描頻率就越高，對系統(tǒng)與FTP服務器負荷就越大，所以在保證系統(tǒng)和FTP服務器正常運行的前提下，實時性要求越高，掃描頻率就越高，反之相反；
(4)數(shù)據(jù)庫數(shù)據(jù):針對不同要求，可以分為兩種，一種是數(shù)據(jù)庫主動通知的方法，主要包括:觸發(fā)器法、日志法、廣播法，還有一種為被動式的方法，由其他系統(tǒng)定時掃描數(shù)據(jù)庫以發(fā)現(xiàn)最近更新的目標數(shù)據(jù)。文件審核模塊按照圖3所示流程審核實時數(shù)據(jù)文件:
(O目標文件審核模塊:從實時數(shù)據(jù)文件中挑選目標數(shù)據(jù)文件，通過目標文件審核的實時數(shù)據(jù)進入下一步驟；否則，停止處理數(shù)據(jù)；
(2)文件正確性初審模塊:檢測目標數(shù)據(jù)文件的正確性，對于錯誤數(shù)據(jù)不再進行處理，對于正確數(shù)據(jù)進行下一步驟審核；
(3)文件實時性審核模塊:對于有實時性限制的數(shù)據(jù)(如:預警數(shù)據(jù))，設置最大實時時延值，將數(shù)據(jù)文件“生存時間”與最大實時時延值對比，其中文件的“生存時間”由系統(tǒng)實際處理時間減去文件最后更新時間得到，若該數(shù)據(jù)文件的“生存時間”大于最大實時時延值則不處理該數(shù)據(jù)文件；否則，將該數(shù)據(jù)文件傳輸至文件優(yōu)先級審核模塊。由于系統(tǒng)可能會出現(xiàn)某一時間段需要處理的文件過多且數(shù)據(jù)處理較為復雜，占用系統(tǒng)資源較大，導致超過系統(tǒng)的實際負荷，所以系統(tǒng)在文件審核模塊后添加了 “文件優(yōu)先級審核模塊”，該模塊將按照制定一定的“并行處理策略”以實現(xiàn)各數(shù)據(jù)文件“有序的”并行實時處理。具體的“并行處理策略”可以按照各部門對數(shù)據(jù)實時性的需求來制定，本發(fā)明主要通過以下幾方面考慮:
(1)設置系統(tǒng)最多同時并行處理指定數(shù)量的數(shù)據(jù)文件。具體數(shù)量由系統(tǒng)能承擔的負荷和實際文件更新頻率而定；
(2)制定文件“處理優(yōu)先級”。其中，根據(jù)客戶對各數(shù)據(jù)的實時需求，實時需求較高的“處理優(yōu)先級”較高，反之，實時需求較低的“處理優(yōu)先級”也較低；
(3)對于同一“處理優(yōu)先級”的多個數(shù)據(jù)文件，根據(jù)文件的更新時間，優(yōu)先處理較早更新的數(shù)據(jù)文件，根據(jù)各數(shù)據(jù)的不同需求，也可以優(yōu)先處理更新時間較近的文件。實時處理模塊按照圖5所示的流程圖處理數(shù)據(jù)文件。經過文件優(yōu)先級審核模塊，已賦予了文件優(yōu)先級的各數(shù)據(jù)文件已被交予實時處理模塊，該模塊將按照各文件的優(yōu)先級進行有序的并行實時處理。而各文件的具體處理細節(jié)將按照各數(shù)據(jù)文件的要求而不同，各業(yè)務部門也將按照各自對數(shù)據(jù)的需求添加相對應的處理細節(jié)。一般對數(shù)據(jù)文件的處理主要包括以下幾個步驟:
(I)數(shù)值提取:由于涉及部門之廣、系統(tǒng)之多，數(shù)據(jù)類型和格式也各不一樣，所以本步驟主要按照各數(shù)據(jù)文件的格式從文件中提取所需要的數(shù)據(jù)。(2)數(shù)據(jù)正確性審核:當完成對數(shù)據(jù)文件的數(shù)值提取后，還需要經過數(shù)據(jù)的正確性審核。由于包括多個部門多個系統(tǒng)的數(shù)據(jù)，數(shù)據(jù)的類型各不一樣，所以各數(shù)據(jù)具體的審核標準也需要按照各數(shù)據(jù)的正確性標準而定，因此數(shù)據(jù)類型不同，數(shù)據(jù)的審核標準也各不一樣。(3)數(shù)據(jù)去重:由于一個部門中不同的系統(tǒng)間也會存在相同的數(shù)據(jù)，甚至在不同的部門間也會發(fā)生數(shù)據(jù)重復的情況，所以基于“數(shù)據(jù)唯一性”以及“節(jié)省系統(tǒng)資源”等方面考慮，需要將重復的數(shù)據(jù)進行刪除。(4)數(shù)據(jù)處理:當完成數(shù)據(jù)的提取、正確性審核和去重后，因不同系統(tǒng)的數(shù)據(jù)需求，有的數(shù)據(jù)可以直接保存到“實時數(shù)據(jù)共享云”中，也有部分數(shù)據(jù)還需要經過一系列的處理才能被其他使用，主要包括:
a數(shù)據(jù)簡單處理:主要包括數(shù)值計算和數(shù)值統(tǒng)計等處理；
b數(shù)據(jù)復雜處理:對于一些具有業(yè)務特性的數(shù)據(jù)，所做的處理也會相對復雜。比如對于具有時空特性的空間數(shù)據(jù)，一般還要包括插值計算、提取等值線/等值面、平滑和圖層疊加
等處理。經過實時處理模塊處理后的數(shù)據(jù)將被統(tǒng)一保存到實時數(shù)據(jù)共享云中，實現(xiàn)了完成各部門、各自治系統(tǒng)間的數(shù)據(jù)實時共享。實時推送模塊如圖5所示，對于部分系統(tǒng)數(shù)據(jù)對于數(shù)據(jù)“高實時性”的要求，在經過數(shù)據(jù)實時處理模塊的實時處理后，數(shù)據(jù)實時推送模塊將實時將完成把各部門系統(tǒng)所需要的指定數(shù)據(jù)“實時主動地”推送到各對應的系統(tǒng)，或者實時發(fā)出消息通知系統(tǒng)去“實時數(shù)據(jù)共享云”中獲取指定的數(shù)據(jù)。綜上所述，本發(fā)明具有以下優(yōu)點:
(1)文件審核模塊通過正確性驗證濾除錯誤數(shù)據(jù)，減少了資源浪費；對于有實時性限制的數(shù)據(jù)進行實時性審核，略去沒有實時性的數(shù)據(jù)，這也減少了資源浪費；
(2)文件優(yōu)先級審核模塊給待共享數(shù)據(jù)文件排序，緩解了數(shù)據(jù)共享高峰時系統(tǒng)的負荷，提聞了數(shù)據(jù)共孚效率；
(3)實時處理模塊對于已經挑選出的目標數(shù)據(jù)根據(jù)異構自治系統(tǒng)需求處理目標數(shù)據(jù)得到可以直接共享的數(shù)據(jù)，不需要異構自治系統(tǒng)處理目標數(shù)據(jù)才能得到共享數(shù)據(jù)，使得數(shù)據(jù)共享更加直接；
(4)實施推送模塊及時推送數(shù)據(jù)只需求異構自治系統(tǒng)，提高了數(shù)據(jù)共享效率。
權利要求
1.在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，其特征在于，包括實時監(jiān)測模塊、文件審核模塊、實時處理模塊； 所述實時監(jiān)測模塊，用于實時監(jiān)測異構自治系統(tǒng)的數(shù)據(jù)更新情況，將獲取的實時數(shù)據(jù)傳輸至文件審核模塊； 所述文件審核模塊，用于從獲取的實時數(shù)據(jù)中挑選目標數(shù)據(jù)文件，審核目標數(shù)據(jù)文件的正確性以及實時性,將通過目標文件正確性以及實時性審核的目標數(shù)據(jù)文件傳輸至實時處理模塊； 所述實時處理模塊，用于根據(jù)目標數(shù)據(jù)文件格式提取需要的數(shù)據(jù)，審核數(shù)據(jù)正確性、刪除重復數(shù)據(jù)，將唯一正確的數(shù)據(jù)傳輸至數(shù)據(jù)共享云。
2.根據(jù)權利要求1所述的在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，其特征 在于，所述實時處理模塊得到唯一正確數(shù)據(jù)后，按照異構自治系統(tǒng)對共享數(shù)據(jù)的需求把唯一正確的數(shù)據(jù)處理為直接共享的數(shù)據(jù)。
3.根據(jù)權利要求2所述在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，其特征 在于，所述在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)還包括文件優(yōu)先級審核模塊； 所述文件優(yōu)先級審核模塊，用于向通過文件審核模塊審核的目標數(shù)據(jù)文件添加優(yōu)先級信息，實時處理模塊根據(jù)目標數(shù)據(jù)文件攜帶的優(yōu)先級信息按序處理目標數(shù)據(jù)文件。
4.根據(jù)權利要求2或3所述的在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，其特征在于，所述在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)還包括實時推送模塊； 所述實時推送模塊，用于將實時處理模塊得到的數(shù)據(jù)實時推送至異構自治系統(tǒng)。
全文摘要
本發(fā)明公開了在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)，屬于無線通信的技術領域。所述在異構自治系統(tǒng)間實時共享數(shù)據(jù)的系統(tǒng)包括實時監(jiān)測模塊、文件審核模塊、文件優(yōu)先級審核模塊、實時處理模塊、實時推送模塊。本發(fā)明通過審核數(shù)據(jù)文件的正確性以及實時性，按照優(yōu)先級處理數(shù)據(jù)文件得到直接共享數(shù)據(jù)，提高了數(shù)據(jù)共享的效率。
文檔編號H04L29/08GK103179203SQ201310077990
公開日2013年6月26日 申請日期2013年3月12日 優(yōu)先權日2013年3月12日
發(fā)明者耿煥同, 黃濤, 賈婷婷, 薛豐昌 申請人:南京信息工程大學