專利名稱：電網實時數據集成與共享平臺的制作方法
技術領域：
本發(fā)明涉及數據集成與共享領域，尤其涉及一種電網實時數據集成與共享平臺。
背景技術：
在電網越來越大、越來越復雜的形勢下，電網運行的安全穩(wěn)定，尤其是電網的優(yōu)化 運行已不僅是調度運行人員責任，而是企業(yè)管理層、決策層人員共同的責任。電網運行的 實時數據不僅調度人員需要，而且企業(yè)各級管理人員都需要。在電網企業(yè)的遺留系統(tǒng)普遍 缺乏統(tǒng)一數據規(guī)劃的形勢下，如何把當前企業(yè)各應用子系統(tǒng)中的數據進行規(guī)范化的處理和 轉儲形成視圖，建立數據倉庫，再在數據倉庫的基礎上，針對企業(yè)的應用需求建立主題數據 庫，進行數據挖掘，提供一個統(tǒng)一、透明的數據共享服務，以滿足企業(yè)的各種數據應用需求， 成為電網實時數據整合的關鍵問題。現有的技術都是通過編寫專門的計算機接口程序或者 人工匯總錄入的方式實現電網數據的整合，數據的一致性、完整性和時效性現有技術都難 以得到保障。

發(fā)明內容
本發(fā)明的目的在于提供一種實現一個多源異構數據的集成與共享的電網實時數 據集成與共享平臺。為了實現上述目的本發(fā)明采用的技術方案如下本發(fā)明電網實時數據集成與共享平臺包含兩個子系統(tǒng)實時數據的信息集成平臺 和基于所述的集成平臺的數據共享平臺，兩個子系統(tǒng)之間通過軟件總線相聯；所述的信息集成平臺包含源數據庫分散于電網企業(yè)的電網數據系統(tǒng)中，負責存儲電網數據系統(tǒng)采集的原 始數據；適配器負責接收所述源數據庫中的原始數據，包括三種類型關系型數據庫通 用數據集成適配器，負責處理各類關系型數據；文本型數據適配器，負責處理文本類型的數 據源文件；實時數據適配器，負責采集實時數據的收集；目標庫為分布式的數據庫，負責暫時存儲所述實時數據適配器收集的數據；數據倉庫為用于集中存儲所述各適配器采集的數據的數據庫；歸檔程序對所述目標庫中的實時數據進行處理，把處理過的數據存入所述數據 倉庫；所述的數據共享平臺包括源數據管理模塊用來管理系統(tǒng)平臺中的源數據，包括 實時數據源和需要采集的測點的配置，適配器的配置以及適配器對應的目標庫配置、歸檔 信息配置；所述的信息集成平臺還包括任務分配和負載平衡模塊根據所述的源數據管理模 塊預先定義好的各類元數據信息，初始化執(zhí)行環(huán)境，生成各項任務；對電網實時數據的采集 任務進行分配和負載平衡，為各項任務分配合適的數據訪問適配器和目標庫，把所述的關系型數據庫通用數據集成適配器和文本型數據適配器采集的數據直接通過軟件總線存入 所述數據倉庫，把所述實時數據適配器采集的數據送到分配好的目標庫。所述的關系型數據庫通用數據集成適配器包括數據源配置模塊根據用戶的指令添加數據源配置、修改數據源配置、新添數據類 型；方案配置模塊用來實現添加數據采集、傳輸、處理方案、刪除方案、管理方案、執(zhí) 行方案功能；任務調度及監(jiān)控模塊負責調用方案配置模塊定義的任務，并監(jiān)控任務的整個執(zhí) 行過程；日志模塊用來記錄系統(tǒng)日志、報警日志、歷史日志，系統(tǒng)日志包含平臺啟動后的 所有日志信息；報警日志包含所有報警方案的信息；歷史日志查看中包括查看歷史系統(tǒng)日 志和歷史報警日志；所有的日志信息，是以天為單位，進行分類寫入文本文件；所述的實時數據適配器包含緩沖管理器和通訊控制模塊，所述通訊控制模塊接受 來自所述的任務分配和負載平衡模塊指令，控制緩沖管理器的寫、讀線程。所述的數據倉庫存儲測點基本信息的基本信息表采用靜態(tài)表結構數據表；存儲測 點的記錄數據采用至少一張橫縱表結構、動態(tài)數據存儲模式的數據表，數據表的每一列對應 一個測點、存儲該測點的記錄數據，數據表的每一行存儲某個時刻所有列對應的測點的數據。所述的數據共享平臺還包括統(tǒng)一權限控制模塊，用來實現統(tǒng)一的數據訪問控制，所述的統(tǒng)一權限控制模塊中 設置多個角色，每個角色對應一定的功能，每個用戶沒有或者擁有一個或者擁有多個角色， 子角色繼承父角色擁有的所有功能；所屬的統(tǒng)一權限控制模塊中還設置IP訪問控制列表，用來配置允許訪問的IP和 允許訪問部分功能的IP，如果某個IP不允許訪問，則不再該表中出現；或者先配置一個網 段可以訪問，然后再禁止其中某一個需要禁止的IP。本發(fā)明的有益效果如下本發(fā)明實現了一個多源異構數據集成與共享平臺，提供對不同數據類型、不同時 間響應要求、不同數據源的數據進行規(guī)約化處理、標準化傳輸、同一性存儲的數據集成功 能；同時提供高性能數據存取調度功能，滿足各種響應速度的應用要求，為不同類型的數據 源提供相應的“數據適配器”，為不同的數據采集提供實時的處理響應，為不同的數據訪問 提供訪問接口。同時，提供統(tǒng)一的數據訪問控制，提供標準的元數據管理，實時監(jiān)視平臺的 運行狀況和合理配置和管理平臺資源。


圖1為本發(fā)明電網實時數據集成與共享平臺體系結構圖；圖2為主細表遷移模式圖；圖3為分布式目標庫結構圖。
具體實施例方式參見附圖1，本發(fā)明包括兩大部分實時數據的信息集成平臺和基于集成平臺的數據共享平臺，兩個平臺子系統(tǒng)之間通過軟件總線相聯；其中，所述的信息集成平臺包含 源數據庫、適配器、目標庫、歸檔程序、數據倉庫、任務分配和負載平衡模塊，所述的源數據 庫可以是文本庫、關系庫、實時庫，針對不同的數據庫，適配器包含關系型數據庫通用數據 集成適配器、文本型數據適配器、實時數據適配器；所述的數據共享平臺包括源數據管理 模塊，統(tǒng)一權限控制模塊，報表和其他業(yè)務模塊可以按需開發(fā)，通過軟件總線方便快捷的集 成到系統(tǒng)中。系統(tǒng)工作時，源數據管理模塊接受用戶的指令，配置實時數據源和需要采集的測 點的配置，適配器的配置以及適配器對應的目標庫配置、歸檔信息配置一系列信息，任務分 配和負載平衡模塊根據源數據管理模塊中的配置信息，初始化執(zhí)行環(huán)境，生成各項任務，并 為各項任務分配合適的數據訪問適配器和目標庫，關系型數據庫通用數據集成適配器和文 本型數據適配器根據所述任務分配和負載平衡模塊的指令將采集到的數據通過軟件總線 直接存儲到數據倉庫，實時數據適配器采集的數據則在任務分配和負載平衡模塊的指令 下，首先存入目標庫，歸檔程序在對目標庫中的實時數據處理以后存入數據倉庫。所述的關系型數據庫通用數據集成適配器處理的關系型數據可以是ORACLE、 SQLSERVER、Access、DB2、SYSBASE 等類型。所述的關系型適配器中方案配置模塊可以配置的方案包括三類，分別是通用單 表映射方案、通用多表映射方案和單獨映射方案，用戶可以選擇方案的類型，方案的執(zhí)行周 期，平臺可以根據字段的名稱，匹配源表與目的表字段間的映射關系，也能夠人工地進行配置。所述的通用單表映射方案包括全量更新模式、增量模式、主細表模式。所述的全量更新模式是將源數據表中的數據整體向目的表遷移，主要用于靜態(tài)數 據表的更新，通過關鍵字段“逐條比對”，如果關鍵字段值在目的表中已存在，則更新目的表 對應記錄的相應值，否則插入記錄。全量模式自定義表達式如下Total = {key = #，Condition = # ;#}其中” #”代表默認不設置情況；key對應目的表的主鍵ID的生成規(guī)則，比如針對 Oracle數據庫可設定一個序列名key = seq_salt, condition為源表的數據篩選條件，用 于“逐條比對”，通過“；”分隔可設置多個條件，比如Condition = name ；age，其中name和 age代表源表的兩個條件字段。所述的增量模式，即保證在上一次已經傳輸過的數據只要在這期間沒有任何變 動，下一次傳輸時將被忽略，由于數據源的異構性，當前的技術難以實現通用的增量數據抽 取。針對電網數據的特點，本發(fā)明通過增量標識字段逐條比對的的方式來實現，所述的增量 標識字段是時間戳字段或者ID自增字段或者任何具有增量性質的字段，如果數據源表不 含具有增量性質的字段，則采用關鍵字段“逐條比對”的方式實現數據遷移，所述的關鍵字 段為組合成主鍵的字段，如果關鍵字段值在目的表中已存在則忽略此記錄，否則插入新記 錄。增量模式表達式如下Incremental = {key = #，Condition = # ；#，Inc = #}式中“he”用來標識增量字段，比如“Inc = YMD”，表示將“YMD”時間字段作為 增量標識字段；任務執(zhí)行完畢后，系統(tǒng)將記錄“YMD”字段的當前值以供下次任務執(zhí)行時生 成 sqli吾句。比如 “select*from saltreal where YMD > 2009-02—26083020”，其中“2009-02-2608 30:20”就是系統(tǒng)記錄的“YMD”字段的值。所述的主細表遷移模式，在數據庫應用系統(tǒng)的開發(fā)過程中，往往用外碼來保證參 照實體間的數據一致性，這種有參照關系的表稱為主細表。主細表模式可以保證數據的完 整性，一致性，可用性，避免“臟”數據的產生，具有很高的實用意義。主細表模式表達式如 下Main-sub = {Key = #，Inc = #，condition = # ;#MT = #，SF = #:#;#:#，RF = #:#}MT對應的是主表名(靜態(tài)信息表)；SF對應源表字段與主表字段的映射關系；RF 對應主表字段與細表字段的映射關系；在向細表進行數據遷移執(zhí)行過程中將根據SF的設 置查詢主表，并根據RF的設置將查詢結果集映射到細表中。參見附圖2，如上圖例所示:"MT = TOWERLEANINFOR, SF =線路號=LINE ；Sim PHONE, RF = ID :PRIMARY_ID, Key = seq_email. nextval, Inc = B^ |1]， condition = TIME ； ” TOWERLEANINFOR是主表名；線路號LINE表示源表的線路號字段和動態(tài)表的LINE 字段對應；ID :PRIMARY_ID表示靜態(tài)表ID與動態(tài)表PID的對應；seq_email. nextval是目 的表數據庫中的序列；TIME是目的表的條件字段，判斷該數據是否已經導入；“時間”是源 表增量字段。所述的通用多表映射方案是為了提高系統(tǒng)的應用性能而對通用單表任務的一個 擴展，多表方案是將更新頻度相近且實時性要求不高的若干任務組成一個組方案，組方案 中的各個任務共享一個線程順序執(zhí)行。所述的單獨映射方案，是指對于系統(tǒng)中尚未定義的某種類型的數據遷移與同步任 務，用戶可以編寫獨立的程序，并將其打成jar包供系統(tǒng)調用執(zhí)行。所述的目標庫為分布式的數據庫，保存經實時數據適配器處理過的數據，提供給 上層的應用系統(tǒng)和歸檔程序使用。目標庫設計為分布式的數據庫，可以快速響應業(yè)務系統(tǒng) 的實時性要求和歸檔程序的歸檔請求。參見附圖3，目標庫在邏輯上是分布式的數據庫，其物理上可以是一個或幾個數據 庫系統(tǒng)構成，可以通過元數據管理來動態(tài)調整和分配每個適配器對應的目標數據庫。其目 的是滿足應用系統(tǒng)對實時數據的高實時性要求，以及防止網絡故障情況下直接存儲數據倉 庫而造成歷史數據的丟失，對實時數據進行“暫存”。目標庫通常存儲5分鐘內的電網運行 實時數據(具體時間通過元數據進行配置)，數據歸檔程序將其處理處理完畢后立即清除， 數據檢索具有很高的響應速度。所述的數據倉庫存儲測點基本信息的基本信息表采用靜態(tài)表結構數據表，所謂 靜態(tài)表是指數據表及表結構、表中的內容相對不變的數據表。在實時數據存儲設計中，用 靜態(tài)表描述和記錄各個監(jiān)測點的基本信息。所述的基本信息表可以分為Measeure表和 MeasureClass表兩類。Measure表記錄了測點的基本信息測點的名稱，測點的編碼，測點 分類，測點值的上下限、單位及數據精度，測點值對用的表ID及字段ID。MeasureClass表 將系統(tǒng)的各類測點進行了歸類。所述的數據倉庫存儲測點的記錄數據采用至少一張橫縱表結構數據表，數據表的 每一列對應一個測點、存儲該測點的記錄數據，數據表的每一行存儲某個時刻所有列對應 的測點的數據。通常電網實時數據管理系統(tǒng)所采用的表結構是縱表結構，即每一行對應一個測點，一條記錄存儲一個測點的信息。在沒有歷史數據存儲的的情況下，采用縱向表結構 是方便的，但在以歷史數據存儲為重點的實時數據應用系統(tǒng)中，采用縱向表結構就會使數 據存儲、數據使用，尤其是數據挖掘帶來困難。而且，在本發(fā)明這種存儲模式下，消除了數據 冗余，數據庫存儲空間的利用率高。在存儲測點數據之前，通過所述的元數據管理模塊配置測點數據所存儲的表號和 列號。所述的歸檔程序將目的庫中的實時數據按照橫縱表結構規(guī)則進行歸檔，存入數據 倉庫，為數據挖掘提供保障。歸檔任務可以手工執(zhí)行和自動執(zhí)行，實現數據的自動復制，批 量處理，定時處理。所述的統(tǒng)一權限控制模塊中設置多個角色，每個角色對應一定的功能，每個用戶 可以擁有一個或者多個角色，子角色繼承父角色擁有的所有功能。所屬的統(tǒng)一權限控制模塊中還設置IP訪問控制列表，用來配置允許訪問的IP和 允許訪問部分功能的IP，如果某個IP不允許訪問，則不再該表中出現；或者先配置一個網 段可以訪問，然后再禁止其中某一個需要禁止的IP ；所有IP只有在該表中出現且允許才能 訪問，如果某個IP出現在該表中但某個功能ID被禁止，則該功能無法訪問；IP訪問控制列 表如表1所示表IIP訪問控制列表
權利要求
1.電網實時數據集成與共享平臺，其特征在于包含兩個子系統(tǒng)實時數據的信息集 成平臺和基于所述的集成平臺的數據共享平臺，兩個子系統(tǒng)之間通過軟件總線相聯；所述的信息集成平臺包含源數據庫分散于電網企業(yè)的電網數據系統(tǒng)中，負責存儲電網數據系統(tǒng)采集的原始數據；適配器負責接收所述源數據庫中的原始數據，包括三種類型關系型數據庫通用數 據集成適配器，負責處理各類關系型數據；文本型數據適配器，負責處理文本類型的數據源 文件；實時數據適配器，負責采集實時數據的收集；目標庫為分布式的數據庫，負責暫時存儲所述實時數據適配器收集的數據；數據倉庫為用于集中存儲所述各適配器采集的數據的數據庫；歸檔程序對所述目標庫中的實時數據進行處理，把處理過的數據存入所述數據倉庫；所述的數據共享平臺包括源數據管理模塊用來管理系統(tǒng)平臺中的源數據，包括實時 數據源和需要采集的測點的配置，適配器的配置以及適配器對應的目標庫配置、歸檔信息 配置；所述的信息集成平臺還包括任務分配和負載平衡模塊根據所述的源數據管理模塊預 先定義好的各類元數據信息，初始化執(zhí)行環(huán)境，生成各項任務；對電網實時數據的采集任務 進行分配和負載平衡，為各項任務分配合適的數據訪問適配器和目標庫，把所述的關系型 數據庫通用數據集成適配器和文本型數據適配器采集的數據直接通過軟件總線存入所述 數據倉庫，把所述實時數據適配器采集的數據送到分配好的目標庫。
2.權利要求1所述的電網實時數據集成與共享平臺，其特征在于所述的關系型數據 庫通用數據集成適配器包括數據源配置模塊根據用戶的指令添加數據源配置、修改數據源配置、新添數據類型； 方案配置模塊用來實現添加數據采集、傳輸、處理方案、刪除方案、管理方案、執(zhí)行方 案等功能；任務調度及監(jiān)控模塊負責調用方案配置模塊定義的任務，并監(jiān)控任務的整個執(zhí)行過程；日志模塊用來記錄系統(tǒng)日志、報警日志、歷史日志，系統(tǒng)日志包含平臺啟動后的所有 日志信息；報警日志包含所有報警方案的信息；歷史日志查看中包括查看歷史系統(tǒng)日志和 歷史報警日志；
3.權利要求2所述的電網實時數據集成與共享平臺，其特征在于所述的關系型適配 器中方案配置模塊的配置方案包括通用單表映射方案，所述的通用單表映射方案采用全量 更新模式用于靜態(tài)數據表的更新，將關鍵字段“逐條比對”，如果關鍵字段值在目的表中已 存在，則更新目的表對應記錄的相應值，否則插入記錄。
4.權利要求2所述的電網實時數據集成與共享平臺，其特征在于所述的通用單表映 射方案的更新模式包括增量模式，通過增量標識字段逐條比對的的方式來實現，所述的增 量標識字段是時間戳字段或者ID自增字段或者任何具有增量性質的字段，如果數據源表 不含具有增量性質的字段，則采用關鍵字段“逐條比對”的方式實現數據遷移，所述的關鍵 字段為組合成主鍵的字段，如果關鍵字段值在目的表中已存在則忽略此記錄，否則插入新記錄。
5.權利要求2所述的電網實時數據集成與共享平臺，其特征在于所述的通用單表映 射方案的更新模式包括主細表模式。
6.權利要求2所述的電網實時數據集成與共享平臺，其特征在于所述的關系型適配 器中方案配置模塊的配置方案包括通用多表映射方案，所述的通用多表映射方案將更新頻 度相近且實時性要求不高的若干任務組成一個組方案，組方案中的各個任務共享一個線程 順序執(zhí)行。
7.權利要求1所述的電網實時數據集成與共享平臺，其特征在于所述的實時數據適 配器包含緩沖管理器和通訊控制模塊，所述通訊控制模塊接受來自所述的任務分配和負載 平衡模塊指令，控制緩沖管理器的寫、讀線程。
8.權利要求1所述的電網實時數據集成與共享平臺，其特征在于所述的數據倉庫存 儲測點基本信息的基本信息表采用靜態(tài)表結構數據表；存儲測點的記錄數據采用至少一張 橫縱表結構、動態(tài)數據存儲模式的數據表，數據表的每一列對應一個測點、存儲該測點的記 錄數據，數據表的每一行存儲某個時刻所有列對應的測點的數據。
9.權利要求8所述的電網實時數據集成與共享平臺，其特征在于所述的基本信息表 分為Measeure表和MeasureClass表兩類，Measure表記錄了測點的基本信息測點的名 稱，測點的編碼，測點分類，測點值的上下限、單位及數據精度，測點值對用的表ID及字段 ID, MeasureClass表將系統(tǒng)的各類測點進行了歸類。
10.權利要求1所述的電網實時數據集成與共享平臺，其特征在于所述的數據共享平 臺還包括統(tǒng)一權限控制模塊，用來實現統(tǒng)一的數據訪問控制，所述的統(tǒng)一權限控制模塊中設置 多個角色，每個角色對應一定的功能，每個用戶沒有或者擁有一個或者擁有多個角色，子角 色繼承父角色擁有的所有功能；所屬的統(tǒng)一權限控制模塊中還設置IP訪問控制列表，用來配置允許訪問的IP和允許 訪問部分功能的IP，如果某個IP不允許訪問，則不再該表中出現；或者先配置一個網段可 以訪問，然后再禁止其中某一個需要禁止的IP。
全文摘要
本發(fā)明公開了一種電網實時數據集成與共享平臺，該平臺包含兩個子系統(tǒng)實時數據的信息集成平臺和基于所述的集成平臺的數據共享平臺，兩個子系統(tǒng)之間通過軟件總線相聯；所述的信息集成平臺通過適配器采集設置在各電網企業(yè)的源數據庫中的數據，存入數據倉庫，供所述的共享平臺使用。本發(fā)明為不同類型的源數據配置不同的適配器，解決了目前電網企業(yè)數據不統(tǒng)一難以整合的問題，同時數據倉庫采用橫縱表結構，將數據表的每一列對應一個測點、存儲該測點的記錄數據，這種存儲方式消除了數據冗余，數據庫存儲空間的利用率提高，有利于數據挖掘。
文檔編號G06F17/30GK102096684SQ200910250789
公開日2011年6月15日 申請日期2009年12月11日 優(yōu)先權日2009年12月11日
發(fā)明者吳克河 申請人:華大天元(北京)電力科技有限公司