專利名稱：一種電力信息系統(tǒng)內(nèi)存數(shù)據(jù)庫(kù)的多節(jié)點(diǎn)集群方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種內(nèi)存數(shù)據(jù)庫(kù)的多節(jié)點(diǎn)集群技術(shù)，應(yīng)用于電力信息系統(tǒng)。
背景技術(shù)：
電力信息系統(tǒng)一般都采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)主要強(qiáng)調(diào)維護(hù)數(shù)據(jù)的完整性、一致性、穩(wěn)定性，一般采用物理磁盤存儲(chǔ)的方式，由于磁盤存取、 內(nèi)外存的數(shù)據(jù)傳遞、緩沖區(qū)管理、排隊(duì)等待及鎖的延遲等使得數(shù)據(jù)庫(kù)I/O不能滿足各類實(shí)時(shí)數(shù)據(jù)處理的應(yīng)用需求，如果將整個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)放入內(nèi)存，使每個(gè)事務(wù)I/O消耗變得極短，則為高速數(shù)據(jù)處理和存儲(chǔ)的應(yīng)用場(chǎng)景提供了有力的支持。為了保證數(shù)據(jù)的安全性，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)基本上都采用多節(jié)點(diǎn)集群方式來(lái)保證數(shù)據(jù)的多節(jié)點(diǎn)存儲(chǔ)和數(shù)據(jù)安全。如果內(nèi)存數(shù)據(jù)庫(kù)管理系統(tǒng)也能實(shí)現(xiàn)多節(jié)點(diǎn)集群部署，則能很好的解決內(nèi)存數(shù)據(jù)庫(kù)的數(shù)據(jù)備份和安全問(wèn)題。本發(fā)明實(shí)現(xiàn)了可以支持多節(jié)點(diǎn)集群方式部署的內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)，在保證數(shù)據(jù)的完整性、一致性、和穩(wěn)定性的同時(shí)極大的提高了數(shù)據(jù)庫(kù)的高速數(shù)據(jù)處理的能力。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)存在的弱點(diǎn)，提出的一種高速內(nèi)存數(shù)據(jù)庫(kù)集群方法。系統(tǒng)通過(guò)提供內(nèi)存數(shù)據(jù)庫(kù)的訪問(wèn)接口服務(wù)封裝，服務(wù)端通過(guò)互備集群部署，保證多節(jié)點(diǎn)的數(shù)據(jù)的互備，提高數(shù)據(jù)的安全性，服務(wù)端通過(guò)擴(kuò)展集群部署，邏輯上提高內(nèi)存的容量，消除物理內(nèi)存小帶來(lái)的存儲(chǔ)約束；將數(shù)據(jù)的存儲(chǔ)、管理都放置在內(nèi)存中， 提高數(shù)據(jù)庫(kù)的I/O速率。本發(fā)明服務(wù)端為內(nèi)存數(shù)據(jù)庫(kù)提供了數(shù)據(jù)初始化和物理磁盤持久化存儲(chǔ)功能，服務(wù)端定期將內(nèi)存中的數(shù)據(jù)以文件的形式保存至磁盤中，每個(gè)內(nèi)存數(shù)據(jù)庫(kù)節(jié)點(diǎn)的存儲(chǔ)文件統(tǒng)一版本信息，在內(nèi)存數(shù)據(jù)庫(kù)啟動(dòng)階段，服務(wù)端向所有內(nèi)存數(shù)據(jù)庫(kù)節(jié)點(diǎn)服務(wù)端(包含自身節(jié)點(diǎn)) 請(qǐng)求最新版本的存儲(chǔ)文件進(jìn)行內(nèi)存數(shù)據(jù)初始化，保證內(nèi)存數(shù)據(jù)庫(kù)啟動(dòng)后數(shù)據(jù)的完整性和一致性，運(yùn)行期間各節(jié)點(diǎn)之間進(jìn)行心跳同步，保證數(shù)據(jù)的時(shí)序同步。本發(fā)明訪問(wèn)接口服務(wù)為內(nèi)存數(shù)據(jù)庫(kù)集群提供網(wǎng)絡(luò)TCP/IP協(xié)議安全認(rèn)證訪問(wèn)，當(dāng)接收到連接請(qǐng)求，訪問(wèn)接口服務(wù)與請(qǐng)求方建立連接、進(jìn)行事務(wù)登記后向服務(wù)端進(jìn)行數(shù)據(jù)請(qǐng)求，訪問(wèn)接口服務(wù)根據(jù)集群各節(jié)點(diǎn)的事務(wù)負(fù)載情況來(lái)進(jìn)行節(jié)點(diǎn)選擇，節(jié)點(diǎn)選擇和事務(wù)處理按互備集群和擴(kuò)展集群兩種模式進(jìn)行
1.互備集群模式
互備集群需要保證多節(jié)點(diǎn)數(shù)據(jù)的完整性和一致性，訪問(wèn)接口服務(wù)根據(jù)事務(wù)的特點(diǎn)分為兩類進(jìn)行處理 (1)查詢事務(wù)
訪問(wèn)接口服務(wù)根據(jù)各個(gè)節(jié)點(diǎn)的活躍事務(wù)情況按照活躍事務(wù)最少的原則來(lái)分配查詢事
務(wù)；(2)修改事務(wù)
修改事務(wù)一般包含新增數(shù)據(jù)、修改數(shù)據(jù)和刪除數(shù)據(jù)三種情況，訪問(wèn)接口服務(wù)將數(shù)據(jù)修改事務(wù)分發(fā)到所有內(nèi)存數(shù)據(jù)庫(kù)節(jié)點(diǎn)進(jìn)行同步處理，如其中一節(jié)點(diǎn)事務(wù)執(zhí)行失敗，所有節(jié)點(diǎn)都進(jìn)行事務(wù)回退，以保證數(shù)據(jù)一致性。2.擴(kuò)展集群模式
擴(kuò)展集群需要邏輯上擴(kuò)展物理內(nèi)存的容量，訪問(wèn)接口服務(wù)登記集群中所有節(jié)點(diǎn)的內(nèi)存剩余情況，根據(jù)各節(jié)點(diǎn)配置的優(yōu)先級(jí)分配數(shù)據(jù)存儲(chǔ)，訪問(wèn)接口服務(wù)根據(jù)擴(kuò)展集群模式的特點(diǎn)分為兩類事務(wù)進(jìn)行處理
(1)數(shù)據(jù)查詢、修改、刪除事務(wù)
訪問(wèn)接口服務(wù)將數(shù)據(jù)查詢事務(wù)發(fā)送至集群節(jié)點(diǎn)中存有數(shù)據(jù)的服務(wù)端進(jìn)行處理，將所有節(jié)點(diǎn)服務(wù)端的返回結(jié)果進(jìn)行合并后統(tǒng)一返回給請(qǐng)求方；
(2)數(shù)據(jù)新增事務(wù)
訪問(wèn)接口服務(wù)根據(jù)已登記的所有集群節(jié)點(diǎn)的內(nèi)存剩余情況，將數(shù)據(jù)新增事務(wù)提交給優(yōu)先級(jí)最高且仍有剩余內(nèi)存的節(jié)點(diǎn)。3.混合集群模式
訪問(wèn)接口服務(wù)按照所配置的集群節(jié)點(diǎn)模式進(jìn)行節(jié)點(diǎn)分組，組合后的互備集群節(jié)點(diǎn)組和擴(kuò)展集群節(jié)點(diǎn)組實(shí)現(xiàn)混合集群模式。


圖1.本發(fā)明服務(wù)端模塊結(jié)構(gòu)圖； 圖2.本發(fā)明服務(wù)端集群關(guān)系結(jié)構(gòu)圖； 圖3.本發(fā)明訪問(wèn)接口服務(wù)模塊結(jié)構(gòu)圖； 圖4.本發(fā)明服務(wù)端處理流程圖5.本發(fā)明訪問(wèn)接口服務(wù)互備集群模式處理流程圖； 圖6.本發(fā)明訪問(wèn)接口服務(wù)擴(kuò)展集群模式處理流程圖； 圖7.本發(fā)明互備集群模式部署結(jié)構(gòu)圖； 圖8.本發(fā)明擴(kuò)展集群模式部署結(jié)構(gòu)圖； 圖9.本發(fā)明混合集群模式部署結(jié)構(gòu)圖。
具體實(shí)施例方式
以下結(jié)合附圖，對(duì)本發(fā)明的內(nèi)存數(shù)據(jù)庫(kù)多節(jié)點(diǎn)集群的實(shí)現(xiàn)做進(jìn)一步說(shuō)明。圖1所示為服務(wù)端模塊結(jié)構(gòu)圖，服務(wù)端由通信接口模塊、協(xié)同運(yùn)行服務(wù)、數(shù)據(jù)服務(wù)、調(diào)度管理服務(wù)、內(nèi)存數(shù)據(jù)庫(kù)和數(shù)據(jù)存檔這幾部分組成。通信接口模塊主要完成網(wǎng)絡(luò)通信和指令解析工作。協(xié)同運(yùn)行服務(wù)主要完成與其他節(jié)點(diǎn)的協(xié)同，包括任務(wù)協(xié)同和數(shù)據(jù)協(xié)同以及時(shí)序協(xié)同。任務(wù)協(xié)同主要包括提供相同的數(shù)據(jù)服務(wù)、相同的數(shù)據(jù)持久化操作以及指令執(zhí)行的結(jié)果協(xié)同等；數(shù)據(jù)協(xié)同主要完成內(nèi)存數(shù)據(jù)庫(kù)初始化時(shí)各節(jié)點(diǎn)的數(shù)據(jù)版本的同步協(xié)同， 時(shí)序協(xié)同主要完成各節(jié)點(diǎn)的運(yùn)行心跳、指令時(shí)序和時(shí)間同步。數(shù)據(jù)服務(wù)和調(diào)度管理服務(wù)主要在協(xié)同運(yùn)行服務(wù)的管理下提供數(shù)據(jù)庫(kù)的數(shù)據(jù)I/O服務(wù)和完成數(shù)據(jù)庫(kù)的備份持久化等管理任務(wù)。圖2為多節(jié)點(diǎn)集群模式下，服務(wù)端各模塊的關(guān)系結(jié)構(gòu)示意圖，各節(jié)點(diǎn)通過(guò)通信接口進(jìn)行實(shí)時(shí)物理通信，協(xié)同運(yùn)行服務(wù)邏輯控制所有服務(wù)端的集群運(yùn)行。圖3為本發(fā)明訪問(wèn)接口服務(wù)模塊結(jié)構(gòu)圖，訪問(wèn)接口服務(wù)由對(duì)外通信服務(wù)、事務(wù)管理器、SQL解析器、策略管理器、節(jié)點(diǎn)管理器、集群節(jié)點(diǎn)通信服務(wù)組成。對(duì)外通信服務(wù)負(fù)責(zé)響應(yīng)請(qǐng)求方的服務(wù)請(qǐng)求，事務(wù)管理器負(fù)責(zé)對(duì)請(qǐng)求方的已建立事務(wù)進(jìn)行登記和管理，SQL解析器負(fù)責(zé)對(duì)請(qǐng)求方提交的SQL文進(jìn)行解析，策略管理器根據(jù)集群中所有節(jié)點(diǎn)當(dāng)前的運(yùn)行狀態(tài)進(jìn)行節(jié)點(diǎn)選擇和指令下發(fā)的策略定制、節(jié)點(diǎn)管理器負(fù)責(zé)對(duì)集群中所有節(jié)點(diǎn)的當(dāng)前信息進(jìn)行登記和管理，集群節(jié)點(diǎn)通信服務(wù)負(fù)責(zé)與集群中所有節(jié)點(diǎn)進(jìn)行通信。圖4為本發(fā)明服務(wù)端的啟動(dòng)流程，首先服務(wù)端啟動(dòng)內(nèi)置的內(nèi)存數(shù)據(jù)庫(kù)、完成后服務(wù)端查詢?cè)L問(wèn)接口服務(wù)中的節(jié)點(diǎn)管理器中活躍節(jié)點(diǎn)的信息，并向所有活躍節(jié)點(diǎn)發(fā)送數(shù)據(jù)版本請(qǐng)求、比對(duì)最新的數(shù)據(jù)存檔，通過(guò)數(shù)據(jù)服務(wù)讀取集群中最新版本數(shù)據(jù)存檔來(lái)進(jìn)行內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)初始化、完成后服務(wù)端繼續(xù)啟動(dòng)調(diào)度管理服務(wù)進(jìn)行定期的數(shù)據(jù)持久化任務(wù)和提供內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)I/O服務(wù)的數(shù)據(jù)服務(wù)、最后通過(guò)啟動(dòng)協(xié)同運(yùn)行服務(wù)來(lái)與其他節(jié)點(diǎn)協(xié)同工作、當(dāng)服務(wù)端所有服務(wù)的正常啟動(dòng)后，服務(wù)端向訪問(wèn)接口服務(wù)注冊(cè)本節(jié)點(diǎn)信息，以表示該節(jié)點(diǎn)已經(jīng)具備服務(wù)條件。圖5、6為本發(fā)明訪問(wèn)接口服務(wù)互備和擴(kuò)展集群模式處理流程，互備和擴(kuò)展模式的主要區(qū)別是互備模式的重點(diǎn)需要保證數(shù)據(jù)的一致性，因此分?jǐn)?shù)據(jù)的查詢和修改兩種處理策略、擴(kuò)展模式的重點(diǎn)是需要保證數(shù)據(jù)存儲(chǔ)的擴(kuò)展性。因此分?jǐn)?shù)據(jù)存儲(chǔ)申請(qǐng)(數(shù)據(jù)插入操作) 和非數(shù)據(jù)存儲(chǔ)申請(qǐng)兩種處理策略。圖7為本發(fā)明互備集群模式部署結(jié)構(gòu)圖，所有節(jié)點(diǎn)之間相互通信協(xié)同，訪問(wèn)接口服務(wù)根據(jù)各個(gè)節(jié)點(diǎn)的負(fù)載情況分配查詢事務(wù)，負(fù)載高的節(jié)點(diǎn)分配事務(wù)的優(yōu)先級(jí)底。圖8為本發(fā)明擴(kuò)展集群模式部署結(jié)構(gòu)圖，所有節(jié)點(diǎn)協(xié)同組成一個(gè)更大容量的內(nèi)存數(shù)據(jù)庫(kù)服務(wù)，訪問(wèn)接口服務(wù)根據(jù)各個(gè)節(jié)點(diǎn)的存儲(chǔ)優(yōu)先級(jí)和存儲(chǔ)情況分配數(shù)據(jù)插入事務(wù)。圖9為本發(fā)明混合集群模式部署結(jié)構(gòu)圖，該模式結(jié)合互備模式和擴(kuò)展模式的優(yōu)點(diǎn)，擴(kuò)展節(jié)點(diǎn)組內(nèi)部采用擴(kuò)展集群模式，擴(kuò)展節(jié)點(diǎn)組之間采用互備集群模式。
權(quán)利要求
1.一種電力信息系統(tǒng)內(nèi)存數(shù)據(jù)庫(kù)的多節(jié)點(diǎn)集群方法，其特征在于該集群技術(shù)由訪問(wèn)接口服務(wù)和數(shù)據(jù)庫(kù)服務(wù)端兩部分軟件組成；其中，訪問(wèn)接口服務(wù)軟件提供對(duì)外的網(wǎng)絡(luò)連接、 事務(wù)響應(yīng)管理、節(jié)點(diǎn)訪問(wèn)策略管理以及節(jié)點(diǎn)運(yùn)行管理功能，數(shù)據(jù)庫(kù)服務(wù)端軟件包含一個(gè)內(nèi)存數(shù)據(jù)庫(kù)和一個(gè)數(shù)據(jù)存檔，以及一套管理軟件，管理軟件對(duì)內(nèi)存數(shù)據(jù)庫(kù)和數(shù)據(jù)存檔進(jìn)行調(diào)度管理、與其他節(jié)點(diǎn)的數(shù)據(jù)庫(kù)服務(wù)端協(xié)同運(yùn)行提供互備、擴(kuò)展、混合三種模式的數(shù)據(jù)庫(kù)集群服務(wù)。
2.根據(jù)權(quán)利要求1所述的一種電力信息系統(tǒng)內(nèi)存數(shù)據(jù)庫(kù)的多節(jié)點(diǎn)集群方法，其特征在于訪問(wèn)接口服務(wù)軟件由對(duì)外通信服務(wù)模塊、事務(wù)管理器、SQL解析器、策略管理器、節(jié)點(diǎn)管理器、集群節(jié)點(diǎn)通信服務(wù)組成；對(duì)外通信服務(wù)模塊與請(qǐng)求方建立網(wǎng)絡(luò)通信，事務(wù)管理器對(duì)與請(qǐng)求方已經(jīng)建立好的連接事務(wù)進(jìn)行登記和管理，SQL解析器對(duì)請(qǐng)求方提交的SQL進(jìn)行解析， 策略管理器確定集群節(jié)點(diǎn)的集群和節(jié)點(diǎn)使用策略，提供三種集群模式，節(jié)點(diǎn)管理器負(fù)責(zé)對(duì)集群中節(jié)點(diǎn)的運(yùn)行、存儲(chǔ)信息進(jìn)行登記和管理，集群節(jié)點(diǎn)通信服務(wù)負(fù)責(zé)與集群中節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)通信。
3.根據(jù)權(quán)利要求1所述的一種電力信息系統(tǒng)內(nèi)存數(shù)據(jù)庫(kù)的多節(jié)點(diǎn)集群方法，其特征在于，其特征在于數(shù)據(jù)庫(kù)服務(wù)端軟件有通信接口模塊、協(xié)同運(yùn)行服務(wù)模塊、數(shù)據(jù)服務(wù)模塊、調(diào)度管理服務(wù)模塊、內(nèi)存數(shù)據(jù)庫(kù)和數(shù)據(jù)存檔組成；通信接口模塊負(fù)責(zé)與訪問(wèn)接口服務(wù)軟件和其他節(jié)點(diǎn)數(shù)據(jù)庫(kù)服務(wù)端軟件通信，協(xié)同運(yùn)行服務(wù)模塊用于與其他節(jié)點(diǎn)協(xié)同運(yùn)行服務(wù)模塊之間的運(yùn)行協(xié)同和運(yùn)行心跳以及時(shí)間同步，實(shí)現(xiàn)控制數(shù)據(jù)服務(wù)和調(diào)度管理服務(wù)模塊在多個(gè)節(jié)點(diǎn)中協(xié)同運(yùn)行；數(shù)據(jù)服務(wù)模塊提供支持標(biāo)準(zhǔn)SQL訪問(wèn)的內(nèi)存數(shù)據(jù)庫(kù)服務(wù)，調(diào)度管理服務(wù)模塊負(fù)責(zé)定期將內(nèi)存數(shù)據(jù)庫(kù)中數(shù)據(jù)持久化到數(shù)據(jù)存檔中。
4.根據(jù)權(quán)利要求1所述一種電力信息系統(tǒng)內(nèi)存數(shù)據(jù)庫(kù)的多節(jié)點(diǎn)集群方法，其特征在于互備集群模式下，負(fù)載低的集群節(jié)點(diǎn)提供數(shù)據(jù)查詢服務(wù)，數(shù)據(jù)更新操作需要在所有集群節(jié)點(diǎn)執(zhí)行；擴(kuò)展集群模式下，數(shù)據(jù)插入操作只在具有最高存儲(chǔ)優(yōu)先級(jí)且有足夠存儲(chǔ)空間的集群節(jié)點(diǎn)中執(zhí)行，其他操作需要在所有集群節(jié)點(diǎn)執(zhí)行；混合集群是綜合互備和擴(kuò)展兩種模式的一種模式，它將多個(gè)集群節(jié)點(diǎn)按照擴(kuò)展模式形成擴(kuò)展集群節(jié)點(diǎn)組，多個(gè)擴(kuò)展集群節(jié)點(diǎn)組之間采用互備集群模式。
全文摘要
本發(fā)明公開了一種電力信息系統(tǒng)內(nèi)存數(shù)據(jù)庫(kù)的多節(jié)點(diǎn)集群技術(shù)，通過(guò)對(duì)內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行封裝，形成內(nèi)存數(shù)據(jù)庫(kù)服務(wù)端節(jié)點(diǎn)，服務(wù)端節(jié)點(diǎn)協(xié)同提供數(shù)據(jù)庫(kù)服務(wù)，本發(fā)明提供統(tǒng)一的訪問(wèn)服務(wù)接口進(jìn)行對(duì)外服務(wù)，同時(shí)管理和調(diào)度集群中各內(nèi)存數(shù)據(jù)庫(kù)節(jié)點(diǎn)的協(xié)同和運(yùn)行。該技術(shù)有效的處理了傳統(tǒng)關(guān)系型數(shù)據(jù)的訪問(wèn)速度慢、內(nèi)存數(shù)據(jù)庫(kù)不穩(wěn)定等弱點(diǎn)，實(shí)現(xiàn)了高效和穩(wěn)定的內(nèi)存數(shù)據(jù)庫(kù)集群。本發(fā)明支持互備、擴(kuò)展和互備擴(kuò)展相混合三種模式，以適用于不同的需求場(chǎng)景。
文檔編號(hào)G06F17/30GK102508881SQ20111031666
公開日2012年6月20日 申請(qǐng)日期2011年10月18日 優(yōu)先權(quán)日2011年10月18日
發(fā)明者唐汗青, 甘嵐, 胡游君, 邱玉祥, 陳玉慧 申請(qǐng)人:南京南瑞集團(tuán)公司, 國(guó)網(wǎng)電力科學(xué)研究院