專利名稱：一種用于雙控高可用系統(tǒng)的同步檢測和故障隔離方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機系統(tǒng)及通信領(lǐng)域，具體涉及雙控制器系統(tǒng)高可用的實現(xiàn)方法。
2背景技術(shù)：
為了提高存儲系統(tǒng)的高可用性， 一般都采用雙控制來保證系統(tǒng)的高可用性。根
據(jù)兩個控制器之間的關(guān)系，又可以分為A/A模式和A/P模式。
A/P模式的特點就是我們傳統(tǒng)認(rèn)為的主從熱備，當(dāng)主控制器發(fā)生故障的時候， 從控制器接管住控制器的IP地址和服務(wù)，從而實現(xiàn)系統(tǒng)的高可用，這種模式的缺 點是沒有充分利用兩個控制器的，正常運行時從控制器出于閑置狀態(tài)，造成資源 的浪費；
A/A模式的特點是兩個控制沒有主從之分，并行工作，做到了負(fù)載均衡，相互 檢測熱備，既提高了系統(tǒng)的高可用性，又不影響系統(tǒng)的性能。但是這種模式面臨 的問題是如何解決雙控制器之間進(jìn)行同步狀態(tài)檢測和即時通信的問題，以及如何 進(jìn)行實時故障隔離。
3
發(fā)明內(nèi)容
為了解決雙控制器之間的高可用的故障隔離問題，本發(fā)明提供了一種用于雙控 高可用系統(tǒng)的同步檢測和故障隔離方法，這種方案不依賴于具體的硬件和系統(tǒng)類 型，能夠有效降低部署和使用成本。
本發(fā)明中涉及了三個核心的方法，資源檢測方法，服務(wù)切換方法和故障隔離方 法。
在系統(tǒng)中設(shè)置主從兩個控制器，兩個控制器之間通過集成在PCI的主板上、 串口或是網(wǎng)卡連線上的專有通道來進(jìn)行相互監(jiān)聽對方的的HADaemon進(jìn)程，在發(fā)生
故障的時候主從控制器的控制步驟如下
(1) 主控制器釋放服務(wù)的虛擬IP，從控制通過ARP欺騙，接管IP;
(2) 主控制器的資源被掛起，并將狀態(tài)信息發(fā)送到從控制器上，啟動相關(guān)服 務(wù)，實現(xiàn)資源的無縫切換；
(3) 在IP接管和服務(wù)切換的時，通過郵件日志方式記錄發(fā)出告警；
(4) 主控制器恢復(fù)之后選擇接管服務(wù)或不予接管作為同步檢測的備份；(5) 為了提高心跳傳輸?shù)母呖捎眯?，釆用網(wǎng)卡和串口并用的措施，避免鏈路 單點故障；
(6) 主控制器對外服務(wù)的網(wǎng)絡(luò)發(fā)生故障，同樣會被HADaemon檢測并觸發(fā)從 控制器對虛擬IP的接管和資源切換。
將不同的服務(wù)分別在主從兩個控制器上運行，每次出現(xiàn)故障的時候只需要遷 移一個服務(wù)既實現(xiàn)控制器資源的充分利用，達(dá)到負(fù)載均衡和提高了故障恢復(fù)能力 的目的。
采用網(wǎng)卡和串口并用的措施，避免鏈路單點故障。
主控制器恢復(fù)之后選擇接管服務(wù)或不予接管作為同步檢測的從控制器使用。 本發(fā)明的優(yōu)異效果是，方案不依賴丁具體的硬件和系統(tǒng)類型，能夠有效降低 部署和使用成本。保證系統(tǒng)高效可靠運行。
4

圖1是DCHA的軟件層次結(jié)構(gòu)圖； 圖2是DCHA的實現(xiàn)協(xié)作示意圖。
5具體實施例方式
參考附圖對本發(fā)明的用于雙控高可用系統(tǒng)的同步檢測和故障隔離方法作以下 詳細(xì)的說明。
(一)資源檢測方法中通過三個模塊來實現(xiàn)分別是Agents, HADaemon和 Heartbeat。
Agents用來監(jiān)測一些重要的硬件和軟件資源的可靠性。這些資源包括如下內(nèi) 容控制器；網(wǎng)絡(luò)接口通信連接(通信服務(wù))；在線存儲系統(tǒng)(文件服務(wù)，磁盤 服務(wù))；重要的系統(tǒng)及應(yīng)用程序。
HA (HA Daemon)是DCHA的核心部分。它主要完成以下工作(1)監(jiān)測控制 器，看是否所有用來執(zhí)行主服務(wù)的資源都是可靠的；(2)根據(jù)HA的配置文件對 控制器進(jìn)行配置；(3)執(zhí)行指定的主服務(wù)；(4)執(zhí)行主服務(wù)的Agents; (5)通 過Agents來監(jiān)測控制器及服務(wù)的所有進(jìn)程；(6)管理用來恢復(fù)故障服務(wù)的冗余 硬件資源；(7)根據(jù)接收到的控制器心跳及Agents心跳，處理相應(yīng)的事件日志、 錯誤處理及在線恢復(fù)工作。
HeartBeat (心跳)包括Agents心跳和控制器心跳通過周期性的Agents心跳， Agents會將服務(wù)的可靠性通知HA Daemon。 Agents心跳是通過共享內(nèi)存來實現(xiàn)的， 如果服務(wù)的可用性出現(xiàn)問題，Agents會停止向HA管理器發(fā)送心跳。Agents心跳 在預(yù)定時間內(nèi)的丟失預(yù)示著它所監(jiān)測的服務(wù)出現(xiàn)了故障，此時，HA會執(zhí)行服務(wù)的切換進(jìn)程。通過周期性的控制器心跳，控制器會將自身的口」-靠性通知對方控制器。
控制器心跳是通過基于TCP/IP的Socket或RS—232線來傳送的，如果控制器出 現(xiàn)故障，HA管理器將向?qū)Ψ桨l(fā)送死的心跳，或停止發(fā)送心跳。此心跳在一 定時間內(nèi)的丟失預(yù)示著此控制器已出現(xiàn)故障，此時，HA將開始執(zhí)行服務(wù)的切換過程。
Agents檢測與所有與服務(wù)相關(guān)的進(jìn)程。HA Daemon會根據(jù)接受到的Agents心 跳來確定Agent所檢測的服務(wù)是否正常。服務(wù)可以由其Agents來檢測，Agents會 檢測服務(wù)的不同內(nèi)容，如果Agents在指定的事件內(nèi)向HA Daemon發(fā)出心跳，就可 認(rèn)為此服務(wù)是正常的。如心跳消失，就表示沒有Agents在檢測服務(wù)的運行。只要 服務(wù)正常運行，就可認(rèn)為此服務(wù)是正常的。只有當(dāng)運行服務(wù)的主控制器出現(xiàn)故障 時，才會執(zhí)行服務(wù)的恢復(fù)切換過程。在指定的時間內(nèi)，當(dāng)所有由HA管理的服務(wù)運 行正常吋，主控制器會向從控制器發(fā)出心跳。但如果在指定時間內(nèi)，主控制器心 跳丟失，則表示該控制器可能出現(xiàn)了故障。
(二) 服務(wù)切換方法主要包括配置文件同步，IP接管和資源切換；
HA配置文件就是一個根據(jù)由用戶定義要求恢復(fù)的服務(wù)所定的工作表。此文件 可以根據(jù)不同應(yīng)用環(huán)境的要求加以修改，該配置文件主要包含以下內(nèi)容定義主 服務(wù)和私有網(wǎng)的配置信息；另外，用戶可以針對以下內(nèi)容寫自己的Shell程序 起動和停止服務(wù)；執(zhí)行故障服務(wù)的切換；執(zhí)行事件通知向系統(tǒng)控制臺發(fā)送信息， 通過E—mail將信息通知對方，向用戶發(fā)出廣播信息，初始化進(jìn)程等。
不管什么時候執(zhí)行服務(wù)的切換過程，主控制器都要進(jìn)行三步操作。(1)執(zhí)行 正常的服務(wù)關(guān)閉程序，這樣可以保證服務(wù)的完整性及數(shù)據(jù)的安全，而且也不會再 有其他控制器執(zhí)行此項服務(wù)；(2)釋放共享磁盤，以便從控制器能夠訪問共享磁 盤；(3)改主網(wǎng)絡(luò)接口的標(biāo)識，這樣便可保證不會再有其他控制器使用此IP地 址。
接下來，從控制器在不重啟的情況下將執(zhí)行以下四步操作(1)獲取存有服
務(wù)的共享磁盤分區(qū)；(2)進(jìn)行系統(tǒng)檢測與恢復(fù)，此過程可進(jìn)一步保證在服務(wù)異常 中斷時共享磁盤的完整性；(3)從控制器網(wǎng)絡(luò)接口使用主服務(wù)的IP地址，客戶 端會重新連接到原來的IP地址。這樣，用戶再去訪問服務(wù)時，就沒有必要再去重
新配置或做修改；(4)重新起動服務(wù)。這樣就可以按照雙控制器的實時配置文件
實現(xiàn)IP接管和服務(wù)無縫切換。
(三) 故障隔離方法主要是包括故障的控制器隔離和故障修復(fù)后在線恢復(fù)。
在主控制器出現(xiàn)故障而要將服務(wù)切換到從控制器之前，HA會按在Services配置時設(shè)定的重起次數(shù)重新起動服務(wù)。每個主服務(wù)都有自己的從控制器。服務(wù)的 恢復(fù)過程包括將共享磁盤服務(wù)的網(wǎng)絡(luò)識別標(biāo)識及執(zhí)行優(yōu)先級切換到相應(yīng)的從控制 器的過程。
當(dāng)控制器出現(xiàn)故障時，終端用戶會自動被注銷，在這些用戶重新注冊進(jìn)入之前， 從控制器必須將對方控制器的服務(wù)接管過來，此時，注冊請求會自動轉(zhuǎn)到從控制 器上，這一過程對用戶來說是完全透明的。當(dāng)主控制器出現(xiàn)故障后又重新恢復(fù)正 常時，有兩種可選擇的操作模式。第一已被切換到相應(yīng)的從控制器上的原來的 服務(wù)可以自動切換回匕經(jīng)恢復(fù)正常的主控制器上去。第二恢復(fù)后的主控制器作 為原來主服務(wù)的從控制器，此時服務(wù)可以切換到從控制器上。
權(quán)利要求
1、一種用于雙控高可用系統(tǒng)的同步檢測和故障隔離方法，其特征在于，在系統(tǒng)中設(shè)置主從兩個控制器，兩個控制器之間通過集成在PCI的主板上、串口或是網(wǎng)卡連線上的專有通道來進(jìn)行相互監(jiān)聽對方的的HADaemon進(jìn)程，在發(fā)生故障的時候，主從控制器的控制步驟如下(1)主控制器釋放服務(wù)的虛擬IP，從控制通過ARP欺騙，接管IP；(2)主控制器的資源被掛起，并將狀態(tài)信息發(fā)送到從控制器上，啟動相關(guān)服務(wù)，實現(xiàn)資源的無縫切換；(3)在IP接管和服務(wù)切換的時，通過郵件日志方式記錄發(fā)出告警；(4)主控制器恢復(fù)之后選擇接管服務(wù)或不予接管作為同步檢測的備份；(5)為了提高心跳傳輸?shù)母呖捎眯?，采用網(wǎng)卡和串口并用的措施，避免鏈路單點故障；(6)主控制器對外服務(wù)的網(wǎng)絡(luò)發(fā)生故障，同樣會被HADaemon檢測并觸發(fā)從控制器對虛擬IP的接管和資源切換。
2、 權(quán)利要求1提到的雙控制器系統(tǒng)高可用方法，其特征在于將不同的服務(wù) 分別在主從兩個控制器上運行，每次出現(xiàn)故障的時候只需要遷移個服務(wù)既實現(xiàn) 控制器資源的充分利用，達(dá)到負(fù)載均衡和提高了故障恢復(fù)能力的目的。
3、 權(quán)利要求1提到的雙控制器系統(tǒng)高可用方法，其特征在于采用網(wǎng)卡和串 口并用的措施，避免鏈路單點故障。
4、 權(quán)利要求1提到的雙控制器系統(tǒng)高可用方法，其特征在于主控制器恢復(fù) 之后選擇接管服務(wù)或不予接管作為同步檢測的從控制器使用。
全文摘要
本發(fā)明提供一種用于雙控高可用系統(tǒng)的同步檢測和故障隔離方法，該系統(tǒng)是在系統(tǒng)中設(shè)置主從兩個控制器，兩個控制器之間通過集成在PCI的主板上、串口或是網(wǎng)卡連線上的專有通道來進(jìn)行相互監(jiān)聽對方的HADaemon進(jìn)程，在發(fā)生故障的時候主從控制器的控制步驟如下(1)主控制器釋放服務(wù)的虛擬IP，從控制通過ARP欺騙，接管IP；(2)主控制器的資源被掛起，并將狀態(tài)信息發(fā)送到從控制器上，啟動相關(guān)服務(wù)，實現(xiàn)資源的無縫切換；(3)在IP接管和服務(wù)切換的時，通過郵件日志方式記錄發(fā)出告警；(4)主控制器恢復(fù)之后選擇接管服務(wù)或不予接管作為同步檢測的備份；(5)為了提高心跳傳輸?shù)母呖捎眯?，采用網(wǎng)卡和串口并用的措施，避免鏈路單點故障；(6)主控制器對外服務(wù)的網(wǎng)絡(luò)發(fā)生故障，同樣會被HADaemon檢測并觸發(fā)從控制器對虛擬IP的接管和資源切換。
文檔編號H04L12/56GK101237315SQ200810014300
公開日2008年8月6日 申請日期2008年2月28日 優(yōu)先權(quán)日2008年2月28日
發(fā)明者田國航 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司