專利名稱：一種基于同步策略的集群存儲(chǔ)系統(tǒng)性能調(diào)優(yōu)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，具體地說是一種基于同步策略的集群存儲(chǔ)系統(tǒng)性能調(diào)優(yōu)方法。本發(fā)明適用于目前業(yè)界流行的集群存儲(chǔ)系統(tǒng)中。計(jì)算機(jī)集群簡稱集群是一種計(jì)算機(jī)系統(tǒng)它通過一組松散集成的計(jì)算機(jī)軟件和硬件連接起來高度緊密地協(xié)作完成計(jì)算工作。目前，由于個(gè)人及企業(yè)數(shù)據(jù)的大量增長，集群存儲(chǔ)系統(tǒng)發(fā)展迅速，但是目前對于集群存儲(chǔ)系統(tǒng)的系能測試方面，基本還是延照單個(gè)節(jié)點(diǎn)性能測試的方法，然后將各個(gè)節(jié)點(diǎn)的性能測試結(jié)果累加的方法來衡量集群存儲(chǔ)系統(tǒng)的性能。這種方法，雖然簡單，但是不夠嚴(yán)謹(jǐn)和科學(xué)。
背景技術(shù)：
目前，比較流行的性能測試工具，雖然能夠多線程，多進(jìn)程測試讀寫帶寬，也提供了比較多的測試選項(xiàng)，可以測試隨機(jī)讀、隨機(jī)寫、順序讀、順序?qū)懙男阅苤笜?biāo)，但是，這些工具只是針對單個(gè)節(jié)點(diǎn)的讀寫帶寬做測試。如果需要測試整個(gè)集群系統(tǒng)的性能，如果只是簡單的將多個(gè)節(jié)點(diǎn)的性能測試結(jié)果做一個(gè)累加，由于時(shí)間的不同步性并且各個(gè)節(jié)點(diǎn)的進(jìn)程結(jié)束的不同步性，測試結(jié)果往往不夠準(zhǔn)確。因此，基于集群存儲(chǔ)系統(tǒng)架構(gòu)設(shè)計(jì)測試工具，就迫在眉睫。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于同步策略的集群存儲(chǔ)系統(tǒng)性能調(diào)優(yōu)方法。本發(fā)明的目的是按以下方式實(shí)現(xiàn)的，系統(tǒng)包括數(shù)據(jù)節(jié)點(diǎn)模塊組、控制模塊組和客戶端節(jié)點(diǎn)模塊組，三個(gè)模塊組相互配合和通信，以控制模塊組為核心，共同完成系統(tǒng)測試和監(jiān)控任務(wù)，其中，控制模塊組負(fù)責(zé)負(fù)載調(diào)度和均衡所有模塊，收集測試結(jié)果和同步所有模塊的時(shí)間，數(shù)據(jù)節(jié)點(diǎn)模塊組用于收集數(shù)據(jù)節(jié)點(diǎn)監(jiān)控信息和時(shí)間同步，客戶端節(jié)點(diǎn)模塊組用于模擬讀寫操作、收集客戶端節(jié)點(diǎn)的監(jiān)控?cái)?shù)據(jù)并實(shí)現(xiàn)時(shí)間同步，通過監(jiān)控?cái)?shù)據(jù)，找到系統(tǒng)的瓶頸，從而調(diào)整系統(tǒng)結(jié)構(gòu)，優(yōu)化系統(tǒng)性能，其中
數(shù)據(jù)節(jié)點(diǎn)模塊組包含三個(gè)子模塊數(shù)據(jù)性能監(jiān)控模塊、時(shí)間同步模塊和通信控制模塊，其中，數(shù)據(jù)性能監(jiān)控模塊用于收集數(shù)據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)負(fù)載、CPU負(fù)載的信息，時(shí)間同步模塊用于和控制模塊組同步時(shí)間，數(shù)據(jù)性能監(jiān)控模塊和時(shí)間同步模塊與控制模塊組的信息交互是通過通信控制模塊和控制模塊組的通信控制模塊來完成；
控制模塊組包含負(fù)載調(diào)度模塊、信息收集模塊、結(jié)果計(jì)算模塊、時(shí)間同步控制模塊、通信控制模塊和通信控制模塊，負(fù)載調(diào)度模塊和時(shí)間同步控制模塊，能夠使得各個(gè)節(jié)點(diǎn)上的讀寫操作更加均衡和更好的一致與同步性，負(fù)載調(diào)度模塊在收到結(jié)果計(jì)算模塊的結(jié)果時(shí)，調(diào)度和調(diào)整各個(gè)客戶端的讀寫模擬模塊，使得各個(gè)客戶端節(jié)點(diǎn)讀寫操作更加均衡，這就是所謂的同步策略，保證各個(gè)節(jié)點(diǎn)時(shí)間和讀寫操作的同步性；
客戶端節(jié)點(diǎn)模塊組包含讀寫模擬模塊、性能監(jiān)控模塊、時(shí)間同步模塊和通信控制模塊，讀寫模擬模塊負(fù)責(zé)在客戶端節(jié)點(diǎn)上模擬讀寫操作，并接受負(fù)載調(diào)度模塊的調(diào)度，調(diào)整讀寫操作，性能監(jiān)控模塊負(fù)責(zé)收集客戶端節(jié)點(diǎn)的性能、CPU負(fù)載、網(wǎng)絡(luò)負(fù)載的信息。本發(fā)明的有益效果是這種模式下，由于測試工具對整個(gè)系統(tǒng)的所有節(jié)點(diǎn)都有流量監(jiān)控，因此如果系統(tǒng)的性能出現(xiàn)問題的時(shí)候，很容易找到瓶頸，從而實(shí)現(xiàn)快速尋找故障，排除故障的目的。對于系統(tǒng)的調(diào)試和故障診斷以及優(yōu)化，起到關(guān)鍵作用。本軟件部署時(shí)，需要在集群存儲(chǔ)系統(tǒng)的數(shù)據(jù)節(jié)點(diǎn)上部署數(shù)據(jù)節(jié)點(diǎn)模塊組，在客戶端節(jié)點(diǎn)上部署客戶端節(jié)點(diǎn)模塊組?？刂颇K組可以根據(jù)需要部署在集群內(nèi)的任一節(jié)點(diǎn)上。本發(fā)明的方法適應(yīng)集群存儲(chǔ)系統(tǒng)的架構(gòu)和測試需求，同時(shí)可以監(jiān)控各個(gè)節(jié)點(diǎn)的讀寫性能，易于發(fā)現(xiàn)集群系統(tǒng)的性能瓶頸，并且由于引入了時(shí)間同步和負(fù)載調(diào)度的功能，使得各個(gè)節(jié)點(diǎn)上的測試可以同步完成，測試出的結(jié)果更可靠，更科學(xué)。


圖I集群存儲(chǔ)性能測試工作原理圖；
圖2集群存儲(chǔ)系統(tǒng)架構(gòu)圖。
具體實(shí)施例方式參照說明書附圖對本發(fā)明的作以下詳細(xì)地說明。鑒于此，本發(fā)明提供一種基于同步策略的集群存儲(chǔ)系統(tǒng)性能調(diào)優(yōu)方法。這種方法適應(yīng)集群存儲(chǔ)系統(tǒng)的架構(gòu)和測試需求，同時(shí)可以監(jiān)控各個(gè)節(jié)點(diǎn)的讀寫性能，易于發(fā)現(xiàn)集群系統(tǒng)的性能瓶頸，并且由于引入了時(shí)間同步和負(fù)載調(diào)度的功能，使得各個(gè)節(jié)點(diǎn)上的測試可以同步完成，測試出的結(jié)果更可靠，更科學(xué)。本方法包含三大模塊組數(shù)據(jù)節(jié)點(diǎn)模塊組(101)、控制模塊組(102)和客戶端節(jié)點(diǎn)模塊組(103)。三大模塊組相互配合和通信，以控制模塊組為核心，共同完成系統(tǒng)測試和監(jiān)控任務(wù)。其中，控制模塊組負(fù)責(zé)負(fù)載調(diào)度和均衡所有模塊，收集測試結(jié)果和同步所有模塊的時(shí)間。數(shù)據(jù)節(jié)點(diǎn)模塊組用于收集數(shù)據(jù)節(jié)點(diǎn)監(jiān)控信息和時(shí)間同步?？蛻舳斯?jié)點(diǎn)模塊組用于模擬讀寫操作、收集客戶端節(jié)點(diǎn)的監(jiān)控?cái)?shù)據(jù)并實(shí)現(xiàn)時(shí)間同步。數(shù)據(jù)節(jié)點(diǎn)模塊組(101)包含三個(gè)子模塊數(shù)據(jù)性能監(jiān)控模塊、時(shí)間同步模塊和通信控制模塊。其中，數(shù)據(jù)性能監(jiān)控模塊用于收集數(shù)據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)負(fù)載、CPU負(fù)載等信息，時(shí)間同步模塊用于和控制模塊組同步時(shí)間。數(shù)據(jù)性能監(jiān)控模塊和時(shí)間同步模塊與控制模塊組的信息交互是通過通信控制模塊和控制模塊組的通信控制模塊2完成的。控制模塊組(102)包含負(fù)載調(diào)度模塊，信息收集模塊、結(jié)果計(jì)算模塊、時(shí)間同步控制模塊、通信控制模塊I和通信控制模塊2組成。其中，信息收集模塊負(fù)責(zé)收集各個(gè)模塊的監(jiān)控信息，然后反饋給結(jié)果計(jì)算模塊，然后由結(jié)果計(jì)算模塊分別計(jì)算出所有客戶端節(jié)點(diǎn)的性能累加和所有數(shù)據(jù)節(jié)點(diǎn)監(jiān)控到的性能累加。同時(shí)，結(jié)果計(jì)算模塊要計(jì)算出各個(gè)客戶端節(jié)點(diǎn)之間的性能差異，此時(shí)，如果各個(gè)客戶端節(jié)點(diǎn)性能差異超過一定值，就調(diào)用負(fù)載調(diào)度模塊調(diào)度和均衡各個(gè)客戶端節(jié)點(diǎn)的讀寫模擬模塊，使得各個(gè)客戶端節(jié)點(diǎn)性能均衡。其中，通信控制模塊I負(fù)責(zé)和所有客戶端節(jié)點(diǎn)模塊組的通信。通信控制模塊2負(fù)責(zé)和所有的數(shù)據(jù)節(jié)點(diǎn)模塊組通信。時(shí)間同步控制模塊負(fù)責(zé)同步整個(gè)系統(tǒng)的時(shí)間，保證測試的一致性和同步性。這就是本方法的核心，利用時(shí)間同步控制模塊保證各個(gè)節(jié)點(diǎn)的時(shí)間的同步，利用負(fù)載調(diào)度模塊保證各個(gè)節(jié)點(diǎn)的讀寫操作的同步性。
客戶端節(jié)點(diǎn)模塊組(103)包含讀寫模擬模塊、性能監(jiān)控模塊、時(shí)間同步模塊和通信控制模塊。讀寫模擬模塊負(fù)責(zé)在客戶端節(jié)點(diǎn)上模擬讀寫操作，并接受負(fù)載調(diào)度模塊的調(diào)度，調(diào)整讀寫操作。性能監(jiān)控模塊負(fù)責(zé)收集客戶端節(jié)點(diǎn)的性能、CPU負(fù)載、網(wǎng)絡(luò)負(fù)載等信息。 除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
權(quán)利要求
1.一種基于同步策略的集群存儲(chǔ)系統(tǒng)性能調(diào)優(yōu)方法，其特征在于系統(tǒng)包括數(shù)據(jù)節(jié)點(diǎn)模塊組、控制模塊組和客戶端節(jié)點(diǎn)模塊組，三個(gè)模塊組相互配合和通信，以控制模塊組為核心，共同完成系統(tǒng)測試和監(jiān)控任務(wù)，其中，控制模塊組負(fù)責(zé)負(fù)載調(diào)度和均衡所有模塊，收集測試結(jié)果和同步所有模塊的時(shí)間，數(shù)據(jù)節(jié)點(diǎn)模塊組用于收集數(shù)據(jù)節(jié)點(diǎn)監(jiān)控信息和時(shí)間同步，客戶端節(jié)點(diǎn)模塊組用于模擬讀寫操作、收集客戶端節(jié)點(diǎn)的監(jiān)控?cái)?shù)據(jù)并實(shí)現(xiàn)時(shí)間同步，通過監(jiān)控?cái)?shù)據(jù)，找到系統(tǒng)的瓶頸，從而調(diào)整系統(tǒng)結(jié)構(gòu)，優(yōu)化系統(tǒng)性能，其中 數(shù)據(jù)節(jié)點(diǎn)模塊組包含三個(gè)子模塊數(shù)據(jù)性能監(jiān)控模塊、時(shí)間同步模塊和通信控制模塊，其中，數(shù)據(jù)性能監(jiān)控模塊用于收集數(shù)據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)負(fù)載、CPU負(fù)載的信息，時(shí)間同步模塊用于和控制模塊組同步時(shí)間，數(shù)據(jù)性能監(jiān)控模塊和時(shí)間同步模塊與控制模塊組的信息交互是通過通信控制模塊和控制模塊組的通信控制模塊來完成； 控制模塊組包含負(fù)載調(diào)度模塊、信息收集模塊、結(jié)果計(jì)算模塊、時(shí)間同步控制模塊、通信控制模塊和通信控制模塊，負(fù)載調(diào)度模塊和時(shí)間同步控制模塊，能夠使得各個(gè)節(jié)點(diǎn)上的讀寫操作更加均衡和更好的一致與同步性，負(fù)載調(diào)度模塊在收到結(jié)果計(jì)算模塊的結(jié)果時(shí)，調(diào)度和調(diào)整各個(gè)客戶端的讀寫模擬模塊，使得各個(gè)客戶端節(jié)點(diǎn)讀寫操作更加均衡，這就是所謂的同步策略，保證各個(gè)節(jié)點(diǎn)時(shí)間和讀寫操作的同步性； 客戶端節(jié)點(diǎn)模塊組包含讀寫模擬模塊、性能監(jiān)控模塊、時(shí)間同步模塊和通信控制模塊，讀寫模擬模塊負(fù)責(zé)在客戶端節(jié)點(diǎn)上模擬讀寫操作，并接受負(fù)載調(diào)度模塊的調(diào)度，調(diào)整讀寫操作，性能監(jiān)控模塊負(fù)責(zé)收集客戶端節(jié)點(diǎn)的性能、CPU負(fù)載、網(wǎng)絡(luò)負(fù)載的信息。
全文摘要
本發(fā)明提供一種基于同步策略的集群存儲(chǔ)系統(tǒng)性能調(diào)優(yōu)方法，系統(tǒng)包括數(shù)據(jù)節(jié)點(diǎn)模塊組、控制模塊組和客戶端節(jié)點(diǎn)模塊組，三個(gè)模塊組相互配合和通信，以控制模塊組為核心，共同完成系統(tǒng)測試和監(jiān)控任務(wù)，其中，控制模塊組負(fù)責(zé)負(fù)載調(diào)度和均衡所有模塊，收集測試結(jié)果和同步所有模塊的時(shí)間，數(shù)據(jù)節(jié)點(diǎn)模塊組用于收集數(shù)據(jù)節(jié)點(diǎn)監(jiān)控信息和時(shí)間同步，客戶端節(jié)點(diǎn)模塊組用于模擬讀寫操作、收集客戶端節(jié)點(diǎn)的監(jiān)控?cái)?shù)據(jù)并實(shí)現(xiàn)時(shí)間同步，通過監(jiān)控?cái)?shù)據(jù)，找到系統(tǒng)的瓶頸，從而調(diào)整系統(tǒng)結(jié)構(gòu)，優(yōu)化系統(tǒng)性能。
文檔編號(hào)H04L12/24GK102710446SQ20121018496
公開日2012年10月3日 申請日期2012年6月7日 優(yōu)先權(quán)日2012年6月7日
發(fā)明者張敬海 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司