基于異步并發(fā)機(jī)制的壓力測(cè)試系統(tǒng)和測(cè)試方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于異步并發(fā)機(jī)制的壓力測(cè)試系統(tǒng)和測(cè)試方法，確切地說(shuō)，涉及一種能夠產(chǎn)生滿足各種設(shè)定測(cè)試參數(shù)的壓力測(cè)試請(qǐng)求的壓力測(cè)試系統(tǒng)及其工作方法，以滿足測(cè)試系統(tǒng)產(chǎn)生設(shè)定數(shù)量的并發(fā)異步的壓力測(cè)試的需求，從而完成被測(cè)系統(tǒng)的性能壓力測(cè)試的目的；屬于計(jì)算機(jī)軟件測(cè)試的技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]壓力測(cè)試是對(duì)被測(cè)系統(tǒng)不斷地施加壓力的測(cè)試，它是通過(guò)確定一個(gè)系統(tǒng)的工作瓶頸或者不能承載接收的性能點(diǎn)，從而獲得系統(tǒng)能夠提供的最大服務(wù)壓力的級(jí)別測(cè)試，或者在設(shè)定時(shí)間周期內(nèi)能夠保證工作穩(wěn)定性的驗(yàn)證測(cè)試。例如測(cè)試一個(gè)Web站點(diǎn)在大量的負(fù)荷下，何時(shí)系統(tǒng)的響應(yīng)會(huì)退化或失敗。測(cè)試壓力測(cè)試的關(guān)鍵是如何產(chǎn)生大量的壓力測(cè)試請(qǐng)求，以使被測(cè)系統(tǒng)達(dá)到其工作性能的瓶頸點(diǎn)。
[0003]作為一種基本的質(zhì)量保證行為的壓力測(cè)試，是每個(gè)重要的計(jì)算機(jī)軟件測(cè)試工作的一部分。壓力測(cè)試的基本思路很簡(jiǎn)單:不是在常規(guī)條件下運(yùn)行手動(dòng)或自動(dòng)測(cè)試，而是在計(jì)算機(jī)數(shù)量較少或系統(tǒng)資源匱乏的條件下執(zhí)行測(cè)試。通常要進(jìn)行壓力測(cè)試的資源包括CPU可用性、MEM可用性和網(wǎng)絡(luò)傳輸帶寬。
[0004]下面，介紹目前已有技術(shù)的計(jì)算機(jī)軟件壓力測(cè)試系統(tǒng)及其相關(guān)測(cè)試方法，主要包括以下幾種測(cè)試類型或測(cè)試方法，再說(shuō)明它們各自存在的缺陷:
[0005](A)同步壓力并發(fā)機(jī)制:壓力測(cè)試系統(tǒng)向被測(cè)系統(tǒng)進(jìn)行同步壓力方式的并發(fā)請(qǐng)求測(cè)試，即壓力測(cè)試系統(tǒng)先向被測(cè)系統(tǒng)發(fā)出某一個(gè)壓力測(cè)試請(qǐng)求，在沒(méi)有得到該請(qǐng)求的響應(yīng)之前，測(cè)試系統(tǒng)會(huì)一直等待，直到得到被測(cè)系統(tǒng)的響應(yīng)后，才會(huì)發(fā)出新的壓力測(cè)試請(qǐng)求。也就是同步壓力并發(fā)機(jī)制的測(cè)試過(guò)程中，測(cè)試系統(tǒng)發(fā)送壓力測(cè)試請(qǐng)求，只有得到被測(cè)系統(tǒng)的響應(yīng)后，才會(huì)發(fā)起新的請(qǐng)求。即測(cè)試系統(tǒng)的壓力并發(fā)量取決于被測(cè)系統(tǒng)執(zhí)行壓力測(cè)試請(qǐng)求的功能大小，不能真正測(cè)試出被測(cè)系統(tǒng)的性能瓶頸點(diǎn)。
[0006](B)多線程的壓力產(chǎn)生方式:壓力測(cè)試系統(tǒng)通過(guò)線程池方式進(jìn)行壓力測(cè)試，在測(cè)試開始前，壓力測(cè)試系統(tǒng)先創(chuàng)建一個(gè)線程池，當(dāng)產(chǎn)生新的壓力測(cè)試請(qǐng)求時(shí)，從線程池中取得空閑線程并使用該線程產(chǎn)生新的請(qǐng)求。當(dāng)請(qǐng)求響應(yīng)或超時(shí)后，才將該線程重新放入線程池中，以供后續(xù)請(qǐng)求使用。因?yàn)樵诙嗑€程的壓力產(chǎn)生方式中，線程的調(diào)用切換都是由操作系統(tǒng)完成的，雖然在效率上要比進(jìn)程間的切換高，但是，線程的切換仍然需要占用一定的CPU時(shí)間。再者，線程也會(huì)占用一定的系統(tǒng)資源;此外，線程的個(gè)數(shù)在理論上受到內(nèi)存的限制:通常一臺(tái)2G內(nèi)存的機(jī)器，最多只能在理論上啟動(dòng)2048個(gè)線程。這些缺陷都使得測(cè)試參數(shù)受到較大限制。
[0007](C)單級(jí)并發(fā)控制機(jī)制:壓力測(cè)試系統(tǒng)只進(jìn)行單級(jí)的并發(fā)控制機(jī)制，即只能控制測(cè)試系統(tǒng)線程級(jí)別的壓力并發(fā)的測(cè)試場(chǎng)景。這種單級(jí)的并發(fā)控制機(jī)制只能對(duì)線程級(jí)別的并發(fā)進(jìn)行控制，對(duì)于進(jìn)程和/或測(cè)試集群的并發(fā)未加以考慮;故其應(yīng)用受到局限。

【發(fā)明內(nèi)容】

[0008]有鑒于此，本發(fā)明的目的是提供一種基于異步并發(fā)機(jī)制的壓力測(cè)試系統(tǒng)及其測(cè)試方法，本發(fā)明較好地解決了現(xiàn)有技術(shù)存在的各種問(wèn)題和缺陷:無(wú)論被測(cè)系統(tǒng)是否產(chǎn)生對(duì)原來(lái)壓力測(cè)試請(qǐng)求的響應(yīng)，本發(fā)明測(cè)試系統(tǒng)都會(huì)根據(jù)預(yù)設(shè)參數(shù)的數(shù)值，產(chǎn)生設(shè)定數(shù)量的異步恒定速率、并發(fā)機(jī)制的多個(gè)壓力測(cè)試請(qǐng)求，再對(duì)被測(cè)系統(tǒng)的處理能力和響應(yīng)時(shí)延執(zhí)行更加符合真實(shí)使用狀況的系統(tǒng)壓力測(cè)試和驗(yàn)證。而且，本發(fā)明壓力測(cè)試系統(tǒng)的測(cè)試參數(shù)調(diào)整范圍廣，還可以選擇多種測(cè)試方式、采用進(jìn)程下的自動(dòng)機(jī)和低系統(tǒng)資源開銷方式產(chǎn)生壓力測(cè)試請(qǐng)求，具有諸多優(yōu)點(diǎn)。
[0009]為了達(dá)到上述目的，本發(fā)明提供了一種基于異步并發(fā)機(jī)制的壓力測(cè)試系統(tǒng)，其特征在于:該壓力測(cè)試系統(tǒng)根據(jù)預(yù)設(shè)測(cè)試參數(shù)的數(shù)值，產(chǎn)生設(shè)定參數(shù)的異步測(cè)試的壓力測(cè)試請(qǐng)求，用于對(duì)被測(cè)系統(tǒng)的處理能力和響應(yīng)時(shí)延進(jìn)行壓力測(cè)試，以便獲得更加符合被測(cè)系統(tǒng)真實(shí)使用狀況的壓力測(cè)試數(shù)據(jù)與測(cè)試結(jié)果的驗(yàn)證;所述系統(tǒng)包括腳本管理裝置、測(cè)試管理裝置、異步壓力產(chǎn)生裝置和直接安裝在被測(cè)系統(tǒng)設(shè)備上的資源采集裝置四個(gè)組成部件;其中:
[0010]腳本管理裝置，負(fù)責(zé)根據(jù)被測(cè)系統(tǒng)的測(cè)試要求生成測(cè)試腳本，并對(duì)該測(cè)試腳本進(jìn)行編輯與驗(yàn)證，再對(duì)通過(guò)驗(yàn)證的測(cè)試腳本進(jìn)行統(tǒng)一的腳本管理，最后將測(cè)試腳本加載到測(cè)試管理裝置進(jìn)行處理;設(shè)有順序連接的腳本編輯組件、腳本測(cè)試組件和腳本管理加載組件共三個(gè)組成構(gòu)件；
[0011]測(cè)試管理裝置，負(fù)責(zé)接收與承載腳本管理裝置傳送來(lái)的測(cè)試腳本，生成測(cè)試任務(wù)，并對(duì)該測(cè)試任務(wù)執(zhí)行異步壓力的生成管理:按照爆發(fā)式壓力、平緩式壓力、周期式壓力的一種或多種不同的壓力測(cè)試方式對(duì)被測(cè)系統(tǒng)的處理能力和響應(yīng)時(shí)延進(jìn)行異步的壓力測(cè)試請(qǐng)求的壓力測(cè)試;還將設(shè)定異步的壓力測(cè)試請(qǐng)求的測(cè)試參數(shù):包括壓力測(cè)試請(qǐng)求的門限值及其測(cè)試周期、并發(fā)壓力測(cè)試請(qǐng)求的門限值及其測(cè)試周期、以及壓力測(cè)試請(qǐng)求的發(fā)送方式，都發(fā)送給異步壓力產(chǎn)生裝置用于壓力測(cè)試；同時(shí)與異步壓力產(chǎn)生裝置交互信息，采集異步壓力產(chǎn)生裝置反饋的測(cè)試數(shù)據(jù)，并接收來(lái)自資源采集裝置的各種資源使用信息進(jìn)行匯總處理后，再對(duì)被測(cè)系統(tǒng)的實(shí)際性能參數(shù)進(jìn)行驗(yàn)證，以便實(shí)時(shí)調(diào)整壓力測(cè)試各項(xiàng)參數(shù)門限值;設(shè)有分別連接的測(cè)試腳本執(zhí)行組件和測(cè)試協(xié)議適配組件，測(cè)試統(tǒng)計(jì)組件和測(cè)試參數(shù)管理組件，以及匯總處理測(cè)試數(shù)據(jù)的測(cè)試任務(wù)調(diào)度組件共五個(gè)組成構(gòu)件；
[0012]異步壓力產(chǎn)生裝置，負(fù)責(zé)接收來(lái)自測(cè)試管理裝置的測(cè)試腳本、測(cè)試方式和壓力測(cè)試請(qǐng)求的各項(xiàng)數(shù)據(jù)，實(shí)時(shí)生成壓力測(cè)試的具體參數(shù)，將壓力測(cè)試請(qǐng)求發(fā)送給被測(cè)系統(tǒng)，并實(shí)時(shí)動(dòng)態(tài)計(jì)算每秒應(yīng)該產(chǎn)生的壓力測(cè)試請(qǐng)求數(shù)量，實(shí)時(shí)調(diào)整與控制測(cè)試過(guò)程中發(fā)送的壓力測(cè)試請(qǐng)求總數(shù)量；同時(shí)在壓力測(cè)試整個(gè)過(guò)程中實(shí)時(shí)采集與統(tǒng)計(jì)各項(xiàng)測(cè)試數(shù)據(jù):包括發(fā)送的壓力測(cè)試請(qǐng)求總數(shù)量、請(qǐng)求成功率，請(qǐng)求失敗率、請(qǐng)求最大響應(yīng)時(shí)延、請(qǐng)求最小響應(yīng)時(shí)延和平均響應(yīng)時(shí)延信息，再將全部統(tǒng)計(jì)信息返回給測(cè)試管理裝置;設(shè)有測(cè)試數(shù)據(jù)分發(fā)組件、異步處理組件、并發(fā)控制組件、測(cè)試執(zhí)行組件和測(cè)試指標(biāo)統(tǒng)計(jì)組件共五個(gè)組成構(gòu)件；
[0013]資源采集裝置，負(fù)責(zé)采集被測(cè)系統(tǒng)的各種硬件資源使用信息:至少包括CPU、內(nèi)存MEM和網(wǎng)絡(luò)接口 I/O的使用狀況、再將采集的信息返回給測(cè)試管理裝置進(jìn)行處理;設(shè)有CPU信息采集組件、MEM信息采集組件、網(wǎng)絡(luò)接口 I/O信息采集組件和數(shù)據(jù)上報(bào)組件共四個(gè)組成構(gòu)件。
[0014]為了達(dá)到上述目的，本發(fā)明還提供了一種采用本發(fā)明基于異步并發(fā)機(jī)制的壓力測(cè)試系統(tǒng)的壓力測(cè)試方法，其特征在于:腳本管理裝置根據(jù)測(cè)試對(duì)象和測(cè)試要求選擇測(cè)試腳本，如果現(xiàn)有的測(cè)試腳本不能滿足測(cè)試需求，則對(duì)測(cè)試腳本執(zhí)行編輯操作，再由測(cè)試管理裝置根據(jù)確認(rèn)后的測(cè)試腳本選擇不同壓力控制的異步請(qǐng)求測(cè)試方式，然后異步壓力產(chǎn)生裝置按照并發(fā)異步的壓力測(cè)試請(qǐng)求參數(shù)的門限值及其測(cè)試時(shí)間周期、壓力測(cè)試請(qǐng)求的發(fā)送方式并行發(fā)送多個(gè)請(qǐng)求進(jìn)行壓力測(cè)試;最后，資源采集裝置實(shí)時(shí)采集與計(jì)算統(tǒng)計(jì)壓力測(cè)試時(shí)的各種測(cè)試結(jié)果數(shù)據(jù)，至少包括統(tǒng)計(jì)發(fā)送的壓力測(cè)試請(qǐng)求總數(shù)量、請(qǐng)求成功率，請(qǐng)求失敗率、請(qǐng)求最大響應(yīng)時(shí)延、請(qǐng)求最小響應(yīng)時(shí)延、平均響應(yīng)時(shí)延信息，CPU、MEM和網(wǎng)絡(luò)接口 I/O信息，用于驗(yàn)證被測(cè)系統(tǒng)的壓力性能是否滿足設(shè)計(jì)指標(biāo);如果滿足系統(tǒng)的測(cè)試要求，則結(jié)束測(cè)試；否則，調(diào)整測(cè)試參數(shù)，繼續(xù)測(cè)試;所述方法包括下列操作步驟:
[0015]步驟1，腳本管理裝置中的腳本管理加載組件先判斷現(xiàn)有的測(cè)試腳本是否滿足測(cè)試系統(tǒng)的測(cè)試要求，如果不滿足測(cè)試要求，則由腳本編輯組件與腳本測(cè)試組件分別執(zhí)行測(cè)試腳本的生成、修改、編輯與驗(yàn)證，直至滿足測(cè)試要求;再將驗(yàn)證合格的測(cè)試腳本加載到測(cè)試管理裝置進(jìn)行后續(xù)處理；
[0016]步驟2，測(cè)試管理裝置根據(jù)被測(cè)試系統(tǒng)設(shè)定的測(cè)試機(jī)制與測(cè)試要求，調(diào)整測(cè)試參數(shù)和選擇不同壓力控制的測(cè)試方式:測(cè)試參數(shù)管理組件設(shè)置并發(fā)異步的壓力測(cè)試請(qǐng)求的各項(xiàng)參數(shù):包括并發(fā)異步的壓力測(cè)試請(qǐng)求的門限值、測(cè)試時(shí)間周期、選擇按照爆發(fā)式壓力、平緩式壓力、周期式壓力的一種和/或多種方式進(jìn)行并發(fā)壓力測(cè)試;再將這些測(cè)試參數(shù)發(fā)送給異步壓力產(chǎn)生裝置；
[0017]步驟3，異步壓力產(chǎn)生裝置的異步處理組件根據(jù)被測(cè)系統(tǒng)的測(cè)試要求，在測(cè)試時(shí)間周期內(nèi)，按照測(cè)試管理裝置的測(cè)試參數(shù)管理組件設(shè)置的測(cè)試參數(shù)自動(dòng)生成壓力測(cè)試請(qǐng)求，再由測(cè)試執(zhí)行組件將這些壓力測(cè)試請(qǐng)求發(fā)送到被測(cè)系統(tǒng)進(jìn)行異步機(jī)制測(cè)試；
[0018]步驟4，異步壓力產(chǎn)生裝置的并發(fā)控制組件執(zhí)行進(jìn)程內(nèi)的自動(dòng)機(jī)測(cè)試流程:并發(fā)控制組件接收到設(shè)定的壓力測(cè)試請(qǐng)求后，將該壓力測(cè)試請(qǐng)求下發(fā)給測(cè)試執(zhí)行組件中的處理進(jìn)程內(nèi)的自動(dòng)機(jī)執(zhí)行并行處理，每個(gè)進(jìn)程同時(shí)支持多個(gè)自動(dòng)機(jī)測(cè)試，每個(gè)進(jìn)程能夠最大并行處理8192個(gè)并發(fā)壓力測(cè)試請(qǐng)求，每個(gè)自動(dòng)機(jī)獨(dú)立、自動(dòng)處理完成各自測(cè)試操作，自動(dòng)機(jī)之間則并行自動(dòng)執(zhí)行壓力測(cè)試請(qǐng)求，以提高測(cè)試并發(fā)量和處理效率；
[0019]步驟5，資源采集裝置采集測(cè)試結(jié)果數(shù)據(jù)，再傳送給測(cè)試管理裝置進(jìn)行統(tǒng)計(jì)分析:統(tǒng)計(jì)的測(cè)試結(jié)果數(shù)據(jù)包括:壓力測(cè)試請(qǐng)求的發(fā)送總數(shù)、最大響應(yīng)時(shí)延、最小響應(yīng)時(shí)延，平均響應(yīng)時(shí)延，請(qǐng)求成功率和請(qǐng)求失敗率，以及被測(cè)系統(tǒng)CPU、MEM與網(wǎng)絡(luò)接口 I/O的使用狀況;如果測(cè)試管理裝置對(duì)測(cè)試結(jié)果數(shù)據(jù)的統(tǒng)計(jì)分析的評(píng)價(jià)是測(cè)試通過(guò)，則結(jié)束測(cè)試;否則，調(diào)整測(cè)試參數(shù)，返回執(zhí)行步驟3，繼續(xù)進(jìn)行后續(xù)測(cè)試。
[0020]本發(fā)明基于異步并發(fā)機(jī)制的壓力測(cè)試系統(tǒng)和測(cè)試方法主要?jiǎng)?chuàng)新技術(shù)是:
[0021]本發(fā)明提供了一種基于異步并發(fā)機(jī)制的壓力測(cè)試系統(tǒng)及其測(cè)試方法，不同于原來(lái)的同步并發(fā)機(jī)制，本發(fā)明測(cè)試系統(tǒng)中的每個(gè)新的壓力測(cè)試請(qǐng)求不是在接收到上一請(qǐng)求的響應(yīng)后才發(fā)送新的壓力測(cè)試請(qǐng)求，而是無(wú)論被測(cè)系統(tǒng)是否完成對(duì)已發(fā)送的壓力測(cè)試請(qǐng)求的響應(yīng)，它都會(huì)根據(jù)預(yù)設(shè)的測(cè)試參數(shù)，在每秒產(chǎn)生額定數(shù)量的壓力測(cè)試請(qǐng)求給被測(cè)系統(tǒng)。異步并發(fā)機(jī)制的主要特點(diǎn)是增加壓力測(cè)試請(qǐng)求的并發(fā)數(shù)量。當(dāng)需要產(chǎn)生新的請(qǐng)求時(shí)，如果沒(méi)有接收到上一請(qǐng)求的響應(yīng)時(shí)，可以繼續(xù)保持一段等待的時(shí)間。但是，本發(fā)明的壓力測(cè)試系統(tǒng)仍然繼續(xù)產(chǎn)生新的壓力測(cè)試請(qǐng)求，而且，該新的壓力測(cè)試請(qǐng)求將與以前已經(jīng)發(fā)送的壓力測(cè)試請(qǐng)求無(wú)關(guān)，從而達(dá)到異步并發(fā)的目的。
[0022]本發(fā)明還提供了一種測(cè)試進(jìn)程內(nèi)多自動(dòng)機(jī)的并發(fā)壓力產(chǎn)生方式。根據(jù)測(cè)試任務(wù)預(yù)定的壓力測(cè)試請(qǐng)求的門限值，平均分配多個(gè)自動(dòng)機(jī)