一種系統(tǒng)測(cè)試的方法和裝置制造方法
【專利摘要】本發(fā)明提供了一種系統(tǒng)測(cè)試的方法和裝置，針對(duì)包含兩個(gè)以上模塊的流式系統(tǒng)，其中方法包括：S1、提取所述流式系統(tǒng)中各模塊自身的策略效果作為單效果以及兩個(gè)以上模塊相互配合的策略效果作為組合效果；S2、將各單效果和組合效果的效果特征構(gòu)成效果特征集合，以及提取各效果特征之間的相互關(guān)系構(gòu)成特征關(guān)系集合；S3、對(duì)各模塊對(duì)應(yīng)的效果特征進(jìn)行監(jiān)控并收集效果特征值；S4、利用收集的效果特征值對(duì)特征關(guān)系集合進(jìn)行逐條驗(yàn)證，并相應(yīng)輸出驗(yàn)證結(jié)果。通過(guò)本發(fā)明能夠?qū)崿F(xiàn)流式系統(tǒng)的效果測(cè)試，并方便快速地實(shí)現(xiàn)問(wèn)題定位。
【專利說(shuō)明】一種系統(tǒng)測(cè)試的方法和裝置
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及計(jì)算機(jī)測(cè)試【技術(shù)領(lǐng)域】，特別涉及一種系統(tǒng)測(cè)試的方法和裝置。
【【背景技術(shù)】】
[0002]系統(tǒng)效果測(cè)試是系統(tǒng)測(cè)試中的一種，主要對(duì)系統(tǒng)運(yùn)行中產(chǎn)生的日志或者模塊狀態(tài)參數(shù)進(jìn)行監(jiān)控，依據(jù)監(jiān)控?cái)?shù)據(jù)，判斷系統(tǒng)是否達(dá)到預(yù)期效果。對(duì)于多模塊組成的流式系統(tǒng)，現(xiàn)有的測(cè)試方式主要是結(jié)果導(dǎo)向的測(cè)試方法。
[0003]結(jié)果導(dǎo)向的測(cè)試方法只關(guān)注系統(tǒng)或者模塊運(yùn)行的最終結(jié)果。雖然能夠檢測(cè)出系統(tǒng)的輸出結(jié)果是否在一個(gè)合理的范圍內(nèi)，但是不能檢測(cè)出系統(tǒng)的運(yùn)行是否合理。這種方式在系統(tǒng)較為簡(jiǎn)單，策略單一時(shí)，可以很好的達(dá)到測(cè)試目的；但如果系統(tǒng)較為復(fù)雜，存在多個(gè)策略分支產(chǎn)生同一個(gè)結(jié)果時(shí)，測(cè)試不能完整覆蓋，同時(shí)在系統(tǒng)測(cè)試結(jié)果出現(xiàn)問(wèn)題時(shí)，問(wèn)題定位困難，耗時(shí)漫長(zhǎng)。
【
【發(fā)明內(nèi)容】
】
[0004]有鑒于此，本發(fā)明提供了一種系統(tǒng)測(cè)試的方法和裝置，以便于在實(shí)現(xiàn)流式系統(tǒng)的效果測(cè)試時(shí)，便于問(wèn)題定位。
[0005]具體技術(shù)方案如下:
[0006]一種系統(tǒng) 測(cè)試的方法，針對(duì)包含兩個(gè)以上模塊的流式系統(tǒng)，該方法包括:
[0007]S1、提取所述流式系統(tǒng)中各模塊自身的策略效果作為單效果以及兩個(gè)以上模塊相互配合的策略效果作為組合效果；
[0008]S2、將各單效果和組合效果的效果特征構(gòu)成效果特征集合，以及提取各效果特征之間的相互關(guān)系構(gòu)成特征關(guān)系集合；
[0009]S3、對(duì)效果特征集合中各模塊對(duì)應(yīng)的效果特征進(jìn)行監(jiān)控并收集效果特征值；
[0010]S4、利用收集的效果特征值對(duì)特征關(guān)系集合進(jìn)行逐條驗(yàn)證，并相應(yīng)輸出驗(yàn)證結(jié)果。
[0011]根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述步驟SI具體包括:
[0012]基于流式系統(tǒng)的功能列表提取各功能點(diǎn)以及功能點(diǎn)之間的依賴關(guān)系；
[0013]以功能點(diǎn)為節(jié)點(diǎn)，對(duì)所有功能點(diǎn)建立數(shù)據(jù)結(jié)構(gòu)有向圖；
[0014]提取所述數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O且出度為O的節(jié)點(diǎn)作為單效果，提取所述數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O但出度不為O的節(jié)點(diǎn)及其關(guān)聯(lián)節(jié)點(diǎn)作為組合效果。
[0015]根據(jù)本發(fā)明一優(yōu)選實(shí)施例，在所述步驟S2中通過(guò)運(yùn)行日志、模塊狀態(tài)或者命令響應(yīng)端口獲取各模塊的參數(shù)作為對(duì)應(yīng)單效果和組合效果的效果特征。
[0016]根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述步驟S4具體包括:
[0017]S41、從特征關(guān)系集合中讀取未被驗(yàn)證的特征關(guān)系；
[0018]S43、判斷收集到的當(dāng)前特征關(guān)系涉及的效果特征值是否滿足當(dāng)前特征關(guān)系，如果是，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證通過(guò)，執(zhí)行步驟S44 ;否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，執(zhí)行步驟 S44 ；[0019]S44、判斷特征關(guān)系集合中所有特征關(guān)系是否驗(yàn)證完畢，如果是，執(zhí)行步驟S45 ;否則轉(zhuǎn)至步驟S41 ；
[0020]S45、輸出特征關(guān)系集合中標(biāo)注驗(yàn)證失敗的特征關(guān)系所對(duì)應(yīng)的策略效果或者標(biāo)注驗(yàn)證通過(guò)的特征關(guān)系所對(duì)應(yīng)的策略效果。
[0021]根據(jù)本發(fā)明一優(yōu)選實(shí)施例，在所述步驟S41和步驟S43之間還包括:
[0022]S42、判斷當(dāng)前特征關(guān)系涉及的效果特征值是否被收集到，如果是，執(zhí)行步驟S43 ；否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，執(zhí)行步驟S44。
[0023]一種系統(tǒng)測(cè)試的裝置，針對(duì)包含兩個(gè)以上模塊的流式系統(tǒng)，該裝置包括:
[0024]效果提取單元，用于提取所述流式系統(tǒng)中各模塊自身的策略效果作為單效果以及兩個(gè)以上模塊相互配合的策略效果作為組合效果；
[0025]特征提取單元，用于將各單效果和組合效果的效果特征構(gòu)成效果特征集合；
[0026]關(guān)系提取單元，用于提取各效果特征之間的相互關(guān)系構(gòu)成特征關(guān)系集合；
[0027]特征確定單元，用于確定效果特征集合中各模塊對(duì)應(yīng)的效果特征；
[0028]數(shù)據(jù)監(jiān)控單元，用于對(duì)各模塊對(duì)應(yīng)的效果特征進(jìn)行監(jiān)控并收集效果特征值；
[0029]關(guān)系驗(yàn)證單元，用于利用收集的效果特征值對(duì)特征關(guān)系集合進(jìn)行逐條驗(yàn)證，并相應(yīng)輸出驗(yàn)證結(jié)果。
[0030]根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述效果提取單元具體基于所述流式系統(tǒng)的功能列表提取各功能點(diǎn)以及功能點(diǎn)之間的依賴關(guān)系，以功能點(diǎn)為節(jié)點(diǎn)，對(duì)所有功能點(diǎn)建立數(shù)據(jù)結(jié)構(gòu)有向圖，提取所述數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O且出度為O的節(jié)點(diǎn)作為單效果，提取所述數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O但出度不為O的節(jié)點(diǎn)及其關(guān)聯(lián)節(jié)點(diǎn)作為組合效果。
[0031]根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述特征提取單元通過(guò)運(yùn)行日志、模塊狀態(tài)或者命令響應(yīng)端口獲取各模塊的參數(shù)作為對(duì)應(yīng)單效果和組合效果的效果特征。
[0032]根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述關(guān)系驗(yàn)證單元具體包括:
[0033]讀取子單元，用于從特征關(guān)系集合中讀取未被驗(yàn)證的特征關(guān)系提供給第一判斷子單元；
[0034]第一判斷子單元，用于判斷收集到的當(dāng)前特征關(guān)系涉及的效果特征值是否滿足當(dāng)前特征關(guān)系，如果是，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證通過(guò)，觸發(fā)第二判斷子單元；否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，觸發(fā)第二判斷子單元；
[0035]第二判斷子單元，用于判斷特征關(guān)系集合中所有特征關(guān)系是否驗(yàn)證完畢，如果是，觸發(fā)輸出子單元；否則，觸發(fā)所述讀取子單元；
[0036]輸出子單元，用于輸出特征關(guān)系集合中標(biāo)注驗(yàn)證失敗的特征關(guān)系所對(duì)應(yīng)的策略效果或者標(biāo)注驗(yàn)證通過(guò)的特征關(guān)系所對(duì)應(yīng)的策略效果。
[0037]根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述關(guān)系驗(yàn)證單元還包括:
[0038]第三判斷子單元，用于在所述第一判斷子單元執(zhí)行判斷操作之前，首先判斷當(dāng)前特征關(guān)系涉及到的效果特征值是否被收集到，如果是，觸發(fā)所述第一判斷子單元執(zhí)行所述判斷操作；否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，禁止所述第一判斷子單元執(zhí)行所述判斷操作，觸發(fā)所述第二判斷子單元。
[0039]由以上技術(shù)方案可以看出，本發(fā)明通過(guò)提取模塊的單效果和組合效果的效果特征，以及各效果特征之間的相互關(guān)系，將系統(tǒng)效果分解為一系列可衡量的效果特征和特征關(guān)系，通過(guò)對(duì)各模塊的效果特征進(jìn)行監(jiān)控和基于特征關(guān)系的驗(yàn)證來(lái)實(shí)現(xiàn)流式系統(tǒng)的效果測(cè)試，能夠及時(shí)獲知驗(yàn)證失敗的特征關(guān)系，從而方便快速地實(shí)現(xiàn)問(wèn)題定位。
【【專利附圖】

【附圖說(shuō)明】】
[0040]圖1為本發(fā)明實(shí)施例一提供的系統(tǒng)測(cè)試方法流程圖；
[0041]圖2為本發(fā)明實(shí)施例一提供的對(duì)特征關(guān)系集合進(jìn)行逐條驗(yàn)證的流程圖；
[0042]圖3為本發(fā)明實(shí)施例二提供的系統(tǒng)測(cè)試裝置結(jié)構(gòu)圖；
[0043]圖4為本發(fā)明實(shí)施例二提供的關(guān)系驗(yàn)證單元的結(jié)構(gòu)圖。
【【具體實(shí)施方式】】
[0044]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述。
[0045]本發(fā)明提供的針對(duì)流式系統(tǒng)的檢測(cè)方法主要包括系統(tǒng)效果建模、模塊化的監(jiān)控部署以及特征關(guān)系化的效果測(cè)試三個(gè)階段，下面通過(guò)實(shí)施例一對(duì)具體的檢測(cè)方法進(jìn)行描述。
[0046]實(shí)施例一、
[0047]圖1為本發(fā)明實(shí)施例一提供的主要方法流程圖，如圖1所示，該方法包括:
[0048]步驟101:提取流式系統(tǒng)中各模塊自身實(shí)現(xiàn)的策略效果作為單效果，以及提取兩個(gè)以上模塊相互配合的策略效果作為組合效果，將提取的單效果和組合效果構(gòu)成策略集合。
[0049]在一個(gè)多模塊組成的流式系統(tǒng)中，如果某個(gè)策略效果的合理性通過(guò)一個(gè)效果特征的數(shù)值或者該效果特征的歷史數(shù)值來(lái)判斷，那么稱該策略效果為單效果。例如，模塊A需要均速處理數(shù)據(jù)，那么模塊A對(duì)應(yīng)一個(gè)單效果，即“數(shù)據(jù)勻速處理，P+-10%”，其中P表示模塊A單位時(shí)間內(nèi)日志滾動(dòng)條目的波動(dòng)在10%以內(nèi)。
[0050]在一個(gè)多模塊組成的流式系統(tǒng)中，如果某個(gè)策略效果的合理性需要通過(guò)兩個(gè)以上的效果特征的數(shù)值或者兩個(gè)以上效果特征的相互關(guān)系來(lái)判斷，那么稱該策略效果為組合效果。例如，模塊AO將數(shù)據(jù)分發(fā)給下游模塊A1，A2，A3，那么存在一個(gè)組合效果，即“傳輸數(shù)據(jù)無(wú)丟失，P0=P1+P2+P3 “ ；其中PO表示AO發(fā)送的數(shù)據(jù)條目，P1、P2和P3分別表示Al、A2和A3接收到的數(shù)據(jù)條目。
[0051]本步驟中單效果和組合效果的提取通?？梢曰诹魇较到y(tǒng)已有的功能列表實(shí)現(xiàn)，這些功能列表可以通常由流失系統(tǒng)的詳細(xì)設(shè)計(jì)、使用說(shuō)明、功能說(shuō)明等生成，功能列表為現(xiàn)有的內(nèi)容，本發(fā)明基于該功能列表實(shí)現(xiàn)上述單效果和組合效果的提取。
[0052]其中，單效果的提取方式具體包括:基于流式系統(tǒng)的功能列表提取各功能點(diǎn)以及功能點(diǎn)之間的依賴關(guān)系；依據(jù)功能點(diǎn)之間的依賴關(guān)系，以功能點(diǎn)為節(jié)點(diǎn)，對(duì)所有功能點(diǎn)建立數(shù)據(jù)結(jié)構(gòu)有向圖；提取圖中入度為O且出度為O的節(jié)點(diǎn)作為單效果。
[0053]組合效果的提取方式具體包括:基于流式系統(tǒng)的功能列表提取各功能點(diǎn)以及功能點(diǎn)之間的依賴關(guān)系，以功能點(diǎn)為節(jié)點(diǎn)，對(duì)所有功能點(diǎn)建立數(shù)據(jù)結(jié)構(gòu)有向圖；提取圖中入度為O但出度不為O的節(jié)點(diǎn)及其所有的關(guān)聯(lián)節(jié)點(diǎn)作為組合效果。
[0054]步驟102:提取策略集合中各單效果和組合效果的效果特征構(gòu)成效果特征集合，以及提取各效果特征之間的相互關(guān)系構(gòu)成特征關(guān)系集合。[0055]本步驟中可以通過(guò)運(yùn)行日志、模塊狀態(tài)或者命令響應(yīng)端口獲取各模塊的參數(shù)作為對(duì)應(yīng)單效果和組合效果的效果特征，例如，上例中的P、P1、P2和P3。
[0056]為了更好的對(duì)策略效果進(jìn)行描述，將效果特征進(jìn)行關(guān)聯(lián)抽象為一系列的特征關(guān)系，特征關(guān)系之間采用與關(guān)系聯(lián)系，具體是指效果特征之間由于效果而存在的關(guān)聯(lián)關(guān)系，包含策略id和與關(guān)系表達(dá)式。其中表達(dá)式可以包括但不限于以下幾種:
[0057]閥值類:類似“p〈num”或者“p>num”,其中p代表效果特征值,num代表特定數(shù)值。
[0058]歷史波動(dòng)類:類似“P+-10”表示歷史波動(dòng)幅度小于10% ;“p++10”表示歷史波動(dòng)增幅小于10% ;“p—10”表示歷史波動(dòng)減幅小于10%。
[0059]算數(shù)類:類似“pl=p2+p3+…+pn”表示效果特征值pi是p2、p3、…、Pn之和。
[0060]與或類:類似“R11 I R2”表示該項(xiàng)特征關(guān)系是特征關(guān)系Rl和R2的或關(guān)聯(lián)。
[0061]上述步驟101和步驟102為系統(tǒng)效果建模階段，即將系統(tǒng)效果分解為一系列組合效果和單效果，并進(jìn)一步將組合效果和單效果分解為一系列可衡量的效果特征，從而得到效果特征集合和特征關(guān)系集合。
[0062]步驟103:確定效果特征集合中各模塊對(duì)應(yīng)的效果特征。
[0063]各模塊對(duì)應(yīng)的效果特征可以包括:日志類效果特征、模塊狀態(tài)類效果特征和模塊端口響應(yīng)類效果特征中的至少一種。
[0064]同理，本步 驟中可以通過(guò)運(yùn)行日志、模塊狀態(tài)或者命令響應(yīng)端口獲取各模塊的參數(shù)作為各模塊對(duì)應(yīng)的效果特征。實(shí)際上該步驟與步驟102沒(méi)有固定的先后順序，也就是說(shuō)，可以在確定效果特征集合時(shí)就確定出各模塊對(duì)應(yīng)的效果特征。
[0065]步驟104:對(duì)各模塊對(duì)應(yīng)的效果特征進(jìn)行監(jiān)控并收集效果特征值。
[0066]可以預(yù)先訂制獲取各模塊對(duì)應(yīng)的效果特征的監(jiān)控程序，該監(jiān)控程序可以以模塊運(yùn)行日志、模塊狀態(tài)或命令響應(yīng)端口作為輸入，從而實(shí)現(xiàn)對(duì)各模塊對(duì)應(yīng)的效果特征的監(jiān)控。在進(jìn)行監(jiān)控程序的實(shí)際部署時(shí)，可以采用單機(jī)或者分布式的方式，如果采用分布式的方式，對(duì)收集到的監(jiān)控?cái)?shù)據(jù)可能進(jìn)行必要的匯總。
[0067]上述步驟103和步驟104為模塊化的監(jiān)控部署階段，即將特征結(jié)合分散到模塊，進(jìn)行部署和監(jiān)控，并進(jìn)行必要的匯總。
[0068]步驟105:利用收集的效果特征值對(duì)特征關(guān)系集合進(jìn)行逐條驗(yàn)證，并相應(yīng)輸出驗(yàn)證結(jié)果。
[0069]依據(jù)步驟102可知，特征關(guān)系集合中實(shí)際上是效果特征之間的相互關(guān)系被抽象出的表達(dá)式，逐條對(duì)這些表達(dá)式進(jìn)行驗(yàn)證。本步驟的具體過(guò)程如圖2所示，可以包括以下步驟:
[0070]步驟201:從特征關(guān)系集合中讀取未被驗(yàn)證的特征關(guān)系。
[0071]步驟202:判斷當(dāng)前特征關(guān)系涉及到的效果特征值是否被收集到，如果是，執(zhí)行步驟203 ;否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，執(zhí)行步驟204。
[0072]步驟203:判斷收集到的效果特征值是否滿足當(dāng)前特征關(guān)系，如果是，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證通過(guò)，執(zhí)行步驟204，否則標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，執(zhí)行步驟204。
[0073]本步驟實(shí)際上就是將效果特征值代入對(duì)應(yīng)的表達(dá)式，判斷表達(dá)式是否成立，如果成立，則說(shuō)明效果特征滿足當(dāng)前特征關(guān)系。
[0074]另外，也可以不執(zhí)行上述步驟202，如果某效果特征值沒(méi)有收集到，包含該效果特征的特征關(guān)系必然不會(huì)被滿足，從而導(dǎo)致驗(yàn)證失敗，執(zhí)行步驟202可以提高驗(yàn)證效率。
[0075]步驟204:判斷特征關(guān)系集合中所有特征關(guān)系是否驗(yàn)證完畢，如果否，轉(zhuǎn)至步驟201 ;如果是，執(zhí)行步驟205。以特征關(guān)系“P0=P1+P2+P3”為例，即將效果特征值，即PO、P1、P2和P3的值分別代入上述的表達(dá)式，判斷該表達(dá)式是否成立，如果成立，則說(shuō)明驗(yàn)證通過(guò)，也就是說(shuō)，模塊AO將數(shù)據(jù)分發(fā)給下游模塊Al，A2，A3時(shí)，“傳輸數(shù)據(jù)無(wú)丟失”這一策略效果滿足要求，否則說(shuō)明這一策略效果不滿足要求。
[0076]步驟205:輸出特征關(guān)系集合中標(biāo)注驗(yàn)證失敗的特征關(guān)系所對(duì)應(yīng)的策略效果。
[0077]當(dāng)然，在本步驟中也可以輸出特征關(guān)系集合中標(biāo)注驗(yàn)證通過(guò)的特征關(guān)系所對(duì)應(yīng)的策略效果。
[0078]上述步驟105是規(guī)則化的效果測(cè)試階段，即利用監(jiān)控得到的數(shù)據(jù)和特征關(guān)系集合，判斷策略效果是否通過(guò)。
[0079]以上是對(duì)本發(fā)明所提供的方法進(jìn)行的描述，下面通過(guò)實(shí)施例二對(duì)本發(fā)明所提供的裝置進(jìn)行詳細(xì)描述。
[0080]實(shí)施例二、
[0081]圖3為本發(fā)明實(shí)施例二提供的系統(tǒng)測(cè)試裝置結(jié)構(gòu)圖，同樣該裝置針對(duì)包含兩個(gè)以上模塊的流式系統(tǒng)，如圖3所示，該裝置包括:效果提取單元300、特征提取單元310、關(guān)系提取單元320、特征確定單元330、數(shù)據(jù)監(jiān)控單元340和關(guān)系驗(yàn)證單元350。
[0082]效果提取單元300，用于提取流式系統(tǒng)中各模塊自身的策略效果作為單效果以及兩個(gè)以上模塊相互配合的策略效果作為組合效果，將提取的單效果和組合效果構(gòu)成策略集
口 ο
[0083]具體地，效果提取單元300可以基于流式系統(tǒng)的功能列表提取各功能點(diǎn)以及功能點(diǎn)之間的依賴關(guān)系；以功能點(diǎn)為節(jié)點(diǎn)，對(duì)所有功能點(diǎn)建立數(shù)據(jù)結(jié)構(gòu)有向圖；提取數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O且出度為O的節(jié)點(diǎn)作為單效果，提取數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O但出度不為O的節(jié)點(diǎn)及其關(guān)聯(lián)節(jié)點(diǎn)作為組合效果。
[0084]特征提取單元310，用于將各單效果和組合效果的效果特征構(gòu)成效果特征集合。具體地，特征提取單元310可以通過(guò)運(yùn)行日志、模塊狀態(tài)或者命令響應(yīng)端口獲取各模塊的參數(shù)作為對(duì)應(yīng)單效果和組合效果的效果特征。
[0085]關(guān)系提取單元320，用于提取各效果特征之間的相互關(guān)系構(gòu)成特征關(guān)系集合。為了更好的對(duì)策略效果進(jìn)行描述，將效果特征進(jìn)行關(guān)聯(lián)抽象為一系列的特征關(guān)系，特征關(guān)系之間采用與關(guān)系聯(lián)系，具體是指效果特征之間由于效果而存在的關(guān)聯(lián)關(guān)系，包含策略id和與關(guān)系表達(dá)式。同樣表達(dá)式可以包括但不限于:閾值類、歷史波動(dòng)類、算數(shù)類、與或類等，具體參見(jiàn)實(shí)施例一中的相關(guān)描述。
[0086]特征確定單元330，用于確定效果特征集合中各模塊對(duì)應(yīng)的效果特征。此處可以通過(guò)運(yùn)行日志、模塊狀態(tài)或者命令響應(yīng)端口獲取各模塊的參數(shù)作為各模塊對(duì)應(yīng)的效果特征。
[0087]數(shù)據(jù)監(jiān)控單元340，用于對(duì)各模塊對(duì)應(yīng)的效果特征進(jìn)行監(jiān)控并收集效果特征值。該數(shù)據(jù)監(jiān)控單元340可以由預(yù)先訂制的獲取各模塊對(duì)應(yīng)的效果特征的監(jiān)控程序構(gòu)成，監(jiān)控程序可以以模塊運(yùn)行日志、模塊狀態(tài)或命令響應(yīng)端口作為輸入，從而實(shí)現(xiàn)對(duì)各模塊對(duì)應(yīng)的效果特征的監(jiān)控。在進(jìn)行監(jiān)控程序的實(shí)際部署時(shí)，可以采用單機(jī)或者分布式的方式，如果采用分布式的方式，對(duì)收集到的監(jiān)控?cái)?shù)據(jù)可能進(jìn)行必要的匯總。[0088]關(guān)系驗(yàn)證單元350，用于利用收集的效果特征值對(duì)特征關(guān)系集合進(jìn)行逐條驗(yàn)證，并相應(yīng)輸出驗(yàn)證結(jié)果。特征關(guān)系集合中實(shí)際上是效果特征之間的相互關(guān)系被抽象出的表達(dá)式，因此關(guān)系驗(yàn)證單元350逐條對(duì)這些表達(dá)式進(jìn)行驗(yàn)證。
[0089]其中關(guān)系驗(yàn)證單元350的結(jié)構(gòu)可以如圖4所示，具體包括:讀取子單元401、第一判斷子單元402、第二判斷子單元403和輸出子單元404。
[0090]讀取子單元401，用于從特征關(guān)系集合中讀取未被驗(yàn)證的特征關(guān)系提供給第一判斷子單元402。
[0091]第一判斷子單元402，用于判斷收集到的當(dāng)前特征關(guān)系涉及的效果特征值是否滿足當(dāng)前特征關(guān)系，如果是，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證通過(guò)，觸發(fā)第二判斷子單元403 ;否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，觸發(fā)第二判斷子單元403。
[0092]實(shí)際上，第一判斷子單元402就是將效果特征值代入對(duì)應(yīng)的表達(dá)式，判斷表達(dá)式是否成立，如果成立，則說(shuō)明效果特征滿足當(dāng)前特征關(guān)系。
[0093]第二判斷子單元403，用于判斷特征關(guān)系集合中所有特征關(guān)系是否驗(yàn)證完畢，如果是，觸發(fā)輸出子單元404 ;否則，觸發(fā)讀取子單元401。
[0094]輸出子單元404，用于輸出特征關(guān)系集合中標(biāo)注驗(yàn)證失敗的特征關(guān)系所對(duì)應(yīng)的策略效果或者標(biāo)注驗(yàn)證通過(guò)的特征關(guān)系所對(duì)應(yīng)的策略效果。
[0095]為了提高驗(yàn)證效率，關(guān)系驗(yàn)證單元350還可以進(jìn)一步包括:第三判斷子單元405，用于在第一判斷子單元402執(zhí)行判斷操作之前，首先判斷當(dāng)前特征關(guān)系涉及到的效果特征值是否被收集到，如果是，觸發(fā)第一判斷子單元402執(zhí)行判斷操作；否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，禁止第一判斷子單元402執(zhí)行判斷操作，觸發(fā)第二判斷子單元403。
[0096]由以上描述可以看出，本發(fā)明提供的方法和裝置具備以下優(yōu)點(diǎn):
[0097]I)本發(fā)明通過(guò)提取模塊的單效果和組合效果的效果特征，以及各效果特征之間的相互關(guān)系，將系統(tǒng)效果分解為一系列可衡量的效果特征和特征關(guān)系，通過(guò)對(duì)各模塊的效果特征進(jìn)行監(jiān)控和基于特征關(guān)系的驗(yàn)證來(lái)實(shí)現(xiàn)流式系統(tǒng)的效果測(cè)試，能夠及時(shí)獲知驗(yàn)證失敗的特征關(guān)系，從而方便快速地實(shí)現(xiàn)問(wèn)題定位。
[0098]2)監(jiān)控與效果測(cè)試的分離，使得對(duì)各效果特征監(jiān)控的唯一性，有效地降低了監(jiān)控冗余，減少了資源浪費(fèi)。
[0099]3)將策略效果抽象為一系列的表達(dá)式，提高了系統(tǒng)效果的可測(cè)性，簡(jiǎn)化了異常分析成本，更進(jìn)一步方便問(wèn)題定位。
[0100]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
【權(quán)利要求】
1.一種系統(tǒng)測(cè)試的方法，針對(duì)包含兩個(gè)以上模塊的流式系統(tǒng)，其特征在于，該方法包括:51、提取所述流式系統(tǒng)中各模塊自身的策略效果作為單效果以及兩個(gè)以上模塊相互配合的策略效果作為組合效果；52、將各單效果和組合效果的效果特征構(gòu)成效果特征集合，以及提取各效果特征之間的相互關(guān)系構(gòu)成特征關(guān)系集合；53、對(duì)效果特征集合中各模塊對(duì)應(yīng)的效果特征進(jìn)行監(jiān)控并收集效果特征值；54、利用收集的效果特征值對(duì)特征關(guān)系集合進(jìn)行逐條驗(yàn)證，并相應(yīng)輸出驗(yàn)證結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟SI具體包括:基于流式系統(tǒng)的功能列表提取各功能點(diǎn)以及功能點(diǎn)之間的依賴關(guān)系；以功能點(diǎn)為節(jié)點(diǎn)，對(duì) 所有功能點(diǎn)建立數(shù)據(jù)結(jié)構(gòu)有向圖；提取所述數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O且出度為O的節(jié)點(diǎn)作為單效果，提取所述數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O但出度不為O的節(jié)點(diǎn)及其關(guān)聯(lián)節(jié)點(diǎn)作為組合效果。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述步驟S2中通過(guò)運(yùn)行日志、模塊狀態(tài)或者命令響應(yīng)端口獲取各模塊的參數(shù)作為對(duì)應(yīng)單效果和組合效果的效果特征。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4具體包括:541、從特征關(guān)系集合中讀取未被驗(yàn)證的特征關(guān)系；543、判斷收集到的當(dāng)前特征關(guān)系涉及的效果特征值是否滿足當(dāng)前特征關(guān)系，如果是，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證通過(guò)，執(zhí)行步驟S44;否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，執(zhí)行步驟S44 ；544、判斷特征關(guān)系集合中所有特征關(guān)系是否驗(yàn)證完畢，如果是，執(zhí)行步驟S45;否則轉(zhuǎn)至步驟S41 ；545、輸出特征關(guān)系集合中標(biāo)注驗(yàn)證失敗的特征關(guān)系所對(duì)應(yīng)的策略效果或者標(biāo)注驗(yàn)證通過(guò)的特征關(guān)系所對(duì)應(yīng)的策略效果。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述步驟S41和步驟S43之間還包括:542、判斷當(dāng)前特征關(guān)系涉及的效果特征值是否被收集到，如果是，執(zhí)行步驟S43;否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，執(zhí)行步驟S44。
6.一種系統(tǒng)測(cè)試的裝置，針對(duì)包含兩個(gè)以上模塊的流式系統(tǒng)，其特征在于，該裝置包括:效果提取單元，用于提取所述流式系統(tǒng)中各模塊自身的策略效果作為單效果以及兩個(gè)以上模塊相互配合的策略效果作為組合效果；特征提取單元，用于將各單效果和組合效果的效果特征構(gòu)成效果特征集合；關(guān)系提取單元，用于提取各效果特征之間的相互關(guān)系構(gòu)成特征關(guān)系集合；特征確定單元，用于確定效果特征集合中各模塊對(duì)應(yīng)的效果特征；數(shù)據(jù)監(jiān)控單元，用于對(duì)各模塊對(duì)應(yīng)的效果特征進(jìn)行監(jiān)控并收集效果特征值；關(guān)系驗(yàn)證單元，用于利用收集的效果特征值對(duì)特征關(guān)系集合進(jìn)行逐條驗(yàn)證，并相應(yīng)輸出驗(yàn)證結(jié)果。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述效果提取單元具體基于所述流式系統(tǒng)的功能列表提取各功能點(diǎn)以及功能點(diǎn)之間的依賴關(guān)系，以功能點(diǎn)為節(jié)點(diǎn)，對(duì)所有功能點(diǎn)建立數(shù)據(jù)結(jié)構(gòu)有向圖，提取所述數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O且出度為O的節(jié)點(diǎn)作為單效果，提取所述數(shù)據(jù)結(jié)構(gòu)有向圖中入度為O但出度不為O的節(jié)點(diǎn)及其關(guān)聯(lián)節(jié)點(diǎn)作為組合效果。
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述特征提取單元通過(guò)運(yùn)行日志、模塊狀態(tài)或者命令響應(yīng)端口獲取各模塊的參數(shù)作為對(duì)應(yīng)單效果和組合效果的效果特征。
9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述關(guān)系驗(yàn)證單元具體包括:讀取子單元，用于從特征關(guān)系集合中讀取未被驗(yàn)證的特征關(guān)系提供給第一判斷子單元;第一判斷子單元，用于判斷收集到的當(dāng)前特征關(guān)系涉及的效果特征值是否滿足當(dāng)前特征關(guān)系，如果是，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證通過(guò)，觸發(fā)第二判斷子單元；否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，觸發(fā)第二判斷子單元；第二判斷子單元，用于判斷特征關(guān)系集合中所有特征關(guān)系是否驗(yàn)證完畢，如果是，觸發(fā)輸出子單元；否則，觸發(fā)所述讀取子單元；輸出子單元，用于輸出特征關(guān)系集合中標(biāo)注驗(yàn)證失敗的特征關(guān)系所對(duì)應(yīng)的策略效果或者標(biāo)注驗(yàn)證通過(guò)的特征關(guān)系所對(duì)應(yīng)的策略效果。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述關(guān)系驗(yàn)證單元還包括:第三判斷子單元，用于在所述第一判斷子單元執(zhí)行判斷操作之前，首先判斷當(dāng)前特征關(guān)系涉及到的效果特征值是否被收集到，如果是，觸發(fā)所述第一判斷子單元執(zhí)行所述判斷操作；否則，標(biāo)注當(dāng)前特征關(guān)系驗(yàn)證失敗，禁止所述第一判斷子單元執(zhí)行所述判斷操作，觸發(fā)所述第二判斷子單元。
【文檔編號(hào)】G06F11/36GK103593279SQ201210287405
【公開(kāi)日】2014年2月19日 申請(qǐng)日期:2012年8月13日 優(yōu)先權(quán)日:2012年8月13日
【發(fā)明者】趙輝 申請(qǐng)人:百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司