一種檢測計算模型的方法、測試服務器及業(yè)務平臺的制作方法
【技術領域】
[0001]本發(fā)明涉及計算機技術領域，特別涉及一種檢測計算模型的方法、測試服務器及業(yè)務平臺。
【背景技術】
[0002]隨著開源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等大數(shù)據(jù)框架技術的商用化，基于上述各大數(shù)據(jù)框架的計算模型(即數(shù)據(jù)管理系統(tǒng))應用也越來越廣泛。
[0003]計算模型可用于大數(shù)據(jù)管理業(yè)務，基于不同大數(shù)據(jù)框架的計算模型具備不同的數(shù)據(jù)處理效率；目前，通常使用TPC-DS測試基準分別對基于不同大數(shù)據(jù)框架且實現(xiàn)相同目標業(yè)務的計算模型進行檢測，以獲取每一個基于大數(shù)據(jù)框架的計算模型分別對應的資源消耗信息，進而使用戶可根據(jù)獲取到的資源消耗信息結(jié)合實際業(yè)務需求選擇合適的計算模型以實現(xiàn)相應的大數(shù)據(jù)管理業(yè)務；但是，計算模型所需要處理的數(shù)據(jù)通常包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，針對結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別進行相應的處理時所需要占用的資源并不相同，而TPC-DS測試基準只能檢測基于結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)處理業(yè)務，因此，針對計算模型的檢測結(jié)果準確性較低。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供了一種檢測計算模型的方法、測試服務器及業(yè)務平臺，可提高檢測結(jié)果的準確性。
[0005]第一方面，本發(fā)明提供了一種檢測計算模型的方法，包括:
[0006]S0:獲取目標計算模型，并將目標計算模型部署在至少一臺存儲服務器上；
[0007]S1:獲取TPC-DS測試組件，根據(jù)所述TPC-DS測試組件產(chǎn)生第一檢測指令，向所述目標計算模型發(fā)送第一檢測指令，所述第一檢測指令指示所述目標計算模型對應的至少一臺存儲服務器針對結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理；
[0008]S2:獲取所述至少一臺存儲服務器對應所述第一檢測指令的第一資源消耗信息，并存儲所述第一資源消耗信息；
[0009]S3:獲取bigbench測試組件，根據(jù)所述bigbench測試組件產(chǎn)生第二檢測指令，向所述目標計算模型發(fā)送第二檢測指令，所述第二檢測指令指示所述目標計算模型對應的至少一臺存儲服務器針對非結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理；
[0010]S4:獲取所述至少一臺存儲服務器對應所述第二檢測指令的第二資源消耗信息，并存儲所述第二資源消耗信息。
[0011]進一步的，
[0012]所述第一檢測指令攜帶至少一個第一結(jié)構(gòu)化查詢語言SQL查詢語句，還包括:
[0013]當所述目標計算模型未能分別根據(jù)每一個第一 SQL查詢語句提供第一目標數(shù)據(jù)子集時，記錄對應的第一 SQL查詢語句以及所述目標計算模型未能根據(jù)第一 SQL查詢語句提供第一目標數(shù)據(jù)子集的次數(shù)；
[0014]以及，
[0015]所述第二檢測指令攜帶至少一個第二 SQL查詢語句，還包括:
[0016]當所述目標計算模型未能分別根據(jù)每一個第二SQL查詢語句提供第二目標數(shù)據(jù)子集時，記錄對應的第二 SQL查詢語句以及所述目標計算模型未能根據(jù)第二 SQL查詢語句提供第二目標數(shù)據(jù)子集的次數(shù)。
[0017]進一步的，
[0018]所述獲取所述至少一臺存儲服務器對應所述第一檢測指令的第一資源消耗信息，包括:獲取每一臺用于針對結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理的存儲服務器在進行相應的業(yè)務處理時，分別對應的處理器利用率、存儲空間消耗以及網(wǎng)絡吞吐量；
[0019]所述獲取所述至少一臺存儲服務器對應所述第二檢測指令的第二資源消耗信息，包括:獲取每一臺用于針對非結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理的存儲服務器在進行相應的業(yè)務處理時，分別對應的處理器利用率、存儲空間消耗以及網(wǎng)絡吞吐量。
[0020]進一步的，
[0021]所述結(jié)構(gòu)化數(shù)據(jù)，包括:數(shù)字和符號；
[0022]所述非結(jié)構(gòu)化數(shù)據(jù)，包括:文本、圖像及音頻。
[0023]進一步的，
[0024]所述目標計算模型，包括:基于如下大數(shù)據(jù)框架Hadoop、Hbase、Spark中的任一種大數(shù)據(jù)框架構(gòu)建的計算模型。
[0025]第二方面，本發(fā)明提供了一種測試服務器，包括:
[0026]設置單元，用于將目標計算模型部署在至少一臺存儲服務器上；
[0027]第一獲取單元，用于獲取目標計算模型；獲取TPC-DS測試組件；獲取bigbench測試組件；
[0028]處理單元，用于根據(jù)所述TPC-DS測試組件產(chǎn)生第一檢測指令，向所述目標計算模型發(fā)送第一檢測指令，所述第一檢測指令指示所述目標計算模型對應的至少一臺存儲服務器針對結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理；根據(jù)所述bigbench測試組件產(chǎn)生第二檢測指令，向所述目標計算模型發(fā)送第二檢測指令，所述第一檢測指令指示所述目標計算模型對應的至少一臺存儲服務器針對非結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理；
[0029]第二獲取單元，用于獲取所述至少一臺存儲服務器對應所述第一檢測指令的第一資源消耗信息；獲取所述至少一臺存儲服務器對應所述第二檢測指令的第二資源消耗信息;
[0030]存儲單元，用于存儲所述第一資源消耗信息；存儲所述第二資源消耗信息。
[0031]進一步的，
[0032]所述存儲單元，進一步用于當所述目標計算模型未能分別根據(jù)每一個第一結(jié)構(gòu)化查詢語言SQL查詢語句提供第一目標數(shù)據(jù)子集時，記錄對應的第一 SQL查詢語句以及所述目標計算模型未能根據(jù)對應的第一 SQL查詢語句提供第一目標數(shù)據(jù)子集的次數(shù)；以及，當所述目標計算模型未能分別根據(jù)每一個第二 SQL查詢語句提供第二目標數(shù)據(jù)子集時，記錄對應的第二 SQL查詢語句以及所述目標計算模型未能根據(jù)對應的第二 SQL查詢語句提供第二目標數(shù)據(jù)子集的次數(shù)。
[0033]進一步的，
[0034]所述第二獲取單元，用于獲取每一臺用于針對結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理的存儲服務器在進行相應的業(yè)務處理時，分別對應的處理器利用率、存儲空間消耗以及網(wǎng)絡吞吐量；獲取每一臺用于針對非結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理的存儲服務器在進行相應的業(yè)務處理時，分別對應的處理器利用率、存儲空間消耗以及網(wǎng)絡吞吐量。
[0035]第三方面，本發(fā)明提供了一種業(yè)務平臺，包括:
[0036]如上述第二方面中任一所述的測試服務器以及至少一臺存儲服務器；
[0037]所述至少一臺存儲服務器，用于根據(jù)接收到的第一檢測指令針對結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理；根據(jù)接收到的第二檢測指令針對非結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理；
[0038]每一臺所述存儲服務器，包括:
[0039]資源監(jiān)控裝置，用于監(jiān)控當前存儲服務器根據(jù)第一檢測指令針對結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理時對應的資源消耗信息；和/或，監(jiān)控當前存儲服務器根據(jù)第二檢測指令針對非結(jié)構(gòu)化數(shù)據(jù)進行相應的業(yè)務處理時對應的資源消耗信息。
[0040]進一步的，
[0041]所述至少一臺存儲服務器，還包括:處理單元、數(shù)據(jù)庫；所述處理單元，用于解接收到的第一檢測指令以獲取至少一個第一結(jié)構(gòu)化查詢語言SQL查詢語句以及解析接收到的第二檢測指令以獲取至少一個第二 SQL查詢語句；所述數(shù)據(jù)庫，用于分別根據(jù)每一個所述第一 SQL查詢語句向所述測試服務器提供第一目標數(shù)據(jù)子集；分別根據(jù)每一個所述第二SQL查詢語句向所述測試服務器提供第二目標數(shù)據(jù)子集；
[0042]和/ 或，
[0043]所述資源監(jiān)控裝置，用于監(jiān)控當前存儲服務器以獲取對應的處理器利用率、存儲空間消耗以及網(wǎng)絡吞吐量。
[0044]本發(fā)明提供了一種檢測計算模型的方法、測試服務器及業(yè)務平臺，通過將目標計算模型部署在至少一臺存儲服務器上，利用TPC-DS測試組件檢測目標計算模型處理結(jié)構(gòu)化數(shù)據(jù)時對應的第一資源消耗信息，以及利用bigbench測試組件檢測目標計算模型處理非結(jié)構(gòu)化數(shù)據(jù)時對應的第二資源消耗信息；如此，檢測出目標計算模型在處理不同類型的業(yè)務數(shù)據(jù)時分別對應的資源消耗信息，針對目標計算模型的檢測范圍更加全面，提高了檢測結(jié)果的準確性。
【附圖說明】
[0045]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0046]圖1是本發(fā)明一實施例提供的一種檢測計算模型的方法流程圖；
[0047]圖2是本發(fā)明一實施例提供的一種測試服務器；
[0048]圖3是本發(fā)明一實施例提供的一種業(yè)務平臺；
[0049]圖4是本發(fā)明一實施例提供的另一種業(yè)務平臺；
[0050]圖5是本發(fā)明一實施例中利用業(yè)務平臺實現(xiàn)檢測目標計算模型的方法流程圖。
【具體實施方式】
[0051]為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例，基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0052]如圖1所示，本發(fā)明實施例提供了一種檢測計算模型的方法，該方法可以包括以下步驟:
[0053]S0:獲取目標計算模型，并將目標計算模型部署在至少一臺存儲服務器上；