面向智能機(jī)器人的自動(dòng)化測試方法及系統(tǒng)的制作方法【專利摘要】本發(fā)明公開了一種面向智能機(jī)器人的自動(dòng)化測試方法及系統(tǒng)，該方法包括通過測試入口列表調(diào)用用于數(shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)測試的正向測試用例表，反向測試用例表，邊界測試用例表；將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類；基于分類結(jié)果與所述正向測試用例表，反向測試用例表，邊界測試用例表進(jìn)行對(duì)比分析，根據(jù)對(duì)比分析的結(jié)果生成分析結(jié)果，并發(fā)送給測試監(jiān)控端。該方法實(shí)現(xiàn)了對(duì)應(yīng)用的更新和維護(hù)的自動(dòng)測試。可以節(jié)約人力成本，且使得該測試的范圍和規(guī)模能夠達(dá)到一定的量級(jí)，滿足測試的要求?！緦＠f明】面向智能機(jī)器人的自動(dòng)化測試方法及系統(tǒng)
技術(shù)領(lǐng)域：
[0001]本發(fā)明屬于智能機(jī)器人領(lǐng)域，尤其涉及一種面向智能機(jī)器人的自動(dòng)化測試方法及系統(tǒng)。【
背景技術(shù)：
】[0002]隨著信息技術(shù)、計(jì)算機(jī)技術(shù)以及人工智能技術(shù)的不斷發(fā)展，智能機(jī)器人已經(jīng)走入到醫(yī)療、保健、家庭、娛樂以及服務(wù)行業(yè)等與人們生活息息相關(guān)的領(lǐng)域。人們對(duì)于智能機(jī)器人的要求也越來越高，需要智能機(jī)器人具備更多的功能從而為人類生活提供更多的幫助。[0003]在開發(fā)智能機(jī)器人的新功能的過程中，需要不斷的擴(kuò)展數(shù)據(jù)庫以支持越來越多的功能，因而數(shù)據(jù)庫的維護(hù)和功能的測試是尤為重要的。隨著智能機(jī)器人技術(shù)的快速發(fā)展，需要提供一種高效、高速、穩(wěn)定的自動(dòng)化測試方法來滿足數(shù)據(jù)庫功能維護(hù)的需要。【
發(fā)明內(nèi)容】[0004]本發(fā)明所要解決的技術(shù)問題之一是需要提供一種高效、高速、穩(wěn)定的自動(dòng)化測試方法來滿足功能維護(hù)的需要。[0005]為了解決上述技術(shù)問題，本申請(qǐng)的實(shí)施例首先提供了一種面向智能機(jī)器人的自動(dòng)化測試方法，包括通過測試入口列表調(diào)用用于數(shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)測試的正向測試用例表，反向測試用例表，邊界測試用例表;將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類;基于分類結(jié)果與所述正向測試用例表，反向測試用例表，邊界測試用例表進(jìn)行對(duì)比分析，根據(jù)對(duì)比分析的結(jié)果生成分析結(jié)果，并發(fā)送給測試監(jiān)控端。[0006]優(yōu)選地，在所述數(shù)據(jù)庫數(shù)據(jù)更新之后，所述自動(dòng)化測試方法還包括:通過測試入口列表調(diào)用被測試應(yīng)用以及所述被測試應(yīng)用的各測試用例，所述被測試應(yīng)用基于所述數(shù)據(jù)庫運(yùn)行，所述各測試用例為向被測試應(yīng)用請(qǐng)求提供服務(wù)的口令;將所述各測試用例提交給所述被測試應(yīng)用執(zhí)行;對(duì)所述各測試用例的執(zhí)行結(jié)果進(jìn)行分析，將分析結(jié)果發(fā)送給測試監(jiān)控端。[0007]優(yōu)選地，所述數(shù)據(jù)庫為神經(jīng)語言程序?qū)W知識(shí)庫時(shí)，所述被測試應(yīng)用為對(duì)話交互應(yīng)用。[0008]優(yōu)選地，所述被測試應(yīng)用的各測試用例，具體為針對(duì)所述數(shù)據(jù)庫的新增數(shù)據(jù)設(shè)定的測試用例。[0009]優(yōu)選地，將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類，具體包括:將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例輸入其對(duì)應(yīng)數(shù)據(jù)庫中，并獲取所述數(shù)據(jù)庫對(duì)各測試用例的處理結(jié)果。[0010]優(yōu)選地，每個(gè)測試進(jìn)程對(duì)應(yīng)一個(gè)獨(dú)立的線程，各線程的結(jié)果單獨(dú)存儲(chǔ)。[0011]本申請(qǐng)的實(shí)施例還提供了一種面向智能機(jī)器人的自動(dòng)化測試系統(tǒng)，包括:測試用例調(diào)用模塊，其通過測試入口列表調(diào)用用于數(shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)測試的正向測試用例表，反向測試用例表，邊界測試用例表;解析與分類模塊，其將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類；對(duì)比分析模塊，其基于分類結(jié)果與所述正向測試用例表，反向測試用例表，邊界測試用例表進(jìn)行對(duì)比分析，根據(jù)對(duì)比分析的結(jié)果生成分析結(jié)果，并發(fā)送給測試監(jiān)控端。[0012]優(yōu)選地，在所述數(shù)據(jù)庫數(shù)據(jù)更新之后，所述測試用例調(diào)用模塊通過測試入口列表調(diào)用被測試應(yīng)用以及所述被測試應(yīng)用的各測試用例，所述被測試應(yīng)用基于所述數(shù)據(jù)庫運(yùn)行，所述各測試用例為向被測試應(yīng)用請(qǐng)求提供服務(wù)的口令;所述自動(dòng)化測試系統(tǒng)還包括:測試用例執(zhí)行模塊，其將所述各測試用例提交給所述被測試應(yīng)用執(zhí)行;執(zhí)行結(jié)果分析模塊，其對(duì)所述各測試用例的執(zhí)行結(jié)果進(jìn)行分析，將分析結(jié)果發(fā)送給測試監(jiān)控端。[0013]優(yōu)選地，所述測試用例調(diào)用模塊調(diào)用的各測試用例，具體為針對(duì)所述數(shù)據(jù)庫的新增數(shù)據(jù)設(shè)定的測試用例。[0014]優(yōu)選地，每個(gè)測試進(jìn)程對(duì)應(yīng)一個(gè)獨(dú)立的線程，各線程的結(jié)果單獨(dú)存儲(chǔ)。[0015]與現(xiàn)有技術(shù)相比，上述方案中的一個(gè)或多個(gè)實(shí)施例可以具有如下優(yōu)點(diǎn)或有益效果:[0016]通過采用表結(jié)構(gòu)完成測試用例的調(diào)用、解析、分類、對(duì)比分析以及分析結(jié)果的生成與傳輸，實(shí)現(xiàn)了對(duì)應(yīng)用的更新和維護(hù)的自動(dòng)測試，可以節(jié)約人力成本，且使得該測試的范圍和規(guī)模能夠達(dá)到一定的量級(jí)，滿足日益增長的測試需求。[0017]本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)，和特征在某種程度上將在隨后的說明書中進(jìn)行闡述，并且在某種程度上，基于對(duì)下文的考察研究對(duì)本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書，權(quán)利要求書，以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。【附圖說明】[0018]附圖用來提供對(duì)本申請(qǐng)的技術(shù)方案或現(xiàn)有技術(shù)的進(jìn)一步理解，并且構(gòu)成說明書的一部分。其中，表達(dá)本申請(qǐng)實(shí)施例的附圖與本申請(qǐng)的實(shí)施例一起用于解釋本申請(qǐng)的技術(shù)方案，但并不構(gòu)成對(duì)本申請(qǐng)技術(shù)方案的限制。[0019]圖1為根據(jù)本發(fā)明第一實(shí)施例的面向智能機(jī)器人的自動(dòng)化測試方法的流程示意圖；[0020]圖2為根據(jù)圖1所示的測試方法的流程對(duì)列表進(jìn)行操作的示意圖；[0021]圖3為根據(jù)本發(fā)明第二實(shí)施例的面向智能機(jī)器人的自動(dòng)化測試方法的流程示意圖；[0022]圖4為根據(jù)圖3所示的測試方法的流程對(duì)列表進(jìn)行操作的示意圖；[0023]圖5為根據(jù)本發(fā)明第三實(shí)施例的面向智能機(jī)器人的自動(dòng)化測試系統(tǒng)的結(jié)構(gòu)示意圖。【具體實(shí)施方式】[0024]以下將結(jié)合附圖及實(shí)施例來詳細(xì)說明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達(dá)成相應(yīng)技術(shù)效果的實(shí)現(xiàn)過程能充分理解并據(jù)以實(shí)施。本申請(qǐng)實(shí)施例以及實(shí)施例中的各個(gè)特征，在不相沖突前提下可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護(hù)范圍之內(nèi)。[0025]智能機(jī)器人可以通過應(yīng)用程序?qū)崿F(xiàn)各種功能，例如講笑話、講故事、購買飛機(jī)票等。在對(duì)智能機(jī)器人中的應(yīng)用進(jìn)行更新和維護(hù)時(shí)，一種常用的操作是對(duì)應(yīng)用的數(shù)據(jù)庫進(jìn)行擴(kuò)展。[0026]以NLP知識(shí)庫為例，在向其中增加新的數(shù)據(jù)時(shí)，主要有下面兩種方式，逐條新增數(shù)據(jù)與批量導(dǎo)入數(shù)據(jù)。其中向NLP知識(shí)庫中逐條新增數(shù)據(jù)的含義是每次只能新增一條數(shù)據(jù)。而向NLP知識(shí)庫中批量導(dǎo)入數(shù)據(jù)的含義則是同時(shí)增加多條數(shù)據(jù)，一般通過選中相應(yīng)的文件進(jìn)行數(shù)據(jù)的批量導(dǎo)入。無論是數(shù)據(jù)的逐條導(dǎo)入還是數(shù)據(jù)的批量導(dǎo)入，都會(huì)涉及到一個(gè)問題，就是接收數(shù)據(jù)的NLP知識(shí)庫是否能準(zhǔn)確按照設(shè)定的標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)存儲(chǔ)的問題，即是否能準(zhǔn)確的選擇適合進(jìn)行存儲(chǔ)的數(shù)據(jù)，新加入的數(shù)據(jù)是否會(huì)超出NLP知識(shí)庫的邊界。因此，本發(fā)明實(shí)施例提供一種測試方法，以檢測新加入應(yīng)用數(shù)據(jù)庫中的數(shù)據(jù)是否符合應(yīng)用數(shù)據(jù)庫的數(shù)據(jù)插入的標(biāo)準(zhǔn)，進(jìn)一步，插入新數(shù)據(jù)后，為了保證應(yīng)用功能的正常使用，還需要檢測新增數(shù)據(jù)是否與應(yīng)用所能實(shí)現(xiàn)的功能相適應(yīng)，以對(duì)話交互應(yīng)用為例，NLP知識(shí)庫新增數(shù)據(jù)后，需要測試對(duì)話交互應(yīng)用是否能夠成功的調(diào)用新增數(shù)據(jù)進(jìn)行對(duì)話交互。[〇〇27]第一實(shí)施例:[0028]本發(fā)明實(shí)施例是針對(duì)如下情形進(jìn)行測試的:當(dāng)向被測試應(yīng)用的數(shù)據(jù)庫中增加數(shù)據(jù)時(shí)，數(shù)據(jù)庫的是否能按照存儲(chǔ)標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行篩選存儲(chǔ)。如圖1所示，該測試方法包括以下步驟:[〇〇29]步驟S110、通過測試入口列表調(diào)用用于數(shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)測試的正向測試用例表，反向測試用例表，邊界測試用例表。[0030]步驟S120、將正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類。[0031]步驟S130、基于分類結(jié)果與正向測試用例表，反向測試用例表，邊界測試用例表進(jìn)行對(duì)比分析，根據(jù)對(duì)比分析的結(jié)果生成分析結(jié)果，并發(fā)送給測試監(jiān)控端。[0032]具體的，本發(fā)明實(shí)施例的自動(dòng)測試方法是基于數(shù)據(jù)庫進(jìn)行驅(qū)動(dòng)和管理的，該測試方法所涉及的表結(jié)果主要分為四類，測試入口列表(A表)、測試用例表(Bn表、D表)、測試結(jié)果列表(Cn表、E表)和分析結(jié)果列表(F表)。[〇〇33]測試開始時(shí)，首先從測試入口列表(A表)進(jìn)入測試進(jìn)程，測試入口列表(A表)作為自動(dòng)化測試的入口，用于匯總所有應(yīng)用和數(shù)據(jù)庫。[0〇34]在本發(fā)明的一個(gè)實(shí)施例中，測試入口列表(A表)中的字段可以包含id，用于表不被測試的應(yīng)用或數(shù)據(jù)庫的唯一的標(biāo)號(hào)。code，用于表示與各個(gè)被測試應(yīng)用或數(shù)據(jù)庫對(duì)應(yīng)的解析結(jié)果的唯一的標(biāo)號(hào)。explain，用于表示各被測試應(yīng)用或數(shù)據(jù)庫的名稱和解析。state，用于表示在本次測試中是否對(duì)該應(yīng)用或數(shù)據(jù)庫實(shí)施測試。tablename，用于表示與被測試應(yīng)用或數(shù)據(jù)庫對(duì)應(yīng)的測試用例所在的測試用例表(Bn表、D表)的名稱。[〇〇35]在步驟S110中，測試程序首先讀取測試入口列表(A表)中的state字段，根據(jù)state的數(shù)值判斷需要實(shí)施測試的應(yīng)用或數(shù)據(jù)庫。測試程序繼續(xù)從測試入口列表(A表)中的tablename字段獲取測試用例表的名稱以及相關(guān)信息。[0036]然后，根據(jù)獲取的測試用例表的相關(guān)信息調(diào)用測試用例表(Bn表、D表)。當(dāng)測試針對(duì)的是向被測試應(yīng)用的數(shù)據(jù)庫對(duì)待存入數(shù)據(jù)的篩選是否標(biāo)準(zhǔn)時(shí)，測試用例表中的測試用例是與向被測試應(yīng)用的數(shù)據(jù)庫中增加數(shù)據(jù)相關(guān)的測試用例。以向NLP知識(shí)庫中增加新的數(shù)據(jù)為例，此時(shí)的測試用例包括問與答的多組組合，每組組合均由問題以及與之對(duì)應(yīng)的答案組成。[〇〇37]本發(fā)明實(shí)施例的測試用例表(Bn表、D表)進(jìn)一步分為正向測試用例表(B1表)，反向測試用例表(B2表)與邊界測試用例表(D表)。其中正向測試用例表(B1表)用于存儲(chǔ)被測試應(yīng)用的正向測試用例，反向測試用例表(B2表)用于存儲(chǔ)被測試應(yīng)用的反向測試用例，邊界測試用例表(D表)用于存儲(chǔ)被測試應(yīng)用的邊界測試用例。[0038]智能機(jī)器人操作系統(tǒng)以其支持的中文語言的語言習(xí)慣為基礎(chǔ)，分別為各個(gè)被測試應(yīng)用設(shè)置了三種測試用例。正向測試用例表示要求應(yīng)用提供服務(wù)的測試用例，反向測試用例表示不需要應(yīng)用提供服務(wù)的測試用例，邊界測試用例表示脫離應(yīng)用的服務(wù)范圍的測試用例，亦即應(yīng)用不能對(duì)其提供服務(wù)的測試用例。分別獲取三種測試用例的測試結(jié)果，并采用不同的標(biāo)準(zhǔn)對(duì)三種測試結(jié)果進(jìn)行分析，可以保證在新功能開發(fā)的過程中和后期的維護(hù)中，充分滿足基于中文語言進(jìn)行語音指令的輸入的智能機(jī)器人操作系統(tǒng)的要求。[〇〇39]接下來，在步驟S120中，將正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例輸入其對(duì)應(yīng)的數(shù)據(jù)庫中，并獲取數(shù)據(jù)庫對(duì)各測試用例的處理結(jié)果。這里所采用的數(shù)據(jù)庫是符合該被測試應(yīng)用的數(shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)的標(biāo)準(zhǔn)數(shù)據(jù)庫，可以用于驗(yàn)證測試用例的數(shù)據(jù)是否符合對(duì)應(yīng)于被測試應(yīng)用的數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)。[0040]舉例而言，假設(shè)上述標(biāo)準(zhǔn)數(shù)據(jù)庫設(shè)置在云服務(wù)器上，則需要將測試用例表(B1表、B2表與D表)中的測試用例逐條提交至云服務(wù)器的標(biāo)準(zhǔn)數(shù)據(jù)庫中進(jìn)行解析以及分類，并將分類結(jié)果返回給測試進(jìn)程。[0041]進(jìn)一步地，在步驟S130中，返回的分類結(jié)果被存儲(chǔ)在結(jié)果數(shù)據(jù)庫中，測試進(jìn)程將分類結(jié)果與正向測試用例表、反向測試用例表、邊界測試用例表中的對(duì)應(yīng)條目進(jìn)行對(duì)比分析。根據(jù)對(duì)比分析的結(jié)果生成的分析結(jié)果可以發(fā)送給測試監(jiān)控端。測試過程結(jié)束。[〇〇42]本發(fā)明實(shí)施例的測試方法，基于數(shù)據(jù)庫進(jìn)行驅(qū)動(dòng)和管理，自動(dòng)完成測試用例的調(diào)用、解析、分類、對(duì)比分析以及分析結(jié)果的生成、保存與傳輸，可以節(jié)約人力成本，且由于可以自動(dòng)完成測試流程，使得該測試的范圍和規(guī)模能夠達(dá)到一定的量級(jí)，滿足更高的測試要求。[0043]下面仍以NLP知識(shí)庫為例說明測試過程中對(duì)列表的操作。如圖2所示，首先通過A表(即NLP_list)讀取各應(yīng)用及數(shù)據(jù)庫狀態(tài)，確定需要進(jìn)行測試的數(shù)據(jù)庫或應(yīng)用，當(dāng)確定存在數(shù)據(jù)庫需要進(jìn)行新增數(shù)據(jù)測試時(shí)，以需要測試的數(shù)據(jù)庫為NLP知識(shí)庫為例，獲取本次測試對(duì)象NLP知識(shí)庫的測試用例表的名稱。NLP知識(shí)庫在測試中的唯一的標(biāo)號(hào)為4，A表中的appid“100104”字段用于標(biāo)志NLP知識(shí)庫支持的應(yīng)用的類別。智能機(jī)器人操作系統(tǒng)利用id及appid來實(shí)現(xiàn)不同數(shù)據(jù)庫及應(yīng)用的測試，可以有效實(shí)現(xiàn)多個(gè)應(yīng)用及數(shù)據(jù)庫的自動(dòng)化測試。[〇〇44]測試進(jìn)程通過NLP_list的tablename字段獲取測試用例表的名稱為“NLP_form”，通過查詢NLP_form，可以讀取正向測試用例表B1表，反向測試用例表B2表與邊界測試用例表D表。[0045]進(jìn)一步如圖2所示，調(diào)用服務(wù)接口，將各測試用例表中的問題(quest1n字段)內(nèi)容提交至云服務(wù)器(即后臺(tái))，由位于后臺(tái)的標(biāo)準(zhǔn)數(shù)據(jù)庫對(duì)各問題進(jìn)行校驗(yàn)。校驗(yàn)的內(nèi)容包括對(duì)各測試用例表中的問題和答案進(jìn)行解析，將問題和對(duì)應(yīng)的答案進(jìn)行分類，然后將問題與答案的分類結(jié)果反饋給測試進(jìn)程，存儲(chǔ)于結(jié)果數(shù)據(jù)庫中。[0046]測試進(jìn)程在接收到問題與答案的反饋結(jié)果后，將該問題與答案的反饋結(jié)果以測試結(jié)果列表(Cn表、E表)的形式存儲(chǔ)于結(jié)果數(shù)據(jù)庫中。如圖2所示，與測試用例表相對(duì)應(yīng)，反饋的分類結(jié)果被分別存儲(chǔ)于三種測試結(jié)果列表中，分別為用于存儲(chǔ)正向測試用例的測試結(jié)果的C1表，用于存儲(chǔ)反向測試用例的測試結(jié)果的C2表與用于存儲(chǔ)邊界測試用例的測試結(jié)果的已表。[0047]以C1表為例，測試結(jié)果列表一般包含有如下字段，id，用于表示與各測試用例對(duì)應(yīng)的標(biāo)號(hào)。appid，用于表示智能機(jī)器人操作系統(tǒng)在操作NLP知識(shí)庫時(shí)所使用的唯一的標(biāo)號(hào)，與A表中的appid字段一致。NLPquest1n，用于記錄輸入NLP知識(shí)庫的問題，例如“人怎么會(huì)發(fā)燒”，NLPanswer，用于記錄NLP知識(shí)庫輸出的答案，例如NLPanswer為“人體通過汗等方法排泄熱量、維持正常體溫，而一些病毒細(xì)菌侵入人體后會(huì)散發(fā)毒素，刺激管理體溫的神經(jīng)，使之錯(cuò)誤地發(fā)出增溫的命令，同時(shí)皮膚血管收縮，汗毛孔關(guān)閉，體內(nèi)多余的熱量無法排泄，于是人就發(fā)燒了?！盵0048]在將分類結(jié)果與正向測試用例表，反向測試用例表，邊界測試用例表進(jìn)行對(duì)比分析的步驟中，將測試用例表(B1表、B2表與D表)中的各測試用例(即想要向NLP知識(shí)庫中增加的數(shù)據(jù)，包括B1表、B2表與D表中的quest1n字段和answer字段)與測試結(jié)果列表(C1表、C2表與E表)中的各組問題與答案的分類結(jié)果(即滿足向NLP知識(shí)庫插入數(shù)據(jù)標(biāo)準(zhǔn)的問答組合)進(jìn)行對(duì)比分析，并建立分析結(jié)果列表F，在F中分別列出哪些問題和答案正常。對(duì)于問題和答案是符合數(shù)據(jù)庫的插入標(biāo)準(zhǔn)的，則判斷為正常。對(duì)于問題和答案是不符合數(shù)據(jù)庫的插入標(biāo)準(zhǔn)的，則判斷為不正常。[0049]本發(fā)明實(shí)施例的測試方法，穩(wěn)定并且日志豐富以保證測試的實(shí)用性，整個(gè)測試框架擴(kuò)展性強(qiáng)，維護(hù)簡單，增加僅僅需要增加測試用例及配置相應(yīng)的數(shù)據(jù)庫或應(yīng)用即可。[0050]本發(fā)明實(shí)施例的測試方法將測試用例、測試中間產(chǎn)物、測試結(jié)果，以及分析結(jié)果均分別保存，豐富的日志給測試結(jié)果最直觀的分析。[0051]另外，在本實(shí)施例的測試進(jìn)程的執(zhí)行過程中，每個(gè)測試進(jìn)程對(duì)應(yīng)一個(gè)獨(dú)立的線程，并且各線程的結(jié)果單獨(dú)存儲(chǔ)。各應(yīng)用及數(shù)據(jù)庫的測試過程完全獨(dú)立，可以消除測試進(jìn)程之間的相互干擾，不會(huì)對(duì)測試結(jié)果有任何影響。還可以同時(shí)啟動(dòng)多個(gè)線程，保證測試的高效性。[〇〇52]第二實(shí)施例:[〇〇53]本發(fā)明實(shí)施例是針對(duì)如下情形進(jìn)行測試的:當(dāng)已經(jīng)通過第一實(shí)施例的測試，對(duì)應(yīng)用的數(shù)據(jù)庫進(jìn)行了數(shù)據(jù)更新之后，向被測試應(yīng)用請(qǐng)求提供服務(wù)的口令是否能夠被該應(yīng)用接受，并實(shí)現(xiàn)該應(yīng)用的功能。具體的，以對(duì)話交互應(yīng)用為例，本實(shí)施例的測試方法實(shí)際上是測試對(duì)話交互應(yīng)用是否能在NLP數(shù)據(jù)庫更新后，成功的使用NLP數(shù)據(jù)庫中的數(shù)據(jù)。如圖3所示，該測試方法包括以下步驟:[〇〇54]步驟S310、通過測試入口列表調(diào)用被測試應(yīng)用以及被測試應(yīng)用的各測試用例，被測試應(yīng)用基于數(shù)據(jù)庫運(yùn)行，各測試用例為向被測試應(yīng)用請(qǐng)求提供服務(wù)的口令；[0055]步驟S320、將各測試用例提交給被測試應(yīng)用執(zhí)行；[〇〇56]步驟S330、對(duì)各測試用例的執(zhí)行結(jié)果進(jìn)行分析，將分析結(jié)果發(fā)送給測試監(jiān)控端。[0057]具體的，在步驟S310中，通過測試入口列表調(diào)用被測試用例的過程可以與第一實(shí)施例步驟S110中調(diào)用測試用例的過程相同，此處不再贅述。[0058]在本實(shí)施例中，除通過測試入口列表調(diào)用被測試用例之外，還需要通過測試入口列表調(diào)用被測試應(yīng)用，具體為根據(jù)測試入口列表(A表)中的appid字段調(diào)用被測試應(yīng)用。[0059]需要注意的是，本發(fā)明實(shí)施例中的測試用例與第一實(shí)施例中的測試用例之間的區(qū)另IJ，本實(shí)施例中的測試用例為向被測試應(yīng)用請(qǐng)求提供服務(wù)的口令。仍以數(shù)據(jù)庫為NLP知識(shí)庫為例，對(duì)應(yīng)的應(yīng)用可以是對(duì)話交互應(yīng)用，對(duì)話交互應(yīng)用的測試用例不再是問與答的組合的形式，而僅包括問題，例如“人怎么會(huì)發(fā)燒”，“人發(fā)燒的原因”，“發(fā)燒后應(yīng)注意什么”，“發(fā)燒后怎樣好的快”均可作為本發(fā)明實(shí)施例的測試用例。[0060]接下來，在步驟S320中，將各測試用例提交給被測試應(yīng)用執(zhí)行，并記錄執(zhí)行結(jié)果。[0061]舉例而言，將問題“人怎么會(huì)發(fā)燒”提交給對(duì)話交互應(yīng)用，通過對(duì)該問題進(jìn)行解析，得到反饋的解析結(jié)果{"code":100000，"text":〃人體通過汗等方法排泄熱量、維持正常體溫，而一些病毒細(xì)菌侵入人體后會(huì)散發(fā)毒素，刺激管理體溫的神經(jīng)，使之錯(cuò)誤地發(fā)出增溫的命令，同時(shí)皮膚血管收縮，汗毛孔關(guān)閉，體內(nèi)多余的熱量無法排泄，于是人就發(fā)燒了"}。其中，code表示返回的數(shù)據(jù)類型。text表示反饋結(jié)果中的文本信息，在對(duì)話交互應(yīng)用的測試中，即為與輸入的問題對(duì)應(yīng)的答案。[0062]還需要注意的是，在本實(shí)施例中，對(duì)話交互應(yīng)用的執(zhí)行是基于更新后的NLP知識(shí)庫進(jìn)行的，較佳的，對(duì)話交互應(yīng)用的各測試用例，是針對(duì)NLP知識(shí)庫的新增數(shù)據(jù)設(shè)定的測試用例。[〇〇63]然后，在步驟S330中，對(duì)執(zhí)行結(jié)果進(jìn)行分析來檢測被測試應(yīng)用對(duì)數(shù)據(jù)庫新增數(shù)據(jù)的調(diào)用情況。同樣地，可以將分析結(jié)果發(fā)送給測試監(jiān)控端。[0064]下面仍以調(diào)用NLP知識(shí)庫的對(duì)話交互應(yīng)用為例說明測試過程中對(duì)列表的操作。如圖4所示，測試進(jìn)程通過NLP_1ist的tab1ename字段獲取測試用例表的名稱為“NLP_f〇rm”，通過查詢NLP_form，可以讀取正向測試用例表B3表，反向測試用例表B4表與邊界測試用例表D1表。從圖4中可以看出，在B3表、B4表和D1表中，均只包含問題quest1n字段。將各測試用例表中的問題內(nèi)容提交至對(duì)話交互應(yīng)用執(zhí)行，并記錄執(zhí)行結(jié)果。[0065]類似于第一實(shí)施例中建立的測試結(jié)果列表(C1表、C2表與E表)，可以將執(zhí)行結(jié)果分別存儲(chǔ)為執(zhí)行結(jié)果列表(C3表、C4表與E1表)，此處不再贅述。[0066]在對(duì)執(zhí)行結(jié)果進(jìn)行分析的步驟中，借助第一實(shí)施例中所生成的測試結(jié)果列表(C1表)進(jìn)行分析。C1表是對(duì)應(yīng)于對(duì)應(yīng)用的數(shù)據(jù)庫插入標(biāo)準(zhǔn)進(jìn)行測試時(shí)的正向用例表B1的測試結(jié)果列表，也就是說，C1表中的內(nèi)容具有如下特點(diǎn)，其數(shù)據(jù)都是符合NLP知識(shí)庫的數(shù)據(jù)插入標(biāo)準(zhǔn)的，且這些數(shù)據(jù)是NLP知識(shí)庫在本次更新過程中更新的數(shù)據(jù)。通過遍歷C1表進(jìn)行查詢，查詢結(jié)果判斷如下:[〇〇67]對(duì)于正向測試用例，如果通過查詢C1表能夠返回與B3表中的問題相對(duì)應(yīng)的答案，說明測試通過。如果通過查詢C1表不能返回與B3表中的問題相對(duì)應(yīng)的答案，則測試未通過。[〇〇68]對(duì)于反向測試用例與邊界測試用例，如果通過查詢C1表不能返回與B4表(或D1表)中的問題相對(duì)應(yīng)的答案，說明測試通過。如果通過查詢C1表返回與B4表(或D1表)中的問題相對(duì)應(yīng)的答案，則測試未通過。[〇〇69]然后，根據(jù)上述判斷的結(jié)論生成分析結(jié)果，通過測試的測試用例被標(biāo)記為正常，未通過測試的測試用例被標(biāo)記為不正常。分析結(jié)果也可以以類似F表的形式存儲(chǔ)于數(shù)據(jù)庫。[0070]本發(fā)明實(shí)施例針對(duì)智能機(jī)器人操作系統(tǒng)中具有接收語音指令輸入功能的應(yīng)用的數(shù)據(jù)調(diào)用功能進(jìn)行測試，充分考慮中文語言的靈活性，保證在被測試應(yīng)用的數(shù)據(jù)庫完成數(shù)據(jù)更新后，被測試應(yīng)用能夠與更新后的數(shù)據(jù)庫相配合實(shí)現(xiàn)應(yīng)用的功能。[0071]另外，在本實(shí)施例的測試進(jìn)程的執(zhí)行過程中，每個(gè)測試進(jìn)程對(duì)應(yīng)一個(gè)獨(dú)立的線程，并且各線程的結(jié)果單獨(dú)存儲(chǔ)。測試過程中各個(gè)應(yīng)用完全獨(dú)立，可以消除測試進(jìn)程之間的相互干擾，不會(huì)對(duì)測試結(jié)果有任何影響。還可以同時(shí)啟動(dòng)多個(gè)線程，保證測試的高效性。[〇〇72]第三實(shí)施例:[0073]圖5為根據(jù)本發(fā)明第三實(shí)施例的面向智能機(jī)器人的自動(dòng)化測試系統(tǒng)的結(jié)構(gòu)示意圖，如圖所示，該自動(dòng)化測試系統(tǒng)包括:[〇〇74]測試用例調(diào)用模塊51，其通過測試入口列表調(diào)用用于數(shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)測試的正向測試用例表，反向測試用例表，邊界測試用例表。[0075]解析與分類模塊52,其將正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類。[〇〇76]對(duì)比分析模塊53,其基于分類結(jié)果與正向測試用例表，反向測試用例表，邊界測試用例表進(jìn)行對(duì)比分析，根據(jù)對(duì)比分析的結(jié)果生成分析結(jié)果，并發(fā)送給測試監(jiān)控端。[〇〇77]測試用例執(zhí)行模塊54,其將各測試用例提交給被測試應(yīng)用執(zhí)行；[0078]執(zhí)行結(jié)果分析模塊55,其對(duì)各測試用例的執(zhí)行結(jié)果進(jìn)行分析，將分析結(jié)果發(fā)送給測試監(jiān)控端。[0079]其中，在將被測試應(yīng)用的數(shù)據(jù)庫數(shù)據(jù)更新之后，測試用例調(diào)用模塊51通過測試入口列表調(diào)用被測試應(yīng)用以及被測試應(yīng)用的各測試用例，被測試應(yīng)用基于更新后的數(shù)據(jù)庫運(yùn)行，各測試用例為向被測試應(yīng)用請(qǐng)求提供服務(wù)的口令。[0080]上述各功能模塊的具體功能可以參考第一實(shí)施例和第二實(shí)施例中的相應(yīng)步驟的執(zhí)行過程獲得，此處不再贅述。[0081]本發(fā)明實(shí)施例的自動(dòng)化測試系統(tǒng)，能夠?qū)χ悄軝C(jī)器人操作系統(tǒng)的應(yīng)用的更新與維護(hù)進(jìn)行監(jiān)測，保證其數(shù)據(jù)庫更新的穩(wěn)定性以及保證新增數(shù)據(jù)后，基于該數(shù)據(jù)庫的應(yīng)用能夠成功調(diào)用新增數(shù)據(jù)實(shí)現(xiàn)功能，保證根據(jù)輸入的語音指令進(jìn)行執(zhí)行的應(yīng)用的功能的成功實(shí)現(xiàn)，從而可以有效地防止開發(fā)回歸，保證服務(wù)的穩(wěn)定型，適于在智能機(jī)器人操作系統(tǒng)的開發(fā)領(lǐng)域進(jìn)行推廣。[0082]本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。[0083]雖然本發(fā)明所揭露的實(shí)施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬
技術(shù)領(lǐng)域：
內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實(shí)施的形式上及細(xì)節(jié)上作任何的修改與變化，但本發(fā)明的專利保護(hù)范圍，仍須以所附的權(quán)利要求書所界定的范圍為準(zhǔn)?！局鳈?quán)項(xiàng)】1.一種面向智能機(jī)器人的自動(dòng)化測試方法，包括:通過測試入口列表調(diào)用用于數(shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)測試的正向測試用例表，反向測試用例表，邊界測試用例表；將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類；基于分類結(jié)果與所述正向測試用例表，反向測試用例表，邊界測試用例表進(jìn)行對(duì)比分析，根據(jù)對(duì)比分析的結(jié)果生成分析結(jié)果，并發(fā)送給測試監(jiān)控端。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述數(shù)據(jù)庫數(shù)據(jù)更新之后，所述自動(dòng)化測試方法還包括:通過測試入口列表調(diào)用被測試應(yīng)用以及所述被測試應(yīng)用的各測試用例，所述被測試應(yīng)用基于所述數(shù)據(jù)庫運(yùn)行，所述各測試用例為向被測試應(yīng)用請(qǐng)求提供服務(wù)的口令；將所述各測試用例提交給所述被測試應(yīng)用執(zhí)行；對(duì)所述各測試用例的執(zhí)行結(jié)果進(jìn)行分析，將分析結(jié)果發(fā)送給測試監(jiān)控端。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述數(shù)據(jù)庫為神經(jīng)語言程序?qū)W知識(shí)庫時(shí)，所述被測試應(yīng)用為對(duì)話交互應(yīng)用。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述被測試應(yīng)用的各測試用例，具體為針對(duì)所述數(shù)據(jù)庫的新增數(shù)據(jù)設(shè)定的測試用例。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類，具體包括:將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例輸入其對(duì)應(yīng)數(shù)據(jù)庫中，并獲取所述數(shù)據(jù)庫對(duì)各測試用例的處理結(jié)果。6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其特征在于，每個(gè)測試進(jìn)程對(duì)應(yīng)一個(gè)獨(dú)立的線程，各線程的結(jié)果單獨(dú)存儲(chǔ)。7.—種面向智能機(jī)器人的自動(dòng)化測試系統(tǒng)，包括:測試用例調(diào)用模塊，其通過測試入口列表調(diào)用用于數(shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)測試的正向測試用例表，反向測試用例表，邊界測試用例表；解析與分類模塊，其將所述正向測試用例表，反向測試用例表，邊界測試用例表中的各測試用例按照其對(duì)應(yīng)數(shù)據(jù)庫的存儲(chǔ)標(biāo)準(zhǔn)逐條解析并進(jìn)行分類；對(duì)比分析模塊，其基于分類結(jié)果與所述正向測試用例表，反向測試用例表，邊界測試用例表進(jìn)行對(duì)比分析，根據(jù)對(duì)比分析的結(jié)果生成分析結(jié)果，并發(fā)送給測試監(jiān)控端。8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，在所述數(shù)據(jù)庫數(shù)據(jù)更新之后，所述測試用例調(diào)用模塊通過測試入口列表調(diào)用被測試應(yīng)用以及所述被測試應(yīng)用的各測試用例，所述被測試應(yīng)用基于所述數(shù)據(jù)庫運(yùn)行，所述各測試用例為向被測試應(yīng)用請(qǐng)求提供服務(wù)的口令；所述自動(dòng)化測試系統(tǒng)還包括:測試用例執(zhí)行模塊，其將所述各測試用例提交給所述被測試應(yīng)用執(zhí)行；執(zhí)行結(jié)果分析模塊，其對(duì)所述各測試用例的執(zhí)行結(jié)果進(jìn)行分析，將分析結(jié)果發(fā)送給測試監(jiān)控端。9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述測試用例調(diào)用模塊調(diào)用的各測試用例，具體為針對(duì)所述數(shù)據(jù)庫的新增數(shù)據(jù)設(shè)定的測試用例。10.根據(jù)權(quán)利要求7至9中任一項(xiàng)所述的系統(tǒng)，其特征在于，每個(gè)測試進(jìn)程對(duì)應(yīng)一個(gè)獨(dú)立的線程，各線程的結(jié)果單獨(dú)存儲(chǔ)?！疚臋n編號(hào)】G06F17/30GK106021114SQ201610387450【公開日】2016年10月12日【申請(qǐng)日】2016年6月2日【發(fā)明人】王惠芳【申請(qǐng)人】北京光年無限科技有限公司