在電信領(lǐng)域中測試日志的自動(dòng)評估的制作方法
【專利摘要】本發(fā)明涉及在電信領(lǐng)域中測試日志的自動(dòng)評估。根據(jù)本發(fā)明的方法的一方面，提供了概率模型(166)，該概率模型將測試日志中的事件(506，A0-A3)與可能的原因(504，H0-H3)關(guān)聯(lián)。基于概率模型(166)和搜索結(jié)果，計(jì)算原因(504)的概率值?；谒?jì)算的概率值，輸出可能的原因的參照值。
【專利說明】在電信領(lǐng)域中測試日志的自動(dòng)評估

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于測試電信設(shè)備的測試日志的自動(dòng)評估的方法、相應(yīng)的計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)系統(tǒng)。

【背景技術(shù)】
[0002]在技術(shù)通信系統(tǒng)中，用于實(shí)施人和/或機(jī)器之間的數(shù)據(jù)通信和/或語音通信的信令信息在參與的設(shè)備之間被交換。因此，例如，在移動(dòng)無線電部門中，信令消息通過用戶設(shè)備(UE/'user equipment”，例如，智能手機(jī))和網(wǎng)絡(luò)節(jié)點(diǎn)(例如，基站)之間的空中接口被交換。
[0003]在提供新設(shè)備、新軟件版本和新特征等之前，必須測試通過相關(guān)接口的無誤消息交換。因此，必須實(shí)施功能測試、以及系統(tǒng)測試，該系統(tǒng)測試包括負(fù)載和應(yīng)力測試、回歸測試等。通常，這些測試以自動(dòng)的方式實(shí)施，例如，專用測試設(shè)備(TE,“Test Equipment”)可以以批處理模式與被測裝置(DUT/‘Device under Test”)交換消息。自動(dòng)測試可以運(yùn)行較短的時(shí)間段，例如，數(shù)分鐘，或者會(huì)需要以約一小時(shí)、數(shù)小時(shí)或甚至數(shù)天設(shè)置的相當(dāng)長的時(shí)間。
[0004]在測試期間，通過一個(gè)或多個(gè)接口的消息交換被記錄(通常通過TE)且被存儲(chǔ)在測試日志或測試協(xié)議中。在完成測試之后，測試日志可以以文件(例如，文本文件)的形式存在。通常，該日志包含事件的時(shí)間次序，即，該日志包括時(shí)間戳的列表，其中，消息被分配至IJ各個(gè)時(shí)間戳。消息的數(shù)據(jù)可以包括所選擇的細(xì)節(jié)，例如，給定的消息內(nèi)容，例如，參數(shù)的存在和/或參數(shù)的值、較低的消息-日志層的嵌入消息等。
[0005]通常，在測試日志中列舉事件，且僅這些事件可用于問題的識(shí)別和它們的原因的確定。
[0006]在測試實(shí)驗(yàn)室現(xiàn)場可以實(shí)施測試日志的評估。然而，因?yàn)槠鋸?fù)雜性，評估通常在稍后的時(shí)間實(shí)施，因此在測試實(shí)驗(yàn)室的外部實(shí)施。一方面，該評估包括錯(cuò)誤情形的識(shí)別，其包括識(shí)別錯(cuò)誤情形存在于第一位置中，以及，另一方面，該評估包括對于已知錯(cuò)誤情形的原因的搜索。在簡單的情況下，錯(cuò)誤的存在和其原因可以基于消息或消息次序清楚地推斷。例如，在DUT中的軟件錯(cuò)誤可以影響消息的給定參數(shù)值；如果從日志中這是明顯的，則可以識(shí)別用于DUT或者部件的重啟的原因。
[0007]然而，通常，錯(cuò)誤情形或者事件在原則上可以歸因于不同的原因。在這樣的情況下，難以以具體術(shù)語推斷關(guān)于錯(cuò)誤實(shí)際存在的原因，且這會(huì)需要日志的更寬泛的評估。
[0008]UE(例如，智能手機(jī))的測試可以作為一個(gè)示例，其中，UE例如在RLL( “無線電鏈路層”)上已經(jīng)成功地與移動(dòng)無線電網(wǎng)絡(luò)同步。從測試日志明顯看出，UE突然嘗試與網(wǎng)絡(luò)再次同步；例如，UE突然啟動(dòng)新的隨機(jī)訪問過程。該消息的出現(xiàn)實(shí)際上總是表明此處明顯存在問題，然而，對于該行為的一系列不同的原因是可以想到的，例如，錯(cuò)誤可以存在于UE中，但是還可以涉及UE對測試條件的反應(yīng)，例如，在無線電網(wǎng)絡(luò)中模擬的功率損耗，例如，作為網(wǎng)絡(luò)中的錯(cuò)誤或UE在網(wǎng)絡(luò)內(nèi)的移動(dòng)例如以實(shí)現(xiàn)切換等的結(jié)果。在這種情況下，不容易確定是否存在錯(cuò)誤情形，以及，如果存在錯(cuò)誤情形，則不容易確定該錯(cuò)誤可以歸因的具體原因。
[0009]如示例中的含糊(錯(cuò)誤)的情形表示來自例如在電信部門中的自動(dòng)測試的日志的評估中的基本問題。
[0010]日志的搜索和評估可以通過測試員來實(shí)施。然而，由于現(xiàn)代通信系統(tǒng)的復(fù)雜性和對應(yīng)的信令量，即使僅數(shù)分鐘的測試持續(xù)時(shí)間，測試日志也可包含非常多的數(shù)據(jù)，使得測試人員的分析是非常耗時(shí)的。此外，由于數(shù)據(jù)量，不能確定:如期望的所有的錯(cuò)誤情形已經(jīng)被識(shí)別。錯(cuò)誤情形還可能已經(jīng)被不正確地評估，這是因?yàn)閮H識(shí)別錯(cuò)誤的間接影響或者后續(xù)影響而不是識(shí)別潛在的錯(cuò)誤。
[0011]已知測試儀器或者相應(yīng)的工具應(yīng)該支持評估中的測試員。例如，日志的各部分可以以不同的顏色顯示(例如，在屏幕上顯示的情況下)，以便改善可讀性。因此，例如，不同的消息-日志級別可以不同地顯示。此外，測試工具可以支持在基于文本的測試日志中的給定文本字符串的搜素。字符串表征例如給定的消息類型、給定的錯(cuò)誤情形等。這樣的字符串搜索還可以以自動(dòng)的方式實(shí)施。
[0012]還已知用于測試日志的自動(dòng)評估的專家系統(tǒng)。D.Gustavsson, D.Molin, "ExpertSystem for Error Analysis-Rule Based Reasoning Applied on Log Informat1nand Dump Reports from Mobile Phones'Master’s dissertat1n, 2010 年 6 月，可訪問http://file admin, cs.1th.se/ai/xj/Daniel Gustavsson/ADLA_Report_100615.pdf,描述了這樣的專家系統(tǒng)。該系統(tǒng)包括例如以多個(gè)規(guī)則形式表示的知識(shí)。因此，該系統(tǒng)可以做出推論，事實(shí)上，指定的決策樹根據(jù)規(guī)則的評估而運(yùn)行。規(guī)則包括條件分量和結(jié)果分量?？赡艹霈F(xiàn)的事件可以以條件分量來表示，且可以以結(jié)果分量表示推論。因此，專家系統(tǒng)針對條件分量中指定的條件的出現(xiàn)搜索測試日志，其通常對應(yīng)于字符串搜索(“模式匹配”)，然后從該搜索做出相應(yīng)的推論。
[0013]這樣的決策樹非常適于檢測特定的錯(cuò)誤，S卩，可歸因于前面可確定的、清楚的原因的明確定義的事件。如果多個(gè)對應(yīng)的決策樹存儲(chǔ)在數(shù)據(jù)庫中，則在測試日志中對應(yīng)的多個(gè)問題在原則上可以被識(shí)別和解決。
[0014]因此，這樣的專家系統(tǒng)表示有效的工具，其支持測試員可靠地確定相應(yīng)錯(cuò)誤的存在和確定它們的原因。
[0015]然而，已知的專家系統(tǒng)不能有效地處理沒有清楚限定的錯(cuò)誤情形。因此，如果問題沒有正好匹配前面限定的情形，則不能認(rèn)識(shí)到問題。甚至不存在消息意味著專家系統(tǒng)不再能做出有意義的推論。因此，已知的專家系統(tǒng)可以僅支持測試員檢測和解釋簡單的錯(cuò)誤情形。然而，測試員通常必須針對復(fù)雜錯(cuò)誤情形的出現(xiàn)搜索整個(gè)日志，以及僅基于個(gè)人經(jīng)驗(yàn)闡明這些錯(cuò)誤。
[0016]事實(shí)上，已知的專家系統(tǒng)可以穩(wěn)定地發(fā)展成包括可構(gòu)思的錯(cuò)誤情形的日益增長的范圍，然而，這樣的擴(kuò)展對于各個(gè)新的錯(cuò)誤情形受到規(guī)模的限制，必須實(shí)施對應(yīng)的新的決策樹。然而，需要持續(xù)改善系統(tǒng)的粒度，這導(dǎo)致專家系統(tǒng)迅速增大復(fù)雜性。系統(tǒng)的維護(hù)，例如，跟蹤消息日志中的變化因此變得相應(yīng)地繁雜，即，復(fù)雜且容易錯(cuò)誤。


【發(fā)明內(nèi)容】

[0017]本發(fā)明的一個(gè)目的是提出在測試電信設(shè)備的領(lǐng)域中自動(dòng)評估測試日志的有效方案，其實(shí)現(xiàn)了在復(fù)雜的錯(cuò)誤情形的識(shí)別和/或解決中對測試員的可靠支持。
[0018]該目的通過具有權(quán)利要求1的特征的方法、具有權(quán)利要求11的特征的計(jì)算機(jī)程序產(chǎn)品和具有權(quán)利要求12的特征的計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)。
[0019]根據(jù)本發(fā)明，提出了一種自動(dòng)評估用于測試電信設(shè)備的測試日志的方法，所述方法包括下列步驟:提供預(yù)定義的概率模型，所述概率模型將可以在所述測試日志中出現(xiàn)的多個(gè)事件與多個(gè)可能的原因關(guān)聯(lián)；針對所述事件的出現(xiàn)搜索所述測試日志；基于所述概率模型和搜索結(jié)果，計(jì)算原因的概率值；和基于所計(jì)算的概率值，提供用于在所述測試日志中已經(jīng)出現(xiàn)和/或尚未出現(xiàn)的事件的至少一個(gè)可能的原因的指示。
[0020]通常，被測電信設(shè)備可以是電信(TC)用戶設(shè)備(UE)，即，例如，用于用戶、客戶等的用戶設(shè)備，例如，移動(dòng)無線電裝置、例如，智能手機(jī)、平板電腦、上網(wǎng)卡等。還可以是用于另一無繩的或者無線的或者繩支持或者線支持的通信系統(tǒng)的用戶設(shè)備，例如，配備用于根據(jù)LAN標(biāo)準(zhǔn)、WLAN標(biāo)準(zhǔn)等的通信的裝置。例如，以接口卡、套接口等形式的接口(例如，用于實(shí)現(xiàn)通信接口，諸如裝置(諸如PC或者筆記本電腦)中的IP接口)的實(shí)施也可以被視為TC
>j-U ρ?α裝直。
[0021]相反，在本公開的架構(gòu)內(nèi)，其構(gòu)成(電信)通信網(wǎng)絡(luò)的一部分的節(jié)點(diǎn)或部件也理解成TC設(shè)備，其中，網(wǎng)絡(luò)還可以僅包括節(jié)點(diǎn)，其作為DUT與TE交換信息，例如，用于測試的目的，其中，例如，TE模擬用戶裝置。網(wǎng)絡(luò)節(jié)點(diǎn)因此例如可以是基站，例如，移動(dòng)無線電網(wǎng)絡(luò)的BSS( “基站子系統(tǒng)”)或者eNB( “演變的節(jié)點(diǎn)B”)或者在這樣的網(wǎng)絡(luò)或者通常通信網(wǎng)絡(luò)的無線電或者核心網(wǎng)絡(luò)中的另一節(jié)點(diǎn)。因此，例如，DUT可以是任意的無線的或者有線支持的通信或者電信網(wǎng)絡(luò)的訪問節(jié)點(diǎn)。
[0022]通常，體現(xiàn)為用于模擬一個(gè)或多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)和/或用戶裝置的特定設(shè)備被用作TE。通常，TE還包括用于記錄通過接口與DUT的數(shù)據(jù)交換的部件，S卩，例如，用于網(wǎng)絡(luò)分析的嗅探器或者另外的工具。
[0023]測試日志可以是測試報(bào)告、日志文件和/或轉(zhuǎn)儲(chǔ)文件，例如，在自動(dòng)測試期間通過例如TE被準(zhǔn)備。測試日志可以以一個(gè)文件或多個(gè)文件的形式存在(例如作為文本文件)，例如，該文本文件包含ASCII或HTML格式或者另外的可搜索格式的數(shù)據(jù)。
[0024]事件(“event”)包括至少一個(gè)可以在測試日志中發(fā)現(xiàn)的過程。例如，事件可以是通過給定接口發(fā)送的給定消息或者消息序列(例如，同步消息)的傳輸。然而，在測試日志中觀測或者過程的未檢測也可以定義成事件，例如，不存在消息。
[0025]原因(“cause”)也包括至少一個(gè)過程(例如，切換)?？梢詷?gòu)思，該過程也可以直接來自于測試日志。然而，在一些情況中，僅僅檢測不表明:該過程是被定義成或者已經(jīng)檢測成事件的過程的誘因。
[0026]例如，測試日志的搜索可以基于字符串搜索(“模式匹配”)或者更一般地針對給定模式搜索的形式(模式識(shí)別或者“模式辨識(shí)”)來實(shí)施。用于模式識(shí)別的方法對于本領(lǐng)域的技術(shù)人員是已知的。搜索可以遍布整個(gè)測試日志或者僅日志的一部分。該搜索可以包含條件分量，其中，用于一個(gè)或多個(gè)另外的模式的目標(biāo)搜索僅在模式的檢測(或者未檢測)之后被實(shí)施。
[0027]關(guān)于可歸因于給定原因的給定事件的概率，概率模型可以表示清單。概率模型可以被視為在事件和原因之間的鏈接的形式化或者技術(shù)實(shí)現(xiàn)，其中，鏈接可以被分配概率值。
[0028]概率模型可以表示這樣的網(wǎng)絡(luò)，其中，事件和原因是關(guān)聯(lián)到彼此的網(wǎng)絡(luò)節(jié)點(diǎn)。這樣的網(wǎng)絡(luò)可以被視為在一般的信息技術(shù)中已知的分類方法意義上的分類器(“classifier”)且因此在下文被稱為分類器。
[0029]在一些實(shí)施方式中，網(wǎng)絡(luò)提供了僅在每個(gè)情況中的一個(gè)事件和在每個(gè)情況中的一個(gè)原因之間的鏈接，但是不提供僅在事件之間或者僅在原因之間的鏈接。在給定的實(shí)施方式中，各個(gè)鏈接將一個(gè)事件與一個(gè)可能的原因關(guān)聯(lián)。在一些實(shí)施方式中，各個(gè)事件與在概率模型中呈現(xiàn)的所有可能的原因關(guān)聯(lián)。
[0030]預(yù)定的概率值可以分配到概率模型中的至少一個(gè)鏈接，該概率模型用在計(jì)算可能的原因的概率值。在給定的實(shí)施方式中，一個(gè)確切的概率值被分配到模型或者網(wǎng)絡(luò)的各個(gè)鏈接。例如，概率值可以呈現(xiàn)為在O和I之間或者在0%和100%之間的數(shù)值。
[0031]概率模型可以包括貝葉斯網(wǎng)絡(luò)，S卩，其可以表示貝葉斯分類器。另外或者可替選地，該模型可包括馬爾科夫網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)和/或決策樹。
[0032]在網(wǎng)絡(luò)中可用于事件節(jié)點(diǎn)的字母可以是二進(jìn)制的，S卩，例如，其可以僅包括值“真” (“True’V‘1，，等)和“假” (“False”，“O”等)。因此，在搜索期間，僅可以檢查事件出現(xiàn)或者未出現(xiàn)，即，例如，給定的消息或者消息序列在具有多個(gè)消息的測試日志中出現(xiàn)或者未出現(xiàn)。分配到鏈接的概率值然后可以指定消息的出現(xiàn)可歸因于相應(yīng)的原因的概率或者消息的未出現(xiàn)可歸因于該原因的概率。
[0033]在一些實(shí)施方式中，例如，可以將不同的概率分配到消息的出現(xiàn)或者未出現(xiàn)(或者參數(shù)或參數(shù)值的出現(xiàn)或者相應(yīng)的未出現(xiàn))；即，消息的出現(xiàn)或者更普遍地模式(“pattern”)的出現(xiàn)以及模式的未出現(xiàn)可以被設(shè)置作為分類器中的不同的事件。
[0034]在其他實(shí)施方式中，字母可包括兩個(gè)以上的值，且例如可以提供十個(gè)或者更多的值。除了消息的出現(xiàn)或者未出現(xiàn)之外，事件因此還可以涉及消息中的參數(shù)的出現(xiàn)或者未出現(xiàn)，和/或消息中的參數(shù)的參數(shù)值的出現(xiàn)或者未出現(xiàn)。這樣的網(wǎng)絡(luò)可以轉(zhuǎn)換成具有二進(jìn)制字母的網(wǎng)絡(luò)，其中，多個(gè)事件然后可以涉及同一個(gè)消息，但是例如，可以涉及不同的消息內(nèi)容或者給定的參數(shù)值等。
[0035]概率模型可包括未知原因的可能性。如果事件可以給定概率歸因于給定原因，則可以提供具有其余的剩余概率的未知原因的關(guān)聯(lián)。用于給定事件或者多個(gè)事件的不能找到的原因的指示至少向測試員指示已知原因以低概率存在，即，例如，在實(shí)踐中可以被排除在外。
[0036]概率模型可包括具有事件層和原因?qū)拥膬蓪泳W(wǎng)絡(luò)。概率模型還可包括多個(gè)兩層網(wǎng)絡(luò)或者三層或者多層網(wǎng)絡(luò)。因此，概率模型例如可以包括事件層、中間層和原因?qū)?。中間層的節(jié)點(diǎn)可表示用于事件層的原因和/或用于原因?qū)拥氖录Ｈ绻龑幽Ｐ捅灰暈榈谝粌蓪幽Ｐ秃偷诙蓪幽Ｐ偷慕M合，則第一兩層模型然后可首先被計(jì)算，其中，在測試日志中發(fā)現(xiàn)的事件可以歸因于第一模型的原因。原因(或者表示原因的第一模型的節(jié)點(diǎn))然后被視為第二模型的事件(或者表示事件的節(jié)點(diǎn))，因此，例如，視為得出的事件。上級原因的概率然后基于第二模型來計(jì)算。
[0037]例如，三層模型或者多層模型可以用來分析事件的次序。在該上下文中，中間層的至少一個(gè)節(jié)點(diǎn)可表示事件的時(shí)間次序。
[0038]此外，根據(jù)本發(fā)明，如果計(jì)算機(jī)程序產(chǎn)品在可編程的計(jì)算機(jī)系統(tǒng)或者數(shù)字信號(hào)處理器上執(zhí)行，則計(jì)算機(jī)程序產(chǎn)品被提出用于實(shí)施如上文概括或者在本公開中的其他地方描述的方法。
[0039]計(jì)算機(jī)程序可以存儲(chǔ)在機(jī)器可讀數(shù)據(jù)載體上，例如，可編程的計(jì)算機(jī)裝置或者CD-ROM,DVD或者USB棒中的或與其關(guān)聯(lián)的永久或者可重寫的介質(zhì)。另外或者可替選地，計(jì)算機(jī)程序可以提供用于下載到可編程的計(jì)算機(jī)裝置上，例如，通過數(shù)據(jù)網(wǎng)絡(luò)，例如，互聯(lián)網(wǎng)或者另外的通信連接。
[0040]此外，根據(jù)本發(fā)明提出了一種計(jì)算機(jī)系統(tǒng)，在該計(jì)算機(jī)系統(tǒng)上，實(shí)施諸如上文所概述的計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)系統(tǒng)可以是這樣的裝置，例如，常規(guī)的PC、筆記本電腦、平板電腦或者用于測試評估的類似物。然而，計(jì)算機(jī)程序產(chǎn)品還可以安裝在DSP上，例如，TE的處理器。
[0041]在計(jì)算機(jī)系統(tǒng)上可以實(shí)施用于評估電信設(shè)備的測試日志的專家系統(tǒng)。計(jì)算機(jī)程序產(chǎn)品可以提供在專家系統(tǒng)的框架內(nèi)的評估工具。
[0042]評估工具可以體現(xiàn)為接收用戶輸入。例如，該輸入可以涉及考慮至少一個(gè)事件和/或考慮至少一個(gè)原因，其例如可以手動(dòng)地指定或者從菜單選定。另外或者可替選地，用戶輸入還可以涉及用于鏈接的至少一個(gè)概率值的指示。因此，概率模型的一些或者所有的現(xiàn)有鏈接的概率值可以被輸入或者手動(dòng)修改。例如，指定的值可以被匹配。分類器的方面，例如，概率值，也可以通過軟件更新來更新。另外或者可替選地，該工具也可以體現(xiàn)為學(xué)習(xí)系統(tǒng)，例如，該學(xué)習(xí)系統(tǒng)接收用戶的回復(fù)消息且因此匹配分類器的方面。
[0043]評估工具可以提供用于測試評估的不同問題的多個(gè)概率模型。因此，例如，獨(dú)立的窗口( “視圖”)可以被提供用于各個(gè)分類器。
[0044]根據(jù)本發(fā)明，在測試日志中可以檢測的事件可以被視為概率模型的觀察結(jié)果。該方法允許概率值分配到觀察結(jié)果和它們的可能的原因之間的鏈接。以該方式，分類器可以被限定為將多組具有給定概率的觀察結(jié)果或者事件分配到多組原因或者假設(shè)。
[0045]本發(fā)明允許在通信系統(tǒng)的領(lǐng)域中的測試日志的自動(dòng)評估，其中，可以考慮不同的可能原因，也就是說，視為用于觀察結(jié)果或測量值(即，用于在測試日志中發(fā)現(xiàn)的事件)的假設(shè)。出于該目的，在所檢測的或者觀察的事件和可能的原因或解釋之間的鏈接可以被限定在概率(圖形)模型(例如，貝葉斯網(wǎng)絡(luò))中。概率可被分配到鏈接，概率值例如可以來自理論分析也可以來自經(jīng)驗(yàn)。該系統(tǒng)還可以被設(shè)計(jì)成自學(xué)習(xí)，使得分配到鏈接的概率值可以例如基于測試人員的回復(fù)消息被匹配。
[0046]因此，本發(fā)明允許在這些任務(wù)中自動(dòng)檢測和/或分類復(fù)雜錯(cuò)誤情形或者支持測試人員。自動(dòng)的日志分析可以逐漸解決沒有以一一對應(yīng)關(guān)系鏈接到給定事件的問題。事實(shí)上，根據(jù)本發(fā)明的分析工具還可以區(qū)分共同具有一個(gè)觀察結(jié)果或多個(gè)可觀察的事件的原因。
[0047]根據(jù)本發(fā)明的工具因此實(shí)現(xiàn)了測試評估中增大的可靠性，其不僅用于簡單而且用于更復(fù)雜的錯(cuò)誤情形，且可以以該方式更好地支持測試人員，其中，較少的問題被忽略或者不正確地識(shí)別。該工具還可以用于排除特定的原因(具有相應(yīng)的概率)；這還有助于復(fù)雜錯(cuò)誤情形的分類且導(dǎo)致更有效的測試評估。
[0048]原則上，在競爭的假設(shè)之間的決策還可以通過瀏覽常規(guī)的決策樹來進(jìn)行。然而，用于制備和匹配這樣的決策樹的工作量高，且瀏覽決策樹是計(jì)算密集型的。對比而言，根據(jù)本發(fā)明所用的概率模型的提供和維護(hù)與減少工作量有關(guān)，且做出決策需要較少的處理器資源。
[0049]根據(jù)本發(fā)明的分析工具的分類器通過添加例如另外的原因可以簡單地?cái)U(kuò)展。例如，與基于決策樹的方法相比，根據(jù)本發(fā)明的方法通常更容易地被縮放，其產(chǎn)生關(guān)于管理、維護(hù)、更新等所需的工作量方面的相應(yīng)優(yōu)點(diǎn)。

【專利附圖】

【附圖說明】
[0050]下文將參考附圖描述本發(fā)明的另外的方面和優(yōu)點(diǎn)。附圖示出了:
[0051]圖1示意性地示出根據(jù)本發(fā)明的用于測試評估的系統(tǒng)的示例性實(shí)施方式；
[0052]圖2是圖1的系統(tǒng)的具體視圖；
[0053]圖3是圖1和圖2的系統(tǒng)的操作方法的第一示例性實(shí)施方式的流程圖；
[0054]圖4是圖1和圖2的系統(tǒng)的操作方法的第二示例性實(shí)施方式的流程圖；
[0055]圖5是根據(jù)本發(fā)明的分類器的示例性實(shí)施方式的示意圖，例如，該分類器可以用在圖1和圖2的測試系統(tǒng)中；
[0056]圖6是在圖4的過程期間可能的命令行輸出的示例；和
[0057]圖7是在圖4的過程結(jié)束時(shí)測試報(bào)告中項(xiàng)目的示例。

【具體實(shí)施方式】
[0058]圖1以示意圖形式示出測試系統(tǒng)100和測試評估系統(tǒng)(RS，“報(bào)告系統(tǒng)”)160的示例性實(shí)施方式。測試系統(tǒng)100是測試環(huán)境TB(“測試平臺(tái)”)或者相應(yīng)地諸如本領(lǐng)域的技術(shù)人員已知的測試實(shí)驗(yàn)室的一部分。測試系統(tǒng)100包括被測電信裝置(DUT, “Device underTest”)，在示例中，是用于移動(dòng)無線電網(wǎng)絡(luò)的用戶裝置102。測試系統(tǒng)100還包括測試設(shè)備(TE, “Test Equipment”)104。
[0059]用戶裝置102的測試包括消息從TE 104發(fā)送106到DUT 102以及還包括消息從DUT 102發(fā)送108到TE 104。在該上下文中，消息交換106、108借助至少一個(gè)接口 110 (即，例如，借助空中接口)運(yùn)行。借助接口 110，TE 102可以模擬例如用于該目的的移動(dòng)無線電網(wǎng)絡(luò)的基站的行為。
[0060]TE 104將測試過程(即，尤其是借助接口 110所發(fā)送106和相應(yīng)地接收108的消息)記錄在測試日志(“l(fā)og”)112中，例如，該消息可以在完成測試之后以一個(gè)或多個(gè)計(jì)算機(jī)可讀文件的形式存在。根據(jù)測試的類型和目的，多個(gè)消息可以借助接口 110交換。對于各個(gè)消息，通常記錄另外的細(xì)節(jié)，例如，較低日志層的嵌入消息、現(xiàn)有的參數(shù)(可選地具有參數(shù)值)等，使得獲得相應(yīng)地大量的測試日志112，這一點(diǎn)對于本領(lǐng)域的技術(shù)人員是已知的。
[0061]評估系統(tǒng)(RS，“報(bào)告系統(tǒng)”)160與測試系統(tǒng)100或者相應(yīng)的測試平臺(tái)TB分開，如通過線150示出。作為功能部件，RS 160包括專家系統(tǒng)(ES) 162，其可以在計(jì)算機(jī)系統(tǒng)上實(shí)施(此處沒有更具體地示出)，計(jì)算機(jī)系統(tǒng)例如為常規(guī)的辦公室PC或者具有分布資源的計(jì)算機(jī)網(wǎng)絡(luò)，例如，常規(guī)的辦公網(wǎng)絡(luò)。可替選地，專家系統(tǒng)可以例如在TE 104上、或者筆記本電腦上或者類似的便攜式裝置上實(shí)施，以便允許在服務(wù)的情況下在現(xiàn)場進(jìn)行測試評估。
[0062]測試人員，S卩，測試員或者測試團(tuán)隊(duì)，通過控制臺(tái)(輸入/輸出系統(tǒng))164啟動(dòng)測試評估且通過控制臺(tái)164接收結(jié)果，控制臺(tái)164例如可以包括鍵盤和/或其他輸入裝置和顯示器和/或其他包括用于存儲(chǔ)結(jié)果報(bào)告的電子存儲(chǔ)容量的顯示裝置。
[0063]專家系統(tǒng)162能夠訪問數(shù)據(jù)庫(資料庫)，其尤其提供至少一個(gè)分類器(Cl，“classifier”)166。對于測試評估的實(shí)施，專家系統(tǒng)162訪問168測試日志112。例如，通過借助控制臺(tái)164發(fā)出的相應(yīng)命令，通過測試人員可以觸發(fā)測試評估。此后，功能部件170針對每個(gè)分類器實(shí)施測試日志112的搜索(PR，“模式識(shí)別”)，即，部件170針對出現(xiàn)的給定模式(例如，字符序列，例如，消息標(biāo)識(shí)符)搜索日志112，。這些模式通過分類器166來指定。
[0064]基于結(jié)果的檢測和/或非檢測，功能部件172實(shí)施評估處理(EV，“評估”)。該處理也通過分類器166來指定?；谠撎幚?，功能部件174確定測試結(jié)果(TR，“Test Result”)，其可以以結(jié)果報(bào)告的形式呈現(xiàn)給測試人員，例如，用于以結(jié)果文件形式的存儲(chǔ)和/或在控制臺(tái)164處輸出。
[0065]圖2示出具有部件170、172和174和另外的細(xì)節(jié)的專家系統(tǒng)162，該另外的細(xì)節(jié)在下文示例性測試評估的描述中將提到。
[0066]圖3示出通過示例呈現(xiàn)來自圖1和圖2的專家系統(tǒng)162的操作(處理)300的流程圖。操作300涉及用于測試電信設(shè)備102的測試日志112的自動(dòng)評估。
[0067]在步驟302中，呈現(xiàn)了預(yù)定義的概率模型，其將測試日志112中可以出現(xiàn)的多個(gè)事件與多個(gè)可能的原因相關(guān)聯(lián)。此處描述的實(shí)施例中的概率模型可以包括分類器166。在步驟304中，針對通過分類器166指定的事件的出現(xiàn)，通過部件170搜索測試日志111。
[0068]在步驟306中，基于概率模型和來自在步驟304中所實(shí)施的調(diào)查的結(jié)果，通過部件172計(jì)算通過分類器166指定的原因的概率值。在步驟308中，部件174實(shí)際上基于所計(jì)算的概率值提供用于事件的至少一個(gè)可能的原因的指示，這些事件在測試日志中已經(jīng)出現(xiàn)或者還沒有出現(xiàn)。在步驟310中，該方法結(jié)束于，例如，過程控制返回到在專家系統(tǒng)162或者測試評估系統(tǒng)160的框架內(nèi)的上層控制程序。
[0069]以流程圖的形式，圖4示出圖1和圖2的專家系統(tǒng)162的操作(處理)400的另一示例性實(shí)施方式。關(guān)于沒有清楚提出的方面，可以認(rèn)為，這些方面對應(yīng)于圖3的操作300中的那些方面。相反，在下文中關(guān)于處理400描述的多個(gè)方面也可以應(yīng)用于過程300。
[0070]例如，處理400還涉及測試日志112的自動(dòng)評估，其中，指定的概率模型的圖形被建立用于該目的。操作400可以通過計(jì)算機(jī)程序來實(shí)施且例如通過控制臺(tái)164的輸入可以被啟動(dòng)。處理400可以以批處理模式運(yùn)行和/或可以在后臺(tái)中運(yùn)行，而通過控制臺(tái)164或者沒有示出的評估系統(tǒng)160的其他部件可以控制其他處理。該處理可以包括在啟動(dòng)處理400之后在控制臺(tái)164上呈現(xiàn)評估結(jié)果。
[0071]操作400描述了基于主程序的過程。功能部件170、172和174可以以子程序的形式來實(shí)施，子程序分別通過來自主程序的調(diào)用來控制。主程序例如可以實(shí)施專家系統(tǒng)162或者其相應(yīng)的示例。然而，還可以構(gòu)思其他配置。
[0072]在步驟402中，過程(程序，子程序、函數(shù)等)“GetOutofSync”被調(diào)用。基于該過程，在步驟404中，例如，通過在分類器166中讀取“OutofSync”，可以使分類器166的數(shù)據(jù)可用于專家系統(tǒng)162。從步驟406，根據(jù)通過分類器166指定的數(shù)據(jù)實(shí)施另外的處理。步驟402至406可以被視為步驟302的具體實(shí)現(xiàn)。
[0073]圖5示出分類器或者相應(yīng)的概率模型或者網(wǎng)絡(luò)166的具體形式。作為示例，分類器166實(shí)施用于詢問原因的問題502的決策網(wǎng)絡(luò)，該詢問原因的問題即為什么移動(dòng)無線電裝置已經(jīng)不與移動(dòng)無線電網(wǎng)絡(luò)同步(“Out of Sync”)或者不能建立同步情形。
[0074]出于該目的，呈現(xiàn)了諸如對于本領(lǐng)域的技術(shù)人員已知的消息或者消息序列的多個(gè)可能的原因504或者相應(yīng)的假設(shè)HO、HU H2和H3和另外的多個(gè)可能的事件506或者具有它們的縮寫的觀察結(jié)果(清單)A0、A1、A2和A3。在下文中，指出在圖5中所用的技術(shù)術(shù)語的英文等同含義:“連接轉(zhuǎn)移”對應(yīng)于“切換(Handover) ” ；“具有移動(dòng)性的RRC信令”對應(yīng)于“RRC信令w/移動(dòng)性(RRC signaling w/mobility) ” ；“隨機(jī)接入過程”對應(yīng)于“隨機(jī)訪問過程(Random Access Procedure) ” 具有小于閾值的功率的電池功率配置”對應(yīng)于“CeIIPowerConfig w/ 功率〈閾值(CelIPowerConfig w/power<threshoId) ”;“所接收的上行鏈路功率”對應(yīng)于“所接收的上行鏈路功率(Received uplink power)”。
[0075]原因HO表不至少一個(gè)未知原因；對于后者，可以考慮觀察結(jié)果，例如，與已知原因HU H2和H3均不匹配的事件的出現(xiàn)和/或未出現(xiàn)的給定組合。因此，未知原因HO給測試評估者提供了如下指示:專家系統(tǒng)不能識(shí)別任何可能的原因的指示；因此這通過測試評估者來實(shí)現(xiàn)；和/或，在檢測到“未知”的原因之后，專家系統(tǒng)可以可選地通過后者來補(bǔ)充。
[0076]各個(gè)事件通過一個(gè)鏈接(關(guān)系，邊緣)508關(guān)聯(lián)到各個(gè)原因。相反，各個(gè)鏈接508使一個(gè)事件與一個(gè)原因關(guān)聯(lián)。在圖5中通過箭頭示出鏈接508，即，分類器166是方向圖，其中，箭頭方向指出因果關(guān)系的方向，根據(jù)該方向，一個(gè)或多個(gè)事件506由原因504產(chǎn)生。本文所討論的處理的結(jié)果因此包括從觀察的事件推斷最可能的原因或者多個(gè)最有可能的原因，即使這些原因或這些原因中的一些是不可觀察的或不可直接觀察的。
[0077]分類器166以貝葉斯網(wǎng)絡(luò)形式示出原因504、事件506和鏈接508，其中，指出概率的值510被分配到各個(gè)鏈接508。概率值510可以被解譯成通過相應(yīng)的鏈接508指定的事件506可歸因于通過鏈接508關(guān)聯(lián)的原因的概率。這些概率值510在分類器166內(nèi)可以指定為常數(shù)。值510可以在分類器166或者專家系統(tǒng)162的開發(fā)期間被指定、通過軟件/固件更新來更新、和/或通過專家系統(tǒng)162或者測試評估系統(tǒng)160的用戶輸入或者修改。在管理模式中(其中，沒有實(shí)施測試評估)，專家系統(tǒng)因此例如可以通過控制臺(tái)接收輸入，通過該控制臺(tái)，概率510可以通過測試人員輸入或者修改，以及例如與具體的經(jīng)驗(yàn)值匹配。
[0078]還可以構(gòu)思分類器的其他方面是可變的。例如，用戶可以通過控制臺(tái)164將另外的原因增添到原因H0-H3和/或從圖166去除原因H0-H3中的一個(gè)或多個(gè)。類似地，用戶可以將事件增添到事件A0-A3和/或從圖166去除事件A0-A3中的一個(gè)或多個(gè)。例如，通過菜單選擇，可以實(shí)施節(jié)點(diǎn)506、508的增添和/或去除，通過菜單選擇，與過程H0-H3、A0-A3相當(dāng)?shù)倪^程或者清單被提供到用戶。例如，菜單可以對于給定接口(例如，圖1中的接口110)提供給定日志堆棧的消息的選擇。
[0079]關(guān)于圖4中的步驟408 (其可對應(yīng)于圖3中的步驟304)，“測量”過程，即，用于搜索測試日志的過程被調(diào)用。以具體的術(shù)語，部件70可以加載例如字符串(字符串序列)的列表202(對照圖2)，其中，至少一個(gè)字符串被限定用于分類器166的各個(gè)事件A0-A3。例如，字符串可以對應(yīng)于消息的標(biāo)識(shí)符，通過該標(biāo)識(shí)符，該消息被表征在測試日志112中。出于清楚的原因，圖2中的字符序列202僅通過圖5中也示出的相應(yīng)的結(jié)果名稱A0-A3呈現(xiàn)。
[0080]部件170現(xiàn)實(shí)施用于模式識(shí)別的過程，即，測量或者搜索或者掃描過程，即，例如，執(zhí)行對各個(gè)字符串202的檢查以確定這是否在測試日志112中出現(xiàn)。另外地，可以測量另夕卜的信息，例如，出現(xiàn)的位置(例如，日志文件112中的時(shí)間戳和/或位置)、所分配的消息內(nèi)容等。應(yīng)該注意，來自圖5的事件506還可以涉及消息的未出現(xiàn)、消息中的參數(shù)等，使得部件170還檢查或者測量相應(yīng)的未出現(xiàn)。
[0081]在完成步驟408中的掃描過程之后，接收來自處理部件172的測量結(jié)果或者觀察結(jié)果204 (圖2)，例如，在步驟410中讀入。只要在測量過程408期間檢查事件的出現(xiàn)或者未出現(xiàn)，限定事件506的字母可以是二進(jìn)制字母，例如，這些字母僅包括字母“T”( “真”)和“F” ( “假”)205。觀察結(jié)果204然后可以作為簡單的順序表進(jìn)行通信，其中，“Τ”或“F”被分配到各個(gè)事件Α0-Α3。
[0082]在該實(shí)施例中，可以認(rèn)為，在圖5中的網(wǎng)絡(luò)或者圖166所指出的概率510涉及相應(yīng)事件506的“真”情形，即，概率值510指出實(shí)際已經(jīng)出現(xiàn)的事件可歸因于給定的原因504的概率，也就是說，存在給定的原因504的概率。在另外的示例性實(shí)施方式的情況中，另外的概率值可以被分配到至少一個(gè)鏈接508，其指出，如果還未檢測到事件，則存在相應(yīng)的關(guān)聯(lián)的原因的概率。采用另外的示例性實(shí)施方式，一個(gè)概率值被分配到各個(gè)鏈接，但另外指出概率值是否涉及相應(yīng)事件的出現(xiàn)或者未出現(xiàn)。
[0083]已經(jīng)讀入的測量數(shù)據(jù)204可以包含另外的信息。因此，例如，消息內(nèi)容可以被傳輸用于所檢測的事件，或者可以傳輸所檢測的事件的時(shí)間次序。限定事件的字母相應(yīng)地可以是廣泛的。最后，每個(gè)字母可再次與二進(jìn)制字母相關(guān)，即，可以以多個(gè)原子事件的形式表示具有不同消息內(nèi)容的消息，該原子事件然后僅可以采用二進(jìn)制字母來限定。然而，事件列表，例如，列表204可以變?yōu)榇罅康?。基于對于各個(gè)單獨(dú)情況的上述討論，可以優(yōu)化【具體實(shí)施方式】。
[0084]在步驟412中，處理部件172計(jì)算對于在分類器166中呈現(xiàn)的原因504(假設(shè)Η0-Η3)的概率。伴隨通過測量結(jié)果204也可用于部件172的事件，部件172還在指示符206 (圖2)中讀取假設(shè)504、鏈接V508和所分配的概率值P (V) 510。這些指示符206不必是如用于呈現(xiàn)圖5中的原因504和概率值510的文本字符串或者百分比；相反，指示符可以通過專家系統(tǒng)162的內(nèi)部變量來表示，例如，指數(shù)、整數(shù)、指針等。在內(nèi)部可以通過實(shí)數(shù)來表示概率值510。
[0085]在該實(shí)施例中網(wǎng)絡(luò)或者分類器166被視為貝葉斯網(wǎng)絡(luò)或者貝葉斯分類器。因此，限定圖5中的圖166的原因504的概率的計(jì)算可以通過調(diào)用已知的相應(yīng)計(jì)算系統(tǒng)基于概率510和事件列表204來實(shí)施。例如，部件172可以從相應(yīng)的庫(Lib，“Library”) 208取出這樣的系統(tǒng)和/或在相應(yīng)的子函數(shù)中實(shí)施計(jì)算。
[0086]作為計(jì)算的結(jié)果，返回列表210(圖2)，其中，例如，在各個(gè)情況下，可以列舉所有的假設(shè)H0-H3和相應(yīng)的可能原因504與所分配的概率212。在圖2中具有指示符H0-H3和百分比212的列表210的呈現(xiàn)已經(jīng)僅出于清楚的原因被選擇。在其他示例性實(shí)施方式中，通過內(nèi)部指示符仍可以在列表210中表征這些假設(shè)。如果概率212可以唯一地通過它們在列表210中的次序分配到假設(shè)504，則在列表210中的假設(shè)指示符還可以完全省去。
[0087]步驟410和步驟412可以近似地對應(yīng)于步驟306。在步驟414和步驟416 (可以近似地對應(yīng)于步驟308)中，報(bào)告部件174接收結(jié)果數(shù)據(jù)210。另外，部件174也可以調(diào)用214(對照圖2)分類器166的數(shù)據(jù)，S卩，例如，至少所確定的用于在測試報(bào)告或者控制臺(tái)164中輸出的原因。部件174可以體現(xiàn)為將測試報(bào)告寫入現(xiàn)有的文件或者待自動(dòng)創(chuàng)建的新文件。例如，通過合適的編輯器或者相當(dāng)?shù)某绦?，文件可以被輸出到控制臺(tái)164用于用戶，和/或被提供用于所包含的信息的另外的機(jī)械處理。例如，文件可以是文本文件。
[0088]圖6示出輸出600的示例，例如，在命令行環(huán)境中，其可以是通過部件174插入在文本報(bào)告中和/或在顯示屏上顯示而產(chǎn)生。當(dāng)針對原因或者假設(shè)H0-H3所計(jì)算的概率值產(chǎn)生于步驟412時(shí)，其在結(jié)果行602中被輸出。在另外的結(jié)果行604中，至少已經(jīng)計(jì)算最高的概率的原因可以以文本形式命名。在該實(shí)施例中，可以確定，基于在測試日志112中所觀測的事件A0-A3的出現(xiàn)或者未出現(xiàn)，用于在DUT 102和TE 104之間失去同步的最可能的原因是切換(HO)。對于該原因(Hl)，相比其他的原因(例如，在DUT 102中的錯(cuò)誤的出現(xiàn)(H3))計(jì)算得出更高的概率。
[0089]圖7以示意形式示出來自測試報(bào)告700的示例性摘錄,該示例性摘錄指示實(shí)質(zhì)位置，只要這些位置在測試日志112中以書簽列表的形式已經(jīng)被自動(dòng)地檢測，且該示例性摘錄針對各個(gè)所指出的位置列舉另外的信息序列。在列表700中的條目可以歸因于根據(jù)本發(fā)明的測試評估的事件以及還有來自常規(guī)測試評估的事件。
[0090]部件174已經(jīng)啟動(dòng)書簽702的生成，其是指測試日志112中的給定位置且指出分配到該位置的錯(cuò)誤情形的可能的原因。具體地，通過書簽702設(shè)置警告。在通過ID 704所指定的位置處，DUT 102的不同步(00S，“0ut of Sync”)已經(jīng)被確定。ID 704可以是轉(zhuǎn)移地址。在其他示例性實(shí)施方式中，行編號(hào)、時(shí)間戳或者其他位置細(xì)節(jié)可以直接在測試日志112中指出。
[0091]如根據(jù)上文所述的本發(fā)明的步驟所計(jì)算的，書簽702還包含與OOS的原因有關(guān)的短文本指示。在控制臺(tái)164上呈現(xiàn)測試報(bào)告的情況下，通過點(diǎn)擊行702可以顯示另外的信息，例如，提供如來自圖6的命令行輸出600的細(xì)節(jié)的水平。
[0092]例如，如果兩個(gè)或更多個(gè)最大概率可以并排設(shè)置在例如10%的通道內(nèi)，則代替僅輸出最可能的原因，還可以輸出多個(gè)原因。
[0093]圖5中的分類器166呈現(xiàn)為兩層的網(wǎng)絡(luò)。然而，根據(jù)本發(fā)明的概率模型還可以通過三層或者多層網(wǎng)絡(luò)來呈現(xiàn)，尤其是對于更復(fù)雜的問題的自動(dòng)分析。因此，一系列觀察結(jié)果或者事件可以在測試日志中被初始測量，然后通過如上文所述的評估歸因于一個(gè)或多個(gè)可能的原因，然而，對于它們來說，可以再次歸因到更基本的原因，等。
[0094]通常，事件和原因都可最終被視為過程；也就是說，過程可以同樣以概率模型表示成事件也可以表示成原因?；诖?，三層網(wǎng)絡(luò)可以被處理作為如上文所述的兩個(gè)兩層網(wǎng)絡(luò)的組合。包括第一兩層網(wǎng)絡(luò)的所計(jì)算的概率值的原因加入第二兩層網(wǎng)絡(luò)作為結(jié)果。例如，關(guān)于在測試日志中消息的次序，時(shí)間依賴性的分析可以被引用作為復(fù)雜分析的示例，其被提供用于呈現(xiàn)在多層網(wǎng)絡(luò)。
[0095]盡管在圖5中的分類器166體現(xiàn)為用于確定OOS的最可能的原因，然而其他分類器可以相應(yīng)地體現(xiàn)為例如對關(guān)于移動(dòng)無線電用戶裝置的多個(gè)其他分析問題的自動(dòng)響應(yīng)，涉及為什么網(wǎng)絡(luò)中的應(yīng)用程序不發(fā)揮作用、為什么切換不發(fā)揮作用，為什么數(shù)據(jù)傳輸不發(fā)揮作用，為什么數(shù)據(jù)傳輸速度太低等的問題。對于網(wǎng)絡(luò)節(jié)點(diǎn)(諸如基站)的測試，類似的問題還可以用于以分類器形式的自動(dòng)評估，如根據(jù)本發(fā)明所提出的。
[0096]類似于圖1、圖2中的系統(tǒng)164的專家系統(tǒng)可以體現(xiàn)為用于基于多個(gè)不同的概率模型的測試評估。在該上下文中，針對不同的分類器，參考圖3和圖4如上文描述的步驟可以依次或者并行多次實(shí)施。模型或者相應(yīng)的分類器可以用在同一個(gè)測試日志上且可以自動(dòng)的方式在該上下文中調(diào)查不同的問題。
[0097]通過根據(jù)本發(fā)明的分類器的評估可以以一個(gè)(或多個(gè))評估工具的形式提供到用戶。在該工具的框架內(nèi)，用戶可以選定或者取消選定一個(gè)或多個(gè)問題。用于鏈接的事件、原因和概率值的可選輸入也可以在評估工具的框架內(nèi)實(shí)施。對于專用的視圖或者專用窗口還可以構(gòu)思對工具或者對各個(gè)選定的分類器是開放的或者已開放的，例如，在評估控制臺(tái)164的顯示屏上，其中，然后還以通過圖7中的實(shí)施例所示出或者通過6中更具體地示出的縮寫形式顯示評估結(jié)果。
[0098]在此處描述的方法步驟通?？梢砸杂布娐返男问絹韺?shí)施為與可編程的微處理器，專用集成電路(ASIC)和/或一個(gè)或多個(gè)數(shù)字信號(hào)處理器(DSP)的使用組合的軟件。此處描述的方法的軟件編碼例如可以被存儲(chǔ)在隨機(jī)訪問存儲(chǔ)器(RAM)或者只讀存儲(chǔ)器(ROM)(例如，“可擦可編程的ROM(EPROM) ”)或者相當(dāng)?shù)陌胗谰没蛘哂谰么鎯?chǔ)介質(zhì)中。
[0099]本發(fā)明不限于所描述的示例性實(shí)施方式和此處所強(qiáng)調(diào)的方面；相反，在通過所附的權(quán)利要求所指出的范圍內(nèi)，設(shè)置在本領(lǐng)域的技術(shù)人員的活動(dòng)范圍內(nèi)的多個(gè)進(jìn)展是可行的。具體而言，對于本領(lǐng)域的技術(shù)人員來說，上文分別描述的特征的給定組合是明顯方便的或者有利的。
【權(quán)利要求】
1.一種自動(dòng)評估用于測試電信設(shè)備的測試日志的方法，所述方法包括下列步驟: 提供(302302304)預(yù)定義的概率模型(166)，所述概率模型將能夠出現(xiàn)在所述測試日志(112)中的多個(gè)事件(506)與多個(gè)可能的原因(504)關(guān)聯(lián)； 針對所述事件(506)的出現(xiàn)，搜索(304,408,410)所述測試日志(112)； 基于所述概率模型(166)和搜索結(jié)果，計(jì)算(306,412)對于所述原因(504)的概率值(212)；和 基于所計(jì)算的概率值，提供(308311416)用于在所述測試日志中已經(jīng)出現(xiàn)和/或沒有出現(xiàn)的事件的至少一個(gè)可能的原因的指示(600300)。
2.根據(jù)權(quán)利要求1所述的方法，其中，在所述概率模型(166)中，預(yù)定義的概率值(510)被分配到至少一個(gè)鏈接(508),所述預(yù)定義的概率值用于針對所述可能的原因計(jì)算所述概率值。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，各個(gè)鏈接(508)將一個(gè)事件與一個(gè)可能的原因關(guān)聯(lián)，且一個(gè)概率值(510)被分配到各個(gè)鏈接。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，各個(gè)事件(506)被關(guān)聯(lián)到在所述概率模型(166)中表不的所有可能的原因(504)0
5.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述概率模型包括貝葉斯網(wǎng)絡(luò)(166)、神經(jīng)網(wǎng)絡(luò)、和/或決策樹。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述事件(506)涉及至少一個(gè)消息的出現(xiàn)或者未出現(xiàn)、消息中的參數(shù)的出現(xiàn)或者未出現(xiàn)、和/或消息中的參數(shù)的參數(shù)值的出現(xiàn)或者未出現(xiàn)。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，不同的概率值被分配到消息的出現(xiàn)或者未出現(xiàn)、參數(shù)或參數(shù)值的出現(xiàn)或者未出現(xiàn)。
8.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述概率模型包括未知原因(如)的可能性。
9.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述概率模型包括具有事件層、中間層和原因?qū)拥亩鄬泳W(wǎng)絡(luò)，且所述中間層的節(jié)點(diǎn)表示用于所述事件層的原因和/或用于所述原因?qū)拥氖录?br> 10.根據(jù)權(quán)利要求9所述的方法，其中，所述中間層的至少一個(gè)節(jié)點(diǎn)表示事件的時(shí)間次序。
11.一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述計(jì)算機(jī)程序產(chǎn)品在可編程的計(jì)算機(jī)系統(tǒng)(160)或者數(shù)字信號(hào)處理器上執(zhí)行時(shí)，所述計(jì)算機(jī)程序產(chǎn)品用于執(zhí)行根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法的所有步驟。
12.—種計(jì)算機(jī)系統(tǒng)，在所述計(jì)算機(jī)系統(tǒng)上，實(shí)施根據(jù)前一項(xiàng)權(quán)利要求所述的計(jì)算機(jī)程序廣品。
13.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)系統(tǒng)，其中，在所述計(jì)算機(jī)系統(tǒng)(160)上實(shí)施用于電信裝置(102)的測試日志(112)的評估的專家系統(tǒng)(162),且評估工具(170,172,174)通過所述計(jì)算機(jī)程序產(chǎn)品被設(shè)置在所述專家系統(tǒng)的框架內(nèi)。
14.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)系統(tǒng)，其中，所述評估工具允許用戶輸入，所述用戶輸入涉及考慮至少一個(gè)事件、考慮至少一個(gè)原因、和丨或指示用于鏈接的至少一個(gè)概率值。
15.根據(jù)權(quán)利要求13或14所述的計(jì)算機(jī)系統(tǒng)，其中，所述評估工具提供用于測試評估的不同問題的多個(gè)概率模型。
【文檔編號(hào)】G06F17/30GK104461751SQ201410479973
【公開日】2015年3月25日 申請日期:2014年9月18日 優(yōu)先權(quán)日:2013年9月18日
【發(fā)明者】安德烈·比切特, 弗朗西斯科·羅塞托, 威廉·鮑威爾 申請人:羅德施瓦茲兩合股份有限公司