本發(fā)明涉及用于識(shí)別已知和還未知異常的工程系統(tǒng)的傳感監(jiān)控。

背景技術(shù)：

1、復(fù)雜的工程系統(tǒng)(例如交通工具或工業(yè)設(shè)施)通過(guò)大量傳感器進(jìn)行監(jiān)控，以識(shí)別運(yùn)行異常。在此趨向于困難的是：將受監(jiān)控的工程系統(tǒng)的異常與傳感監(jiān)控的不可避免的干擾區(qū)分開(kāi)來(lái)。因此，由傳感器檢測(cè)的測(cè)量信號(hào)通常包含噪聲，并且測(cè)量信號(hào)經(jīng)由網(wǎng)絡(luò)的傳輸會(huì)被時(shí)間延遲。隨著傳感器數(shù)量的增加，個(gè)別傳感器的功能越來(lái)越有可能受到干擾。為了基于具體規(guī)則識(shí)別異常并在此忽略所提到的影響，必須對(duì)測(cè)量數(shù)據(jù)進(jìn)行非常強(qiáng)的平滑處理，其中大量信息丟失。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種用于識(shí)別工程系統(tǒng)中的異常的方法，所述工程系統(tǒng)的行為通過(guò)由n個(gè)傳感器構(gòu)成的裝置來(lái)監(jiān)控。

2、在該方法的范圍中，對(duì)于每個(gè)傳感器k＝1,…,n，檢測(cè)該傳感器在時(shí)間點(diǎn)t＝1,…,n的n個(gè)觀測(cè)的時(shí)間序列對(duì)于每個(gè)時(shí)間點(diǎn)t＝1,…,n以及對(duì)于索引i＝1,…,n和j＝1,…,n，確定特征變量所述特征變量表征傳感器i和j的觀測(cè)的成對(duì)條件概率分布pd(i|j)。因此，pd(i|j)從其中傳感器j提供具體觀測(cè)的給定情況出發(fā)描述傳感器i提供特定的具體觀測(cè)的概率。例如，可以作為傳感器i針對(duì)所有時(shí)間步驟來(lái)觀測(cè)的分布的平均值來(lái)確定，在所述時(shí)間步驟處傳感器j的觀測(cè)具有與在時(shí)間步驟t中相同的值。由于觀測(cè)值是實(shí)值，所以可能沒(méi)有兩個(gè)觀測(cè)精確相同，使得“相同值”要求尤其可以軟化為例如“在時(shí)間步驟t中的值附近±ε的區(qū)間內(nèi)”。對(duì)此替代地或組合地，該特征變量還可以涉及成對(duì)條件概率分布pd(i|j)的任何其他特性，并且例如包括pd(i|j)的描述性統(tǒng)計(jì)的特征變量，諸如如果pd(i|j)是高斯分布則為標(biāo)準(zhǔn)偏差。還可以以任何其他方式確定或近似分布pd(i|j)，并且然后從中可以確定特征變量

3、因此，所有特征變量的張量k*是工程系統(tǒng)行為的“指紋”，所述指紋檢測(cè)各個(gè)傳感器模態(tài)之間的固有相關(guān)性。

4、由訓(xùn)練過(guò)的機(jī)器學(xué)習(xí)模型將正是所述“指紋”k*映射到工程系統(tǒng)的行為是正常還是異常的分類(lèi)上。所述分類(lèi)可以具有任意形式。例如，所述分類(lèi)可以是二進(jìn)制的或包含與運(yùn)行的特定方面相關(guān)的一個(gè)或多個(gè)實(shí)值分?jǐn)?shù)。

5、已經(jīng)認(rèn)識(shí)到：許多工程系統(tǒng)的物理配置定義了在由不同傳感器檢測(cè)的測(cè)量變量之間的物理交互作用，進(jìn)而產(chǎn)生所述測(cè)量變量之間的時(shí)間相關(guān)性。例如，如果在管式線路的一端部處記錄流體介質(zhì)的流量，則這與稍后在管式線路的另一端部處記錄的變化溫度相關(guān)。這種相關(guān)性的存在于是可以被評(píng)價(jià)為工程系統(tǒng)是否正常運(yùn)行的信號(hào)。例如，如果管式線路發(fā)生泄漏或撕裂并且在一端部處流過(guò)的介質(zhì)沒(méi)有到達(dá)另一端部，而是代替于此流入工廠車(chē)間，則變化溫度與流量的相關(guān)性突然消失。

6、因此，有利地為測(cè)量變量選擇至少兩個(gè)傳感器，工程系統(tǒng)的物理配置在該系統(tǒng)的標(biāo)準(zhǔn)狀態(tài)下在所述測(cè)量變量之間促成物理交互作用。

7、一個(gè)測(cè)量變量尤其可以是例如輸送給工程系統(tǒng)的或存在于其中的能量的量的量度，并且另一測(cè)量變量可以是存在的能量的量的或通過(guò)所述工程系統(tǒng)的能量輸出的量度。在具有管式線路的所提到的示例中，在管式線路的一端部處輸送的熱流體將能量引入管式線路中，并且當(dāng)管式線路由此被加熱時(shí)，所述管式線路又放射能量。例如，電機(jī)的馬達(dá)電流增加也表現(xiàn)在所述電機(jī)的振動(dòng)幅度的增加中。由于能量是物理守恒量，所以在許多工程系統(tǒng)中，在不同傳感器提供的測(cè)量值之間存在時(shí)間相關(guān)性。不必明確分析和表述所述相關(guān)性，即可借助其來(lái)監(jiān)控工程系統(tǒng)的正常功能。在正常運(yùn)行中，相關(guān)性在物理上簡(jiǎn)單存在就足夠，使得所述相關(guān)性可以由機(jī)器學(xué)習(xí)模型來(lái)學(xué)習(xí)。

8、在另一有利的設(shè)計(jì)方案中，為另外的測(cè)量變量選擇至少兩個(gè)另外的傳感器，工程系統(tǒng)的物理配置在該系統(tǒng)的標(biāo)準(zhǔn)狀態(tài)下在所述另外的測(cè)量變量之間排除物理交互作用。因此，例如彼此不相連的區(qū)域或容器中的壓力不應(yīng)相互關(guān)聯(lián)。然而，如果這種存在這種相關(guān)性，則這可以表明：在區(qū)域或容器之間存在不期望的泄漏。

9、因此，特別地，例如另外的傳感器可以布置在屏障的不同側(cè)上，所述屏障在工程系統(tǒng)的標(biāo)準(zhǔn)狀態(tài)下禁止在另外的測(cè)量變量之間的物理交互作用。

10、特別地，例如，機(jī)器學(xué)習(xí)模塊可以學(xué)習(xí)工程系統(tǒng)的正常行為，并且然后將“在某種程度上不同”的所有內(nèi)容分類(lèi)為異常，更確切地說(shuō)即使異常僅存在于借助傳感器檢測(cè)到的一個(gè)或多個(gè)測(cè)量信號(hào)的小的信號(hào)份額中也如此。這有點(diǎn)類(lèi)似于如下事實(shí)：如果房屋合法居住者用錘子將釘子釘入墻中，防盜警報(bào)設(shè)施不會(huì)觸發(fā)警報(bào)，而其同時(shí)將借助解鎖工具手動(dòng)操作門(mén)鎖所引起的工作噪音識(shí)別為嘗試闖入并觸發(fā)警報(bào)。

11、例如，該工程系統(tǒng)尤其可以是交通工具或者通過(guò)一個(gè)或多個(gè)加工步驟將一種或多種反應(yīng)物加工成一種或多種產(chǎn)物的工業(yè)設(shè)施。在交通工具和工業(yè)設(shè)施中，目前已經(jīng)以傳感方式檢測(cè)大量測(cè)量值，并且可以借助此處提出的方法更好地評(píng)估可能的異常。特別是交通工具經(jīng)由其車(chē)身促成大量可用于識(shí)別異常的相關(guān)性，其中傳感器在所述車(chē)身中或車(chē)身處分布在相對(duì)狹窄的空間上。在工業(yè)設(shè)施中，這種相關(guān)性例如通過(guò)反應(yīng)物和/或產(chǎn)物經(jīng)過(guò)設(shè)施的材料流來(lái)促成。此外，交通工具中的控制設(shè)備以及工業(yè)設(shè)施中的“工廠歷史記錄儀”自動(dòng)記錄大量測(cè)量值。例如，所述記錄可用于結(jié)合特定時(shí)間存在或不存在異常的知識(shí)來(lái)獲取正常狀態(tài)和異常狀態(tài)的標(biāo)記的訓(xùn)練數(shù)據(jù)。借助所述標(biāo)記的訓(xùn)練數(shù)據(jù)，可以以監(jiān)督方式訓(xùn)練機(jī)器學(xué)習(xí)模型。特別地，例如，可以借助于訓(xùn)練數(shù)據(jù)來(lái)確定和/或近似成對(duì)條件概率分布pd(i|j)。機(jī)器學(xué)習(xí)模型可以追溯多遠(yuǎn)的過(guò)去通過(guò)所選擇的架構(gòu)參數(shù)來(lái)確認(rèn)，諸如卷積層中的過(guò)濾器內(nèi)核的寬度。

12、在另一有利的設(shè)計(jì)方案中，由機(jī)器學(xué)習(xí)模型提供的分類(lèi)形成操控信號(hào)。工程系統(tǒng)借助操控信號(hào)來(lái)控制。例如，響應(yīng)于在交通工具中已經(jīng)確認(rèn)異常，可以降低最大速度，可以禁止執(zhí)行特定危險(xiǎn)的駕駛機(jī)動(dòng)(例如超車(chē)機(jī)動(dòng))，或者可以將交通工具在預(yù)先計(jì)劃的緊急停止軌跡上停住。例如，工業(yè)設(shè)施可以切換到安全模式中，在所述安全模式中將設(shè)施的吞吐量降至最低程度。在所述安全模式下，例如在自動(dòng)控制失效的情況下，也可以手動(dòng)開(kāi)動(dòng)設(shè)施。

13、如前所述，可以借助張量k*的標(biāo)記的訓(xùn)練示例來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型。然而，專(zhuān)門(mén)標(biāo)記的異常訓(xùn)練示例通常很少，因?yàn)楣こ滔到y(tǒng)大多良好工作，使得異常很少見(jiàn)。

14、因此，本發(fā)明提供一種用于訓(xùn)練機(jī)器學(xué)習(xí)模型以在之前描述的方法中使用的方法，所述方法僅借助少量標(biāo)記的訓(xùn)練示例就夠用。

15、在所述方法的范圍中，提供用于特征變量的張量k*的訓(xùn)練示例，所述特征變量表征傳感器i和j的觀測(cè)的成對(duì)條件概率分布pd(i|j)。對(duì)于所述訓(xùn)練示例仍不必已知其是否涉及工程系統(tǒng)的正?；虍惓Ｐ袨?。

16、提供干擾p的分布，對(duì)于所述干擾已知的是：所述干擾僅以如這也可以在工程系統(tǒng)的正常運(yùn)行中發(fā)生的方式來(lái)改變張量k*。

17、這種干擾p的一個(gè)示例是加性正態(tài)分布噪聲，如其的確也可以分別包含在由傳感器提供的觀測(cè)中。

18、其他的示例是張量k*的非對(duì)角線元素的隨機(jī)歸零，通過(guò)層t+1或t-1上的元素替換層t上的元素和/或張量k*的層t、t’的交換。所述干擾模擬在以傳感方式檢測(cè)和經(jīng)由網(wǎng)絡(luò)傳輸測(cè)量數(shù)據(jù)時(shí)會(huì)出現(xiàn)的錯(cuò)誤。因此，層t上的元素與層t+1或t-1上的元素的混合例如會(huì)通過(guò)傳感器之間的不精確的時(shí)間同步而導(dǎo)致。例如，差的時(shí)間同步或在經(jīng)由網(wǎng)絡(luò)傳輸測(cè)量數(shù)據(jù)時(shí)產(chǎn)生的問(wèn)題可以導(dǎo)致層t、t’的交換。零星的傳感器錯(cuò)誤例如可以表現(xiàn)在張量k*中缺少非對(duì)角線元素。

19、借助干擾p可為對(duì)比學(xué)習(xí)過(guò)程創(chuàng)建所謂的正負(fù)對(duì)。對(duì)比學(xué)習(xí)是根據(jù)已知彼此應(yīng)當(dāng)相似或不相似的正面示例和負(fù)面示例進(jìn)行的自監(jiān)控學(xué)習(xí)。

20、通過(guò)將從分布中采樣的兩個(gè)干擾p1和p2應(yīng)用于同一訓(xùn)練示例k*來(lái)產(chǎn)生變型和的正對(duì)因此，所述對(duì)中的變型和僅相差了干擾，如其也在工程系統(tǒng)和傳感方式監(jiān)控的正常運(yùn)行中出現(xiàn)。因此，機(jī)器學(xué)習(xí)模型應(yīng)將所述變型和識(shí)別為彼此相似。

21、通過(guò)將從分布中采樣的兩個(gè)干擾p1和p2應(yīng)用于兩個(gè)不同的訓(xùn)練示例k*′和k*″來(lái)產(chǎn)生變型和的負(fù)對(duì)因此，所述對(duì)中的變型和不僅相差所述通常的干擾，而且涉及兩個(gè)完全不同的示例的變型。因此，機(jī)器學(xué)習(xí)模型應(yīng)將所述變型和識(shí)別為彼此不相似。

22、為了準(zhǔn)確地對(duì)此訓(xùn)練機(jī)器學(xué)習(xí)模型，借助于要訓(xùn)練的機(jī)器學(xué)習(xí)模型從變型和和和中分別產(chǎn)生處理產(chǎn)物和這還不必是機(jī)器學(xué)習(xí)模型的相應(yīng)的最終輸出，所述機(jī)器學(xué)習(xí)模型可以識(shí)別在正?；虍惓顟B(tài)方面的分類(lèi)。相反，機(jī)器學(xué)習(xí)模型可以包括例如從張量k*提取特征的特征提取器和將所述特征映射到工程系統(tǒng)行為的所查找的分類(lèi)上的分類(lèi)頭。特征提取器可以特別地例如包括由多個(gè)卷積層構(gòu)成的序列，所述卷積層將其相應(yīng)的輸入通過(guò)應(yīng)用一個(gè)或多個(gè)過(guò)濾器內(nèi)核轉(zhuǎn)換成維度減小的特征圖。然后，可以由特征提取器形成處理產(chǎn)物和

23、在對(duì)比學(xué)習(xí)的范圍中，現(xiàn)在優(yōu)化表征機(jī)器學(xué)習(xí)模型的行為的參數(shù)，目的是：

24、·最大化涉及正對(duì)的處理產(chǎn)物和的相似性，并且

25、·最小化涉及負(fù)對(duì)的處理產(chǎn)物和的相似性。

26、這就是說(shuō)，機(jī)器學(xué)習(xí)模型的特征提取器針對(duì)如下進(jìn)行訓(xùn)練：在其輸出的潛在空間中將歸因于正對(duì)的處理產(chǎn)物和彼此靠近安置。同時(shí)，所述特征提取器針對(duì)如下進(jìn)行訓(xùn)練：即在所述潛在空間中，將歸因于負(fù)對(duì)的處理產(chǎn)物和彼此遠(yuǎn)離地安置。因此，處理產(chǎn)物可以對(duì)應(yīng)于潛在空間中的點(diǎn)zi，并且相同的正對(duì)的處理產(chǎn)物可以對(duì)應(yīng)于潛在空間中的點(diǎn)zj。測(cè)量點(diǎn)zi和zj是否彼此接近的示例性的成本函數(shù)是nt-xent-loss(“歸一化溫度標(biāo)度交叉熵”)：

27、

28、其中函數(shù)ψ測(cè)量相似性并且τ是溫度參數(shù)。溫度參數(shù)τ尤其可以例如根據(jù)作為歷元數(shù)的函數(shù)的“退火計(jì)劃”而變化。

29、因此，機(jī)器學(xué)習(xí)模型可以以該方式自監(jiān)控地完成其大部分訓(xùn)練，而不必為此使用標(biāo)記的訓(xùn)練示例。

30、例如，然后可以借助用目標(biāo)分類(lèi)標(biāo)記的訓(xùn)練示例k*以監(jiān)督方式訓(xùn)練分類(lèi)頭。由于分類(lèi)頭只占機(jī)器學(xué)習(xí)模型的一小部分，特別是在要優(yōu)化的參數(shù)的數(shù)量方面，所以相對(duì)少量的標(biāo)記的訓(xùn)練示例就足以進(jìn)行所述訓(xùn)練。在本文中，還特別有利的是：分類(lèi)頭獲得已經(jīng)作為自監(jiān)控訓(xùn)練的結(jié)果被良好預(yù)分類(lèi)的處理產(chǎn)物作為輸入。因此，分類(lèi)頭不必例如投入提高的訓(xùn)練耗費(fèi)來(lái)糾正之前錯(cuò)過(guò)的內(nèi)容。

31、本發(fā)明還提供另一種用于訓(xùn)練機(jī)器學(xué)習(xí)模型以在開(kāi)始描述的方法中使用的方法。與前面描述的對(duì)比學(xué)習(xí)不同，所述方法使用正常的監(jiān)督訓(xùn)練。

32、在所述方法的范圍中，提供用于特征變量的張量k*的訓(xùn)練示例，所述特征變量表征傳感器i和j的觀測(cè)的成對(duì)條件概率分布pd(i|j)。所述訓(xùn)練示例k*涉及工程系統(tǒng)的正常行為。

33、現(xiàn)在，提供干擾p*的分布，對(duì)于所述干擾已知的是：所述干擾僅以如這在工程系統(tǒng)的正常運(yùn)行中不會(huì)預(yù)期的方式來(lái)改變張量k*。這種干擾的示例是均勻分布的噪聲。

34、通過(guò)將從分布中采樣的干擾p*應(yīng)用于訓(xùn)練示例k*來(lái)產(chǎn)生變型一方面借助工程系統(tǒng)的正常行為的訓(xùn)練示例k*并且另一方面借助作為工程系統(tǒng)的異常行為的訓(xùn)練示例的變型以監(jiān)督方式訓(xùn)練機(jī)器學(xué)習(xí)模型。

35、借助所述方法，只要干擾p*的適當(dāng)?shù)姆植紝?duì)于相應(yīng)的應(yīng)用可用，就可以一步直接對(duì)機(jī)器學(xué)習(xí)模型訓(xùn)練期望的分類(lèi)任務(wù)。相反，如果干擾p*的這種分布不可用或難以建模，則可以采用關(guān)于對(duì)比學(xué)習(xí)的上述方案。對(duì)比學(xué)習(xí)的一個(gè)重要優(yōu)點(diǎn)是：其不依賴于干擾p*的建模。

36、可選地，在所述方法的范圍內(nèi)，可以通過(guò)應(yīng)用在對(duì)比學(xué)習(xí)的上下文中討論的干擾p將訓(xùn)練示例k*增強(qiáng)為進(jìn)一步的變型，所述變型然后在監(jiān)控學(xué)習(xí)的范圍內(nèi)可以用作為正常行為的進(jìn)一步訓(xùn)練示例。