本發(fā)明屬于風(fēng)險(xiǎn)事件智能分析，尤其涉及一種基于對(duì)比學(xué)習(xí)的潛在風(fēng)險(xiǎn)事件智能分析方法。

背景技術(shù)：

1、潛在風(fēng)險(xiǎn)事件屬于視頻中的異常事件，特指偶發(fā)事件。對(duì)視頻中的異常事件進(jìn)行有效的檢測(cè)，首先是監(jiān)控系統(tǒng)必要的功能，對(duì)異常事件的精確監(jiān)測(cè)還能夠更好推進(jìn)安全城市、智慧城市的建設(shè)。視頻中的異常點(diǎn)或異常事件，在計(jì)算機(jī)視覺和視頻分析中，特指概率分布上和大部分正常數(shù)據(jù)不符合的分布點(diǎn)和視頻事件，對(duì)大規(guī)模視頻的有效概率建模是亟待解決，有利于視頻異常檢測(cè)的重要問題。

2、目前有大量視頻異常檢測(cè)的研究，學(xué)者們致力于不斷改善異常判定的方法、從而提高檢測(cè)效率。對(duì)于現(xiàn)實(shí)中部署的系統(tǒng)，半監(jiān)督訓(xùn)練是較為有效且成熟的方案，其中基于重構(gòu)的模型是廣泛應(yīng)用的方法之一。對(duì)視頻進(jìn)行重構(gòu)建模，在測(cè)試階段對(duì)模型輸入大量已知的正常視頻序列，重構(gòu)模型會(huì)對(duì)正常視頻序列進(jìn)行重構(gòu)建模。如果在實(shí)用測(cè)試階段，正常數(shù)據(jù)輸入進(jìn)模型，模型會(huì)很好的重構(gòu)視頻序列；如果帶有異常事件的視頻序列出現(xiàn)，模型的重構(gòu)誤差會(huì)增大，所以這就能夠作為異常視頻序列出現(xiàn)的一種標(biāo)志。因?yàn)檎Ｒ曨l能夠就更好的進(jìn)行重構(gòu)，如果重構(gòu)誤差較大，則視為異常事件?；谟洃浘W(wǎng)絡(luò)memae模型在異常事件檢測(cè)網(wǎng)絡(luò)中引入記憶模塊，對(duì)訓(xùn)練階段所見到的正常事件的知識(shí)進(jìn)行記憶，若測(cè)試階段所遇到的為正常事件、具有正常模式，就可以很好的與記憶模塊契合，從而能夠更好的重構(gòu)。反之，如果模型遇到異常事件，記憶模塊并沒有該模式，那么重構(gòu)誤差就會(huì)大大增大，從而檢測(cè)到異常事件的發(fā)生。

3、可見，記憶重構(gòu)模型對(duì)于異常檢測(cè)方案存在的問題包括：（1）記憶模塊是決定性的特征空間，不能夠很好的反應(yīng)正常事件在概率分布上的規(guī)律；（2）對(duì)記憶單元知識(shí)的獲取和迭代方法不夠成熟。目前基于一般的注意力機(jī)制方法，還不能達(dá)到最優(yōu)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出一種基于對(duì)比學(xué)習(xí)的潛在風(fēng)險(xiǎn)事件智能分析方案。其針對(duì)重構(gòu)網(wǎng)絡(luò)的一般問題以及記憶模型在異常檢測(cè)中存在的問題提出一種解決方案。該方案基于引入對(duì)比學(xué)習(xí)的方法，結(jié)合新穎的混合決策模式，并在此基礎(chǔ)上提出視頻中的異常事件檢測(cè)算法，為視頻異常事件檢測(cè)技術(shù)提供數(shù)據(jù)利用率高、需求數(shù)據(jù)標(biāo)注低、有利于現(xiàn)實(shí)場(chǎng)景的部署、可擴(kuò)展性好的方案。特別是可擴(kuò)展性好這一特點(diǎn)，可以更好地為項(xiàng)目的長期研發(fā)、算法迭代和潛在風(fēng)險(xiǎn)事件場(chǎng)景的大規(guī)模部署提供便利。

2、本發(fā)明第一方面提出一種基于對(duì)比學(xué)習(xí)的潛在風(fēng)險(xiǎn)事件智能分析方法，所述方法通過視頻異常事件檢測(cè)發(fā)現(xiàn)視頻中的特定偶發(fā)事件，所述方法包括：

3、步驟s1、對(duì)檢測(cè)模型進(jìn)行預(yù)先訓(xùn)練；

4、其中，將記憶單元作為正常視頻模式的原型，在對(duì)視頻數(shù)據(jù)特征進(jìn)行記憶的基礎(chǔ)上，引入對(duì)比學(xué)習(xí)至記憶單元進(jìn)行訓(xùn)練；

5、步驟s2、利用數(shù)據(jù)增強(qiáng)策略對(duì)視頻數(shù)據(jù)進(jìn)行增強(qiáng)，包括正樣本和負(fù)樣本；

6、其中，同一視頻中的不同視頻截屬于正樣本序列；對(duì)視頻數(shù)據(jù)的時(shí)空信息進(jìn)行處理，包括亂序、視頻幀的隨機(jī)旋轉(zhuǎn)、單一視頻幀的重復(fù)，得到負(fù)樣本序列；

7、步驟s3、基于步驟s2的增強(qiáng)結(jié)果，利用步驟s1得到的經(jīng)訓(xùn)練的檢測(cè)模型，對(duì)視頻中的溺水事件進(jìn)行檢測(cè)；

8、其中，除使用重構(gòu)誤差作為判定溺水事件的標(biāo)準(zhǔn)外，還使用輸入視頻流與記憶單元之間的相似度作為判定溺水事件的標(biāo)準(zhǔn)。

9、根據(jù)本發(fā)明第一方面的方法，在步驟s1中：

10、步驟s1-1、定義記憶單元，選擇對(duì)比學(xué)習(xí)任務(wù)；其中：

11、確定記憶單元的結(jié)構(gòu)和功能，記憶單元指存儲(chǔ)短期或長期信息的組件，包括長短時(shí)記憶網(wǎng)絡(luò)lstm；確定對(duì)比學(xué)習(xí)任務(wù)，檢測(cè)模型通過對(duì)比兩個(gè)或多個(gè)樣本來提取有效特征；

12、步驟s1-2、為對(duì)比學(xué)習(xí)任務(wù)構(gòu)建訓(xùn)練數(shù)據(jù)；其中：

13、從數(shù)據(jù)集中選擇樣本對(duì)，為每個(gè)樣本對(duì)選擇一個(gè)正樣本和一個(gè)負(fù)樣本，正樣本與目標(biāo)樣本的相似度高于第一目標(biāo)閾值，負(fù)樣本與目標(biāo)樣本的差異度高于第二目標(biāo)閾值；

14、步驟s1-3、特征提取和對(duì)比損失計(jì)算；其中：

15、將記憶單元的輸入與對(duì)比學(xué)習(xí)任務(wù)的輸入連接，通過記憶單元提取特征，并計(jì)算對(duì)比損失；

16、步驟s1-4、反向傳播和優(yōu)化；其中：

17、使用對(duì)比損失進(jìn)行反向傳播，并根據(jù)梯度更新檢測(cè)模型的權(quán)重，使得檢測(cè)模型捕捉正樣本之間的相似性，并在負(fù)樣本之間保持差異性；

18、步驟s1-5、重復(fù)迭代和調(diào)整；

19、重復(fù)以上步驟，直到檢測(cè)模型收斂，并利用檢測(cè)模型提取特征、對(duì)比特征；使用驗(yàn)證集評(píng)估檢測(cè)模型的性能，進(jìn)行超參數(shù)調(diào)整優(yōu)化。

20、根據(jù)本發(fā)明第一方面的方法，在步驟s2中，對(duì)視頻數(shù)據(jù)進(jìn)行增強(qiáng)包括：

21、亂序：隨機(jī)改變視頻幀的順序，增加檢測(cè)模型對(duì)于幀順序的魯棒性；

22、視頻幀的隨機(jī)旋轉(zhuǎn)：針對(duì)每個(gè)視頻幀進(jìn)行隨機(jī)旋轉(zhuǎn)，增加模型對(duì)于旋轉(zhuǎn)變化的適應(yīng)性；

23、單一視頻幀的重復(fù)：在視頻中選擇一個(gè)特定幀，將其重復(fù)插入到不同位置，增加檢測(cè)模型對(duì)于靜態(tài)場(chǎng)景的適應(yīng)性；

24、時(shí)域截?cái)啵涸谝曨l中隨機(jī)或有規(guī)律地截取一部分時(shí)間，增加檢測(cè)模型對(duì)不同時(shí)長的視頻的適應(yīng)性；

25、隨機(jī)速度調(diào)整：隨機(jī)調(diào)整視頻播放速度，增加檢測(cè)模型對(duì)不同速度的視頻的適應(yīng)性；

26、色域變換：對(duì)視頻幀進(jìn)行隨機(jī)的色彩調(diào)整，包括色調(diào)、飽和度、亮度；

27、隨機(jī)剪裁：在時(shí)間和空間上隨機(jī)剪裁視頻幀，增加檢測(cè)模型對(duì)局部和時(shí)序上的變化的感知能力；

28、添加噪聲：在視頻中引入隨機(jī)噪聲，提高檢測(cè)模型對(duì)于噪聲環(huán)境的魯棒性；

29、對(duì)象遮擋：在視頻中模擬對(duì)象的遮擋，增加檢測(cè)模型對(duì)于部分遮擋情況的適應(yīng)性；

30、混合視頻：將兩個(gè)或多個(gè)視頻進(jìn)行混合，生成新的視頻。

31、根據(jù)本發(fā)明第一方面的方法，在步驟s3中，引入視頻流與記憶單元之間的相似度作為判定溺水事件的標(biāo)準(zhǔn)，包括：

32、重構(gòu)誤差標(biāo)準(zhǔn)；具體包括：使用自編碼器進(jìn)行訓(xùn)練，比較輸入和輸出之間的重構(gòu)誤差，以檢測(cè)溺水事件；

33、計(jì)算視頻流與記憶單元的相似度；具體包括：結(jié)合視頻幀的時(shí)空信息和檢測(cè)模型學(xué)到的正常模式，計(jì)算當(dāng)前幀與學(xué)到的正常模式之間的相似度，該相似度指視頻流和記憶單元的特征表示之間的相似性；

34、執(zhí)行加權(quán)混合決策；具體包括：將重構(gòu)誤差、視頻流與記憶單元的相似度進(jìn)行結(jié)合，使用加權(quán)方式進(jìn)行混合決策，為每個(gè)標(biāo)準(zhǔn)分配一個(gè)權(quán)重，通過計(jì)算加權(quán)和來獲得最終異常分?jǐn)?shù)，并根據(jù)分?jǐn)?shù)確定溺水事件。

35、本發(fā)明第二方面提出一種基于對(duì)比學(xué)習(xí)的潛在風(fēng)險(xiǎn)事件智能分析系統(tǒng)，所述系統(tǒng)通過視頻異常事件檢測(cè)發(fā)現(xiàn)視頻中的特定偶發(fā)事件，所述系統(tǒng)包括處理單元，所述處理單元被配置為執(zhí)行以下步驟：

36、步驟s1、對(duì)檢測(cè)模型進(jìn)行預(yù)先訓(xùn)練；

37、其中，將記憶單元作為正常視頻模式的原型，在對(duì)視頻數(shù)據(jù)特征進(jìn)行記憶的基礎(chǔ)上，引入對(duì)比學(xué)習(xí)至記憶單元進(jìn)行訓(xùn)練；

38、步驟s2、利用數(shù)據(jù)增強(qiáng)策略對(duì)視頻數(shù)據(jù)進(jìn)行增強(qiáng)，包括正樣本和負(fù)樣本；

39、其中，同一視頻中的不同視頻截屬于正樣本序列；對(duì)視頻數(shù)據(jù)的時(shí)空信息進(jìn)行處理，包括亂序、視頻幀的隨機(jī)旋轉(zhuǎn)、單一視頻幀的重復(fù)，得到負(fù)樣本序列；

40、步驟s3、基于步驟s2的增強(qiáng)結(jié)果，利用步驟s1得到的經(jīng)訓(xùn)練的檢測(cè)模型，對(duì)視頻中的溺水事件進(jìn)行檢測(cè)；

41、其中，除使用重構(gòu)誤差作為判定溺水事件的標(biāo)準(zhǔn)外，還使用輸入視頻流與記憶單元之間的相似度作為判定溺水事件的標(biāo)準(zhǔn)。

42、根據(jù)本發(fā)明第二方面的系統(tǒng)，所述處理單元在被配置為執(zhí)行步驟s1時(shí)，具體執(zhí)行以下步驟：

43、步驟s1-1、定義記憶單元，選擇對(duì)比學(xué)習(xí)任務(wù)；其中：

44、確定記憶單元的結(jié)構(gòu)和功能，記憶單元指存儲(chǔ)短期或長期信息的組件，包括長短時(shí)記憶網(wǎng)絡(luò)lstm；確定對(duì)比學(xué)習(xí)任務(wù)，檢測(cè)模型通過對(duì)比兩個(gè)或多個(gè)樣本來提取有效特征；

45、步驟s1-2、為對(duì)比學(xué)習(xí)任務(wù)構(gòu)建訓(xùn)練數(shù)據(jù)；其中：

46、從數(shù)據(jù)集中選擇樣本對(duì)，為每個(gè)樣本對(duì)選擇一個(gè)正樣本和一個(gè)負(fù)樣本，正樣本與目標(biāo)樣本的相似度高于第一目標(biāo)閾值，負(fù)樣本與目標(biāo)樣本的差異度高于第二目標(biāo)閾值；

47、步驟s1-3、特征提取和對(duì)比損失計(jì)算；其中：

48、將記憶單元的輸入與對(duì)比學(xué)習(xí)任務(wù)的輸入連接，通過記憶單元提取特征，并計(jì)算對(duì)比損失；

49、步驟s1-4、反向傳播和優(yōu)化；其中：

50、使用對(duì)比損失進(jìn)行反向傳播，并根據(jù)梯度更新檢測(cè)模型的權(quán)重，使得檢測(cè)模型捕捉正樣本之間的相似性，并在負(fù)樣本之間保持差異性；

51、步驟s1-5、重復(fù)迭代和調(diào)整；

52、重復(fù)以上步驟，直到檢測(cè)模型收斂，并利用檢測(cè)模型提取特征、對(duì)比特征；使用驗(yàn)證集評(píng)估檢測(cè)模型的性能，進(jìn)行超參數(shù)調(diào)整優(yōu)化。

53、根據(jù)本發(fā)明第二方面的系統(tǒng)，所述處理單元在被配置為執(zhí)行步驟s2時(shí)，對(duì)視頻數(shù)據(jù)進(jìn)行增強(qiáng)具體包括：

54、亂序：隨機(jī)改變視頻幀的順序，增加檢測(cè)模型對(duì)于幀順序的魯棒性；

55、視頻幀的隨機(jī)旋轉(zhuǎn)：針對(duì)每個(gè)視頻幀進(jìn)行隨機(jī)旋轉(zhuǎn)，增加模型對(duì)于旋轉(zhuǎn)變化的適應(yīng)性；

56、單一視頻幀的重復(fù)：在視頻中選擇一個(gè)特定幀，將其重復(fù)插入到不同位置，增加檢測(cè)模型對(duì)于靜態(tài)場(chǎng)景的適應(yīng)性；

57、時(shí)域截?cái)啵涸谝曨l中隨機(jī)或有規(guī)律地截取一部分時(shí)間，增加檢測(cè)模型對(duì)不同時(shí)長的視頻的適應(yīng)性；

58、隨機(jī)速度調(diào)整：隨機(jī)調(diào)整視頻播放速度，增加檢測(cè)模型對(duì)不同速度的視頻的適應(yīng)性；

59、色域變換：對(duì)視頻幀進(jìn)行隨機(jī)的色彩調(diào)整，包括色調(diào)、飽和度、亮度；

60、隨機(jī)剪裁：在時(shí)間和空間上隨機(jī)剪裁視頻幀，增加檢測(cè)模型對(duì)局部和時(shí)序上的變化的感知能力；

61、添加噪聲：在視頻中引入隨機(jī)噪聲，提高檢測(cè)模型對(duì)于噪聲環(huán)境的魯棒性；

62、對(duì)象遮擋：在視頻中模擬對(duì)象的遮擋，增加檢測(cè)模型對(duì)于部分遮擋情況的適應(yīng)性；

63、混合視頻：將兩個(gè)或多個(gè)視頻進(jìn)行混合，生成新的視頻。

64、根據(jù)本發(fā)明第二方面的系統(tǒng)，所述處理單元在被配置為執(zhí)行步驟s3時(shí)，引入視頻流與記憶單元之間的相似度作為判定溺水事件的標(biāo)準(zhǔn)，包括：

65、重構(gòu)誤差標(biāo)準(zhǔn)；具體包括：使用自編碼器進(jìn)行訓(xùn)練，比較輸入和輸出之間的重構(gòu)誤差，以檢測(cè)溺水事件；

66、計(jì)算視頻流與記憶單元的相似度；具體包括：結(jié)合視頻幀的時(shí)空信息和檢測(cè)模型學(xué)到的正常模式，計(jì)算當(dāng)前幀與學(xué)到的正常模式之間的相似度，該相似度指視頻流和記憶單元的特征表示之間的相似性；

67、執(zhí)行加權(quán)混合決策；具體包括：將重構(gòu)誤差、視頻流與記憶單元的相似度進(jìn)行結(jié)合，使用加權(quán)方式進(jìn)行混合決策，為每個(gè)標(biāo)準(zhǔn)分配一個(gè)權(quán)重，通過計(jì)算加權(quán)和來獲得最終異常分?jǐn)?shù)，并根據(jù)分?jǐn)?shù)確定溺水事件。

68、本發(fā)明第三方面公開了一種電子設(shè)備。所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)本公開第一方面所述的一種基于對(duì)比學(xué)習(xí)的潛在風(fēng)險(xiǎn)事件智能分析方法。

69、本發(fā)明第四方面公開了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)本公開第一方面所述的一種基于對(duì)比學(xué)習(xí)的潛在風(fēng)險(xiǎn)事件智能分析方法。

70、綜上，本發(fā)明通過引入對(duì)比學(xué)習(xí)至記憶模塊訓(xùn)練過程，采用視頻流和記憶模塊的相似度這一額外的決策依據(jù)來輔助進(jìn)行溺水判定，旨在開發(fā)出創(chuàng)新性好、能夠?qū)嶋H落地部署、評(píng)估準(zhǔn)確率高、執(zhí)行效率高、相應(yīng)速度快且可不斷迭代優(yōu)化的新型潛在風(fēng)險(xiǎn)事件檢測(cè)算法模型。