本發(fā)明涉及一種煙霧監(jiān)測方法，尤其是一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的堆場煙霧監(jiān)測及在線模型更新方法。

背景技術(shù)：

火災是危害公眾安全和社會發(fā)展的一類最為普遍和最為重要的災害?；馂牟粌H毀壞物質(zhì)財產(chǎn)，還嚴重威脅著人的生命健康和安全，一旦發(fā)生會給我們造成不可挽回的損失。2015年8月12日，天津港發(fā)生火災爆炸事故，造成165人遇難，798人受傷，已核定的直接經(jīng)濟損失達68.66億元。堆場的安全問題，尤其是火災預警一直是消防安全領(lǐng)域的一個重要課題。如果能夠在火災發(fā)生初期及早發(fā)現(xiàn)，并將其撲滅就可以最大限度的降低火災造成的危害。“煙為火始”，火災發(fā)生的前期通常會產(chǎn)生煙霧，因此如果能夠及時地檢測到煙霧，那么可以提供更早的火災預警，減少人員傷亡和財產(chǎn)損失。

煙霧的檢測從本質(zhì)上來說是一個模式識別問題，煙霧特征的充分獲取是識別精度和模型泛化能力的保證?，F(xiàn)有的煙霧識別方法中，多是利用單一特征(如顏色特征等)，但是由于煙霧本身存在著形狀、顏色不固定等特點，存在著特征充分提取困難的問題，造成模型分類精度不佳，影響煙霧實時檢測，因而有必要尋找新的特征提取手段。

顏色、紋理、運動檢測是目前煙霧檢測方法使用的三種主要特征。顏色特征是最為廣泛的視覺特征，目前通常是尋找合適的顏色空間進行煙霧區(qū)域分割，如rgb顏色空間、his顏色空間等。紋理特征是一種反映圖像中同質(zhì)現(xiàn)象的視覺特征，主要有統(tǒng)計型紋理特征、模型型紋理特征、信號處理型紋理特征、結(jié)構(gòu)型紋理特征等四種。運動特征首先要提取運動矢量，如基于塊匹配的相關(guān)技術(shù)、光流法等。一方面，這些方法使用時難以剔除類煙物體的干擾，例如使用顏色特征時云霧的干擾等。另一方面，這些方面不能較好的描述煙霧的本質(zhì)，對環(huán)境變化的適應(yīng)能力不強，比如光照對運動檢測的影響，不能確保選用的特征對于不同堆場環(huán)境下的適用性。在如何充分提取煙霧特征，并同時滿足視頻監(jiān)控條件下煙霧監(jiān)測的實時性和高分類精度仍存在改進的空間。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的堆場煙霧監(jiān)測及在線模型更新方法，其能夠?qū)崿F(xiàn)在堆場環(huán)境視頻監(jiān)控條件下進行實時煙霧檢測，同時根據(jù)漏報、誤報情況實現(xiàn)模型的在線更新，進一步提升檢測精度，實現(xiàn)火災預警，減少財產(chǎn)損失，穩(wěn)定性更高，使用更加方便。

按照本發(fā)明提供的技術(shù)方案，所述基于深度卷積神經(jīng)網(wǎng)絡(luò)的堆場煙霧監(jiān)測及在線模型更新方法，其特征是，包括以下步驟：

(1)將收集的視頻數(shù)據(jù)轉(zhuǎn)為圖片序列，并對煙霧區(qū)域進行位置、類標標注，將位置、類標信息保存為類標文件夾，圖片與位置、類標信息兩個文件夾組成了初始正負樣本集y；

(2)將步驟(1)獲得的初始正負樣本集y按設(shè)定的比例分為訓練集y11、測試集y2和驗證集y12；將訓練集y11和驗證集y12放入通用的深度卷積神經(jīng)網(wǎng)絡(luò)模型進行訓練，對通用模型進行參數(shù)微調(diào)，不斷進行迭代訓練同時計算損失函數(shù)，根據(jù)損失函數(shù)挑選多個初始模型，通過對測試集y2進行測試，根據(jù)roc曲線挑選最優(yōu)初始模型x；

(3)利用步驟(2)得到的初始模型x，對堆場環(huán)境下視頻監(jiān)控進行煙霧檢測，同時保存檢測結(jié)果及置信值，每隔一段時間根據(jù)檢測結(jié)果更新正負樣本集并進行模型更新得到更新模型x'，通過測試模型精度進行評價。

進一步的，所述步驟(1)包含以下步驟：

步驟1.1、將收集的視頻數(shù)據(jù)轉(zhuǎn)為圖片序列，將所有圖片中存在煙霧的區(qū)域以矩形框的形式標注出來，并打上smoke的類標；

步驟1.2、圖片中矩形框的位置以及類標信息以標準voc2007格式保存在位置、類標文件夾中，名字與對應(yīng)圖片同名，圖片與位置、類標信息兩個文件夾組成了初始正負樣本集y。

進一步的，所述步驟(2)包含以下步驟：

步驟2.1、將初始正負樣本集y按9:1的比例以隨機的方式分為訓練集y1和測試集y2，將訓練集y1同樣按9:1的比例隨機方式分為訓練集y11與驗證集y12；

步驟2.2、將訓練集y1放入通用的深度卷積神經(jīng)網(wǎng)絡(luò)模型中訓練，訓練集y11用來微調(diào)模型參數(shù)，驗證集y12用來確定模型結(jié)構(gòu)，同時根據(jù)模型的檢測結(jié)果與實際結(jié)果的分類誤差lcls以及位置偏差lloc加權(quán)計算損失函數(shù)評價訓練模型，損失函數(shù)l的計算公式為：

步驟2.3、選取幾個損失函數(shù)低的模型作為初始模型，使用測試集y2來測試模型精度，評估標準以漏報率和誤報率的roc曲線為準，選擇最好的模型作為初始模型x。

進一步的，所述步驟(3)包含以下步驟：

步驟3.1、利用初始模型x，對堆場環(huán)境下視頻監(jiān)控進行實時煙霧檢測，在實時檢測界面顯示現(xiàn)場環(huán)境，若模型認為有煙霧出現(xiàn)，則標注煙霧區(qū)域并顯示置信值，保存模型檢測到的煙霧區(qū)域及置信值；

步驟3.2、每隔一段時間將置信值為0～0.2的檢測結(jié)果作為負樣本集z1，將置信值為0.2以上的檢測結(jié)果作為正樣本集z2，并將負樣本集z1、正樣本集z2與訓練集y1合并為訓練集z；

步驟3.3、將訓練集z放入通用的深度卷積神經(jīng)網(wǎng)絡(luò)模型中訓練，重復步驟(2)中的步驟2.2、步驟2.3獲得更新模型x'，將更新模型x'與初始模型x比較，測試集y2作為測試樣本，選擇較好的模型作為初始模型x繼續(xù)進行實時煙霧檢測。

本發(fā)明所述基于深度卷積神經(jīng)網(wǎng)絡(luò)的堆場煙霧監(jiān)測及在線模型更新方法，能夠?qū)崿F(xiàn)在堆場環(huán)境視頻監(jiān)控條件下進行實時煙霧檢測，同時根據(jù)漏報、誤報情況實現(xiàn)模型的在線更新，進一步提升檢測精度，實現(xiàn)火災預警，減少財產(chǎn)損失，穩(wěn)定性更高，使用更加方便。

附圖說明

圖1為本發(fā)明所述堆場煙霧監(jiān)測及在線模型更新方法的流程圖。

圖2為煙霧圖片的標注示意圖。

圖3為深度卷積神經(jīng)網(wǎng)絡(luò)模型提取的圖片特征可視化圖。

圖4為模型漏報率與誤報率的roc曲線圖。

圖5為堆場環(huán)境視頻監(jiān)控的實時煙霧檢測圖。

具體實施方式

下面結(jié)合具體附圖對本發(fā)明作進一步說明。

如圖1所示，本發(fā)明所述基于深度卷積神經(jīng)網(wǎng)絡(luò)的堆場煙霧監(jiān)測及在線模型更新方法，包括以下步驟：

(1)將收集的煙霧視頻轉(zhuǎn)為圖片序列，對轉(zhuǎn)換工具以及圖片格式?jīng)]有特殊要求，本實施例中，轉(zhuǎn)換工具采用自制python工具，圖片格式為jpg格式；

(2)對圖片中存在煙霧的區(qū)域以矩形框的形式標注出來，并打上smoke的類標(如圖2所示)，對于類煙物體，類標為likesmoke，對標注工具沒有特殊要求，本實施例中，標注工具采用自制python工具；

(3)將標注完的圖片中矩形框的位置以及類標信息以標準voc2007格式保存在位置、類標文件夾中，名字與對應(yīng)圖片同名；

(4)初始正負樣本集y由圖片與位置、類標信息兩個文件夾組成，jpegimages為圖片集，annotations為位置、類標信息文件夾；

(5)將初始正負樣本集y按9:1的比例以隨機的方式分為訓練集y1和測試集y2，將訓練集y1同樣按9:1的比例隨機方式分為訓練集y11與驗證集y12；test.txt是測試集，train.txt是訓練集，val.txt是驗證集，trainval.txt是訓練和驗證集；

(6)將訓練集y1放入通用的深度卷積神經(jīng)網(wǎng)絡(luò)模型中訓練，得到的多種更高層特征可視化圖如圖3所示；

(7)根據(jù)模型的檢測結(jié)果與實際結(jié)果的分類誤差lcls以及位置偏差lloc加權(quán)計算損失函數(shù)評價訓練模型，損失函數(shù)l的計算公式為：

其中，ncls為圖片集中圖片的張數(shù)；nloc為檢測出來的矩形框的個數(shù)；p表示檢測結(jié)果與實際結(jié)果的判斷，正確為1，錯誤為0；t表示矩形框的位置；

選取幾個損失函數(shù)低的模型作為初始模型，使用測試集y2來測試模型精度，評估標準以漏報率和誤報率的roc曲線為準(如圖4所示)，曲線越接近原點說明模型的誤報率和漏報率越低，選擇最好的模型作為初始模型x；

(8)利用初始模型x，對堆場環(huán)境下視頻監(jiān)控進行煙霧檢測，在實時檢測界面顯示現(xiàn)場環(huán)境，若模型認為有煙霧出現(xiàn)，則標注煙霧區(qū)域并顯示置信值(如圖5所示)，保存模型檢測到的煙霧區(qū)域及置信值；

本發(fā)明認為置信值為0～0.2的檢測結(jié)果是比較類似煙霧的物體，將這些物體當做負樣本，置信值為0.2以上的檢測結(jié)果是煙霧目標，將這些物體當做正樣本，更新正、負樣本后重新訓練更新模型，如果更新模型x'比起初始模型x對初始正負樣本集y的檢測效果更好，那么這次模型更新是有效的；具體步驟如下：

a、每隔一段時間將置信值為0～0.2的檢測結(jié)果作為負樣本集z1，將置信值為0.2以上的檢測結(jié)果作為正樣本集z2，并將負樣本集z1、正樣本集z2與訓練集y1合并為訓練集z；

b、將訓練集z放入通用的深度卷積神經(jīng)網(wǎng)絡(luò)模型中訓練，重復模型訓練步驟更新模型x'，將更新模型x'與初始模型x比較，測試集y2作為測試樣本，選擇較好的模型作為初始模型x繼續(xù)進行實時煙霧檢測。