專利名稱：一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于視頻技術(shù)的目標(biāo)自動(dòng)檢測(cè)和識(shí)別領(lǐng)域，尤其是一種基于計(jì)算機(jī)視 覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法。
背景技術(shù)：
預(yù)防火災(zāi)的傳統(tǒng)方法是使用煙霧檢測(cè)器。目前煙霧傳感器已經(jīng)廣泛安裝在建筑物 內(nèi)的關(guān)鍵區(qū)域，成為建筑防火的標(biāo)準(zhǔn)措施。然而嚴(yán)格地講，煙霧監(jiān)測(cè)器是一種檢測(cè)特定煙 霧粒子的傳感器，并不直接檢測(cè)火焰。只有當(dāng)濃煙迷漫到煙霧傳感器上才能觸發(fā)警報(bào)。對(duì) 于空間開(kāi)闊的區(qū)域，著火時(shí)的煙霧很容易飄散。因此煙霧傳感器在開(kāi)闊區(qū)域檢測(cè)火焰易失 效，而主要應(yīng)用在廚房、酒店等狹小的空間里。針對(duì)大空間的室內(nèi)場(chǎng)景例如禮堂，有研究者 提出在室內(nèi)上空用紅外波對(duì)射以檢測(cè)煙霧是否存在的方法。但該方法實(shí)施復(fù)雜，易受干擾， 在目前的實(shí)際應(yīng)用較少。以檢測(cè)煙霧為主要技術(shù)手段的傳統(tǒng)方法在監(jiān)視開(kāi)闊區(qū)域火焰時(shí)呈 現(xiàn)出弊端。然而在打擊恐怖主義促進(jìn)和諧的社會(huì)背景下，以開(kāi)闊區(qū)域?yàn)橹鞯墓矆?chǎng)所的安 全性在近年來(lái)得到極大的重視。相應(yīng)的，社會(huì)對(duì)開(kāi)闊公共區(qū)域的火災(zāi)防范也提出了更高的 要求。另一方面，近年來(lái)可見(jiàn)光傳感器成本大幅下降，視覺(jué)監(jiān)視大量應(yīng)用于各種涉及公眾安 全的區(qū)域。如何在當(dāng)前廣泛的監(jiān)視硬件基礎(chǔ)上構(gòu)建既經(jīng)濟(jì)又高效的火焰檢測(cè)方案，解決監(jiān) 視開(kāi)闊區(qū)域火焰時(shí)煙霧傳感器存在的弊端，值得研究。經(jīng)文獻(xiàn)檢索發(fā)現(xiàn)，中國(guó)專利申請(qǐng)?zhí)枮?200710109770. X名為《火焰檢測(cè)裝置和火焰檢測(cè)方法》的申請(qǐng)與本發(fā)明較接近，但是它是一 種通過(guò)對(duì)火焰區(qū)域的紅外圖像進(jìn)行實(shí)時(shí)的連續(xù)成像和模式識(shí)別來(lái)檢測(cè)火焰的裝置和方法， 與本發(fā)明所述目的、技術(shù)特征、解決方案是有所不同的。

發(fā)明內(nèi)容
本發(fā)明的目的是公開(kāi)一種利用現(xiàn)有視頻監(jiān)視硬件設(shè)備資源，在視頻信號(hào)采集的基 礎(chǔ)上對(duì)場(chǎng)景內(nèi)的情況進(jìn)行智能化火焰監(jiān)測(cè)的一種方法，使之在發(fā)生初期火焰的情況下自動(dòng) 預(yù)警，以克服現(xiàn)有技術(shù)上之不足。實(shí)現(xiàn)本發(fā)明之目的的技術(shù)解決方案如下一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法，是利用計(jì)算機(jī)技術(shù)從視覺(jué)傳 感器獲取到圖像序列并分析處理得出監(jiān)視區(qū)域是否有火焰存在，包括象素級(jí)處理、區(qū)域級(jí) 處理、語(yǔ)義級(jí)處理、多層次信息融合處理層次，其特征在于，包括如下步驟(1)讀取視覺(jué)傳感器采樣圖像，進(jìn)入圖像預(yù)處理；(2)是否檢測(cè)到火焰？如果是，關(guān)聯(lián)最大似然度區(qū)域，進(jìn)入跟蹤程序，如果沒(méi)有檢 測(cè)到火焰，進(jìn)入疑似火焰區(qū)域分割、火焰特征提取和識(shí)別，進(jìn)入時(shí)間域?yàn)V波；(3)是否跟蹤成功？如果沒(méi)有，設(shè)置未檢測(cè)到火焰標(biāo)志，返回到讀取傳感器采樣圖 像階段重新開(kāi)始；如果跟蹤成功，更新和預(yù)測(cè)系統(tǒng)狀態(tài)，計(jì)算火焰位置，輸出檢測(cè)結(jié)果，再返 回到讀取傳感器采樣圖像階段；(4)經(jīng)過(guò)時(shí)間濾波后，再次詢問(wèn)是否滿足檢測(cè)條件？如果是，設(shè)置火焰跟蹤初始區(qū)域，設(shè)置檢測(cè)到火焰標(biāo)志，再返回到讀取傳感器采樣圖像階段；如果沒(méi)有滿足檢測(cè)條件，返 回到讀取傳感器采樣圖像階段重新開(kāi)始。所述的一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法，其特征在于，所述的 進(jìn)入疑似火焰區(qū)域分割是利用象素級(jí)特征分割火焰區(qū)域，火焰特征提取和識(shí)別是利用區(qū)域 級(jí)特征檢測(cè)疑似區(qū)域是否滿足火焰的視覺(jué)屬性，判別過(guò)程是利用多特征聯(lián)合決策樹(shù)進(jìn)行， 其具體步驟如下(1)讀取圖像，分析火焰色溫似然度、顯著運(yùn)動(dòng)特征；(2)閾值分割，連通體檢測(cè)；(3)讀取第一個(gè)連通體，形狀特征檢測(cè)、內(nèi)外焰結(jié)構(gòu)檢測(cè)、升騰視覺(jué)特征檢測(cè)、10Hz 閃爍頻率檢測(cè)；(4)決策樹(shù)分類，判斷是否為火焰？如果是，添加到疑似火焰區(qū)域鏈表；如果不 是，詢問(wèn)連通體鏈表是否結(jié)束？如果同意，輸出檢測(cè)鏈表；如果不同意，讀取下一個(gè)連通體 或返回(3)讀取第一個(gè)連通體。所述的一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法，其特征在于，在系統(tǒng) 檢測(cè)到火焰之后，利用Blob火焰跟蹤算法，對(duì)火焰自動(dòng)跟蹤。與現(xiàn)有技術(shù)相比較，實(shí)施了本發(fā)明的基于視頻的火焰檢測(cè)器具有下優(yōu)點(diǎn)與顯著效 果1)視頻檢測(cè)信息量更豐富，分類更準(zhǔn)確，可具備較低的虛警率；2)不受場(chǎng)地限制，可以適應(yīng)更大范圍和露天環(huán)境的火焰檢測(cè)；3)為火焰精確定位提供了指導(dǎo)信息；4)有效利用現(xiàn)有視頻監(jiān)控設(shè)備，利用算法模塊擴(kuò)展現(xiàn)有功能；在現(xiàn)有硬件基礎(chǔ)上 對(duì)監(jiān)視網(wǎng)絡(luò)改造可具備火焰檢測(cè)預(yù)警功能；5)火焰的視頻信號(hào)可以實(shí)時(shí)傳輸給管理員實(shí)時(shí)監(jiān)控。


圖1是本發(fā)明所述的火焰特征處理層次示意圖。圖2是本發(fā)明所述的火焰特征處理總體流程示意圖。圖3是本發(fā)明所述的火焰檢測(cè)方法流程框圖示意圖。圖4是根據(jù)象素級(jí)和區(qū)域級(jí)特征檢測(cè)疑是火焰區(qū)域的流程圖示意圖。圖5圖6是本發(fā)明所述實(shí)施例及操作過(guò)程。
具體實(shí)施例方式參考附圖給出實(shí)施例并作具體的說(shuō)明。從圖1、圖2、圖3、圖4圖5、圖6可知本發(fā) 明所述的一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法，是利用計(jì)算機(jī)技術(shù)從視覺(jué)傳 感器獲取到圖像序列并分析處理得出監(jiān)視區(qū)域是否有火焰存在，其支持系統(tǒng)包括可見(jiàn)光攝 像機(jī)、視頻監(jiān)視服務(wù)器、火焰檢測(cè)服務(wù)器等，其攝像機(jī)視頻信號(hào)輸出鏈接至視頻采集卡，而 視頻采集卡固定在服務(wù)器的PCI插槽中；服務(wù)器通過(guò)視頻采集卡的驅(qū)動(dòng)程序直接讀取圖像 數(shù)據(jù)。圖6中的監(jiān)視攝像機(jī)分為兩類，一類是觀測(cè)較大范圍的固定攝像機(jī)，另一類是觀測(cè)范 圍適中并且安裝在消防炮上用于指導(dǎo)滅火的攝像機(jī)。圖2是處理火焰的總體流程主要是火焰檢測(cè)和跟蹤系統(tǒng)，即是根據(jù)火焰的視覺(jué)特征檢測(cè)，如火焰分割、火焰識(shí)別，并在確定火焰 存在的基礎(chǔ)上用視覺(jué)跟蹤方法進(jìn)行跟蹤濾波；火焰定位系統(tǒng)則是利用攝像機(jī)標(biāo)定技術(shù)和多 源攝像機(jī)圖像融合技術(shù)獲取圖像中火焰確定位置，從而可以指導(dǎo)消防設(shè)備自動(dòng)滅火。在場(chǎng) 景中出現(xiàn)受關(guān)注火焰之后，計(jì)算機(jī)從視覺(jué)傳感器獲取到圖像序列并分析處理得出監(jiān)視區(qū)域 有火焰存在的結(jié)論。這樣的過(guò)程被稱為火焰檢測(cè)。其中受關(guān)注火焰是指根據(jù)具體應(yīng)用環(huán)境 判定火焰大小是否屬于需要預(yù)警的程度。在一般應(yīng)用中，火苗直徑超過(guò)50cm的火焰則必須 被檢測(cè)。視頻火焰檢測(cè)的一般性原則是利用色溫、形狀、內(nèi)外焰結(jié)構(gòu)、時(shí)空動(dòng)態(tài)特征、紋理 等特征區(qū)分火焰和干擾。雖然從人類經(jīng)驗(yàn)利用這些特征來(lái)區(qū)分火焰和干擾源是簡(jiǎn)單的，但 是在實(shí)現(xiàn)過(guò)程中卻有許多工程實(shí)際問(wèn)題難以解決。圖3是視頻火焰檢測(cè)器的檢測(cè)方法設(shè)計(jì) 流程?；鹧嫣幚韺哟伟ㄏ笏丶?jí)處理、區(qū)域級(jí)處理、語(yǔ)義級(jí)處理、多層次信息融合處理層 次，包括如下步驟(1)讀取視覺(jué)傳感器采樣圖像，進(jìn)入圖像預(yù)處理；(2)是否檢測(cè)到火焰？如果是，關(guān)聯(lián)最大似然度區(qū)域，進(jìn)入跟蹤程序，如果沒(méi)有檢 測(cè)到火焰，進(jìn)入疑似火焰區(qū)域分割、火焰特征提取和識(shí)別，進(jìn)入時(shí)間域?yàn)V波；(3)是否跟蹤成功？如果沒(méi)有，設(shè)置未檢測(cè)到火焰標(biāo)志，返回到讀取傳感器采樣圖 像階段重新開(kāi)始；如果跟蹤成功，更新和預(yù)測(cè)系統(tǒng)狀態(tài)，計(jì)算火焰位置，輸出檢測(cè)結(jié)果，再返 回到讀取傳感器采樣圖像階段；(4)經(jīng)過(guò)時(shí)間濾波后，再次詢問(wèn)是否滿足檢測(cè)條件？如果是，設(shè)置火焰跟蹤初始區(qū) 域，設(shè)置檢測(cè)到火焰標(biāo)志，再返回到讀取傳感器采樣圖像階段；如果沒(méi)有滿足檢測(cè)條件，返 回到讀取傳感器采樣圖像階段重新開(kāi)始。其中所述的疑是火焰區(qū)域的分割和特征提取及識(shí)別是重點(diǎn)和難點(diǎn)。本研究采取了 Marr視覺(jué)系統(tǒng)的分階段處理的方式，用象素級(jí)特征分割火焰區(qū)域，在此基礎(chǔ)上再用區(qū)域級(jí) 特征檢察疑是區(qū)域是否滿足火焰的視覺(jué)屬性，判別過(guò)程用多特征聯(lián)合的決策樹(shù)進(jìn)行。兩個(gè) 層次的工作共同完成疑是火焰區(qū)域的檢測(cè)，并將檢測(cè)結(jié)果進(jìn)行時(shí)間域?yàn)V波，以去除偶然性 的結(jié)果。如圖4所示，所述的進(jìn)入疑似火焰區(qū)域分割是利用象素級(jí)特征分割火焰區(qū)域，火焰 特征提取和識(shí)別是利用區(qū)域級(jí)特征檢測(cè)疑似區(qū)域是否滿足火焰的視覺(jué)屬性，判別過(guò)程是利 用多特征聯(lián)合決策樹(shù)進(jìn)行。其具體步驟如下(1)讀取圖像，分析火焰色溫似然度、顯著運(yùn)動(dòng)特征；(2)閾值分割，連通體檢測(cè)；(3)讀取第一個(gè)連通體，形狀特征檢測(cè)、內(nèi)外焰結(jié)構(gòu)檢測(cè)、升騰視覺(jué)特征檢測(cè)、10Hz 閃爍頻率檢測(cè)；(4)決策樹(shù)分類，判斷是否為火焰？如果是，添加到疑似火焰區(qū)域鏈表；如果不 是，詢問(wèn)連通體鏈表是否結(jié)束？如果同意，輸出檢測(cè)鏈表；如果不同意，讀取下一個(gè)連通體 或返回(3)讀取第一個(gè)連通體。在系統(tǒng)檢測(cè)到火焰之后，利用Blob火焰跟蹤算法，對(duì)火焰自動(dòng)跟蹤。火焰跟蹤的 意義在于，可以自由的轉(zhuǎn)動(dòng)攝像機(jī)或縮放監(jiān)視畫(huà)面而不必重新檢測(cè)，同時(shí)還可以適應(yīng)諸如 汽車著火等火焰移動(dòng)的情況。因?yàn)樵诒O(jiān)視系統(tǒng)中使用PTZ攝像機(jī)越來(lái)越多，探究火焰跟蹤
5技術(shù)也顯得更有必要。由于火焰具有顯著的動(dòng)態(tài)外觀，因此火焰跟蹤的精度要求并不高。在 本發(fā)明研究的智能火焰檢測(cè)系統(tǒng)中，主要使用了 Blob火焰跟蹤Blob火焰跟蹤的基本思想是，提取圖像中可能是火焰的所有Blob，用Blob關(guān)聯(lián)算 法將最可能是火焰的Blob作為觀測(cè)結(jié)果更新火焰的系統(tǒng)狀態(tài)。分割Blob的連通體計(jì)算和 連通體匹配都與5. 1. 5. 1中的敘述一致。值得注意的是，在系統(tǒng)檢測(cè)到火焰之后，由于確信 火焰的存在，因而可使用簡(jiǎn)化的弱分類規(guī)則分割出可能的火焰區(qū)域。雖然弱分類規(guī)則會(huì)提 高虛警率，引入假的火焰區(qū)域，但跟蹤關(guān)聯(lián)過(guò)程僅考慮跟蹤門限內(nèi)的信息，因此對(duì)跟蹤結(jié)果 并沒(méi)有明顯的影響。例如我們使用顏色和形狀的似然度作為判別標(biāo)準(zhǔn)，設(shè)定適當(dāng)?shù)拈撝导?可分割出較完整的火焰區(qū)域。因此Blob火焰跟蹤的運(yùn)算復(fù)雜度可以顯著地低于火焰檢測(cè) 運(yùn)算。Blob火焰跟蹤的另一優(yōu)勢(shì)在于，Blob計(jì)算過(guò)程利用了圖像的全局特征，因此跟蹤結(jié) 果不易陷于局部最優(yōu)。如果按照消防炮的相關(guān)技術(shù)標(biāo)準(zhǔn)，監(jiān)視攝像機(jī)只需關(guān)注地面物質(zhì)著 火。由于現(xiàn)有監(jiān)視用途攝像機(jī)通常是固定在關(guān)注區(qū)域的邊緣上方，因此我們可使用攝像機(jī) 標(biāo)定信息計(jì)算火焰的位置。在獲取圖像中火焰的ROI之后，利用ROI下邊緣計(jì)算火焰在世 界坐標(biāo)系的(x，y)位置的方法和普通監(jiān)視系統(tǒng)中的定位方法是一致的。圖5實(shí)施例給出了支持系統(tǒng)攝像機(jī)安裝示意圖及操作過(guò)程攝像機(jī)用機(jī)架固定在高處，需大于等于3米。攝像機(jī)視角朝下，俯瞰地面，其中攝 像機(jī)根據(jù)具體情況需要，其光軸與地面的夾角成30 60度皆可。使用過(guò)程第一步安裝攝像機(jī)，并鏈接攝像機(jī)輸出信號(hào)到服務(wù)器的視頻采集卡，第二步啟動(dòng)視頻火焰監(jiān)視程序，第三步監(jiān)視過(guò)程，無(wú)需操作，第四步若檢測(cè)到火焰則報(bào)警，否則回到第三步。
權(quán)利要求
一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法，是利用計(jì)算機(jī)技術(shù)從視覺(jué)傳感器獲取到圖像序列并分析處理得出監(jiān)視區(qū)域是否有火焰存在，包括象素級(jí)處理、區(qū)域級(jí)處理、語(yǔ)義級(jí)處理、多層次信息融合處理層次，其特征在于，包括如下步驟(1)讀取視覺(jué)傳感器采樣圖像，進(jìn)入圖像預(yù)處理；(2)是否檢測(cè)到火焰？如果是，關(guān)聯(lián)最大似然度區(qū)域，進(jìn)入跟蹤程序，如果沒(méi)有檢測(cè)到火焰，進(jìn)入疑似火焰區(qū)域分割、火焰特征提取和識(shí)別，進(jìn)入時(shí)間域?yàn)V波；(3)是否跟蹤成功？如果沒(méi)有，設(shè)置未檢測(cè)到火焰標(biāo)志，返回到讀取傳感器采樣圖像階段重新開(kāi)始；如果跟蹤成功，更新和預(yù)測(cè)系統(tǒng)狀態(tài)，計(jì)算火焰位置，輸出檢測(cè)結(jié)果，再返回到讀取傳感器采樣圖像階段；(4)經(jīng)過(guò)時(shí)間濾波后，再次詢問(wèn)是否滿足檢測(cè)條件？如果是，設(shè)置火焰跟蹤初始區(qū)域，設(shè)置檢測(cè)到火焰標(biāo)志，再返回到讀取傳感器采樣圖像階段；如果沒(méi)有滿足檢測(cè)條件，返回到讀取傳感器采樣圖像階段重新開(kāi)始。
2.根據(jù)權(quán)利要求1所述的一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法，其特征 在于，所述的進(jìn)入疑似火焰區(qū)域分割是利用象素級(jí)特征分割火焰區(qū)域，火焰特征提取和識(shí) 別是利用區(qū)域級(jí)特征檢測(cè)疑似區(qū)域是否滿足火焰的視覺(jué)屬性，判別過(guò)程是利用多特征聯(lián)合 決策樹(shù)進(jìn)行，其具體步驟如下(1)讀取圖像，分析火焰色溫似然度、顯著運(yùn)動(dòng)特征；(2)閾值分割，連通體檢測(cè)；(3)讀取第一個(gè)連通體，形狀特征檢測(cè)、內(nèi)外焰結(jié)構(gòu)檢測(cè)、升騰視覺(jué)特征檢測(cè)、IOHz閃 爍頻率檢測(cè)；(4)決策樹(shù)分類，判斷是否為火焰？如果是，添加到疑似火焰區(qū)域鏈表；如果不是，詢 問(wèn)連通體鏈表是否結(jié)束？如果同意，輸出檢測(cè)鏈表；如果不同意，讀取下一個(gè)連通體或返回 (3)讀取第一個(gè)連通體。
3.根據(jù)權(quán)利要求1、2所述的一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法，其特 征在于，在系統(tǒng)檢測(cè)到火焰之后，利用Blob火焰跟蹤算法，對(duì)火焰自動(dòng)跟蹤。
全文摘要
本發(fā)明提供了一種基于計(jì)算機(jī)視覺(jué)監(jiān)視技術(shù)的火焰智能檢測(cè)方法，涉及基于視頻技術(shù)的目標(biāo)自動(dòng)檢測(cè)和識(shí)別領(lǐng)域。利用計(jì)算機(jī)技術(shù)從視覺(jué)傳感器獲取到圖像序列并分析處理得出監(jiān)視區(qū)域是否有火焰存在，包括象素級(jí)處理、區(qū)域級(jí)處理、語(yǔ)義級(jí)處理、多層次信息融合處理層次；火焰處理的流程主要是火焰檢測(cè)與跟蹤系統(tǒng)，即是根據(jù)火焰的視覺(jué)特征檢測(cè)，如火焰分割、火焰識(shí)別，并在確定火焰存在的基礎(chǔ)上用視覺(jué)跟蹤方法進(jìn)行跟蹤濾波；火焰定位系統(tǒng)則是利用攝像機(jī)標(biāo)定技術(shù)和多源攝像機(jī)圖像融合技術(shù)獲取圖像中火焰確定位置，從而可以指導(dǎo)消防設(shè)備自動(dòng)滅火。在現(xiàn)有硬件基礎(chǔ)上對(duì)監(jiān)視網(wǎng)絡(luò)改造可具備火焰智能檢測(cè)預(yù)警功能。
文檔編號(hào)G06T7/00GK101814134SQ20091021654
公開(kāi)日2010年8月25日 申請(qǐng)日期2009年12月4日 優(yōu)先權(quán)日2009年12月4日
發(fā)明者馮子亮, 唐鵬, 熊運(yùn)余, 高琳, 魯書(shū)賢 申請(qǐng)人:四川川大智勝軟件股份有限公司