專利名稱：基于煙火智能識(shí)別的森林火災(zāi)實(shí)時(shí)監(jiān)測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明通過(guò)煙火的智能識(shí)別對(duì)森林火災(zāi)進(jìn)行監(jiān)測(cè)并報(bào)警，適用于林業(yè)防火指揮決策。
背景技術(shù)：
在林區(qū)監(jiān)控點(diǎn)的瞭望塔上架設(shè)紅外低照度全天候長(zhǎng)焦距攝像機(jī)，不間斷地旋轉(zhuǎn)拍攝，把
周圍的森林圖像經(jīng)過(guò)無(wú)線網(wǎng)絡(luò)傳至網(wǎng)絡(luò)視頻服務(wù)中心；監(jiān)控指揮中心通過(guò)Intranet可以登 錄視頻服務(wù)中心實(shí)時(shí)監(jiān)視各監(jiān)控點(diǎn)森林火災(zāi)情況，由智能圖像處理、林火識(shí)別報(bào)警軟件進(jìn) 行煙火自動(dòng)識(shí)別，同時(shí)接收云臺(tái)的狀態(tài)信息，根據(jù)獲得的攝像機(jī)位置及其它相關(guān)信息計(jì)算 火警目標(biāo)位置，當(dāng)監(jiān)測(cè)到火災(zāi)并由操作員進(jìn)一步確認(rèn)后，指揮中心向消防中心發(fā)出報(bào)警信 息，并進(jìn)行相應(yīng)地?fù)渚戎笓]工作。煙火智能識(shí)別報(bào)警模塊在系統(tǒng)中起著重要的作用

發(fā)明內(nèi)容
本發(fā)明要解決的問題是在通過(guò)與前方監(jiān)控?cái)z像頭進(jìn)行數(shù)據(jù)傳輸，實(shí)時(shí)獲取監(jiān)控圖像，通過(guò) 由網(wǎng)絡(luò)攝像機(jī)傳過(guò)來(lái)的視頻幀進(jìn)行實(shí)時(shí)圖像分析，取定視域內(nèi)是否存在火情以及火情發(fā)生 的位置及區(qū)域。這些算法由最新的數(shù)字圖像處理、數(shù)字圖像模式識(shí)別技術(shù)組成，基于火焰
煙霧的行為特征，如顏色、顏色分布、形狀、輪廓、紋理等，進(jìn)行并行處理，最后將結(jié) 果傳輸給模糊神經(jīng)網(wǎng)絡(luò)，根據(jù)各個(gè)算法的權(quán)重，得出是否有煙火發(fā)生的最終評(píng)估，步驟如下
(1) 數(shù)字視頻解碼，采集來(lái)自監(jiān)測(cè)前端傳來(lái)的視頻信息，通過(guò)視頻采集驅(qū)動(dòng)將視頻信息轉(zhuǎn)換 成指定的圖像，以便進(jìn)行煙火圖像的識(shí)別；
(2) 云臺(tái)碼流采集，云臺(tái)碼流是通過(guò)主控室PC機(jī)的串口設(shè)備管理器接入端(RS-232)傳入 的，云臺(tái)碼流采集模塊依據(jù)事先約定的碼流編碼規(guī)則，對(duì)云臺(tái)當(dāng)前的動(dòng)作信息進(jìn)行解析， 判斷云臺(tái)當(dāng)前的水平旋轉(zhuǎn)方向、垂直旋轉(zhuǎn)方向以及預(yù)制位的信息；
(3) 煙火智能圖像識(shí)別，煙火圖像識(shí)別模塊是林火識(shí)別報(bào)警系統(tǒng)實(shí)現(xiàn)火災(zāi)探測(cè)的關(guān)鍵，根據(jù) 火焰煙霧的行為特征，如顏色、顏色分布、形狀、輪廓、紋理等，利用森林背景圖像與 火災(zāi)、煙霧圖像在光譜特征、空間幾何特征上的差異，運(yùn)用圖像處理方法和復(fù)雜的識(shí)別算 法，對(duì)林區(qū)圖像進(jìn)行分析，判斷林區(qū)圖像上是否有疑似火點(diǎn)；
(4) 云臺(tái)控制，用戶可以通過(guò)對(duì)云臺(tái)的控制來(lái)實(shí)現(xiàn)鏡頭的景深、焦距以及光圈的調(diào)節(jié)，還可 以通過(guò)云臺(tái)的上下左右調(diào)節(jié)來(lái)獲取不同角度的圖像?；馂?zāi)發(fā)生時(shí)，林火報(bào)警模塊發(fā)出報(bào)警信息，同時(shí)云臺(tái)控制模塊向林火監(jiān)測(cè)子系統(tǒng)發(fā)送鎖定云臺(tái)的動(dòng)作指令，從而控制云臺(tái)固定 范圍(或定點(diǎn))掃描；
(5)林火定位，當(dāng)監(jiān)測(cè)到煙火后，系統(tǒng)鎖定云臺(tái)，由當(dāng)前瞭望塔的高度、云臺(tái)的方位、攝像 機(jī)的焦距等相關(guān)信息，依據(jù)公式算出發(fā)生森林火災(zāi)的位置。
具體實(shí)施例方式
A、 基于顏色的預(yù)判算法 通常森林大部分時(shí)間處于無(wú)火源的狀態(tài)，故可對(duì)從視頻流截取的并轉(zhuǎn)換為BMP格式的
圖像先進(jìn)行簡(jiǎn)單的判斷。本系統(tǒng)采用基于顏色的算法檢測(cè)圖像的狀態(tài)不論在什么情況下，
由于火焰的外焰高溫部分是絕對(duì)高溫，并且火焰本身的亮度大多集中在紅色，火的顏色總
是表現(xiàn)為紅色的，故在火的算法中，我們首先對(duì)圖像進(jìn)行了的一次預(yù)判即判斷該圖像是 否有紅色的信息，若沒有紅色的區(qū)域，就根本不用執(zhí)行其它火的算法，這樣就大大加快了 識(shí)別效率。其算法為
Pi(x ， y)e [Rl ， R2] 其中，Pi(x ，y)為待處理的圖像像素的RGB值，[Rl , R2]為實(shí)驗(yàn)確定后的表現(xiàn)為火的 紅色閥值。當(dāng)Pi(x ，y)e[Rl ，R2]時(shí)，則判定有疑似火源，取用紅色通道，舍棄其他兩個(gè) 通道的顏色，而單獨(dú)對(duì)紅色通道進(jìn)行識(shí)別處理，并將該區(qū)域從背景中分離出來(lái)[]。接著進(jìn)
入下面對(duì)各種林火行為特征的算法判斷。當(dāng)Pi(x ,y)牽[Rl ,R2]時(shí)，則判定無(wú)火，于是判 斷該圖像是否出現(xiàn)煙。
B、 基于煙火顏色分布的算法 火焰一般從焰心到外焰其顏色應(yīng)從白色向紅色移動(dòng)，根據(jù)這一特點(diǎn)，提出了如下識(shí)別
算法。從火焰顏色物體的左上像素開始，依次取連通像素點(diǎn)，連通方向?yàn)橛蚁拢缬蚁聼o(wú) 連通像素則取下連通，直至取完。每三個(gè)像素點(diǎn)取紅色比重的平均值，組成數(shù)列，然后做 一階差分。最后得到的差分?jǐn)?shù)列輸入給判別算法，從起始像素為起點(diǎn)當(dāng)紅色比重的減少趨 勢(shì)持續(xù)一定步數(shù)時(shí)，說(shuō)明有從紅向白移動(dòng)趨勢(shì)，同理從截止像素為起點(diǎn)當(dāng)紅色比重持續(xù)增 及一定步數(shù)時(shí)，說(shuō)明有從紅向白移動(dòng)趨勢(shì)。任一種情況出現(xiàn)都說(shuō)明顏色分布就有火焰特點(diǎn)。 計(jì)算紅色比重。公式如下<formula>formula see original document page 5</formula>其中，R(Pi(x ，y))為第"P幀U ,y)—點(diǎn)的RGB，的R(Pi(x ,y))， G(Pi(x ，y))， G(Pi(x ，y))o
C、基于煙火形狀識(shí)別的算法-圓形度表征物體形狀的復(fù)雜程度，其計(jì)算公式為
y = L' / S
其中，y為圓形度，L為周長(zhǎng)，S為面積。
周長(zhǎng)為物體的邊界長(zhǎng)度，可遍歷邊界鏈碼，即可算出邊界長(zhǎng)度。通過(guò)統(tǒng)計(jì)圖元的亮點(diǎn) 數(shù)可獲得面積。圓形度對(duì)圓形物體取最小值4Ji，物體形狀越復(fù)雜其值越大。本系統(tǒng)將圓形 度值除以4n，使圓形度的最小值為l，以便觀測(cè)。
圓形度作為表征火災(zāi)火焰特性的判據(jù)是十分有效的，可以做早期的判斷，排除規(guī)則發(fā) 亮物體(如太陽(yáng)等)的干擾，從而減少計(jì)算量。
D、 融合算法
本系統(tǒng)以三層反向傳播(Back2propagation , BP)神經(jīng)網(wǎng)絡(luò)作為火災(zāi)煙霧識(shí)別神經(jīng)網(wǎng)絡(luò)模 型，利用模糊神經(jīng)網(wǎng)絡(luò)，將以上對(duì)火焰物體行為特性的評(píng)估匯總分析。因?yàn)橐陨厦恳惶?征都不能單獨(dú)給出嚴(yán)格準(zhǔn)確的判斷，而如果將幾種評(píng)估有機(jī)結(jié)合起來(lái)將大大提高判斷準(zhǔn) 確程度；同時(shí)，幾種評(píng)估進(jìn)行融合時(shí)，判決參數(shù)是很難確定的，所以考慮利用模糊神 經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)數(shù)據(jù)融合。整個(gè)網(wǎng)絡(luò)中，用前面每一種算法的結(jié)果作為煙霧識(shí)別神經(jīng)網(wǎng)絡(luò) 的輸入，利用神經(jīng)網(wǎng)絡(luò)來(lái)確定輸入、輸出數(shù)據(jù)的隸屬度函數(shù)，煙霧識(shí)別神經(jīng)網(wǎng)絡(luò)對(duì)輸入 數(shù)據(jù)進(jìn)行分析判斷,識(shí)別出"林火特征"或"非林火特征"，得到系統(tǒng)最終輸出。當(dāng)確 認(rèn)為火災(zāi)可能性大于某個(gè)閥值(例如60%)時(shí)發(fā)出報(bào)警信號(hào)，否則不報(bào)瞀，而轉(zhuǎn)入下一階 段的煙的圖像識(shí)別過(guò)程。
E、 煙火智能識(shí)別算法
1、 算法入口為 CFireWarning類的I叩utPicture(CStringArray &picArray)函數(shù)， 只需要傳入圖像文件名(三幅圖像)即可進(jìn)行林火識(shí)別；
2、 算法主要流程在CFireWarning類的int I叩utPicture(CStringArray &pic)函數(shù)中
a、 首先通過(guò)COpenCVDetect類完成圖像的基本處理-包括靜態(tài)檢測(cè)和動(dòng)態(tài)檢
測(cè)；
b、 再利用CFireRecDetect類完成圖像的特征提取；
c、 利用神經(jīng)網(wǎng)絡(luò)進(jìn)行靜態(tài)林火圖像的識(shí)別；
d、 結(jié)合動(dòng)態(tài)和靜態(tài)的識(shí)別結(jié)果進(jìn)行分等級(jí)報(bào)警。


附圖為煙火智能識(shí)別算法基本流程圖
權(quán)利要求
1、基于數(shù)字圖像處理與識(shí)別的森林火災(zāi)實(shí)時(shí)監(jiān)測(cè)方法，其特征包括有視頻采集模塊，采集來(lái)自監(jiān)測(cè)前端傳來(lái)的視頻信息，通過(guò)視頻采集驅(qū)動(dòng)將視頻信息轉(zhuǎn)換成指定的圖像，以便進(jìn)行煙火圖像的識(shí)別；解碼模塊，采集來(lái)自監(jiān)測(cè)前端傳來(lái)的視頻信息，通過(guò)視頻采集驅(qū)動(dòng)將視頻信息轉(zhuǎn)換成指定的圖像，以便進(jìn)行煙火圖像的識(shí)別；云臺(tái)碼流采集模塊，云臺(tái)碼流是通過(guò)主控室PC機(jī)的串口設(shè)備管理器接入端(RS-232)傳入的，云臺(tái)碼流采集模塊依據(jù)事先約定的碼流編碼規(guī)則，對(duì)云臺(tái)當(dāng)前的動(dòng)作信息進(jìn)行解析，判斷云臺(tái)當(dāng)前的水平旋轉(zhuǎn)方向、垂直旋轉(zhuǎn)方向以及預(yù)制位的信息；云臺(tái)控制模塊，用戶可以通過(guò)對(duì)云臺(tái)的控制來(lái)實(shí)現(xiàn)鏡頭的景深、焦距以及光圈的調(diào)節(jié)，還可以通過(guò)云臺(tái)的上下左右調(diào)節(jié)來(lái)獲取不同角度的圖像?；馂?zāi)發(fā)生時(shí)，林火報(bào)警模塊發(fā)出報(bào)警信息，同時(shí)云臺(tái)控制模塊向林火監(jiān)測(cè)子系統(tǒng)發(fā)送鎖定云臺(tái)的動(dòng)作指令，從而控制云臺(tái)固定范圍(或定點(diǎn))掃描；智能煙火圖像識(shí)別模塊，煙火圖像識(shí)別模塊是林火識(shí)別報(bào)警系統(tǒng)實(shí)現(xiàn)火災(zāi)探測(cè)的關(guān)鍵，根據(jù)火焰煙霧的行為特征，如顏色、顏色分布、形狀、輪廓、紋理等，利用森林背景圖像與火災(zāi)、煙霧圖像在光譜特征、空間幾何特征上的差異，運(yùn)用圖像處理方法和復(fù)雜的識(shí)別算法，對(duì)林區(qū)圖像進(jìn)行分析，判斷林區(qū)圖像上是否有疑似火點(diǎn)；林火定位模塊，監(jiān)測(cè)到煙火后，系統(tǒng)鎖定云臺(tái)，由當(dāng)前瞭望塔的高度、云臺(tái)的方位、攝像機(jī)的焦距等相關(guān)信息，依據(jù)公式算出發(fā)生森林火災(zāi)的位置。
2、 根據(jù)權(quán)利要求l所述的云臺(tái)控制，其特征在于方便快捷的云臺(tái)操控面板，對(duì)云 臺(tái)進(jìn)行上、下、左、右、巡航，光圈、亮度調(diào)節(jié)等控制操作。
3、 根據(jù)權(quán)利要求l所述的智能煙火圖像識(shí)別，其特征在于產(chǎn)用靜態(tài)和動(dòng)態(tài)相結(jié)合的識(shí)別模式，提取煙火關(guān)于顏色、飽和度、圓心度、形狀不規(guī)則性、運(yùn)動(dòng)軌跡不規(guī)則性等煙火特征，以三層反向傳播(Back2propagation ， BP)神經(jīng)網(wǎng)絡(luò)作為火災(zāi)煙霧識(shí)別神經(jīng)網(wǎng)絡(luò)模 型，利用模糊神經(jīng)網(wǎng)絡(luò)，將以上對(duì)煙火行為特性的評(píng)估匯總分析。
4、 根據(jù)權(quán)利要求1所述的林火定位，其特征在于 一但智能煙火圖像識(shí)別檢測(cè)出火情，系統(tǒng)自動(dòng)鎖定云臺(tái)，并根據(jù)云臺(tái)的當(dāng)前姿態(tài)(云臺(tái)水平方位角、俯仰角、地理坐標(biāo))計(jì) 算出火情發(fā)生的地理位置并在電子地圖上定位。
全文摘要
通過(guò)介紹一種新的基于數(shù)字圖像處理與煙火智能識(shí)別的森林火災(zāi)實(shí)時(shí)監(jiān)測(cè)方法，對(duì)森林火災(zāi)進(jìn)行準(zhǔn)確的檢測(cè)。該方法通過(guò)由網(wǎng)絡(luò)攝像機(jī)傳過(guò)來(lái)的視頻幀進(jìn)行實(shí)時(shí)圖像分析，取定視域內(nèi)是否存在火情以及火情發(fā)生的位置及區(qū)域。這些由最新的數(shù)字圖像處理、數(shù)字圖像模式識(shí)別技術(shù)組成，基于火焰煙霧的行為特征，如顏色、顏色分布、形狀、輪廓、紋理等，進(jìn)行并行處理，最后將結(jié)果傳輸給模糊神經(jīng)網(wǎng)絡(luò)，根據(jù)各個(gè)算法的權(quán)重，得出最終的評(píng)估。這樣快速可靠的煙火綜合分析大大減少了誤報(bào)的可能性。北京東方泰坦科技有限公司基于該方法獨(dú)立開發(fā)的森林防火系統(tǒng)針對(duì)不同地區(qū)的森林現(xiàn)狀，通過(guò)監(jiān)控管理指揮中心系統(tǒng)、無(wú)線傳輸系統(tǒng)、攝像機(jī)和鏡頭系統(tǒng)、云臺(tái)控制系統(tǒng)、電源系統(tǒng)能有效地對(duì)即將發(fā)生的或者已經(jīng)發(fā)生的火情進(jìn)行合理的預(yù)判和辨別，并能夠及時(shí)地進(jìn)行火警預(yù)報(bào)，以減少森林資源的損失。
文檔編號(hào)G08B17/00GK101625789SQ20081012787
公開日2010年1月13日 申請(qǐng)日期2008年7月7日 優(yōu)先權(quán)日2008年7月7日
發(fā)明者倪金生, 航 姜, 張烈強(qiáng), 賈春華, 錢曉明, 陳曉東 申請(qǐng)人:北京東方泰坦科技有限公司