本發(fā)明涉及計算機視覺的圖像處理，特別是圖像識別檢測這一部分。

背景技術：

目前主要通過兩方面來實現對火焰的檢測，包括火焰?zhèn)鞲衅鳈z測和計算機視覺檢測。人們已經利用多種傳感器開發(fā)出非常多的煙火監(jiān)測系統。常規(guī)的監(jiān)測器主要針對煙霧、熱和輻射3類對象，多數采用的都是針對顆粒、溫度、空氣濕度、透明度、煙霧等物理采樣的點式傳感器，也有傳統的紫外或紅外光譜測量儀。但這些近距傳感器和光電設備在操作難度、可靠性、檢測效率、場地適用性、成本和通用性等方面都存在局限性。而通過計算機視覺來檢測火焰，通常通過火焰的靜態(tài)特征研究，即指對含有火焰的圖像進行色彩、輪廓、能量、紋理等角度的特征提取。以上靜態(tài)特征的檢測算法均存在一定的缺陷：①如基于顏色的檢測特征，模型簡單但虛警率很高，且容易受成像設備的局限而產生漏檢及誤檢；②火焰的非剛性特征極大制約其輪廓提取，無法做到通用環(huán)境下的高檢測率；③光學設備的精度和火源距離的限制使得火焰本身的精細紋理提取困難，且紋理特征計算量大，應用性受到局限。

楊駿等人針對視頻火焰技術提出了視頻火焰檢測的幾個主要方面，包括其相對傳統檢測器的優(yōu)勢、火焰特性的分類與描述、代表性的檢測方法、典型的系統方案及其發(fā)展趨勢等；探討了其中涉及的系統通用性、實時性、智能性、評測標準和多傳感器融合等關鍵問題；還介紹了一種新的基于層次注意的視頻火焰檢測模型及多源感知信息的顯著性融合框架，嘗試借助顯著性特征描述和低冗余計算來提升煙火監(jiān)測系統的效率和主動性。

現有技術文獻

楊俊,王潤生.基于計算機視覺的視頻火焰檢測技術[J].中國圖象圖形學報.2008,13(7):1222-1234.

技術實現要素：

本發(fā)明的目的在于克服現有技術的缺點與不足，提出了一種基于機器人自主滅火的火焰視頻檢測算法。該算法首先結合多種傳感器來進行實現初步判斷，然后綜合火焰的動態(tài)特征等，使用混合高斯模型分割出運動目標區(qū)域，結合火焰的靜態(tài)特征提取運動區(qū)域的候選火焰目標，并進行分割。最后結合雙目攝像頭來實現跟蹤攝像機火焰運動在三維空間的位置和方向，提取其深度信息，提供機器人自主滅火的路徑等信息，實現對火焰比較精準的檢測。

附圖說明

圖1為火焰檢測方法流程框圖；

圖2為RGB顏色空間；

圖3為火焰尖角結構元素；

圖4為零散非火焰像素點示例圖(a)-(c)均為火焰像素點,(d)-(f)均不是火焰像素點；

圖5為火焰檢測效果圖；

圖6為混合高斯模型提取火焰運動區(qū)域圖；

圖7為立體視覺圖；

圖8為打火機例子1；

圖9為打火機例子2。

具體實施方式

以下參考附圖來說明本發(fā)明的具體實施方式。

A.首先說明本發(fā)明的第1實施方式。

圖1示出了自主滅火機器人火焰檢測方法流程框圖。主要包括傳感器檢測、動態(tài)、靜態(tài)等特征的視覺檢測、提取深度信息、提供路徑等六個方面。自主滅火機器人在滅火過程中用到的硬件設備，主要是一些傳感器和雙目攝像頭的結合實現對火焰的檢測。傳感器包括DS18B20TO-92溫度傳感器、煙霧傳感器MQ-2、濱松火焰?zhèn)鞲衅鱎2868，雙目攝像頭采用ZED相機。

B.接下來說明本發(fā)明的第2實施方式。

圖2示出了RGB顏色空間，顏色空間作為特定事物的色彩在特定空間內的表達形式?；鹧婵梢暬憩F的眾多特征中，顏色特征最直接、最明顯，因此火焰也有其視覺上的顏色具體化描述。檢測視頻場景中出現的火焰區(qū)域，必須將其顏色在特定空間內具體參數化。通過對大量火焰像素和火焰塊區(qū)域進行采樣分析，可以建立通用性非可控火焰模型。同時利用這些火焰顏色檢測模型，可以檢測出滿足疑似火焰顏色區(qū)域，為后續(xù)檢測提供精確定位的疑似火焰區(qū)域，提高檢測效率。

RGB顏色空間利用了物理學中的三原色疊加從而組成產生各種不同顏色的原理。在RGB顏色空間中，3個軸分別是為R、G、B三個分量。則任意色光F都可以用R、G、B三色不同分量的相加混合而成：

F＝r[R]+g[G]+b[B]

任一色彩F是這個立方體坐標中的一點，調整三色系數r、g、b中的任一系數都會改變F的坐標值，也即改變了F的色值。也即是說，任何一種顏色都可以用三種基本顏色按照不同的比例混合得到。其中，各個分量的數值越小，亮度越低。數值越大，亮度越高；如：原點對應為黑色(0，0，0)，離原點最遠的定點為白色(255，255，255)。且由黑到白的灰度分布在原點到最遠點間的連線上，每一種顏色獨有其唯一的RGB指與它對應。RGB色彩空間采用物理三基色表示，是根據人眼識別的顏色定義出的空間。在分析大量的火焰像素區(qū)域后，可以得到了紅綠藍三通道間的規(guī)律，即紅色通道值不僅比綠色通道值高，而且遠比藍色通道值高，具體條件表示如下：

條件1：R＞R_T

條件2：R≥G＞B

條件3：S≥(255-R)*S_T/R_T

其中R_T是紅色通道的值，S是飽和度值，且當R取得R_T時，S_T即是該像素的飽和度值。當滿足上述條件時，認為該像素點是火焰像素。

圖3示出了火焰尖角結構元素?；鹧媸欠莿傂晕矬w，其形態(tài)持續(xù)變化取決于燃料或空氣流動等周圍因素，故常規(guī)的形狀分析方法很難有效描述火焰的形狀及其演化。觀察發(fā)現，火焰輪廓的時變特性主要集中于外焰形態(tài)變化，而外焰中最為顯著的特征就是火焰尖角，尋找外焰輪廓中含有尖角結構形態(tài)元素的數量(見圖5)是一種很實用的方法，在檢測到火焰的時候，同時對火焰特有的尖角特征進行檢測，針對火焰的尖角具有一定的角度，這樣可以檢測出是否有尖角，從而判斷一些區(qū)域是否是火焰區(qū)域。

圖4為零散非火焰像素點示例圖，其中(a)-(c)均為火焰像素點,(d)-(f)均不是火焰像素點。攝像頭檢測到的火焰像素點均以不定形狀塊的形式存在，所以一些受光照或噪聲點等影響的零散像素點不能當成火焰點，必須將其濾除。此時，可以將圖像分成3*3的小塊，在每一塊中，中間的像素點必須檢測為火焰點，同時其周邊的8個相鄰域像素點也必須超過一定的數量才能算是火焰像素點。

對于這樣一個3*3塊，分別編號為1-4、X(中心點)、5-8。當檢測到X位置時，必須同時滿足兩個條件：當X為火焰像素點；且當標記了1-8中8個鄰域中必須有至少兩個是火焰像素點，這時才能確定X是火焰像素點。

火焰在燃燒過程中會逐漸變大，而不僅僅是一個零散點。只有類似于LED指示燈等在圖像很遠時拍攝的視頻圖像才會是一個小小的點。如圖中火焰點存在均是連通成塊的，因此通過對前面檢測到的疑似火焰部分檢測后，再對每個像素點進行篩選即可濾除那些零散非火焰像素點，這樣就保留了不定形狀和面積的成塊的火焰部分。

在檢測火焰輪廓的同時，可以檢測火焰在視頻窗口中的面積百分比，對于大小的火焰大小的面積，在檢測火焰大小的時候，設置檢測到火焰的面積的值，如果在視頻窗口中只是一小部分的話，就忽略不計。為了更方便的分別對火焰候選區(qū)域進行特征判別，首先我們得對處理后的結果中的各個分離部分進行標記。這里采用了8連通鄰域(像素的鄰域即像素周圍的八個點)來確定某一像素所屬的標簽。假設圖像的總面積為area，其各個候選區(qū)域的面積area(i)，(其中i＝1,2,…N)時，當其面積比例N小于(在這里設置為0.005)時，我們便可以認為此塊區(qū)域并非是火焰位置，很有可能是一些較小的圖像噪聲等等，這樣就可以根據面積比例來刪除一些虛假區(qū)域，可以實現較好的圖像效果處理。

經過上述的原理檢測后，使用小型的火焰進行了測試，火焰靜態(tài)特征檢測效果如圖5所示。

C.接下來說明本發(fā)明的第3實施方式。

混合高斯模型算法的基本思想是：對圖像中每一個像素點的顏色值建立混合高斯模型，通過一段時間的采樣觀測，根據各個高斯分布的持續(xù)性和變動性的差異，判斷哪一個分布更加接近于真實背景，該高斯分布就作為背景模型。如果圖像中像素點的顏色值不符合該高斯分布，則被認為是目標點。即利用當前幀和視頻序列中的當前背景幀進行加權平均來更新背景，混合高斯模型使用K(基本為3到5個)個高斯模型來表征圖像中各個像素點的特征，在新一幀圖像獲得后更新混合高斯模型，用當前圖像中的每個像素點與混合高斯模型匹配，如果成功則判定該點為背景點，否則為前景點。通觀整個高斯模型，主要是有方差和均值兩個參數決定，對均值和方差的學習，采取不同的學習機制，將直接影響到模型的穩(wěn)定性、精確性和收斂性。由于我們是對運動目標的背景提取建模，因此需要對高斯模型中方差和均值兩個參數實時更新。具體計算方法如下。

設圖像中位置為(x₀,y₀)的像素點在一段時間內的觀測值為：

{X₁,…,X_t}＝{I(x₀,y₀,i):1≤i≤t}

利用多個高斯分布對上式中的觀測值進行建模，可以得到當前像素點的顏色值概率為：

其中，K為高斯分布的個數(通常取3-5)；ω_i,t為權重的估計值，即t時刻該像素點屬于第i個高斯分布的可能性的大小；μ_i,t為t時刻第i個高斯分布的均值；Σ_i,t為第i個高斯分布的協方差矩陣；η為高斯分布概率密度函數：

為了計算簡便，假定像素點顏色值的三個分量(R,G,B)相互獨立，并且具有相同的方差，則式中的協方差矩陣可以寫為：

這樣，就建立起了被觀察像素點(x₀,y₀)顏色值的高斯混合模型。對于輸入圖像中的像素點(x0,y0,t)，將它的顏色值與已存在的K個高斯分布相比較，判斷其是否和已經存在的高斯分布相匹配，如果匹配，則該像素點為背景點。如果沒有找到匹配的高斯分布，則將輸入像素的顏色值作為均值，建立一個新的高斯分布，代替之前K個高斯分布中概率最小、權重最低的分布，該分布具有較大的方差和較低的權重，從而重新建立背景模型。

如果存在匹配的高斯分布，則背景模型中各個參數進行如下更新：

ω_k,t＝(1-α)ω_k,t-1+α(M_k,t)

μ_t＝(1-ρ)μ_t-1+ρX_t

其中，α是模型學習速率，1/α表征了模型參數變化的速率；對于匹配的高斯分布M_k,t為1，其余不匹配的高斯分布，M_k,t為0，ρ為參數學習速率，定義為：

ρ＝αη(X_t|μ_k.σ_k)

這樣，就實現了高斯混合模型的更新。高斯混合模型的方法，能夠充分表征場景的多模態(tài)特性；可以很快適應背景的變化，即使是當場景中有光照變化、小幅度重復運動(如戶外場景中樹枝的輕微擾動)時，也能檢測出運動目標；如果場景中有目標進入，長時間停留而成為背景，高斯混合模型方法同樣可以及時地更新背景模型。下面針對一個拍攝的火焰視頻進行試驗，取其中的25-32幀，高斯混合模型的實驗結果如圖6所示。

D.接下來說明本發(fā)明的第4實施方式。

雙目成像原理，提取深度信息：

雙目立體視覺三維測量是基于視差原理，圖7所示為簡單的平視雙目立體成像原理圖，兩攝像機的投影中心的連線的距離，即基線距為b。攝像機坐標系的原點在攝像機鏡頭的光心處，坐標系如圖7所示。事實上攝像機的成像平面在鏡頭的光心后，圖7中將左右成像平面繪制在鏡頭的光心前f處，這個虛擬的圖像平面坐標系O₁uv的u軸和v軸與和攝像機坐標系的x軸和y軸方向一致，這樣可以簡化計算過程。左右圖像坐標系的原點在攝像機光軸與平面的交點O1和O2?？臻g中某點P在左圖像和右圖像中相應的坐標分別為P1(u1,v1)和P2(u2,v2)。假定兩攝像機的圖像在同一個平面上，則點P圖像坐標的Y坐標相同，即v1＝v2。由三角幾何關系得到:

上式中(x^c,y^c,z^c)為點P在左攝像機坐標系中的坐標，b為基線距，f為兩個攝像機的焦距，(u₁,v₁)和(u₂,v₂)分別為點P在左圖像和右圖像中的坐標。視差定義為某一點在兩幅圖像中相應點的位置差:

由此可計算出空間中某點P在左攝像機坐標系中的坐標為:

因此，只要能夠找到空間中某點在左右兩個攝像機像面上的相應點，并且通過攝像機標定獲得攝像機的內外參數，就可以確定這個點的三維坐標。

E.接下來說明本發(fā)明的第5實施方式。

結合傳感器的特性和雙目攝像頭，下面通過使用打火機來進行實驗。通過雙目攝像頭，我們可以分別對左目的攝像頭和右目地攝像頭進行檢測，檢測結果用框標記。另外我們通過左目的攝像頭和右目地攝像頭得到一個深度圖，獲取場景中火焰相對于攝像頭的距離，為下一步自主機器人滅火路徑做好準備，情況如圖8和圖9所示。

本發(fā)明相對于現有技術具有如下的優(yōu)點及效果：應用到自主滅火機器人視頻火焰檢測中，對于最好的技術來說，很難保證對火焰的準確度達到非常精確或者很難通過單目攝像頭來精確實現對視頻流火焰的跟蹤，而本發(fā)明在原有的技術基礎上，首先在機器人預裝雙目攝像頭ZED相機、日本濱松火焰?zhèn)鞲衅鱎9533、煙霧傳感器和溫度傳感器等設備，傳感器結合雙目攝像頭來實現對火焰在視頻流的實時運動跟蹤，基于人體立體視覺，利用雙目視覺和高分辨率的傳感器來實現對火焰檢測，提取其深度信息，為下一步機器人自主滅火做好準備。

在不脫離本發(fā)明精神或必要特性的情況下，可以其它特定形式來體現本發(fā)明。應將所述具體實施例各方面僅視為解說性而非限制性。因此，本發(fā)明的范疇如隨附申請專利范圍所示而非如前述說明所示。所有落在申請專利范圍的等效意義及范圍內的變更應視為落在申請專利范圍的范疇內。