專利名稱：基于信息融合的夜間視覺監(jiān)控方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識別領(lǐng)域，涉及圖像處理和計算機視覺等技術(shù)，特 別是涉及夜間視覺監(jiān)控的相關(guān)處理。
背景技術(shù)：
10 現(xiàn)代社會是一個人口密集，行為高度復(fù)雜的社會。攝像機作為人類
視覺的延伸，在人類社會的方方面面起著非常重要的作用。如今，面臨 越來越多的突發(fā)事件，傳統(tǒng)的監(jiān)控系統(tǒng)即基于人力的監(jiān)控系統(tǒng)難以分析 和理解海量的視頻數(shù)據(jù)，越發(fā)顯示了監(jiān)控的難度及其重要性。智能視覺 監(jiān)控系統(tǒng)區(qū)別于傳統(tǒng)的監(jiān)控系統(tǒng)在于其智能性，用計算機代替人，協(xié)助
15 人來進行視頻數(shù)據(jù)的分析和理解工作，并且盡可能的減少人的干預(yù)。智 能視覺監(jiān)控系統(tǒng)主要采用計算機視覺的方法，對視頻序列進行自動分
析c
目前，大部分相關(guān)研究集中在白天理想情況下，用計算機來完成對 感興趣目標的檢測、跟蹤及行為分析等任務(wù)。然而實際應(yīng)用往往要求對
20目標場景進行全天候監(jiān)控。全天候的智能視覺監(jiān)控包括在霧天，夜間， 白天，雨天等情況下對感興趣場景完成監(jiān)控任務(wù)。尤其是夜間，作為犯 罪活動高發(fā)時段，如何在光線較暗，照明度較低的環(huán)境下有效的完成監(jiān) 控任務(wù)是一個關(guān)鍵問題。
現(xiàn)有的夜間視覺監(jiān)控技術(shù)主要利用紅外攝像機，紅外攝像技術(shù)分為
25 被動紅外攝像技術(shù)和主動紅外攝像技術(shù)。紅外攝像機設(shè)備造價高，很難 在實際應(yīng)用中廣泛使用。目前，在各種監(jiān)控應(yīng)用中，CCD攝像機被廣泛 使用。由于夜間視覺監(jiān)控低對比度、低信噪比、低信息量等特點，基于 白天理想情況下的監(jiān)控研究或產(chǎn)品不能直接應(yīng)用于夜間視覺監(jiān)控，無法 有效的對目標場景進行監(jiān)控。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)不能直接應(yīng)用于夜間視覺監(jiān)控，無法有效的對目 標場景進行監(jiān)控的問題，本發(fā)明針對夜間視覺監(jiān)控低對比度、低信噪比、 低信息量等特點，提出一種基于信息融合的夜間視覺監(jiān)控方法。從實際
5 應(yīng)用出發(fā)，本發(fā)明采用常規(guī)CCD攝像機對夜間場景進行監(jiān)控?；谌?類能夠通過記憶、經(jīng)驗理解場景的原型，具體就是指，對于某個感興趣 場景，攝像機是固定的，白天的背景圖像和晚上的圖像序列包含一些相 同的信息，如樓房，街道，樹木等，而這些信息由于低照度，在晚上的 圖像序列中幾乎看不到，所以可以利用白天的高質(zhì)量背景來替換晚上相 10 應(yīng)的部分。本發(fā)明的目的是通過融合晝間的場景信息來提高夜間圖像序 列質(zhì)量，使得感興趣目標相對背景明確，而且色彩自然真實，所得到的 結(jié)果圖像對場景有更全面、清晰的描述，為夜間的行為分析提供了基礎(chǔ)。
為了實現(xiàn)上述目的，本發(fā)明提供的基于信息融合的夜間視覺監(jiān)控方 法，包括圖像增強、夜間運動目標檢測、光照區(qū)域的提取、晝間背景分 15害IJ、圖像融合過程，步驟如下
步驟S1:對攝像頭采集到的夜間圖像序列進行圖像增強，用于得到 對比度較高的圖像序列；
步驟S2:對增強后的圖像序列進行運動目標檢測，用于得到夜間運 動目標；
20 步驟S3:提取夜間圖像序列的光照區(qū)域；
步驟S4:對晝間同一場景下的圖像序列進行背景分割，得到清晰的 晝間背景圖像；
步驟S5:將夜間感興趣目標即夜間運動目標、夜間圖像序列的光照 區(qū)域和晝間背景圖像進行圖像融合。 25 根據(jù)本發(fā)明的實施例，所述圖像增強包括如下步驟
步驟Sll:從攝像頭采集到的夜間圖像序列中提取每一幀圖像； 步驟S12:將每一幀圖像中所有像素的灰度值按照一個灰度變換函 數(shù)進行變換，用于得到對比度較高的圖像序列。
根據(jù)本發(fā)明的實施例，所述運動目標檢測包括如下步驟 30 步驟S21:對步驟S1中得到的增強后的圖像序列構(gòu)建背景模型；步驟S22:從增強后的圖像序列中將變化區(qū)域從背景模型中提取出 來，用于得到夜間運動目標；
步驟S23:將得到的夜間運動目標進行形態(tài)學(xué)操作和連通域分析， 得到分割準確的夜間運動目標。 5 根據(jù)本發(fā)明的實施例，所述光照區(qū)域的提取包括如下步驟
將夜間圖像序列進行高斯濾波，對圖像的低通濾波結(jié)果視為光照區(qū)域。
根據(jù)本發(fā)明的實施例，所述背景分割包括如下步驟 對晝間同一場景下的圖像序列構(gòu)建背景模型，得到清晰的背景圖
10 像。
根據(jù)本發(fā)明的實施例，所述圖像融合包括如下步驟 步驟S51:根據(jù)夜間運動目標信息和夜間光照區(qū)域信息獲得圖像融 合的加權(quán)系數(shù)；
步驟S52:將夜間感興趣目標即夜間運動目標、夜間光照區(qū)域和晝 15間背景圖像進行加權(quán)融合，得到對場景更全面、清晰的描述。
本發(fā)明基于信息融合的夜間視覺監(jiān)控方法對于夜間監(jiān)控場景的理 解起著重要的作用，是白天視頻監(jiān)控的重要補充。目前，夜間行為的檢 測和分析面臨著如下幾個挑戰(zhàn)
(1) 低對比度。由于在光線較暗的區(qū)域，運動物體的顏色和背景 20 十分類似，很難有效的將運動物體提取出來。
(2) 低信噪比。夜間拍攝的視頻通常噪音很強，這是由于CCD攝 像機感光度高造成的。感光度(ISO)的數(shù)值越高，畫面的質(zhì)量就會越 粗糙，感光度的數(shù)值越低，畫面就會越細膩。但是，感光度意味著對光 的敏感度高，所以，在弱光拍攝的時候，我們常常要選擇高感光度。如
25 果攝像機本身的降噪系統(tǒng)不好的話，就會造成畫面上出現(xiàn)噪音的情況。
(3) 有限的信息量。在黑暗的區(qū)域，由于缺乏上下文等信息，可以 利用的信息量有限，分析人的行為特征變得更為困難。
上下文信息在不同的應(yīng)用中有不同的含義，在本發(fā)明中，上下文信 息是指位置，背景等信息。需要指出的是，上下文信息或環(huán)境信息，對 30于人類對場景的理解發(fā)揮著重要的作用。在高層的行為分析中，監(jiān)控的目標是捕捉具有異常行為的感興趣目標。然而感興趣目標在不同的上下 文中，所具有的行為也不一樣。特別是在夜間場景中，由于光線較暗， 這些上下文信息很難獲取。本發(fā)明提高了夜間圖像序列的對比度，信噪 比，與此同時，處理后的圖像對場景有更全面、清晰的描述，為夜間的 5 行為分析提供了基礎(chǔ)。


圖l示出本發(fā)明基于信息融合的夜間視覺監(jiān)控方法流程圖。
圖2示出與本發(fā)明圖1對應(yīng)的實施流程圖。 10 圖3示出圖像增強變換曲線。
圖4示出夜間圖像增強前后對比。
圖5示出運動目標檢測流程圖。
圖6示出運動目標檢測的結(jié)果示例。
圖7示出夜間圖像融合的加權(quán)系數(shù)示意圖。 15 圖8示出與晝間信息融合后結(jié)果示意圖。
圖9示出多種場景下與晝間信息融合后結(jié)果示意圖。
具體實施例方式
下面結(jié)合附圖詳細說明本發(fā)明技術(shù)方案中所涉及的各個細節(jié)問題。 20應(yīng)指出的是，所描述的實施例僅旨在便于對本發(fā)明的理解，而對其不起 任何限定作用。
本發(fā)明的方法需要的硬件最低配置為P4 3.0GCPU， 512M內(nèi)存的 計算機；最低分辨率為320x240的監(jiān)控攝像頭或DV攝像機；幀率為25 幀每秒的視頻采集卡。在此配置水平的硬件上，采用0++語言編程實現(xiàn) 25本方法，可以達到實時處理。
圖1給出了基于信息融合的夜間視覺監(jiān)控方法流程圖。首先對攝像 頭采集到的夜間圖像序列進行圖像增強，然后在增強后的圖像序列上進 行運動目標檢測，得到夜間運動目標。同時提取夜間圖像序列的光照區(qū) 域。最后通過融合夜間感興趣目標(夜間運動目標，夜間圖像序列的光 30照區(qū)域)和晝間背景圖像，來得到最終結(jié)果圖像。圖3給出了圖像增強變換曲線。圖像增強的目的是使處理后的圖像 對于某種應(yīng)用來說，比原始圖像更適用。圖像增強按照應(yīng)用的需要，突 出了圖像的某些信息，同時削弱某些不需要的信息。由于夜間實際拍攝 到的圖像其灰度變化范圍往往小于圖像顯示系統(tǒng)的最大容許灰度變化 5范圍，整幅圖像偏暗，亮度范圍不足或非線性等因素造成的對比度不足， 視覺效果不理想。因此，增大圖像的灰度變化范圍，豐富圖像的灰度層 次，改善視覺感知效果，增強圖像高頻信息的同時有效的抑制圖像背景 噪聲，便成為圖像增強首要解決的問題。本發(fā)明采用圖像灰度變換方法 對夜間的圖像序列進行增強。將每一幀圖像中所有像素的灰度值按照一 10 個灰度變換函數(shù)進行變換
<formula>formula see original document page 8</formula>15 其中x表示每一幀夜間圖像的輸入象素值，^為調(diào)整參數(shù)，^越小，
曲線越平坦，反之則上凸越大。^為輸出像素值。原夜間圖像序列的亮 度范圍較小，經(jīng)映射后圖像亮度范圍展寬了，從而提高了夜間圖像序列 的對比度，豐富了圖像的灰度層次，達到了圖像增強的目的。
圖3中，其中A表示本發(fā)明的模型變換曲線，B表示Gamma變換曲
20線，C表示原輸入灰度級，本發(fā)明的模型變換曲線與Gamma變換效果類 似，但當圖像較暗時，它的對比度拉伸作用不如Gamma變換明顯，這樣 在暗區(qū)域不會損失圖像細節(jié)。本發(fā)明的模型變換曲線符合人的視覺模 型。
圖4給出了夜間圖像增強前后對比。圖34(a)為原夜間圖像，圖4(b) 25為增強后的夜間圖像。對比圖4(a)和圖4(b)可以看出，本發(fā)明的圖像增 強技術(shù)增大了原夜間圖像的灰度變化范圍，豐富了圖像的灰度層次，增 強了圖像高頻信息，改善了視覺感知效果，使得增強后的圖像更有利于 視覺感知。
圖5給出了運動目標檢測流程圖。在監(jiān)控中，運動物體是監(jiān)控的重 30點，運動目標檢測的目的是從圖像序列中將變化區(qū)域從背景圖像中提取出來。混合高斯模型法對背景的自適應(yīng)性高，并對亮度的變化、背景內(nèi) 物體的細微移動、慢速目標等具有良好的適應(yīng)性，在本發(fā)明中，采用混 合高斯模型方法對增強后的視頻序列進行背景建模。由于夜間視頻序列 信噪比低，噪音較強，混合高斯模型方法所得到的前景圖像中包含一些 5 噪音點和空洞。本發(fā)明采用中值濾波來去除噪聲，另外采用形態(tài)學(xué)的腐 蝕膨脹操作來去除前景圖像中的空洞，最后通過8連通域分析得到每個 運動物體的輪廓分割結(jié)果。
圖6給出了運動目標檢測的結(jié)果示例。圖6(a)為原始夜間圖像序列， 圖6(b)為增強后的圖像序列，圖6(c)為直接對原始夜間圖像序列運動目 10 標檢測的結(jié)果示例，圖6(d)為對增強后的夜間圖像序列運動目標檢測的 結(jié)果示例。對比圖6(c)和圖6(d)可以看出，圖6(c)中的運動目標檢測結(jié) 果包含較多的空洞，并且前景圖像中包含一些噪音點，對增強后的夜間 圖像序列進行運動目標檢測(圖6(d))正確并且清晰的提取了運動目標 的輪廓特征。
15 圖7給出了夜間圖像融合的加權(quán)系數(shù)示意圖。在本發(fā)明中，夜間運
動目標和夜間光照區(qū)域被視為夜間圖像序列中的重要信息，圖6(d)中示 出了夜間目標信息。由Retinex理論可以得知， 一幅圖像7"力可以由它 的光照分量丄"力及反射分量^"力的乘積來表示，艮口
根據(jù)Retinex理論，光線Z變化緩慢，故可以認為是低頻成分，因此， 對圖像/的低通濾波結(jié)果可以作為光照分量￡的估計，艮P:
其中F是一個5*5的高斯濾波器，*是巻積運算。對原夜間圖像序列 25進行低通濾波即可得到夜間光照區(qū)域。
本發(fā)明構(gòu)造夜間圖像融合的加權(quán)系數(shù)為夜間運動目標檢測的結(jié)果 和夜間光照區(qū)域之和
其中M"力是如圖6(d)所示對增強后的夜間視頻序列混合高斯模型運動檢測的結(jié)果，為0， l二值圖像。光照分量Z(x,力按下式歸一化到[O， l]之間
<formula>formula see original document page 10</formula>本發(fā)明將運動信息的權(quán)值設(shè)為1來突出運動物體。 5 圖8所示為與晝間背景圖像融合后結(jié)果示意圖。圖8(a)為從晝間同一
場景下的圖像序列中所學(xué)習(xí)到的背景圖像，圖8(b)為原始夜間圖像序列， 圖8(c)為圖像融合后的結(jié)果圖像。為了將晝間的高質(zhì)量背景圖像和夜間 圖像序列融合起來，我們采用簡單的加權(quán)的方法
io其中^表示夜間每一幀圖像，"表示晝間背景圖像，^表示夜間圖 像融合的加權(quán)系數(shù)，工表示融合的結(jié)果。
為了驗證方法的有效性，在多種場景下對算法的性能進行了測試，
如圖9所示。實驗結(jié)果表明，融合后的圖像使得感興趣目標相對背景明 確，而且色彩自然真實，并達到了相應(yīng)的性能指標。在夜間的運動目標
15檢測中，混合高斯模型正確并且清晰的提取了運動目標的輪廓特征。混 合高斯模型對背景的自適應(yīng)性高，對光照變化和噪音不敏感，是一種魯 棒的運動目標檢測方法?；赗etinex理論提取光照區(qū)域的方法簡單可 行，真實的反映了夜間圖像序列的感興趣的區(qū)域。最后所得到的融合結(jié) 果銜接自然，增強了視覺效果，實時性高。總的說來，該方法與相關(guān)工
20 作相比有如下幾個優(yōu)點
(1) 簡單有效，基于一些基本的圖像處理操作，實驗結(jié)果證實了 其有效性。
(2) 效率高，可以實時的運行。
(3) 當場景更換時，無需經(jīng)驗的修改閾值，通用性強。
25 以上所述，僅為本發(fā)明中的具體實施方式
，但本發(fā)明的保護范圍并
不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理 解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)，因此，本發(fā) 明的保護范圍應(yīng)該以權(quán)利要求書的保護范圍為準。
權(quán)利要求
1.一種基于信息融合的夜間視覺監(jiān)控方法，其特征在于步驟S1對攝像頭采集到的夜間圖像序列進行圖像增強，用于得到對比度較高的圖像序列；步驟S2對增強后的圖像序列進行運動目標檢測，用于得到夜間運動目標；步驟S3提取夜間圖像序列的光照區(qū)域；步驟S4對晝間同一場景下的圖像序列進行背景分割，得到清晰的晝間背景圖像；步驟S5將夜間感興趣目標即夜間運動目標、夜間圖像序列的光照區(qū)域和晝間背景圖像進行圖像融合。
2.根據(jù)權(quán)利要求1所述的基于信息融合的夜間視覺監(jiān)控方法，其 特征在于所述圖像增強包括如下步驟 15 步驟S11:從攝像頭采集到的夜間圖像序列中提取每一幀圖像；步驟S12:將每一幀圖像中所有像素的灰度值按照一個灰度變換函 數(shù)進行變換，用于得到對比度較高的圖像序列。
3.根據(jù)權(quán)利要求1所述的基于信息融合的夜間視覺監(jiān)控方法，其特 征在于所述運動目標檢測包括如下步驟 20 步驟S21:對步驟Sl中得到的增強后的圖像序列構(gòu)建背景模型；步驟S22:從增強后的圖像序列中將變化區(qū)域從背景模型中提取出 來，用于得到夜間運動目標；步驟S23:將得到的夜間運動目標進行形態(tài)學(xué)操作和連通域分析， 得到分割準確的夜間運動目標。
4.根據(jù)權(quán)利要求1所述的基于信息融合的夜間視覺監(jiān)控方法，其特征在于所述光照區(qū)域的提取包括如下步驟將夜間圖像序列進行高斯濾波，對圖像的低通濾波結(jié)果視為光照區(qū)域。
5.根據(jù)權(quán)利要求1所述的基于信息融合的夜間視覺監(jiān)控方法，其特 30 征在于所述背景分割包括如下步驟對晝間同一場景下的圖像序列構(gòu)建背景模型，得到清晰的背景圖像。
6.根據(jù)權(quán)利要求1所述的基于信息融合的夜間視覺監(jiān)控方法，其特 征在于所述圖像融合包括如下步驟 5 步驟S51:根據(jù)夜間運動目標信息和夜間光照區(qū)域信息獲得圖像融合的加權(quán)系數(shù)；步驟S52:將夜間感興趣目標即夜間運動目標、夜間光照區(qū)域和晝 間背景圖像進行加權(quán)融合，得到對場景更全面、清晰的描述。
全文摘要
本發(fā)明針對夜間視覺監(jiān)控低對比度、低信噪比、低信息量等特點，公開一種基于信息融合的夜間視覺監(jiān)控方法。首先它對夜間采集到的圖像序列進行圖像增強，然后對增強后的圖像序列進行運動目標檢測。接著提取夜間圖像序列的光照區(qū)域，最后將夜間的感興趣目標(夜間運動目標，夜間光照區(qū)域)和晝間同一場景下的背景圖像進行圖像融合。基于信息融合的夜間視覺監(jiān)控方法對于提高下一代智能監(jiān)控系統(tǒng)對夜間監(jiān)控場景的理解能力具有很重要的意義。用于夜間智能視覺監(jiān)控，為夜間監(jiān)控提供一種可行方案，使得監(jiān)控系統(tǒng)能真正理解在什么場景下，正在發(fā)生什么；用于夜間運動目標檢測，提高運動目標檢測質(zhì)量；用于人機交互，幫助人類對監(jiān)控場景有更全面清晰的描述。
文檔編號H04N7/18GK101409825SQ200710175669
公開日2009年4月15日 申請日期2007年10月10日 優(yōu)先權(quán)日2007年10月10日
發(fā)明者蔡瑩皓, 譚鐵牛, 黃凱奇 申請人:中國科學(xué)院自動化研究所