一種基于深度圖的背景建模和前景提取的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于深度圖的圖像背景建 模和前景提取的方法。
【背景技術(shù)】
[0002] 目前，背景建模以及前景提取針對的圖像源主要為色彩圖，本身針對色彩圖有一 套色彩圖的背景建模及前景提取的方法，主要有高斯背景建模和碼書背景建模等?，F(xiàn)有對 色彩圖進行建模存在的主要問題：一是單純通過顏色的變化來區(qū)分背景與前景信息，不能 體現(xiàn)出圖像中各個目標(biāo)之間的方位關(guān)系；二是色彩圖受光照以及外部環(huán)境的影響大，前景 提取的結(jié)果受其影響較大，穩(wěn)定性差；三是色彩圖單個像素點數(shù)據(jù)量大，建模過程中運算效 率較低。
[0003] Kyungnam Kim Thanarat H. Chalidabhongse David Harwood Larry Davis Real-time foreground - background segmentation using codebook model-2005 -Elsevier-文中提出的方案，雖然具有可以在彩色視頻流中建立背景模型，并且可以保證 算法實時的提取前景目標(biāo)的優(yōu)點，但還存在明顯不足，例如在色彩圖中提取前景物體很容 易受到光照和紋理的影響，如在光線較暗的房間，則基于色彩圖的背景建模和前景提取效 果較差。同時，使用該論文的背景建模方式需要對場景有一個初始建模過程，之后才可以進 行較為準(zhǔn)確的前景提取，在實際用途中影響用戶體驗。
[0004] 中國專利申請201110132428. 8公開了 "三維場景的分析"，該方法是用兩幅深度 圖作為背景模型。雖然該方法可有效解決基于深度圖的目標(biāo)提取，但還存在以下明顯不足， 一是該方法無法解決更加復(fù)雜背景模型情況，比如背景為一個有規(guī)律運動的背景，例如電 風(fēng)扇的旋轉(zhuǎn)，也是作為一個背景模型存在；二是沒有實時的更新背景模型，基于的是一種靜 態(tài)背景的假設(shè)，不能處理更加復(fù)雜背景變化的情況。
[0005] 中國專利申請201310301859. 1公開了 "一種基于輪廓差異及區(qū)塊主方向直方圖 的前景與特征提取方法"，該方法是用原視頻與背景建模得到的背景圖像兩者的輪廓差異 來定位運動物體，保留運動物體輪廓，并利用去除背景的梯度信息和區(qū)塊主梯度方向結(jié)合 提取基于區(qū)塊主方向的梯度直方圖特征，彌補其過分依賴局部細(xì)節(jié)特征的缺點。雖然該方 法可有效解決復(fù)雜背景下的目標(biāo)提取問題，使得前景提取和特征進行分類準(zhǔn)確率可達到 94. 04%，但還存在以下明顯不足，一是本專利是基于一個已經(jīng)建立好的背景模型，無法處 理在背景模型一開始就無法提供的情況；二是計算量較大，需要計算梯度特征并使用分類 器進行識別。
[0006] 綜上所述，如何克服現(xiàn)有技術(shù)所存在的不足已成為當(dāng)今計算機圖像處理技術(shù)領(lǐng)域 中亟待解決的重大難題之一。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是為克服現(xiàn)有技術(shù)的不足而提供一種基于深度圖的圖像背景建模 和前景提取的方法，本發(fā)明具有公知的使用色彩圖建模方法所無法比擬的穩(wěn)定性、高效率 以及處理位置關(guān)系的優(yōu)越性，且不需要對場景進行初始建模，簡化了實施步驟，整體效能大 幅度提尚。
[0008] 根據(jù)本發(fā)明提出的一種基于深度圖的圖像背景建模和前景提取的方法，其特征在 于，包括步驟一至步驟七，根據(jù)步驟七是否已滿足最終結(jié)果的要求，如果未滿足，則可以該 結(jié)果為輸入，繼續(xù)重復(fù)步驟四至步驟七，以其不斷循環(huán)的方式來達到最終結(jié)果，具體步驟如 下：
[0009] 步驟一，獲取表征物體距離攝像頭距離的深度圖像：所述深度圖像為不限定分辨 率的數(shù)字圖像，其中深度圖像的每個像素點的深度值都是當(dāng)前場景中物體垂直于攝像頭主 光軸的直線距離；
[0010] 步驟二，初始化實時深度背景模型：使用整個深度圖像中所有像素點初始化以碼 組為單元的實時深度背景模型，所述碼組是指統(tǒng)計像素點的背景信息，每個像素點具有一 個碼組，每個碼組包含多個碼字；所述碼字的數(shù)量的最大值為預(yù)先設(shè)定的確定值，該碼字?jǐn)?shù) 量的最大值由深度圖本身的成像穩(wěn)定性決定，成像穩(wěn)定性高，則碼字?jǐn)?shù)量的最大值?。?[0011] 步驟三，更新實時深度背景模型：通過目標(biāo)識別生成目標(biāo)掩模圖，并根據(jù)目標(biāo)掩模 圖更新實時深度背景模型中每個像素點所對應(yīng)的碼組信息；所述目標(biāo)掩模圖包括表征圖像 中每個目標(biāo)的所包含的像素點的目標(biāo)區(qū)域，以及非目標(biāo)的背景區(qū)域，目標(biāo)掩模圖中目標(biāo)區(qū) 域作為前景像素點進行更新，目標(biāo)掩模圖中背景區(qū)域作為背景像素點進行更新；
[0012] 步驟四，再次獲取表征物體距離攝像頭距離的當(dāng)前深度圖像；
[0013] 步驟五，基于實時深度背景模型提取前景圖像：根據(jù)當(dāng)前深度圖像中任意一個像 素點的深度值對其所對應(yīng)碼組的所有碼字進行搜索與比較，從而判斷該像素點為背景點或 前景點，將所述背景點賦值為背景值，所述前景點賦值為前景值，從而構(gòu)成前景圖像；
[0014] 步驟六，輸出前景圖像，生成實時目標(biāo)掩膜圖：根據(jù)所述前景圖像進行目標(biāo)識別， 識別出當(dāng)前深度圖像中的目標(biāo)物體，并生成實時目標(biāo)掩膜圖；所述實時目標(biāo)掩模圖包括用 于表征所述當(dāng)前深度圖像中每個目標(biāo)所包含的像素點的目標(biāo)區(qū)域，和非目標(biāo)所包含的像素 點的背景區(qū)域；
[0015] 步驟七，更新實時深度背景模型：根據(jù)實時目標(biāo)掩模圖，更新實時深度背景模型 中每個像素點的碼組信息，其中所述實時目標(biāo)掩膜圖中的目標(biāo)區(qū)域作為前景像素點進行更 新，所述實時目標(biāo)掩模圖中的背景區(qū)域作為背景像素點進行更新。
[0016] 本發(fā)明提出的一種基于深度圖的圖像背景建模和前景提取的方法的進一步優(yōu)選 方案是：
[0017] 本發(fā)明步驟三所述更新實時深度背景模型中每個像素點的碼組信息，是指更新碼 組內(nèi)已經(jīng)存在的碼字信息和增加刪減碼組內(nèi)的碼字?jǐn)?shù)量；其中，更新背景像素點所對應(yīng)的 碼組信息，其方法為更新碼組內(nèi)已經(jīng)存在的碼字信息和增加碼組內(nèi)的碼字?jǐn)?shù)量；更新前景 像素點所對應(yīng)的碼組信息，其方法為刪減碼組內(nèi)的碼字?jǐn)?shù)量；所述的增加碼組內(nèi)的碼字?jǐn)?shù) 量是指在不超過碼字?jǐn)?shù)量最大值的前提下增加；所述的減少碼組內(nèi)的碼字?jǐn)?shù)量是指可以最 終減少到0個碼字。
[0018] 所述碼字包括碼字中心閾值TresholcUntCT，碼字出現(xiàn)次數(shù)F，碼字未出現(xiàn)次數(shù)L，所 述更新碼組內(nèi)已經(jīng)存在的碼字信息，是指更新碼字中心閾值Tr eSh〇lcUntCT、碼字出現(xiàn)次數(shù)F 和碼字未出現(xiàn)次數(shù)L。
[0019] 所述碼字中心閾值TreSh〇lcUntCT，是指用于判斷對應(yīng)的像素值深度值是否屬于該 碼字；判斷依據(jù)為深度值是否處于以碼字中心閾值為中心的高低閾值范圍內(nèi)；設(shè)中心閾值 為Treshold。^^，低閾值Treshold lciw的計算公式為：
[0020] Tresholdlow= Tresholdcenter-D
[0021] 上式中：D為當(dāng)前像素點深度值對應(yīng)的深度閾值，該深度閾值是根據(jù)不同深度預(yù) 先設(shè)定的數(shù)值；低閾值計算結(jié)果小于〇時，低閾值為〇 ;對應(yīng)的高閾值的計算公式為：
[0022] Tresholdhigh= Treshold center+D
[0023] 上式中：當(dāng)高閾值的計算結(jié)果大于可能出現(xiàn)的最大深度值時，則高閾值的結(jié)果為 最大的深度值。
[0024] 所述碼字出現(xiàn)次數(shù)F，是指記錄所有屬于該碼字的深度值的出現(xiàn)次數(shù)；其中，每一 個屬于該碼字的深度值都在以碼字的Tr eSh〇lcUntCT為中心的高低閾值之間。
[0025] 所述碼字未出現(xiàn)次數(shù)L，是指記錄所有不屬于該碼字的深度值出現(xiàn)次數(shù)；當(dāng)像素 位置對應(yīng)的碼組中有至少一個碼字時，當(dāng)更新的深度值不屬于該碼字，則該碼字記錄未出 現(xiàn)的次數(shù)。
[0026] 所述更新碼組內(nèi)已經(jīng)存在的碼字信息，包括：更新碼字的中心閾值TreSh 〇lcUntCT， 更新條件為深度值處于該碼字的范圍內(nèi)；滿足條件后使用如下更新公式為：
[0027]
[0028] 上式中：等式左邊的Tresholdtlf3ntel^計算后中心閾值結(jié)果，等式右邊的 Tresholdra3ntel^J更新前的中心閾值，Depth為處于該碼字范圍內(nèi)的深度值，F(xiàn)為碼字出現(xiàn)的 次數(shù)F ;更新碼字的出現(xiàn)次數(shù)F，更新條件為深度值處于該碼字的范圍內(nèi)；滿足條件后F值 加1 ;更新碼字的未出現(xiàn)次數(shù)L，深度值處于該碼字的范圍內(nèi)，對應(yīng)碼字的L賦值為0 ;深度 值不處于該碼字的范圍內(nèi)，對應(yīng)的所有碼字的L值加1。
[0029] 本發(fā)明步驟五所述根據(jù)當(dāng)前深度圖像中任意一個像素點的深度值對其所對應(yīng)碼 組的所有碼字進行搜索與比較，是指比較當(dāng)前深度圖像中像素點的深度值和像素點對應(yīng)的 碼組中所有碼字內(nèi)的高低閾值，如果深度值在至少一個碼字的高低閾值范圍之內(nèi)，則認(rèn)為 該像素點為當(dāng)前深度圖的背景點，如果深度值沒有處在碼組中任何碼字的高低閾值范圍之 內(nèi)，則認(rèn)為該像素點為當(dāng)前深度圖的前景點。
[0030] 本發(fā)明