專利名稱：前景對象檢測方法與裝置及背景檢測方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于一種前景對象檢測方法，更具體地，有關(guān)于一種前景對象檢測方法和裝置以及背景檢測方法和裝置。
背景技術(shù)：
前景對象檢測是將從相機(jī)擷取(capture)圖像中的前景對象與背景分離的過程。前景對象具有各種應(yīng)用，例如視頻監(jiān)視(video surveillance)或基于對象的視頻編碼。實(shí)際應(yīng)用中的前景對象檢測方法通?；诒尘跋鄿p法(background subtraction),背景相減法假設(shè)隨時(shí)間推移相機(jī)為固定(stationary)且可創(chuàng)建并更新背景模型(backgroundmodel)。本領(lǐng)域存在若干實(shí)際應(yīng)用的流行技術(shù),包括調(diào)適性高斯集合法(adaptive MixtureofGaussian, M0G)、核心密度估計(jì)法(Kernel Density Estimation, KDE)以及編碼本(Codebook)。所有上述前景/背景檢測方法采用圖像處理技術(shù)來處理相機(jī)擷取的色彩/強(qiáng)度圖像，而其中所擷取圖像不包括深度信息。一種基于混合高斯模型(Mixture ofGaussian)的方法已應(yīng)用于具有混合的深度和色彩信息的圖像。然而，基于MOG的方法簡單地將深度信息看作色彩信息的組成并因此產(chǎn)生更高的計(jì)算復(fù)雜度。因此，需要提出低復(fù)雜度前景對象檢測方法和裝置，采用深度圖像中的深度信息來檢測深度圖像的場景中所對應(yīng)的前景對象。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提供一種前景對象檢測方法與裝置及背景檢測方法與裝置。本發(fā)明提供一種前景對象檢測方法，用于檢測多個(gè)深度圖像中的像素，該前景對象檢測方法包括從該多個(gè)深度圖像中接收該像素的深度值；如果該像素可以第一背景分布模型表示，根據(jù)該深度值更新該第一背景分布模型，且將該像素的代表值標(biāo)記為第一背景；如果該像素位于該第一背景之后，處理備用背景模型；如果該像素位于該第一背景之前，將該像素的該代表值標(biāo)記為前景；以及提供該像素的該代表值。本發(fā)明再提供一種背景檢測方法，用于多個(gè)深度圖像中多個(gè)對象邊沿周圍的像素，其中，該多個(gè)深度圖像使用第一背景分布模型或該第一背景分布模型與第二背景分布模型的混合，該背景檢測方法包括從該多個(gè)深度圖像中接收該像素的深度值；如果該像素以該第一背景分布模型表示，根據(jù)該深度值更新該第一背景分布模型；如果該像素在對應(yīng)于該第一背景分布模型的背景之前，跳過更新該第一背景分布模型；如果該像素在對應(yīng)于該第一背景分布模型的該背景之后，建立候選背景分布模型并估計(jì)第一發(fā)生頻率與第二發(fā)生頻率，該第一發(fā)生頻率與該第二發(fā)生頻率對應(yīng)于由該第一背景分布模型或該候選背景分布模型分別表示的該像素；如果該第一發(fā)生頻率與該第二發(fā)生頻率表示高發(fā)生頻率，從該候選背景分布模型中建立該第二背景分布模型；如果該第一發(fā)生頻率表示高發(fā)生頻率且該第二發(fā)生頻率表示低發(fā)生頻率，丟棄該候選背景分布模型；如果該第一發(fā)生頻率表示低發(fā)生頻率且該第二發(fā)生頻率表示高發(fā)生頻率，以該候選背景分布模型替換該第一背景分布模型；以及如果該第二背景分布模型存在，使用該第一背景分布模型與該第二背景分布模型的該混合處理該像素，否則基于該第一背景分布模型使用單一背景分布模型處理該像素。本發(fā)明另提供一種前景對象檢測裝置，用于多個(gè)深度圖像中像素，該前景對象檢測裝置包括接收模塊，用于從該多個(gè)深度圖像中接收該像素的深度值；判定模塊，耦接于該接收模塊，用于判定是否該像素可以第一背景分布模型表示；更新模塊，耦接于該判定模塊，如果該像素可以該第一背景分布模型表示，則根據(jù)該像素的該深度值更新該第一背景分布模型；標(biāo)記模塊，耦接于該判定模塊，如果該像素可以該第一背景分布模型表示，則將該像素的代表值標(biāo)記為第一背景；而如果該像素位于該第一背景之前，則將該像素的該代表值標(biāo)記為前景，且該標(biāo)記模塊輸出提供該像素的該代表值；以及處理模塊，耦接于該判定模塊，如果該像素位于該第一背景之后，則該處理模塊處理備用背景模型。本發(fā)明還提供一種背景檢測裝置，用于多個(gè)深度圖像中多個(gè)對象邊沿周圍的像素，其中，該多個(gè)深度圖像使用第一背景分布模型或該第一背景分布模型與第二背景分布模型的混合，該背景檢測裝置包括接收模塊，用于從該多個(gè)深度圖像中接收該像素的深度值；判定模塊，耦接于該接收模塊，用于判定是否該像素可以第一背景分布模型表示；更新模塊，耦接于該判定模塊，如果該像素可以該第一背景分布模型表示，根據(jù)該深度值更新該第一背景分布模型；而如果該像素在對應(yīng)于該第一背景分布模型的背景之前，跳過更新該第一背景分布模型；處理模塊，耦接于該判定模塊，該處理模塊包括創(chuàng)建模塊、頻率估計(jì)模塊、丟棄模塊以及替換模塊；其中，如果該像素在對應(yīng)于該第一背景分布模型的該背景之后，創(chuàng)建模塊建立候選背景分布模型，且該頻率估計(jì)模塊估計(jì)第一發(fā)生頻率與第二發(fā)生頻率，該第一發(fā)生頻率與該第二發(fā)生頻率分別對應(yīng)于由該第一背景分布模型或該候選背景分布模型表示該像素的發(fā)生頻率；如果該第一發(fā)生頻率與該第二發(fā)生頻率表示高發(fā)生頻率，該創(chuàng)建模塊從該候選背景分布模型中建立該第二背景分布模型的模塊；如果該第一發(fā)生頻率表示高發(fā)生頻率且該第二發(fā)生頻率表示低發(fā)生頻率，該丟棄模塊丟棄該候選背景分布模型；如果該第一發(fā)生頻率表示低發(fā)生頻率且該第二發(fā)生頻率表示高發(fā)生頻率，該替換模塊以該候選背景分布模型替換該第一背景分布模型；以及如果該第二背景分布模型存在，使用該第一背景分布模型與該第二背景分布模型的該混合處理該像素，否則基于該第一背景分布模型使用單一背景分布模型處理該像素。本發(fā)明提供的前景對象檢測方法可實(shí)現(xiàn)簡單而實(shí)用的基于深度圖像的前景對象檢測。


圖1為通過減去已知背景基于色彩/強(qiáng)度圖像的簡單前景檢測示意圖；圖2為使用三種高斯分布的MOG方法的實(shí)例示意圖；圖3為前景中對應(yīng)兩個(gè)人物主體的深度圖像示意圖；圖4為使用深度相機(jī)擷取深度圖像的方案示意圖；圖5為對應(yīng)上述過程的流程圖；圖6為根據(jù)本發(fā)明一個(gè)實(shí)施例基于深度信息的背景確定示意圖；圖7為根據(jù)本發(fā)明一個(gè)實(shí)施例的高斯模型更新過程的流程圖8為根據(jù)本發(fā)明一個(gè)實(shí)施例包括改進(jìn)的背景更新過程且同時(shí)處理無意義像素的系統(tǒng)流程圖；圖9為基于具有混合的兩個(gè)高斯模型的深度信息的背景確定示意圖；圖10為根據(jù)本發(fā)明一個(gè)實(shí)施例基于深度信息的前景對象檢測結(jié)果示意圖；圖1lA為根據(jù)本發(fā)明的一個(gè)實(shí)施例的前景對象檢測裝置的方塊示意圖；圖1lB為圖1lA中處理模塊的方塊示意圖；圖12為根據(jù)本發(fā)明的一個(gè)實(shí)施例的背景對象檢測裝置的方塊示意圖。
具體實(shí)施例方式在說明書及權(quán)利要求書當(dāng)中使用了某些詞匯來指稱特定的元件。所屬技術(shù)領(lǐng)域的技術(shù)人員應(yīng)可理解，硬件制造商可能會(huì)用不同的名詞來稱呼同一個(gè)元件。本說明書及權(quán)利要求書并不以名稱的差異作為區(qū)分元件的方式，而是以元件在功能上的差異作為區(qū)分的準(zhǔn)貝U。在通篇說明書及權(quán)利要求項(xiàng)中所提及的「包含」為一開放式的用語，故應(yīng)解釋成「包含但不限定于」。此外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表第一裝置可直接電氣連接于第二裝置，或透過其它裝置或連接手段間接地電氣連接至第二裝置。

前景對象檢測是將自相機(jī)擷取的圖像中的前景對象與背景分離的過程。前景對象具有各種應(yīng)用，例如視頻監(jiān)視或基于對象的視頻編碼。前景對象檢測方法通?；诒尘跋鄿p法，該背景相減法假設(shè)隨時(shí)間推移相機(jī)為固定的且可創(chuàng)建并更新背景模型，當(dāng)接收到新視頻幀時(shí)，從新視頻幀中減去背景模型來獲取前景對象，且同時(shí)使用新視頻幀更新背景模型。圖1為通過減去已知背景基于色彩/強(qiáng)度圖像的簡單前景檢測示意圖。圖1所示方法為常規(guī)方法的關(guān)鍵概念，常規(guī)方法假設(shè)可建立圖像100中的背景110。當(dāng)接收包括前景對象120的新圖像100’時(shí)，通過從新圖像100’中減去背景圖像110獲取前景對象120。基于背景相減法的許多前景對象檢測方法已在文獻(xiàn)中有所描述，其中，主要使用強(qiáng)度顯像相機(jī)(intensity camera)(簡稱強(qiáng)度相機(jī))或熱顯像相機(jī)(thermal camera)擷取圖像。上述前景對象檢測方法的主要概念為假設(shè)可事先建立背景模型。并且假設(shè)相機(jī)為固定且最初場景為空白。然而，最初場景為空白的需求限制性極大從而無法滿足真實(shí)環(huán)境的需求。本領(lǐng)域存在若干實(shí)際應(yīng)用的流行技術(shù)，包括MOG法、KDE法以及編碼本法。上述方法的主要區(qū)別在于如何表示前景或背景、如何確定背景以及如何更新模型。MOG法由Stauffer和Grimson在題為“實(shí)時(shí)追蹤的調(diào)適性背景混合模型”的論文中所揭示(IEEE計(jì)算機(jī)視覺與模式識別國際會(huì)議，卷2，第246-252頁，1999年8月)。MOG法將前景和背景中的每個(gè)像素表示為混合的高斯分布。如果像素的降序排列高斯分布(decreasingly sorted Gaussian distribution)的加權(quán)和值大于預(yù)定義閾值，則將該像素看作背景。根據(jù)MOG法，每個(gè)像素的最近歷史{X1; . . . , XJ是由K個(gè)高斯分布的集合建
立模型。觀察到當(dāng)前像素值的概率為
啊)=f 叼
(I)
其中，K為高斯分布數(shù)目，為時(shí)間t時(shí)集合中的第i個(gè)高斯分布的估計(jì)權(quán)重，μ ijt為時(shí)間t時(shí)集合中的第i個(gè)高斯分布的平均值，Σ ijt為時(shí)間t時(shí)集合中的第i個(gè)高斯分布的協(xié)方差矩陣，且H為高斯分布概率密度函數(shù)。圖2為使用210、220、230三種高斯分布的MOG方法的實(shí)例示意圖。模型更新規(guī)則也在Stauffer和Grimson的論文中有所描述。如果像素的新值可以高斯分布表示，對應(yīng)的高斯分布得到更新且其他分布的權(quán)重減少。如果新值不可以高斯分布表示，且高斯分布的現(xiàn)存數(shù)目少于預(yù)定義數(shù)目，則增加新的高斯分布。否則，標(biāo)記并替換現(xiàn)存高斯分布中的一個(gè)。Stauffer和Grimson也揭示一種背景模型估計(jì)方法，其中高斯分布以ω/δ的值排序，ω為權(quán)重且δ為對應(yīng)高斯分布的標(biāo)準(zhǔn)差。將最前面的B個(gè)高斯分布選作背景模型，其中
權(quán)利要求
1.一種前景對象檢測方法，用于檢測多個(gè)深度圖像中的像素，該前景對象檢測方法包括 從該多個(gè)深度圖像中接收該像素的深度值； 如果該像素以第一背景分布模型表示，根據(jù)該深度值更新該第一背景分布模型，且將該像素的代表值標(biāo)記為第一背景； 如果該像素位于該第一背景之后，處理備用背景模型； 如果該像素位于該第一背景之前，將該像素的該代表值標(biāo)記為前景；以及 提供該像素的該代表值。
2.如權(quán)利要求1所述的前景對象檢測方法，其特征在于，如果該像素的深度值在一個(gè)范圍之內(nèi)，該范圍覆蓋對應(yīng)于該第一背景分布模型的第一值，則該像素以該第一背景分布模型表示。
3.如權(quán)利要求2所述的前景對象檢測方法，其特征在于，該第一背景分布模型符合高斯分布模型，該高斯分布模型具有平均值或標(biāo)準(zhǔn)差，其中，該第一值與該平均值相關(guān)且該范圍與該標(biāo)準(zhǔn)差相關(guān)。
4.如權(quán)利要求2所述的前景對象檢測方法，其特征在于，如果該深度值大于該第一值，該像素位于該第一背景之后。
5.如權(quán)利要求2所述的前景對象檢測方法，其特征在于，如果該深度值小于該第一值，該像素位于該第一背景之前。
6.如權(quán)利要求1所述的前景對象檢測方法，其特征在于，更包括，如果該第一背景分布模型不存在，建立新的第一背景分布模型。
7.如權(quán)利要求6所述的前景對象檢測方法，其特征在于，根據(jù)先前幀中的對應(yīng)像素的先前深度值，建立該新的第一背景分布模型。
8.如權(quán)利要求6所述的前景對象檢測方法，其特征在于，該新的第一背景分布模型的平均值對應(yīng)于該像素值或先前幀中對應(yīng)像素的先前深度值。
9.如權(quán)利要求1所述的前景對象檢測方法，其特征在于，更包括檢查是否該深度值為有意義的，且如果該深度值為無意義的，在所述的接收該深度值之后，將該像素的該指示標(biāo)記為該第一背景。
10.如權(quán)利要求1所述的前景對象檢測方法，其特征在于，根據(jù)該深度值或先前幀中對應(yīng)像素的先前深度值，所述的處理備用背景模型以新的第一背景分布模型替換該第一背景分布模型。
11.如權(quán)利要求10所述的前景對象檢測方法，其特征在于，該第一背景分布模型符合第一高斯分布，該第一高斯分布具有第一平均值和第一標(biāo)準(zhǔn)差，其中，該深度值用作該第一平均值且預(yù)定義值用作該第一標(biāo)準(zhǔn)差。
12.如權(quán)利要求1所述的前景對象檢測方法，其特征在于，所述的處理備用背景模型包括 如果第二背景分布模型不存在，根據(jù)該深度值建立該第二背景分布模型； 如果噪聲估計(jì)表示對應(yīng)于該第二背景分布模型的第二背景為真實(shí)背景，則以該第二背景分布模型替換該第一背景分布模型；以及 如果該噪聲估計(jì)表示該第二背景為噪聲，則丟棄該第二背景分布模型。
13.如權(quán)利要求12所述的前景對象檢測方法，其特征在于，該噪聲估計(jì)基于該像素以該第二背景分布模型表示的發(fā)生頻率。
14.如權(quán)利要求13所述的前景對象檢測方法，其特征在于，如果該第二背景分布模型代表該像素則增加該發(fā)生頻率，否則減少該發(fā)生頻率。
15.如權(quán)利要求14所述的前景對象檢測方法，其特征在于，如果該發(fā)生頻率大于高的閾值，則表示該第二背景為該真實(shí)背景。
16.如權(quán)利要求14所述的前景對象檢測方法，其特征在于，如果該發(fā)生頻率小于低的閾值，則表示該第二背景為該噪聲。
17.如權(quán)利要求1所述的前景對象檢測方法，其特征在于，更包括提供對應(yīng)于該像素的該代表值的背景置信度。
18.如權(quán)利要求17所述的前景對象檢測方法，其特征在于，該背景置信度與第一計(jì)數(shù)a相關(guān)、第二計(jì)數(shù)z相關(guān)以及第三計(jì)數(shù)t相關(guān)，其中，該第一計(jì)數(shù)a對由該第一背景分布模型表示的該像素進(jìn)行計(jì)數(shù)，該第二計(jì)數(shù)z對無意義的該像素進(jìn)行計(jì)數(shù)，該第三計(jì)數(shù)t對作為該第一背景的該像素進(jìn)行計(jì)數(shù)。
19.如權(quán)利要求1所述的前景對象檢測方法，其特征在于，該第一背景分布模型符合固定背景分布模型，該固定背景分布模型具有第一值和第二值，其中，如果該深度值與該第一值之間的差值在誤差容忍度之內(nèi)，則該像素以該第一背景分布模型表示，其中，該誤差容忍度對應(yīng)于該第二值,該第一值與該第二值為不可更新的。
20.如權(quán)利要求19所述的前景對象檢測方法，其特征在于，將在該像素處所觀察的最大深度值選作該第一值。
21.一種背景檢測方法，用于多個(gè)深度圖像中多個(gè)對象邊沿周圍的像素，其中，該多個(gè)深度圖像使用第一背景分布模型或該第一背景分布模型與第二背景分布模型的混合，該背景檢測方法包括 從該多個(gè)深度圖像中接收該像素的深度值； 如果該像素以該第一背景分布模型表示，根據(jù)該深度值更新該第一背景分布模型； 如果該像素在對應(yīng)于該第一背景分布模型的背景之前，跳過更新該第一背景分布模型； 如果該像素在對應(yīng)于該第一背景分布模型的該背景之后，建立候選背景分布模型并估計(jì)第一發(fā)生頻率與第二發(fā)生頻率，該第一發(fā)生頻率與該第二發(fā)生頻率對應(yīng)于由該第一背景分布模型或該候選背景分布模型分別表示的該像素； 如果該第一發(fā)生頻率與該第二發(fā)生頻率表示高發(fā)生頻率，從該候選背景分布模型中建立該第二背景分布模型； 如果該第一發(fā)生頻率表示高發(fā)生頻率且該第二發(fā)生頻率表示低發(fā)生頻率，丟棄該候選背景分布模型； 如果該第一發(fā)生頻率表示低發(fā)生頻率且該第二發(fā)生頻率表示高發(fā)生頻率，以該候選背景分布模型替換該第一背景分布模型；以及 如果該第二背景分布模型存在，使用該第一背景分布模型與該第二背景分布模型的該混合處理該像素，否則基于該第一背景分布模型使用單一背景分布模型處理該像素。
22.—種前景對象檢測裝置，用于多個(gè)深度圖像中像素，該前景對象檢測裝置包括接收模塊，用于從該多個(gè)深度圖像中接收該像素的深度值； 判定模塊，耦接于該接收模塊，用于判定是否該像素以第一背景分布模型表示； 更新模塊，耦接于該判定模塊，如果該像素以該第一背景分布模型表示，則根據(jù)該像素的該深度值更新該第一背景分布模型； 標(biāo)記模塊，耦接于該判定模塊，如果該像素以該第一背景分布模型表示，則將該像素的代表值標(biāo)記為第一背景；而如果該像素位于該第一背景之前，則將該像素的該代表值標(biāo)記為前景，且該標(biāo)記模塊輸出提供該像素的該代表值；以及 處理模塊，耦接于該判定模塊，如果該像素位于該第一背景之后，則該處理模塊處理備用背景模型。
23.如權(quán)利要求22所述的前景對象檢測裝置，其特征在于，該處理模塊包括 創(chuàng)建模塊，如果第二背景分布模型不存在，該創(chuàng)建模塊根據(jù)該深度值建立該第二背景分布模型； 噪聲估計(jì)模塊，用于對該像素的該深度值進(jìn)行噪聲估計(jì)； 替換模塊，耦接于該噪聲估計(jì)模塊，如果該噪聲估計(jì)表示對應(yīng)于該第二背景分布模型的第二背景為真實(shí)背景，該替換模塊以該第二背景分布模型替換該第一背景分布模型；以及 丟棄模塊，耦接于該噪聲估計(jì)模塊，如果該噪聲估計(jì)表示該第二背景為噪聲，該丟棄模塊丟棄該第二背景分布模型。
24.一種背景檢測裝置，用于多個(gè)深度圖像中多個(gè)對象邊沿周圍的像素，其中，該多個(gè)深度圖像使用第一背景分布模型或該第一背景分布模型與第二背景分布模型的混合，該背景檢測裝置包括 接收模塊，用于從該多個(gè)深度圖像中接收該像素的深度值； 判定模塊，耦接于該接收模塊，用于判定是否該像素以第一背景分布模型表示； 更新模塊，耦接于該判定模塊，如果該像素以該第一背景分布模型表示，根據(jù)該深度值更新該第一背景分布模型；而如果該像素在對應(yīng)于該第一背景分布模型的背景之前，跳過更新該第一背景分布模型； 處理模塊，耦接于該判定模塊，該處理模塊包括創(chuàng)建模塊、頻率估計(jì)模塊、丟棄模塊以及替換模塊；其中，如果該像素在對應(yīng)于該第一背景分布模型的該背景之后，創(chuàng)建模塊建立候選背景分布模型，且該頻率估計(jì)模塊估計(jì)第一發(fā)生頻率與第二發(fā)生頻率，該第一發(fā)生頻率與該第二發(fā)生頻率分別對應(yīng)于由該第一背景分布模型或該候選背景分布模型表示該像素的發(fā)生頻率；如果該第一發(fā)生頻率與該第二發(fā)生頻率表示高發(fā)生頻率，該創(chuàng)建模塊從該候選背景分布模型中建立該第二背景分布模型的模塊；如果該第一發(fā)生頻率表示高發(fā)生頻率且該第二發(fā)生頻率表示低發(fā)生頻率，該丟棄模塊丟棄該候選背景分布模型；如果該第一發(fā)生頻率表示低發(fā)生頻率且該第二發(fā)生頻率表示高發(fā)生頻率，該替換模塊以該候選背景分布模型替換該第一背景分布模型；以及 如果該第二背景分布模型存在，使用該第一背景分布模型與該第二背景分布模型的該混合處理該像素，否則基于該第一背景分布模型使用單一背景分布模型處理該像素。
全文摘要
本發(fā)明提供一種前景對象檢測方法與裝置及背景檢測方法與裝置。其中，前景對象檢測方法用于檢測深度圖像中的像素，前景對象檢測方法包括從該多個(gè)深度圖像中接收該像素的深度值；如果該像素可以第一背景分布模型表示，根據(jù)該深度值更新該第一背景分布模型，且將該像素的代表值標(biāo)記為第一背景；如果該像素位于該第一背景之后，處理備用背景模型；如果該像素位于該第一背景之前，將該像素的該代表值標(biāo)記為前景；以及提供該像素的該代表值。本發(fā)明提供的前景對象檢測方法可實(shí)現(xiàn)簡單而實(shí)用的基于深度圖像的前景對象檢測。
文檔編號G06T7/00GK103034991SQ20121000919
公開日2013年4月10日 申請日期2012年1月12日 優(yōu)先權(quán)日2011年9月29日
發(fā)明者張濤, 蔡玉寶 申請人:聯(lián)發(fā)科技(新加坡)私人有限公司