本發(fā)明涉及計算機視覺技術領域，具體涉及對象狀態(tài)估計的方法及裝置。

背景技術：

背景是指一個場景中的靜止部分，背景剪除技術廣泛應用于視頻分割、物體跟蹤等計算機視覺處理中。在進行背景剪除時，通常需要根據(jù)背景圖像來建立背景外觀模型，需要考慮對象的狀態(tài)，即對象是處于背景或前景狀態(tài)。

在運動相機以第一視角采集的視頻，如通過智能眼鏡拍攝而得的視頻中，對象可能在前、背景之間發(fā)生狀態(tài)轉換，因此，需要一種方法，能夠提高對象狀態(tài)預測的準確性，從而為后續(xù)的視覺處理提供支持。

技術實現(xiàn)要素：

本發(fā)明實施例要解決的技術問題是提供對象狀態(tài)估計的方法及裝置，更準確地預測對象的狀態(tài)，為后續(xù)的視覺處理提供支持。

為解決上述技術問題，本發(fā)明實施例提供的對象狀態(tài)估計的方法，包括：

視頻分割單元，用于根據(jù)外觀特征和運動特征，將輸入視頻的每幀圖像分割為多個對象；

狀態(tài)初始化單元，用于確定各個對象的狀態(tài)，所述狀態(tài)包括前景和背景；

狀態(tài)預測單元，用于計算所述對象的原始圖像的第一顯著性特征，根據(jù)所述第一顯著性特征，預測所述對象在下一個時刻狀態(tài)轉變的第一概率；

狀態(tài)更新單元，用于計算所述第一概率的誤差，并根據(jù)所述誤差，校正所述第一概率，并更新所述對象在下一時刻的狀態(tài)。

優(yōu)選的，以上的對象狀態(tài)估計裝置中，所述視頻分割單元包括：

分割處理單元，用于根據(jù)外觀特征，對輸入視頻的圖像進行分割，獲得包括多個圖像塊的分割結果；

分割優(yōu)化單元，用于利用圖像的運動特征，對所述分割結果進行優(yōu)化，合并相鄰且具有相似運動特征的圖像塊，獲得分割后的對象。

優(yōu)選的，以上的對象狀態(tài)估計裝置中，所述狀態(tài)初始化單元包括：

外觀相似性計算單元，用于計算任意兩個對象在外觀特征方面的外觀相似性；

運動相似性計算單元，用于計算任意兩個對象在運動特征方面的運動相似性；

聚類單元，用于根據(jù)運動相似性及外觀相似性計算對象屬于前景的概率，并據(jù)該對象屬于前景的概率，確定該對象的狀態(tài)。

優(yōu)選的，以上的對象狀態(tài)估計裝置中，所述狀態(tài)預測單元包括：

顯著性計算單元，用于計算對象的原始圖像的第一外觀顯著性和第一運動顯著性；

似然估計單元，用于計算所述對象在當前一段預設時間內(nèi)的平均外觀顯著性，并計算所述第一外觀顯著性與平均外觀顯著性的差值，獲得所述第一外觀顯著性的第一置信度；計算當前幀圖像中的所有對象的平均運動顯著性，并計算所述第一運動顯著性與平均運動顯著性的差值，獲得所述第一運動顯著性的第二置信度；以及，根據(jù)第一置信度和第二置信度，確定第一外觀顯著性和第一運動顯著性對應的權值，進而根據(jù)所述權值、第一外觀顯著性和第一運動顯著性，計算所述對象在下一個時刻狀態(tài)轉變的第一概率。

優(yōu)選的，以上的對象狀態(tài)估計裝置中，所述狀態(tài)更新單元包括：

誤差計算單元，用于計算所述對象經(jīng)去噪處理后的圖像的第二顯著性特征，根據(jù)所述第一顯著性特征和第二顯著性特征計算噪音誤差，以及，在所述對象的鄰域內(nèi)，基于對象狀態(tài)進行連通域分析，并根據(jù)獲得的連通區(qū)域，計算一致性誤差；

狀態(tài)校正單元，用于利用所述噪音誤差和一致性誤差，對第一概率進行校正，得到校正后的第二概率，并根據(jù)所述第二概率，預測所述對象在下一時刻的狀態(tài)。

優(yōu)選的，以上的對象狀態(tài)估計裝置中，所述誤差計算單元包括：

噪音誤差計算單元，用于計算所述對象去噪處理后的圖像的第二外觀顯著 性和第二運動顯著性；計算第一外觀顯著性和第二外觀顯著性的第一差值，以及第一運動顯著性和第二運動顯著性的第二差值，得到包括第一差值和第二差值的噪音殘差；以及，對所述噪音殘差在時間維度和空間維度上進行累積，得到所述噪音誤差；

一致性誤差計算單元，用于在所述對象的鄰域內(nèi)，統(tǒng)計前景、背景對象的直方圖，并將鄰域標記為直方圖柱的編號；通過連通域分析聚類對象，并根據(jù)聚類后得到的連通區(qū)域的面積，確定該連通區(qū)域為一致性連通區(qū)域或不一致性連通區(qū)域；以及，計算不一致性連通區(qū)域在空間和時間上所占的比例，獲得一致性誤差。

優(yōu)選的，以上的對象狀態(tài)估計裝置中，所述狀態(tài)校正單元包括：

第一校正單元，用于對所述噪音誤差進行歸一化處理，并計算第一概率與歸一化后的噪音誤差的第三差值；

第二校正單元，用于對所述一致性誤差進行歸一化處理，并計算第一概率與歸一化后的一致性誤差的第四差值；

狀態(tài)校正單元，用于對第三差值和第四差值進行加權求和，得到第二概率，并在所述第二概率大于一預定門限時，判斷所述對象在下一時刻的狀態(tài)與當前狀態(tài)不同，否則，判斷所述對象在下一時刻的狀態(tài)與當前狀態(tài)相同。

本發(fā)明實施例還提供了對象狀態(tài)估計的方法，包括：

根據(jù)外觀特征和運動特征，將輸入視頻的每幀圖像分割為多個對象，并確定各個對象的狀態(tài)，所述狀態(tài)包括前景和背景；

計算所述對象的原始圖像的第一顯著性特征，根據(jù)所述第一顯著性特征，預測所述對象在下一個時刻狀態(tài)轉變的第一概率；

計算所述第一概率的誤差，并根據(jù)所述誤差，校正所述第一概率，并更新所述對象在下一時刻的狀態(tài)。

優(yōu)選的，以上的對象狀態(tài)估計的方法中，所述根據(jù)外觀特征和運動特征，將輸入視頻的每幀圖像分割為多個對象的步驟包括：

根據(jù)外觀特征，對輸入視頻的圖像進行分割，獲得包括多個圖像塊的分割結果；

利用圖像的運動特征，對所述分割結果進行優(yōu)化，合并相鄰且具有相似運 動特征的圖像塊，獲得分割后的對象。

優(yōu)選的，以上的對象狀態(tài)估計的方法中，所述確定各個對象的狀態(tài)的步驟包括：

計算任意兩個對象在運動特征方面的運動相似性以及在外觀特征方面的外觀相似性，根據(jù)運動相似性及外觀相似性計算對象屬于前景的概率，并據(jù)該對象屬于前景的概率，確定該對象的狀態(tài)。

優(yōu)選的，以上的對象狀態(tài)估計的方法中，所述計算對象的原始圖像的第一顯著性特征，根據(jù)所述第一顯著性特征，預測所述對象在下一個時刻狀態(tài)轉變的第一概率的步驟，包括：

計算對象的原始圖像的第一外觀顯著性和第一運動顯著性；

計算所述對象在當前一段預設時間內(nèi)的平均外觀顯著性，并計算所述第一外觀顯著性與平均外觀顯著性的差值，獲得所述第一外觀顯著性的第一置信度；

計算當前幀圖像中的所有對象的平均運動顯著性，并計算所述第一運動顯著性與平均運動顯著性的差值，獲得所述第一運動顯著性的第二置信度；

根據(jù)第一置信度和第二置信度，確定第一外觀顯著性和第一運動顯著性對應的權值，進而根據(jù)所述權值、第一外觀顯著性和第一運動顯著性，計算所述對象在下一個時刻狀態(tài)轉變的第一概率。

優(yōu)選的，以上的對象狀態(tài)估計的方法中，所述計算所述第一概率的誤差，并根據(jù)所述誤差，校正所述第一概率，并更新所述對象在下一時刻的狀態(tài)的步驟，包括：

計算所述對象經(jīng)去噪處理后的圖像的第二顯著性特征，根據(jù)所述第一顯著性特征和第二顯著性特征計算噪音誤差，以及，在所述對象的鄰域內(nèi)，基于對象狀態(tài)進行連通域分析，并根據(jù)獲得的連通區(qū)域，計算一致性誤差；

利用所述噪音誤差和一致性誤差，對第一概率進行校正，得到校正后的第二概率，并根據(jù)所述第二概率，預測所述對象在下一時刻的狀態(tài)。

優(yōu)選的，以上的對象狀態(tài)估計的方法中，所述計算所述對象經(jīng)去噪處理后的圖像的第二顯著性特征，根據(jù)所述第一顯著性特征和第二顯著性特征計算噪音誤差的步驟，包括：計算所述對象去噪處理后的圖像的第二外觀顯著性和第二運動顯著性；計算第一外觀顯著性和第二外觀顯著性的第一差值，以及第一 運動顯著性和第二運動顯著性的第二差值，得到包括第一差值和第二差值的噪音殘差；以及，對所述噪音殘差在時間維度和空間維度上進行累積，得到所述噪音誤差；

所述在所述對象的鄰域內(nèi)，基于對象狀態(tài)進行連通域分析，并根據(jù)獲得的連通區(qū)域，計算一致性誤差的步驟包括：在所述對象的鄰域內(nèi)，統(tǒng)計前景、背景對象的直方圖，并將鄰域標記為直方圖柱的編號；通過連通域分析聚類對象，并根據(jù)聚類后得到的連通區(qū)域的面積，確定該連通區(qū)域為一致性連通區(qū)域或不一致性連通區(qū)域；以及，計算不一致性連通區(qū)域在空間和時間上所占的比例，獲得一致性誤差。

優(yōu)選的，以上的對象狀態(tài)估計的方法中，所述利用所述噪音誤差和一致性誤差，對第一概率進行校正，得到校正后的第二概率，并根據(jù)所述第二概率，預測所述對象在下一時刻的狀態(tài)的步驟，包括：

對所述噪音誤差進行歸一化處理，并計算第一概率與歸一化后的噪音誤差的第三差值；

對所述一致性誤差進行歸一化處理，并計算第一概率與歸一化后的一致性誤差的第四差值；

對第三差值和第四差值進行加權求和，得到第二概率；

在所述第二概率大于一預定門限時，判斷所述對象在下一時刻的狀態(tài)與當前狀態(tài)不同；

在所述第二概率小于等于所述預定門限時，判斷所述對象在下一時刻的狀態(tài)與當前狀態(tài)相同。

與現(xiàn)有技術相比，本發(fā)明實施例提供的對象狀態(tài)估計的方法及裝置，分析輸入視頻，通過顯著性檢測及誤差評估，估計、預測并更新對象的狀態(tài)，能夠更準確地預測對象的狀態(tài)，并為視覺處理的后續(xù)功能實現(xiàn)提供支持。

附圖說明

圖1是集成了本發(fā)明實施例的對象狀態(tài)估計裝置的應用系統(tǒng)的示意圖；

圖2是本發(fā)明實施例提供的對象狀態(tài)估計裝置的一種功能結構示意圖；

圖3是本發(fā)明實施例的視頻分割單元的結構示意圖；

圖4是本發(fā)明實施例的狀態(tài)初始化單元的結構示意圖；

圖5是本發(fā)明實施例的狀態(tài)預測單元的結構示意圖；

圖6是本發(fā)明實施例的狀態(tài)更新單元的結構示意圖；

圖7是本發(fā)明實施例的誤差計算單元的結構示意圖；

圖8是本發(fā)明實施例的狀態(tài)校正單元的結構示意圖；

圖9是本發(fā)明實施例提供的對象狀態(tài)估計裝置的一種硬件結構示意圖；

圖10是本發(fā)明實施例提供的對象狀態(tài)估計方法的流程示意圖；

圖11是圖10中的步驟1001的流程示意圖；

圖12是圖10中的步驟1002的流程示意圖。

具體實施方式

為使本發(fā)明要解決的技術問題、技術方案和優(yōu)點更加清楚，下面將結合附圖及具體實施例進行詳細描述。在下面的描述中，提供諸如具體的配置和組件的特定細節(jié)僅僅是為了幫助全面理解本發(fā)明的實施例。因此，本領域技術人員應該清楚，可以對這里描述的實施例進行各種改變和修改而不脫離本發(fā)明的范圍和精神。另外，為了清楚和簡潔，省略了對已知功能和構造的描述。

本發(fā)明實施例通過顯著性和誤差分析來評估對象的狀態(tài)，其中，對象可以為圖像區(qū)域，像素點，超像素等。狀態(tài)是對象的一種屬性，可以為前景、背景狀態(tài)，還可以是交互、非交互狀態(tài)等。本發(fā)明實施例主要關注對象的前景/背景狀態(tài)，本發(fā)明實施例輸出的對象狀態(tài)可以用于背景剪除系統(tǒng)或者對象跟蹤系統(tǒng)中的前、背景動態(tài)建模。

本發(fā)明實施例的一個具體的應用場景為以第一視角拍攝的關于用戶操作手中物體的視頻，用戶從背景區(qū)域中拿起物體，隨著操作的進行，物體從背景轉變成前景區(qū)域的一部分，并且在從視頻圖像的邊緣轉變到中心位置，當操作結束時，物體再次轉變成背景區(qū)域的一部分。因此，在建立背景外觀模型時，需要考慮物體的狀態(tài)變化。

圖1是一個集成了本發(fā)明實施例的對象狀態(tài)估計裝置的應用系統(tǒng)的示意圖。該應用系統(tǒng)100包括一個可穿戴式攝像頭101，一個可穿戴式顯示屏102以及一個智能眼鏡103。具體的，智能眼鏡103實際可以是一臺可穿戴式計算 機，本發(fā)明實施例的對象狀態(tài)估計裝置可以嵌入在該計算機中，可穿戴式攝像頭101及可穿戴式顯示屏102可以安裝在智能眼鏡103中。

圖1所示的應用場景104為用戶通過佩戴的智能眼鏡103查看手中商品的信息。智能眼鏡103分析攝像頭101拍攝到的視頻，理解用戶的意圖，輸出對應的響應，如在顯示屏102上顯示商品的有效期或者同類產(chǎn)品的信息。上述攝像頭101可以是任意一種能夠提供投影區(qū)域的彩色圖像的照相機，比如網(wǎng)絡攝像頭、家用數(shù)碼相機等。安裝了背景剪除裝置的智能眼鏡103，可以輸出背景剪除后的視頻，即視頻僅包含手及手中商品的區(qū)域，這個輸出結果可用于識別手勢、手握商品的姿態(tài)及商品屬性等。圖1所示的應用系統(tǒng)100僅為本發(fā)明的一個應用示例，實際應用中可能會多于或少于其所包含的設備個數(shù)，或者使用不同的設備，或者用于不同的場景。

請參考圖2，本發(fā)明實施例提供的對象狀態(tài)估計裝置200，包括：

視頻分割單元201，用于根據(jù)外觀特征和運動特征，將輸入視頻的每幀圖像分割為多個對象。

這里，輸入視頻可以是各自攝像設備(如運動相機)采集的視頻，例如，一段rgb彩色視頻。對象可以是圖像區(qū)域，各個對象通常互不重疊。

狀態(tài)初始化單元202，用于確定各個對象的狀態(tài)，所述狀態(tài)包括前景和背景；

狀態(tài)預測單元203，用于計算所述對象的原始圖像的第一顯著性特征，根據(jù)所述第一顯著性特征，預測所述對象在下一個時刻狀態(tài)轉變的第一概率；

狀態(tài)更新單元204，用于計算所述第一概率的誤差，并根據(jù)所述誤差，校正所述第一概率，并更新所述對象在下一時刻的狀態(tài)。

本發(fā)明實施例的上述對象狀態(tài)估計裝置200分析輸入視頻，通過顯著性檢測及誤差評估，估計、預測并更新對象的狀態(tài)，能夠更準確地預測對象的狀態(tài)。上述對象狀態(tài)估計裝置200輸出的結果，可以用于實現(xiàn)背景建模、背景剪除、物體跟蹤及識別等功能。

請參照圖3，本發(fā)明實施例的視頻分割單元201包括：

分割處理單元2011，用于根據(jù)外觀特征，對輸入視頻的圖像進行分割，獲得包括多個圖像塊的分割結果。

分割優(yōu)化單元2012，用于利用圖像的運動特征，對所述分割結果進行優(yōu)化，合并相鄰且具有相似運動特征的圖像塊，獲得分割后的對象。

這里，分割處理單元2011可以對接收到的一組視頻幀序列，根據(jù)外觀特征，如顏色、紋理、直方圖等，將每幀圖像分割成若干個區(qū)域(圖像塊)。由于圖像可能具有顏色相似的部分，基于外觀特征的分割結果有可能不準確。因此，分割優(yōu)化單元2012進一步利用運動特征對分割結果進行優(yōu)化，其中，運動特征可以通過光流或者現(xiàn)有技術的其他跟蹤算法得到。通過將相鄰的且運動特征相似性超過預定閾值的圖像塊合并在一起，得到分割后的對象。

請參照圖4，本發(fā)明實施例的狀態(tài)初始化單元202包括：

外觀相似性計算單元2021，用于計算任意兩個對象在外觀特征方面的外觀相似性；

運動相似性計算單元2022，用于計算任意兩個對象在運動特征方面的運動相似性；

聚類單元2023，用于根據(jù)運動相似性及外觀相似性計算對象屬于前景的概率，并據(jù)該對象屬于前景的概率，確定該對象的狀態(tài)。例如，當該對象屬于前景的概率大于預設的門限時，確定該對象屬于前景，否則確定該對象屬于背景。

這里，外觀相似性是一個向量，由一系列外觀特征之間的相似性構成，外觀特征具體可以包括對象的顏色、紋理、梯度等。具體的，外觀相似性計算單元2021可以計算任意兩個對象的外觀差異，并據(jù)此計算外觀相似性。例如，兩個對象pi和pj的外觀相似性aff^a(pi,pj)的計算，基于各自外觀特征fi^a和fj^a的差異，如公式[1]所示。

aff^a(pi,pj)＝exp(-λ||fi^a-fj^a||)[1]

運動相似性是一個向量，由一系列運動特征之間的相似性構成，運動特征具體可以包括對象的運動方向、速度等。運動相似性計算單元2022可以計算任意兩個對象的運動差異，并據(jù)此計算運動相似性，例如，兩個對象pi和pj的動相似性aff^m(pi,pj)的計算，基于各自運動特征fi^m和fj^m的差異，如公式[2]所示。

aff^m(pi,pj)＝exp(-λ||fi^m-fj^m||)[2]

聚類單元2023根據(jù)對象的運動相似性和外觀相似性來計算對象屬于前景的概率，進而將對象劃分成前景和背景兩類。具體的，聚類單元2023可以根據(jù)運動相似性來計算運動似然函數(shù)，以從對象的運動方面描述其屬于前景的概率。當前景中的物體停止運動時，對象的跟蹤可能會發(fā)生錯誤，得到不準確的運動特征。聚類單元2023還可以根據(jù)外觀相似性計算外觀似然函數(shù)，以從對象的外觀方面描述其屬于前景的概率。然后，將基于外觀及運動特征計算出的概率融合起來(例如，通過加權求和方式進行融合)，計算出對象屬于前景的最終概率，通過將該最終概率與預設門限進行比較，得出對象的分類結果。當上述概率大于門限時，對象屬于前景；否則，對象屬于背景。

上述運動似然函數(shù)或外觀似然函數(shù)的一個具體的實施例為，利用k近鄰(knn)方法、meanshift算法等，聚類上述運動相似性或外觀相似性，得到對象屬于前景的似然描述。

通常來說，第一視角的視頻拍攝的方向與拍攝者注意力的方向一致，即為前景對象的方向，如關于用戶操作對象的第一視角視頻的拍攝方向為用戶的視線方向，拍攝內(nèi)容為手與手中操作的對象。由于注意力與顯著性具有對應關系，因此，前景對象通常在視頻中的顯著位置，而背景對象通常在視頻中的不顯著的位置。通過分析對象的顯著性，可以判斷對象狀態(tài)變化的趨勢，顯著性越高的對象，其轉變狀態(tài)的可能性越高。

具體的，外觀顯著性描述了某個對象在外觀方面相對于其他對象的顯著程度；運動顯著性描述了某個對象在運動方面相對于其他對象的顯著程度，因此，請參照圖5，本發(fā)明實施例的狀態(tài)預測單元203包括：

顯著性計算單元2031，用于計算對象的原始圖像的第一外觀顯著性和第一運動顯著性；

似然估計單元2032，用于計算所述對象在當前一段預設時間內(nèi)的平均外觀顯著性，并計算所述第一外觀顯著性與平均外觀顯著性的差值，獲得所述第一外觀顯著性的第一置信度；計算當前幀圖像中的所有對象的平均運動顯著性，并計算所述第一運動顯著性與平均運動顯著性的差值，獲得所述第一運動顯著性的第二置信度；以及，根據(jù)第一置信度和第二置信度，確定第一外觀顯著性和第一運動顯著性對應的權值，進而根據(jù)所述權值、第一外觀顯著性和第一運 動顯著性，計算所述對象在下一個時刻狀態(tài)轉變的第一概率。

這里，顯著性計算單元2031計算對象的顯著性，輸出對象的外觀顯著性和運動顯著性。具體的，可以根據(jù)對象的外觀特征與其他對象的差異來計算其外觀顯著性，外觀特征可以包括對象的顏色、紋理、位置等?？梢愿鶕?jù)對象的運動特征與其他對象的差異來計算其運動顯著性，運動特征可以為對象的運動方向、速度等。似然估計單元2032將上述第一置信度和第二置信度歸一化以后得到各自的融合權值，再根據(jù)所述融合權值，對第一外觀顯著性和第一運動顯著性進行加權求和，得到所述第一概率。所述的當前一段預設時間是指當前時刻之前的某個時刻到當前時刻之間的一段時間，該段時間的長度為預設長度。

請參照圖6，本發(fā)明實施例的狀態(tài)更新單元204包括：

誤差計算單元2041，用于計算所述對象經(jīng)去噪處理后的圖像的第二顯著性特征，根據(jù)所述第一顯著性特征和第二顯著性特征計算噪音誤差，以及，在所述對象的鄰域內(nèi)，基于對象狀態(tài)進行連通域分析，并根據(jù)獲得的連通區(qū)域，計算一致性誤差；

狀態(tài)校正單元2042，用于利用所述噪音誤差和一致性誤差，對第一概率進行校正，得到校正后的第二概率，并根據(jù)所述第二概率，預測所述對象在下一時刻的狀態(tài)。

這里，誤差計算單元2041評估狀態(tài)預測單元的誤差，狀態(tài)校正單元2042校正誤差并更新對象的狀態(tài)。由于在視頻拍攝過程在，環(huán)境光線很可能發(fā)生變化，并且對象之間可能存在遮擋，狀態(tài)預測單元的結果存在誤差。因此，誤差計算單元2041通過計算噪音及一致性來評價預測結果的準確性。另外，當遮擋發(fā)生時，對象的運動顯著性可能會發(fā)生突變，并導致前、背景聚類結果發(fā)生錯誤。因此，請參照圖7，本發(fā)明實施例的所述誤差計算單元2041具體可以包括：

噪音誤差計算單元20411，用于計算所述對象去噪處理后的圖像的第二外觀顯著性和第二運動顯著性；計算第一外觀顯著性和第二外觀顯著性的第一差值，以及第一運動顯著性和第二運動顯著性的第二差值，得到包括第一差值和第二差值的噪音殘差；以及，對所述噪音殘差在時間維度和空間維度上進行累積，得到所述噪音誤差。

例如，可以對當前幀圖像(假設為第t幀圖像)之前的連續(xù)t幀圖像進行上述累積計算，得到噪音誤差d(t)，這里，連續(xù)t幀圖像可以包括當前幀圖像，具體可以參考以下公式計算所述噪音誤差d(t)：

上述公式中，mi表示第i幀圖像中的對象數(shù)量，d1(j,i)第i幀圖像中的所述第一差值，d2(j,i)表示第i幀圖像中的所述第二差值。

一致性誤差計算單元20412，用于在所述對象的鄰域內(nèi)，統(tǒng)計前景、背景對象的直方圖，并將鄰域標記為直方圖柱的編號；通過連通域分析聚類對象，并根據(jù)聚類后得到的連通區(qū)域的面積，確定該連通區(qū)域為一致性連通區(qū)域或不一致性連通區(qū)域；以及，計算不一致性連通區(qū)域在空間和時間上所占的比例，獲得一致性誤差。

例如，可以參考以下公式計算第t幀圖像的一致性誤差c(t)：

上述公式中，ci表示連續(xù)t幀圖像的第i幀圖像中的一致性連通區(qū)域的個數(shù)。

這里，噪音誤差計算單元20411對視頻幀進行濾波，如高斯濾波、雙邊濾波等，并基于濾波后的圖像計算外觀及運動顯著性，得到第二外觀顯著性和第二運動顯著性。然后，比較濾波前后的顯著性，得到噪音殘差，并將噪音殘差在時間和空間維度上進行累計，獲得噪音誤差。

一致性誤差計算單元20412在對象的鄰域內(nèi)統(tǒng)計前、背景狀態(tài)的直方圖，并將區(qū)域標記為直方圖柱的編號。然后，通過連通域分析聚類區(qū)域，并根據(jù)聚類后得到的區(qū)域的面積判斷該區(qū)域為一致性區(qū)域還是不一致性區(qū)域。如果聚類后得到的連通區(qū)域的面積大于預設面積門限，則判定該連通區(qū)域為一致性連通區(qū)域。通過計算不一致性連通區(qū)域在空間和時間上所占的比例，并將此比例作為一致性誤差輸出。

本發(fā)明實施例中，狀態(tài)校正單元2042根據(jù)誤差計算單元2041計算出的誤 差校正對象的狀態(tài)。請參照圖8，本發(fā)明實施例的狀態(tài)校正單元2042包括：

第一計算單元20421，用于對所述噪音誤差進行歸一化處理，并計算第一概率與歸一化后的噪音誤差的第三差值；

第二計算單元20422，用于對所述一致性誤差進行歸一化處理，并計算第一概率與歸一化后的一致性誤差的第四差值；

校正處理單元20423，用于對第三差值和第四差值進行加權求和，得到第二概率，并在所述第二概率大于一預定門限時，判斷所述對象在下一時刻的狀態(tài)與當前狀態(tài)不同，否則，判斷所述對象在下一時刻的狀態(tài)與當前狀態(tài)相同。

這里，校正處理單元20423按照權值，例如高斯權值，對第三差值和第四差值進行加權求和，將上述兩種校正后的概率結合在一起，并將計算結果與預定門限比較，得到更新后的對象狀態(tài)。

下面結合圖9描述本發(fā)明實施例涉及的對象狀態(tài)估計裝置的一種硬件結構圖，如圖9所示，該硬件結構900包括：

攝像機901、處理器902、存儲器903、顯示設備904、以及對象狀態(tài)估計裝置905，對象狀態(tài)估計裝置905又包括視頻分割單元9051、狀態(tài)初始化單元9052、狀態(tài)預測單元9053和狀態(tài)更新單元9054。其中，所述視頻分割單元9051、狀態(tài)初始化單元9052、狀態(tài)預測單元9053和狀態(tài)更新單元9054各自實現(xiàn)的功能與圖2所示的視頻分割單元201、狀態(tài)初始化單元202、狀態(tài)預測單元203和狀態(tài)更新單元204相類似。

本發(fā)明實施例中，對象狀態(tài)估計裝置905中的各個模塊可以通過嵌入式系統(tǒng)來實現(xiàn)。當然對象狀態(tài)估計裝置905也可以通過處理器902來實現(xiàn)，此時對象狀態(tài)估計裝置905相當于處理器902的一個子模塊。

圖9中，處理器902和存儲器903分別通過總線接口與背景剪除裝置905連接；總線架構可以是可以包括任意數(shù)量的互聯(lián)的總線和橋；具體由處理器902代表的一個或者多個處理器，以及由存儲器903代表的一個或者多個存儲器的各種電路連接在一起。總線架構還可以將諸如外圍設備、穩(wěn)壓器和功率管理電路等之類的各種其它電路連接在一起，這些都是本領域所公知的。因此，本文不再對其進行詳細描述。

本發(fā)明實施例還提供了一種對象狀態(tài)估計的方法，可應用于對運動相機采集的視頻中的對象狀態(tài)進行預測，請參照圖10，該方法包括以下步驟：

步驟1001，根據(jù)外觀特征和運動特征，將輸入視頻的每幀圖像分割為多個對象，并確定各個對象的狀態(tài)，所述狀態(tài)包括前景和背景；

步驟1002，計算所述對象的原始圖像的第一顯著性特征，根據(jù)所述第一顯著性特征，預測所述對象在下一個時刻狀態(tài)轉變的第一概率；

步驟1003，計算所述第一概率的誤差，并根據(jù)所述誤差，校正所述第一概率，并更新所述對象在下一時刻的狀態(tài)。

以上方法，通過顯著性檢測及評估狀態(tài)預測的誤差，更新對象的狀態(tài)，從而可以更為準確的預測對象狀態(tài)。本發(fā)明實施例上述方法的輸出結果，可以應用于視覺處理的后續(xù)功能，如背景建模、背景剪除、物體跟蹤及識別等，從而提高視覺處理的性能。

請參照圖11，本發(fā)明實施例上述步驟1001具體可以包括：

步驟10011，根據(jù)外觀特征，對輸入視頻的圖像進行分割，獲得包括多個圖像塊的分割結果；

步驟10012，利用圖像的運動特征，對所述分割結果進行優(yōu)化，合并相鄰且具有相似運動特征的圖像塊，獲得分割后的對象；

步驟10013，計算任意兩個對象在運動特征方面的運動相似性以及在外觀特征方面的外觀相似性，根據(jù)運動相似性及外觀相似性計算對象屬于前景的概率，并據(jù)該對象屬于前景的概率，確定該對象的狀態(tài)。

本發(fā)明實施例中，利用顯著性特征，如外觀顯著性和運動顯著性，來預測對象在下一幀圖像狀態(tài)發(fā)生改變的第一概率。請參照圖12，第一概率的計算具體包括以下步驟：

步驟10021，計算輸入視頻中的對象的原始圖像的第一外觀顯著性；

步驟10022，計算輸入視頻中的對象的原始圖像的第一運動顯著性；

步驟10023，計算所述對象在當前一段預設時間內(nèi)的平均外觀顯著性，并計算所述第一外觀顯著性與平均外觀顯著性的差值，獲得所述第一外觀顯著性的第一置信度；

步驟10024，計算當前幀圖像中的所有對象的平均運動顯著性，并計算所述第一運動顯著性與平均運動顯著性的差值，獲得所述第一運動顯著性的第二置信度；

步驟10025，根據(jù)第一置信度和第二置信度，確定第一外觀顯著性和第一運動顯著性對應的權值，進而根據(jù)所述權值、第一外觀顯著性和第一運動顯著性，計算所述對象在下一個時刻狀態(tài)轉變的第一概率。

由于視頻可能因此光線或遮擋等原因，導致所述第一概率存在較大誤差，因此，本發(fā)明實施例在上述步驟1003中計算第一概率的誤差，例如，計算所述對象經(jīng)去噪處理后的圖像的第二顯著性特征，根據(jù)所述第一顯著性特征和第二顯著性特征計算噪音誤差，以及，在所述對象的鄰域內(nèi)，基于對象狀態(tài)進行連通域分析，并根據(jù)獲得的連通區(qū)域，計算一致性誤差。

具體的，噪音誤差的計算包括：計算所述對象去噪處理后的圖像的第二外觀顯著性和第二運動顯著性；計算第一外觀顯著性和第二外觀顯著性的第一差值，以及第一運動顯著性和第二運動顯著性的第二差值，得到包括第一差值和第二差值的噪音殘差；以及，對所述噪音殘差在時間維度和空間維度上進行累積，得到所述噪音誤差。

一致性誤差的計算包括：在所述對象的鄰域內(nèi)，統(tǒng)計前景、背景對象的直方圖，并將鄰域標記為直方圖柱的編號；通過連通域分析聚類對象，并根據(jù)聚類后得到的連通區(qū)域的面積，確定該連通區(qū)域為一致性連通區(qū)域或不一致性連通區(qū)域。

本發(fā)明實施例利用噪音誤差和一致性誤差，對第一概率進行校正，具體的，可以分別對所述噪音誤差進行歸一化處理，并計算第一概率與歸一化后的噪音誤差的第三差值；以及，對所述一致性誤差進行歸一化處理，并計算第一概率與歸一化后的一致性誤差的第四差值；然后，對第三差值和第四差值進行加權求和，得到校正后的第二概率。這樣，在所述第二概率大于所述預定門限時，判斷所述對象在下一時刻的狀態(tài)與當前狀態(tài)不同，即狀態(tài)發(fā)生改變；在所述第二概率小于等于所述預定門限時，判斷所述對象在下一時刻的狀態(tài)與當前狀態(tài)相同，即狀態(tài)保持不變。

以上所述是本發(fā)明的優(yōu)選實施方式，應當指出，對于本技術領域的普通技 術人員來說，在不脫離本發(fā)明所述原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。