專利名稱：基于互補顯著度圖的圖像興趣物體自動提取方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種基于互補顯著度圖的圖像興趣物體自動 提取方法及系統(tǒng)。
背景技術(shù)：
近年來數(shù)字圖像的數(shù)量以幾何方式不斷增長。在這些圖像中，真正具有意義的內(nèi) 容通常只占據(jù)了一小部分。這些有價值的、在圖像中往往以興趣物體形式表現(xiàn)出來的內(nèi)容 在大多數(shù)情況下足以代表整個圖像的語義，因此興趣物體在許多圖像應(yīng)用(比如基于內(nèi)容 的圖像檢索)中起著非常關(guān)鍵的作用?，F(xiàn)有的專利和論文都試圖通過各種方法來達到從圖像中自動提取出興趣物體 的目的。美國專禾丨J "Adaptive segmentation of anatomicregions in medical images With fuzzy clustering，^基于模糊聚類的自適應(yīng)醫(yī)療圖像解剖區(qū)域分割，申請?zhí)?20050033139)利用矩形模板對醫(yī)學(xué)圖像進行異常物體檢測與提取。美國專利“Strategies forextracting foreground information using flash and no-flash image pairs，，(米 用閃光和非閃光燈圖像進行前景信息提取的策略，申請?zhí)?0080297621)利用不帶閃光燈 和帶閃光燈的拍攝情況下，前景和背景對光線強度的不同反應(yīng)進行物體檢測。然而以上兩種方法都針對特定的應(yīng)用場景，適用范圍有限，很難得到一般推廣。美 國專利“Object Recognizer and Detector forTwo-Dimensional Images Using Bayesian Network Based Classifier”(基于貝葉斯網(wǎng)絡(luò)分類器的二維圖像物體識別和檢測器，申 請?zhí)?0090067730)在貝葉斯理論基礎(chǔ)上建立分類器從而對物體和背景加以區(qū)別。論文 "Object Segmentation Using Graph Cuts Based ActiveContours”(利用基于圖分割技術(shù) 的動態(tài)輪廓進行物體分割，N.Xu etal. 2003)基于圖論將像素區(qū)域建模為圖頂點，區(qū)域之間 的某種相似性建模為帶權(quán)邊，然后最小化能量函數(shù)提取出興趣物體。論文“SalientClosed Boundary Extraction with Ratio Contour”(基于比值輪廓技術(shù)的物體顯著閉合邊界提 取，S.Wang et al. 2005)首先應(yīng)用某種邊緣檢測方法得到邊緣碎片，然后連接一個碎片子 集作為興趣物體的輪廓?？偟恼f來，以上的方法雖然在一些簡單情況下表現(xiàn)出良好的效果， 但它們都試圖在對人體視覺感知考察很少的前提下去解決興趣物體提取問題，因此這些方 法在某些復(fù)雜的情況下(比如背景混亂的圖像)擁有不太滿意的結(jié)果。由于視覺顯著度能較好地符合人體的視覺感知且能作為一種重要圖像內(nèi)容的 選擇機制，基于顯著度的方法最近被提出作為另一種提取興趣物體的方式。根據(jù)視覺顯 著度的定義，和周圍環(huán)境視覺特征相差越大的區(qū)域顯著程度越高。美國專利“Combining MultipleCues in a Visual Object Detection System”(在視覺物體檢測系統(tǒng)中融 合多種特征，申請?zhí)?0080304742)將多種視覺特征融合以生成一幅顯著度圖，然后設(shè)定 閾值分割出興趣物體。美國專利“Salient 0bjectDetection”(顯著物體檢測，申請?zhí)?20080304740)首先提取出局部性、區(qū)域性和全局性三類特征，然后根據(jù)條件隨機場理論學(xué) 習(xí)三種特征的加權(quán)系數(shù)，最后加權(quán)得到一個顯著度圖進而分割出興趣物體。中國專利“基于區(qū)域顯著性的顯著對象提取方法”(申請?zhí)?00910046276. 2)首先建立一個尺度不變的顯 著性圖像，用非參數(shù)核密度估計方法把輸入圖像分割成不同的區(qū)域，然后計算每個區(qū)域組 合與其補集的區(qū)域顯著性的比值，最后通過取這個比值的最大值而提取出顯著對象。論文 "Frequency-tuned Salient Region Detection”(頻率調(diào)諧的顯著區(qū)域檢測，R. Achanta et al. 2009)生成一個頻率調(diào)諧的顯著度圖，然后利用自適應(yīng)的閾值二值化出興趣物體。盡管 這些基于顯著度的方法在模擬人體視覺感知上比較成功，但由它們提取出的物體結(jié)果往往 缺乏整體性和準確性。從視覺顯著度的定義可以得知，在含有比較大的興趣物體的顯著度 圖中，物體中間部分很可能會產(chǎn)生黑色的區(qū)域并且伴隨著物體邊緣的過度亮化；同時，背景 視覺特征的局部性突變有可能被檢測為興趣物體的一部分。因此，基于顯著度提取的結(jié)果 雖然較一般方法有所改善，但仍具有較低的調(diào)用率或準確率。總的說來，所有上述方法的局限性可以歸納為以下兩點第一、非基于顯著度的方法的提取結(jié)果不能較好地符合人體視覺感知，在一些復(fù) 雜情況下效果不太理想。第二、基于顯著度的方法的提取結(jié)果由于視覺顯著度概念本身的特點仍然缺乏一 定的整體性和準確性。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種基于互補顯著度圖的圖像興趣物體自動提取方法，基 于本發(fā)明，可以解決基于顯著度的興趣物體提取方法中普遍存在的提取結(jié)果整體性和準確 性的問題。一方面，本發(fā)明公開了一種基于互補顯著度圖的圖像興趣物體自動提取方法，包 括如下步驟粗提取步驟，基于原始圖像，生成兩個互補的顯著度圖，獲取兩個互補的粗提 取結(jié)果；提取步驟，將所述兩個互補的粗提取結(jié)果作為先驗知識，采取像素分類方法提取出 興趣物體；后續(xù)處理步驟，對提取出的所述興趣物體進行優(yōu)化。上述興趣物體自動提取方法，優(yōu)選所述互補的顯著度圖包括模糊顯著度圖和尖銳 顯著度圖，所述互補的粗提取結(jié)果包括物體封套區(qū)域和物體骨架區(qū)域；所述粗提取步驟包 括互補的顯著度圖提取步驟，提取原始圖像的視覺代表特征，基于所述視覺代表特征生成 所述模糊顯著度圖和所述尖銳顯著度圖；自適應(yīng)性閾值設(shè)定步驟，為所述模糊顯著度圖設(shè) 定第一自適應(yīng)性閾值，為所述尖銳顯著度圖設(shè)定第二自適應(yīng)性閾值；二值化處理步驟，依據(jù) 所述第一自適應(yīng)性閾值對所述模糊顯著度圖進行二值化處理，獲取所述物體封套區(qū)域；依 據(jù)所述第二自適應(yīng)性閾值對所述尖銳顯著度圖進行二值化處理，獲取所述物體骨架區(qū)域； 背景種子和物體種子確定步驟，將物體封套以外部分作為背景種子，骨架部分作為物體種 子。上述興趣物體自動提取方法，優(yōu)選在所述二值化處理步驟和所述背景種子和物體 種子確定步驟之間，還包括去除所述物體封套區(qū)域和骨架區(qū)域內(nèi)孤立像素塊和填補區(qū)域漏 洞的步驟。上述興趣物體自動提取方法，優(yōu)選所述精提取步驟包括統(tǒng)計步驟，分別統(tǒng)計所述 背景種子和所述物體種子的視覺代表特征，將統(tǒng)計結(jié)果分別進行聚類，獲取聚類中心；計算 步驟，計算非種子像素與每一聚類中心的相似度，基于相似度，將其歸入最為相似的一類；其中，將原始圖像中減去所述背景種子與所述物體種子后，獲得的差作為非種子像素的集 合；提取步驟，根據(jù)歸類結(jié)果提取出興趣物體區(qū)域。上述興趣物體自動提取方法，優(yōu)選所述后續(xù)處理步驟中，所述優(yōu)化處理包括對所 述興趣物體的區(qū)域進行包括孤立塊連接、邊緣平滑的處理。另一方面，本發(fā)明還公開了一種基于互補顯著度圖的圖像興趣物體自動提取系 統(tǒng)，包括粗提取模塊，用于基于原始圖像，生成兩個互補的顯著度圖，獲取兩個互補的粗提 取結(jié)果；精提取模塊，用于將所述兩個互補的粗提取結(jié)果作為先驗知識，采取像素分類方法 提取出興趣物體；后續(xù)處理模塊，用于對提取出的所述興趣物體進行優(yōu)化。上述興趣物體自動提取系統(tǒng)，優(yōu)選所述互補的顯著度圖包括模糊顯著度圖和尖銳 顯著度圖，所述互補的粗提取結(jié)果包括物體封套區(qū)域和物體骨架區(qū)域，所述粗提取模塊包 括互補的顯著度圖提取單元，用于提取原始圖像的視覺代表特征，基于所述視覺代表特征 生成所述模糊顯著度圖和所述尖銳顯著度圖；自適應(yīng)性閾值設(shè)定單元，用于為所述模糊顯 著度圖設(shè)定第一自適應(yīng)性閾值，為所述尖銳顯著度圖設(shè)定第二自適應(yīng)性閾值；二值化處理 單元，用于依據(jù)所述第一自適應(yīng)性閾值對所述模糊顯著度圖進行二值化處理，獲取所述物 體封套區(qū)域；依據(jù)所述第二自適應(yīng)性閾值對所述尖銳顯著度圖進行二值化處理，獲取所述 物體骨架區(qū)域；背景種子和物體種子確定單元，用于將物體封套以外部分作為背景種子，骨 架部分作為物體種子。上述興趣物體自動提取系統(tǒng)，優(yōu)選在所述二值化處理單元和所述背景種子和物體 種子確定單元之間，還連接有去除所述物體封套區(qū)域和骨架區(qū)域內(nèi)孤立像素塊和填補區(qū)域 漏洞的單元。上述興趣物體自動提取系統(tǒng)，優(yōu)選所述精提取模塊包括統(tǒng)計單元，用于分別統(tǒng)計 所述背景種子和所述物體種子的視覺代表特征，將統(tǒng)計結(jié)果分別進行聚類，獲取聚類中心； 計算單元，用于計算非種子像素與每一聚類中心的相似度，基于相似度，將其歸入最為相似 的一類；其中，將原始圖像中減去所述背景種子與所述物體種子后，獲得的差作為非種子像 素的集合；提取單元，用于根據(jù)歸類結(jié)果提取出興趣物體區(qū)域。上述興趣物體自動提取系統(tǒng)，優(yōu)選所述后續(xù)處理模塊中，所述優(yōu)化處理包括對所 述興趣物體的區(qū)域進行包括孤立塊連接、邊緣平滑的處理。相對于現(xiàn)有技術(shù)而言，與現(xiàn)有方法相比，本發(fā)明的優(yōu)點有 第一、基于視覺顯著度，能較好地模擬人體視覺感知，具有一定魯棒性。第二、基于互補的顯著度圖，將復(fù)雜的物體提取問題轉(zhuǎn)換成了較簡單的像素分類 問題，提取的結(jié)果具有較高的完整性和準確性，解決了大多數(shù)基于顯著度方法的完整性問 題。也就是說，本發(fā)明通過給定任意圖像，在模擬人體視覺感知的情況下自動準確地 提取出圖像中的興趣物體，有效地解決了基于顯著度方法的結(jié)果完整性問題，為該類方法 提供了一種全新的思路。


圖1是本發(fā)明基于互補顯著度圖的圖像興趣物體自動提取方法實施例的步驟流 程圖2是本發(fā)明基于互補顯著度圖的圖像興趣物體自動提取方法優(yōu)選實施例的原 理圖；圖3是基于互補顯著度圖的圖像興趣物體自動提取方法效果圖及物體封套和骨 架區(qū)域示例圖；圖4是粗提取階段的流程圖；圖5是模糊和尖銳顯著度圖示例圖；圖6是精提取階段的流程圖；圖7是本發(fā)明基于互補顯著度圖的圖像興趣物體自動提取系統(tǒng)的結(jié)構(gòu)框圖；圖8為粗提取模塊的結(jié)構(gòu)示意圖；圖9為精提取模塊的結(jié)構(gòu)示意圖。
具體實施例方式為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實 施方式對本發(fā)明作進一步詳細的說明。本發(fā)明將傳統(tǒng)的物體提取過程分解成兩個子過程，子過程采用不同策略生成兩個 互補的顯著度圖并由此得到兩個互補的粗提取結(jié)果。這兩個結(jié)果中一個具有較高的調(diào)用 率，另一個具有較高的準確率。然后根據(jù)粗提取結(jié)果采取簡單的像素歸類方法最終提取出 完整準確的興趣物體。通過這樣的方式，在人體視覺感知得到較好模擬的情況下，本發(fā)明有 效地解決了基于顯著度的興趣物體提取方法中普遍存在的提取結(jié)果整體性和準確性問題， 為該類方法提供了一種全新的思路。參照圖1，圖1為本發(fā)明基于互補顯著度圖的圖像興趣物體自動提取方法的步驟 流程圖，包括如下步驟粗提取步驟S1，對同一幅圖像，生成兩個互補的顯著度圖，獲取兩個互補的粗提取 結(jié)果；精提取步驟S2，將所述兩個互補的粗提取結(jié)果作為先驗知識，采取像素分類方法提 取出興趣物體；后續(xù)處理步驟S3，對提取出的所述興趣物體進行優(yōu)化。參照圖2，是本發(fā)明基于互補顯著度圖的圖像興趣物體自動提取方法優(yōu)選實施例 的原理圖，如圖2所示，對于任意原始圖像，首先分別生成模糊和尖銳的顯著度圖，再分別 自適應(yīng)生成一個較低和較高的閾值，二值化顯著度圖得到物體的封套和骨架區(qū)域。最后通 過一種簡單高效的像素分類方法，在物體封套和骨架的基礎(chǔ)上提取出準確的興趣物體。較低自適應(yīng)閾值(第一自適應(yīng)性閾值)為一個寬松的閾值，較高自適應(yīng)閾值(第 二自適應(yīng)性閾值)為一個嚴格的閾值，這兩個閾值不是在同一個顯著度圖上使用。比如第 一個采取顯著度平均值的0. 8倍，第二個采取平均值的1. 3倍。參照圖3，圖3為基于互補顯著度圖的圖像興趣物體自動提取方法效果圖及物體 封套和骨架區(qū)域示例圖，在圖3中，3a行代表原始圖像，3b行代表物體封套區(qū)域，3c行代表 物體骨架區(qū)域，3d行代表提取處的興趣物體。參照圖4，上述實施例中，粗提取階段的主要步驟如下步驟41 對原始圖像采用不同策略提取多種視覺代表特征步驟42 用對應(yīng)的代表特征分別生成模糊和尖銳的顯著度圖步驟43 分別對模糊和尖銳顯著度圖設(shè)定較低和較高的自適應(yīng)性閾值進行二值化步驟44 將二值化的結(jié)果作為物體封套區(qū)域和骨架區(qū)域步驟45 進一步完善粗提取結(jié)果，包括去除孤立像素小塊和填補區(qū)域漏洞步驟46 將物體封套以外部分作為背景種子，骨架部分作為物體種子。下面對各步驟的實現(xiàn)方法進行詳細描述步驟41和步驟42的視覺特征的選取應(yīng) 當分別和模糊、尖銳顯著度圖的要求相符合。一般來說，選擇區(qū)域性較強的特征作為模糊顯 著度圖的生成特征，而選擇局部性較強的特征作為尖銳顯著度圖的生成特征。區(qū)域性較強 的特點使得一個區(qū)域內(nèi)像素的顯著值不會有太大改變，由此生成的顯著度圖一般較為模糊 或者平緩；而局部性較強的特點使得特征局部變化大的地方有較高的顯著值，由此生成的 顯著度圖一般較為尖銳或?qū)Ρ榷容^大。下面詳細描述在本實施例中模糊和尖銳顯著度圖的 生成過程。模糊顯著度圖通過加權(quán)兩種已有的特征圖得到。第一個特征圖是 frequency-tuned saliency map (FSM)。首先，用一個DoG過濾器對原圖像進行多尺度的平 滑模糊處理，然后對于任意像素點x，其FSM特征值可以定義為 其中P(X)是像素點x的某種視覺代表特征，在一個實施例中，該特征取為像素點 在Lab顏色空間中的取值。PavCT表示所有像素點代表特征的平均值。計算完成后，該特征 圖被歸一化到W，l]。第二個特征圖是center-surround contrast map (CCM)，其基本思 想是計算一個區(qū)域在顏色上和周圍環(huán)境的差異程度，并認為差異最大的區(qū)域為興趣物體區(qū) 域。首先，對小規(guī)模的抽樣圖像集建立物體尺寸的統(tǒng)計數(shù)據(jù)，然后根據(jù)統(tǒng)計結(jié)果設(shè)定一系列 尺寸不同的矩形物體模板，其中矩形模板的尺寸參數(shù)選取統(tǒng)計結(jié)果中最具代表性的數(shù)值。 接著，設(shè)模板為T，模板周圍等面積的環(huán)狀區(qū)域為Ts，為了計算它們的顏色差異程度，一個直 觀的想法是計算它們顏色直方圖(分別為T，TS)的距離。在本實施例中采取類似于卡方距 離的標準來測量顏色差異 其中T *⑴代表直方圖T *第i個bin的取值，T*G {T，Tj。這樣對于每一個像 素點x(靠近圖像邊界的點除外)都可以計算得到一系列的矩形模板和其配對的環(huán)狀區(qū)域 的顏色差值，選取最大的差值并將相應(yīng)的模板寫作 同時，<T(X)配對的環(huán)狀區(qū)域記為$(X)。然后，對于任意像素點X，其CCM特征可
以記作 其中‘ = 是一個高斯加權(quán)系數(shù)，<根據(jù)CTOO的面積進行設(shè)定。在一個實施例 中，<選取為面積的四分之一。最后，CCM特征圖同樣被歸一化到w，i]。得到以上兩個特征圖之后，根據(jù)特征圖各自的重要性設(shè)定加權(quán)系數(shù)加權(quán)得到模糊的顯著度圖。尖銳顯著度圖使用color spatial-distribution (CS)特征，該特征依靠的先驗知 識為如果一種顏色在圖像中分布得越廣，則其出現(xiàn)在興趣物體上的幾率就越小。首先，在本 實施例中，n個高斯混合模型(GMMs)用來對圖像顏色進行聚類。假設(shè)p(i|x)為像素x屬 于模型i的概率，V(i)是模型i的空間位置方差，則像素x的CS特征可以表示成fcs (x) -E iP(i | x) (1-V ⑴)(1-D ⑴)，(5)D(i) =E Xp(i|x)dx，(6)其中dx是像素x到圖像中心的距離且D(i)和V(i)都事先被歸一化到
o通 過這種方式，尖銳顯著度圖得以生成。參照圖5，圖5為模糊和尖銳顯著度圖示例圖。其中，5a行代表原始圖像，5b行代 表模糊顯著度圖，5c行代表尖銳顯著度圖。步驟43中的閾值在模糊顯著度圖的情況下設(shè)定得較低，從而二值化后可以得到 一個比較大的區(qū)域，保證較高的調(diào)用率；在尖銳顯著度圖的情況下設(shè)定得較高，從而二值化 后可以得到一個比較小的區(qū)域，保證較高的準確率。在本實施例中，這兩個閾值分別自適應(yīng) 地設(shè)為平均顯著度值的0. 85和1. 3倍。步驟44中將大于這兩個閾值的部分分別認為是物 體的封套區(qū)域和骨架區(qū)域。步驟45進一步完善粗提取結(jié)果，比如填補二值化過程中易產(chǎn)生 的小漏洞或者去除孤立的小像素塊。一些興趣物體封套和骨架區(qū)域的例子如圖3的3b行、 3c行所示。最后，步驟46將圖像中封套以外的部分標記為背景像素種子，而將骨架部分標 記成物體像素種子，進而為下一步的像素分類提供先驗知識。參照圖6，上述實施例中，精提取與后續(xù)處理階段主要步驟如下步驟61 分別統(tǒng)計背景種子和物體種子的某種視覺代表特征，將統(tǒng)計結(jié)果分別進 行聚類，從而建立背景和物體部分的視覺特征模型。步驟62 計算剩下的每一個非種子像素與所有聚類中心的相似度，將其歸入最為 相似的一類。步驟63 根據(jù)歸類結(jié)果提取出興趣物體區(qū)域。步驟64 進行孤立塊連接、邊緣平滑等后處理，優(yōu)化結(jié)果。步驟65 得到最終完整精確的興趣物體。下面對各步驟的實現(xiàn)方法進行詳細描述步驟61中統(tǒng)計特征的數(shù)據(jù)結(jié)構(gòu)要求有 效快速，而視覺代表特征為簡單易提取的特征。在本實施例中，采用兩棵KD-tree來分別統(tǒng) 計背景和物體特征，其中樹上每一個節(jié)點都是代表特征的一個聚類。每個聚類包含了多個 相似的特征，聚類中心為特征的平均值。同時，在實施例中選取Lab空間的顏色值作為此代 表特征。步驟62中的相似度可以是任何衡量特征空間中特征相似性的測量標準，比如簡單 的歐拉距離。步驟63將所有歸類于物體KD-tree的像素組成的集合認為是興趣物體區(qū)域。 步驟64在步驟3的結(jié)果上進行一系列后處理優(yōu)化，比如連接距物體區(qū)域較近且和物體特征 相似的孤立小像素塊，平滑物體邊緣以去除突刺等。最后步驟65得到完整準確的興趣物 體。整個基于互補顯著度圖的圖像興趣物體自動提取方法流程所產(chǎn)生的結(jié)果順序?qū)?例如圖 3a — b — c — 3d。另一方面，本發(fā)明還提供了一種基于互補顯著度圖的圖像興趣物體自動提取系統(tǒng)，參照圖7，圖7為本發(fā)明基于互補顯著度圖的圖像興趣物體自動提取系統(tǒng)的結(jié)構(gòu)框圖，包括粗提取模塊70，用于對同一幅圖像，生成兩個互補的顯著度圖，獲取兩個互補的粗提 取結(jié)果；精提取模塊72，用于將所述兩個互補的粗提取結(jié)果作為先驗知識，采取像素分類 方法提取出興趣物體；后續(xù)處理模塊74，用于對提取出的所述興趣物體進行優(yōu)化。其中，上述互補的顯著度圖包括模糊顯著度圖和尖銳顯著度圖，互補的粗提取結(jié) 果包括物體封套區(qū)域和物體骨架區(qū)域，參照圖8，粗提取模塊70包括互補的顯著度圖提 取單元701，用于提取原始圖像的視覺代表特征，基于所述視覺代表特征生成所述模糊顯著 度圖和所述尖銳顯著度圖；自適應(yīng)性閾值設(shè)定單元702，用于為所述模糊顯著度圖設(shè)定第 一自適應(yīng)性閾值，為所述尖銳顯著度圖設(shè)定第二自適應(yīng)性閾值，所述第一自適應(yīng)性閾值小 于所述第二自適應(yīng)性閾值；二值化處理單元703，用于依據(jù)所述第一自適應(yīng)性閾值對所述 模糊顯著度圖進行二值化處理，獲取所述物體封套區(qū)域；依據(jù)所述第二自適應(yīng)性閾值對所 述尖銳顯著度圖進行二值化處理，獲取所述物體骨架區(qū)域；背景種子和物體種子確定單元 704，用于將物體封套以外部分作為背景種子，骨架部分作為物體種子。更為優(yōu)選的一種方式是，二值化處理單元和背景種子和物體種子確定單元之間， 還連接有去除所述物體封套區(qū)域和骨架區(qū)域內(nèi)孤立像素塊和填補區(qū)域漏洞的單元。參照圖9，圖9為精提取模塊72的結(jié)構(gòu)框圖，包括統(tǒng)計單元721，用于分別統(tǒng)計所述背景種子和所述物體種子的視覺代表特征，并將 統(tǒng)計結(jié)果聚類；計算單元722，用于計算剩下的每一個非種子像素與所有聚類中心的相似 度，將其歸入最為相似的聚類；提取單元723，用于根據(jù)歸類結(jié)果提取出興趣物體區(qū)域。在后續(xù)處理模塊74中，所述優(yōu)化處理包括對所述興趣物體的區(qū)域進行包括孤立 塊連接、邊緣平滑的處理，但不限于上述兩種方式的處理。上述系統(tǒng)實施例的原理與與方法實施例相同，在此不再贅述。相同之處互相參照 即可。以上對本發(fā)明所提供的一種基于互補顯著度圖的圖像興趣物體自動提取方法及 系統(tǒng)進行詳細介紹，本文中應(yīng)用了具體實施例對本發(fā)明的原理及實施方式進行了闡述，以 上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般 技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應(yīng)用范圍上均會有改變之處。綜上所述， 本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
一種基于互補顯著度圖的圖像興趣物體自動提取方法，其特征在于，包括如下步驟粗提取步驟，基于原始圖像，生成兩個互補的顯著度圖，獲取兩個互補的粗提取結(jié)果；精提取步驟，將所述兩個互補的粗提取結(jié)果作為先驗知識，采取像素分類方法提取出興趣物體；后續(xù)處理步驟，對提取出的所述興趣物體進行優(yōu)化。
2.根據(jù)權(quán)利要求1所述的興趣物體自動提取方法，其特征在于，所述互補的顯著度圖 包括模糊顯著度圖和尖銳顯著度圖，所述互補的粗提取結(jié)果包括物體封套區(qū)域和物體骨架 區(qū)域；所述粗提取步驟包括互補的顯著度圖提取步驟，提取原始圖像的視覺代表特征，基于所述視覺代表特征生 成所述模糊顯著度圖和所述尖銳顯著度圖；自適應(yīng)性閾值設(shè)定步驟，為所述模糊顯著度圖設(shè)定第一自適應(yīng)性閾值，為所述尖銳顯 著度圖設(shè)定第二自適應(yīng)性閾值；二值化處理步驟，依據(jù)所述第一自適應(yīng)性閾值對所述模糊顯著度圖進行二值化處理， 獲取所述物體封套區(qū)域；依據(jù)所述第二自適應(yīng)性閾值對所述尖銳顯著度圖進行二值化處 理，獲取所述物體骨架區(qū)域；背景種子和物體種子確定步驟，將物體封套以外部分作為背景種子，骨架部分作為物 體種子。
3.根據(jù)權(quán)利要求2所述的興趣物體自動提取方法，其特征在于，在所述二值化處理步 驟和所述背景種子和物體種子確定步驟之間，還包括去除所述物體封套區(qū)域和骨架區(qū)域內(nèi) 孤立像素塊和填補區(qū)域漏洞的步驟。
4.根據(jù)權(quán)利要求3所述的興趣物體自動提取方法，其特征在于，所述精提取步驟包括 統(tǒng)計步驟，分別統(tǒng)計所述背景種子和所述物體種子的視覺代表特征，將統(tǒng)計結(jié)果分別進行聚類，獲取聚類中心；計算步驟，計算非種子像素與每一聚類中心的相似度，基于相似度，將其歸入最為相似 的一類；其中，將原始圖像中減去所述背景種子與所述物體種子后，獲得的差作為非種子像 素的集合；提取步驟，根據(jù)歸類結(jié)果提取出興趣物體區(qū)域。
5.根據(jù)權(quán)利要求4所述的興趣物體自動提取方法，其特征在于，所述后續(xù)處理步驟中， 所述優(yōu)化處理包括對所述興趣物體的區(qū)域進行包括孤立塊連接、邊緣平滑的處理。
6.一種基于互補顯著度圖的圖像興趣物體自動提取系統(tǒng)，其特征在于，包括粗提取模塊，用于基于原始圖像，生成兩個互補的顯著度圖，獲取兩個互補的粗提取結(jié)果；精提取模塊，用于將所述兩個互補的粗提取結(jié)果作為先驗知識，采取像素分類方法提 取出興趣物體；后續(xù)處理模塊，用于對提取出的所述興趣物體進行優(yōu)化。
7.根據(jù)權(quán)利要求6所述的興趣物體自動提取系統(tǒng)，其特征在于，所述互補的顯著度圖 包括模糊顯著度圖和尖銳顯著度圖，所述互補的粗提取結(jié)果包括物體封套區(qū)域和物體骨架區(qū)域，所述粗提取模塊包括互補的顯著度圖提取單元，用于提取原始圖像的視覺代表特征，基于所述視覺代表特 征生成所述模糊顯著度圖和所述尖銳顯著度圖；自適應(yīng)性閾值設(shè)定單元，用于為所述模糊顯著度圖設(shè)定第一自適應(yīng)性閾值，為所述尖 銳顯著度圖設(shè)定第二自適應(yīng)性閾值；二值化處理單元，用于依據(jù)所述第一自適應(yīng)性閾值對所述模糊顯著度圖進行二值化處 理，獲取所述物體封套區(qū)域；依據(jù)所述第二自適應(yīng)性閾值對所述尖銳顯著度圖進行二值化 處理，獲取所述物體骨架區(qū)域；背景種子和物體種子確定單元，用于將物體封套以外部分作為背景種子，骨架部分作 為物體種子。
8.根據(jù)權(quán)利要求7所述的興趣物體自動提取方法，其特征在于，在所述二值化處理單 元和所述背景種子和物體種子確定單元之間，還連接有去除所述物體封套區(qū)域和骨架區(qū)域 內(nèi)孤立像素塊和填補區(qū)域漏洞的單元。
9.根據(jù)權(quán)利要求8所述的興趣物體自動提取方法，其特征在于，所述精提取模塊包括 統(tǒng)計單元，用于分別統(tǒng)計所述背景種子和所述物體種子的視覺代表特征，將統(tǒng)計結(jié)果分別進行聚類，獲取聚類中心；計算單元，用于計算非種子像素與每一聚類中心的相似度，基于相似度，將其歸入最為 相似的一類；其中，將原始圖像中減去所述背景種子與所述物體種子后，獲得的差作為非種 子像素的集合；提取單元，用于根據(jù)歸類結(jié)果提取出興趣物體區(qū)域。
10.根據(jù)權(quán)利要求9所述的興趣物體自動提取方法，其特征在于，所述后續(xù)處理模塊 中，所述優(yōu)化處理包括對所述興趣物體的區(qū)域進行包括孤立塊連接、邊緣平滑的處理。
全文摘要
本發(fā)明公開了一種基于互補顯著度圖的圖像興趣物體自動提取方法及系統(tǒng)。該方法包括對同一幅圖像，生成兩個互補的顯著度圖，獲取兩個互補的粗提取結(jié)果；將所述兩個互補的粗提取結(jié)果作為先驗知識，采取像素分類方法提取出興趣物體；對提取出的所述興趣物體進行優(yōu)化。本發(fā)明通過給定任意圖像，在模擬人體視覺感知的情況下自動準確地提取出圖像中的興趣物體，有效地解決了基于顯著度方法的結(jié)果完整性問題。
文檔編號G06T5/00GK101847264SQ20101019374
公開日2010年9月29日 申請日期2010年5月28日 優(yōu)先權(quán)日2010年5月28日
發(fā)明者余昊男, 李甲, 田永鴻, 黃鐵軍 申請人:北京大學(xué)