一種基于分層高階條件隨機場的圖像分割方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像分割技術(shù)領(lǐng)域，具體涉及一種基于分層高階條件隨機場的圖像多 目標分割方法。
【背景技術(shù)】
[0002] 圖像分割是計算機視覺領(lǐng)域中的一個關(guān)鍵問題。圖像分割質(zhì)量對后續(xù)的圖像內(nèi)容 分析、模式識別等應用有著重要的影響。目前的圖像分割算法主要包括以下幾類：1)基于 閾值的圖像分割。該類方法適合于目標和背景擁有不同灰度級范圍的目標圖像。2)基于區(qū) 域的圖像分割。其思想是依據(jù)具有相似特性的像素，通過區(qū)域生長與區(qū)域合并的圖像分割 技術(shù)。3)基于形變模型的分割。此類方法需要給出待分割對象的初始封閉分割曲線，再在 一些啟發(fā)式信息的作用下，曲線逐步變形到目標對象的邊界處。4)基于概率圖模型的圖像 分割。針對實際中的噪聲圖像數(shù)據(jù)，該類技術(shù)利用概率圖模型對自然圖像中的統(tǒng)計信息以 及先驗知識準確建模，是目前針對不確定圖像數(shù)據(jù)分割的最有效方法。
[0003] 基于條件隨機場的概率圖模型圖像分割方法已成為圖像分割領(lǐng)域一個研究熱點。 然而，此前方法大多基于像素級特征的條件隨機場建模[1]，忽略了圖像中目標對象的邊界 信息，分割結(jié)果往往過于追求像素間的平滑。毛凌等[2]提出一種新的高階條件隨機場模 型，將基于目標檢測方法得到的全局形狀信息和基于像素級特征的條件隨機場模型統(tǒng)一在 一個概率模型框架中，同時完成圖像分割、目標檢測與識別的任務，提升了圖像分割的識別 率。超像素是對圖像的一種中層表示單位，相比于像素具有高層的語義?；诔袼氐臈l 件隨機場模型[3]的基本思想是，首先通過無監(jiān)督分割算法將圖像過分割成小的區(qū)域像素 塊（超像素），然后以超像素為節(jié)點、空間相鄰的超像素節(jié)點為邊連接建立圖模型。雖然該 方法具有運行速度快的特點，但是類似基于超像素的條件隨機場模型[4]通常強制了一個 超像素內(nèi)所有像素的分類標簽的一致性，導致了分割結(jié)果嚴重依賴于無監(jiān)督分割算法的優(yōu) 劣。例如若超像素分割粒度不合適，一個超像素內(nèi)可能同時包含了不同目標，往往最后的分 割準確率還不如基于像素的條件隨機場模型。
[0004] [l]McCallum A1Ghamrawi N. Collective Multi-Label Classification. Proceedings of ACM International Conference on Information&Knowledge Managemen，2005:195-200.
[0005] [2]毛凌，解梅.基于高階條件隨機場模型的圖像語義分割.計算機應用研究， 2013,30(11) :3514-3517.
[0006] [3]張微，汪西莉.基于超像素的條件隨機場圖像分類.計算機應用，2012,32(5): 1272-1275.
[0007] [4]吳士林，耿佳佳，朱楓等.基于區(qū)域的多類目標識別與分割算法研究.中國圖 象圖形學報，2011，16(9) :1607-1614.

【發(fā)明內(nèi)容】

[0008] 為了解決上述現(xiàn)有技術(shù)存在的問題，本發(fā)明采用一種基于分層高階條件隨機場的 圖像分割方法，使其能夠融合圖像的像素級和超像素級的信息。結(jié)果顯示針對圖像的多目 標分割，分層高階模型可以提高分割對象邊界的準確性。
[0009] 為達到以上目的，本發(fā)明采用如下技術(shù)方案：
[0010] 一種基于分層高階條件隨機場的圖像分割方法，在構(gòu)建條件隨機場的底層能量函 數(shù)方面：首先提取圖像的像素級特征，包括紋理特征、顏色特征、尺度不變特征變換特征和 局部二值模式特征，利用這些像素級特征訓練分類器，把分類器對像素分類的輸出值轉(zhuǎn)化 為概率表達，構(gòu)造像素級的一元勢函數(shù)；再利用鄰域像素顏色差異的邊界特征定義像素級 的成對勢函數(shù)；在構(gòu)建條件隨機場的中層能量函數(shù)方面：首先利用無監(jiān)督分割算法得到不 同分割粒度的超像素結(jié)果；再提取超像素特征構(gòu)建超像素級的一元勢函數(shù)和成對勢函數(shù)； 綜合利用圖像的像素級的一元勢函數(shù)和成對勢函數(shù)以及超像素級的一元勢函數(shù)和成對勢 函數(shù)構(gòu)建分層高階條件隨機場模型；進而利用人工標注的樣本，通過逐層監(jiān)督學習的方法 估計模型參數(shù)；最后對目標圖像應用圖割算法推理得到最終的圖像分割標記。
[0011] 所述的利用無監(jiān)督分割算法得到不同分割粒度的超像素結(jié)果，具體方法為：先將 圖像從RGB空間轉(zhuǎn)換到LUV顏色空間，利用均值漂移聚類算法，通過選擇顏色搜索窗口參 數(shù)，產(chǎn)生不同分割粒度的三層超像素結(jié)果。
[0012] 所述的提取超像素特征構(gòu)建超像素級的一元勢函數(shù)：具體方法為：定義超像素的 特征響應值為超像素內(nèi)該特征對應像素點所占的比例，通過該特征響應值訓練分類器，并 將分類器對超像素分類的輸出值轉(zhuǎn)化為概率表達，以此構(gòu)造超像素級的一元勢函數(shù)；具體 數(shù)學模型為：設(shè)X。表示某一超像素 c的特征相應值，<表示超像素 c內(nèi)第i個像素點的標 簽；為每個超像素尋找占主導比例的標簽值賦予X。，
[0014] 其中，|<=/|表示X。中標簽為1的像素的個數(shù)，|x」表示超像素 c內(nèi)的像素的個 數(shù)；T是人工設(shè)定的閾值，取值大于0. 5 ;1F定義為空標簽，即不存在主導標簽；
[0015] 構(gòu)造的超像素級的一元勢函數(shù)形式如下：
[0017] 其中，H1 (C)是超像素 c的標簽被分類器判斷為1的概率；α是一個人工設(shè)定的截 斷值常數(shù)；
是歸一化系數(shù)。
[0018] 所述的提取超像素特征構(gòu)建超像素級的成對勢函數(shù)，具體方法為：首先計算超像 素的顏色直方圖，以相鄰超像素之間歸一化顏色直方圖的歐氏距離作為超像素間的相似 度，并以此構(gòu)造超像素級的成對勢函數(shù)；具體數(shù)學模型為：所述超像素級的成對勢函數(shù)的 形式如下：
[0020] 其中，g(c，d) = |h(xj_h(xd) |2;h( ·)是歸一化的超像素片段的顏色直方圖；
[0021] 所述的綜合利用圖像的底層像素級能量函數(shù)和中層超像素級能量函數(shù)，構(gòu)建分層 高階條件隨機場模型如下：
[0023] 其中，Mx1)為像素級一元勢函數(shù)，Uuj)為像素級成對勢函數(shù)，V表示像素 集合，N i表示第i個像素的相鄰像素集合，η為超像素層數(shù)。
[0024] 本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下優(yōu)點：
[0025] 傳統(tǒng)的圖像分割方法多數(shù)以底層像素級特征為單位構(gòu)建條件隨機場模型，雖設(shè)計 了成對勢函數(shù)作為相鄰像素標記的光滑項，但依然不能保證分割結(jié)果對目標邊界擬合的光 滑性。超像素是圖像的中層表示，能夠擬合目標邊界，但由于對圖像中目標未知，超像素粒 度即像素塊的大小對分割結(jié)果有很大的影響。本發(fā)明采用了三種不同粒度的超像素預分割 結(jié)果，避免了對無監(jiān)督分割質(zhì)量的判斷，同時結(jié)合了像素級能量函數(shù)和超像素級能量函數(shù)， 定義了新的分層超像素級的一元勢函數(shù)和成對勢函數(shù)。相比于傳統(tǒng)的僅基于像素級能量函 數(shù)或超像素能量函數(shù)的分割方法，本發(fā)明的結(jié)果能夠?qū)崿F(xiàn)對多目標分割邊界的光滑擬合， 獲得更理想的分割結(jié)果。
【附圖說明】
[0026] 圖1為本發(fā)明基于分層高階條件隨機場圖像分割算法流程圖。
[0027] 圖2為不同條件隨機場模型在Sowerby數(shù)據(jù)集上的實驗結(jié)果比較，其中：圖2(a) 為原始圖像，圖2(b)為人工標注的圖像，圖2(c)是基于像素級能量函數(shù)的條件隨機場模型 的結(jié)果，圖2 (d)為基于超像素級能量函數(shù)的條件隨機場模型的結(jié)果，圖2 (e)為分層高階條 件隨機場模型的結(jié)果。
【具體實施方式】
[0028] 以下結(jié)合附圖及具體實施例對本發(fā)明作進一步的詳細描述。
[0029] 1.圖像像素級特征的提取
[0030] (1)紋理特征
[0031] 本發(fā)明采用Malik等人提出的基于濾波器組的方法，先將圖像由RGB顏色空間轉(zhuǎn) 換為CIE - Lab顏色空間，然后使用一個17維的多通道多尺度高斯型濾波器組提取每個像 素點的紋理信息，該濾波器組包括不同尺度和通道下的基本高斯型號濾波器、X和Y方向的 一階偏導型濾波器以及拉普拉斯型濾波器，那么每個像素點關(guān)聯(lián)一個17維的特征向量，每 個向量中包含了對應像素點的區(qū)域紋理信息。最終一個像素點關(guān)聯(lián)一個17維的向量，用該 向量作為圖像的紋理特征。
[0032] (2)局部二值模式特征（Local Binary Patterns，LBP)
[0033] 本發(fā)明采用原始的LBP算子，從圖中提取一個3*3的像素窗口，以窗口中心像素的 值為閾值，將相鄰的8個像素的灰度值與其進行比較，如果大于該閾值，則該像素點被標記 為1，否則標記為〇。那么在3*3鄰域內(nèi)的8個像素點可產(chǎn)生8位的二進制數(shù)，將這個二進 制數(shù)作為該窗口的特征，通常將其轉(zhuǎn)換為十進制數(shù)，共256種。顯然，LBP算子在圖像中的每 個像素點都可以得到一個LBP編碼，那么對一幅圖像提取其LBP算子之后，將獲得一個LBP 特征圖。
[0034] (3)尺度不變特征變換特征（Scale-Invariant Feature Transform，SIFT)
[0035] -幅圖像的SIFT特征向量的生成主要包括四步：尺度空間極值檢測、關(guān)鍵點位置 及尺度確定、關(guān)鍵點方向確定、特征向量生成。本發(fā)明以篩選后的極值點作為關(guān)鍵點，以關(guān) 鍵點為中心設(shè)定局部區(qū)域，用36維直方圖統(tǒng)計該區(qū)域中像素梯度的方向分布，直方圖的峰 值反映了關(guān)鍵點所處鄰域梯度的主方向。以關(guān)鍵點為中心取8*8像素的區(qū)域，然后在每4*4 的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種 子點。每個關(guān)鍵點使用16個種子點來描述，這樣對于一個關(guān)鍵點就可以產(chǎn)生128個數(shù)據(jù)， 即最終形成128維的SIFT特征向量。此時SIFT特征已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何形 變因素的影響，再將特征向量的長度進行歸一化處理，則可以進一步去除光照變化的影響。
[0036] (4)顏色特征
[0037] 本發(fā)明采用Koen提出的Opponent-SIFT特征，該特征在SIFT特征的基礎(chǔ)上，融合 了圖像的（R，G，B)顏色信息，對于圖像具有更強的描述力。其方法對顏色信息進行編碼，使 之具有更高的魯棒性，形式如下：
丨：
[0039] 式中，分量01和02描述了圖像的顏色信息，分量03描述了圖像的亮度信息。由 于分量01和02中存在相減，顯然這兩個分量對于光照變化是平移不變的，分量03不具備 平移不變性。
[0040] 2.構(gòu)造像素級的一元勢函數(shù)和成對勢函數(shù)
[0041] (1)像素級的一元勢函數(shù)
[0042] 對于紋理特征、顏色特征以及SIFT特征，由于其