專利名稱：用于圖像分割的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種圖像分割方法及系統(tǒng)。
背景技術(shù)：
在圖像處理技術(shù)中，圖像分割是一個(gè)非常困難的問題。這是因?yàn)?，?duì)于圖像分割的 問題，分割的結(jié)果是存在的，但不能保證分割的結(jié)果是唯一的，并且不能保證分割的結(jié)果與 圖像正相關(guān)變化。因此，沒有任何一種分割算法能夠說明其分割效果的好壞，以及算法自身 的魯棒性?，F(xiàn)有的圖像分割方法主要包括基于閾值的圖像分割方法、區(qū)域生長的圖像分割 方法、邊緣特征的圖像分割方法、神經(jīng)網(wǎng)絡(luò)的圖像分割方法、基于貝葉斯網(wǎng)絡(luò)的圖像分割方法等。在現(xiàn)有的基于貝葉斯網(wǎng)絡(luò)的圖像分割方法中，僅僅對(duì)圖像的單像素、或者單像素 鄰域構(gòu)成的四像素或八像素的顏色、梯度等圖像特征進(jìn)行預(yù)處理得到向量，在此基礎(chǔ)上，建 立起向量的馬爾可夫隨機(jī)場，利用相關(guān)算法進(jìn)行貝葉斯判決，得到分割結(jié)果。這種做法對(duì)于 背景結(jié)構(gòu)復(fù)雜的圖像的分割效果很差。針對(duì)上述問題，已有的一種改進(jìn)方法是首先使用低通濾波器對(duì)待分割的圖像進(jìn) 行平滑、濾波處理后，然后再使用上述的貝葉斯方法進(jìn)行圖像分割。這種做法的缺陷是，低 通濾波器的上限截止頻率無法自適應(yīng)，并且得到的分割效果也不能夠滿足要求，尤其是當(dāng) 背景噪聲與待分割出來的圖像特征非常相似時(shí)，分割效果更差。因此，需要一種方法解決上述問題。

發(fā)明內(nèi)容
本發(fā)明的目的旨在解決上述技術(shù)問題之一，特別是解決基于貝葉斯網(wǎng)絡(luò)的圖像分 割方法對(duì)于背景結(jié)構(gòu)復(fù)雜的圖像的分割效果差的問題。為了實(shí)現(xiàn)上述目的，本發(fā)明一方面提出一種用于圖像分割的方法，包括以下步驟 建立所述圖像的初始伊辛高斯模型(Ising Gaussian Model, IGM)；對(duì)所述初始IGM進(jìn)行求 解，得到初始圖像分割結(jié)果；提取所述初始圖像分割結(jié)果中的前景圖像塊，建立前景圖像塊 IGM，并對(duì)所述前景圖像塊IGM進(jìn)行求解，得到進(jìn)一步的圖像分割結(jié)果。作為本發(fā)明的一個(gè)實(shí)施例，所述用于圖像分割的方法進(jìn)一步包括重復(fù)上述細(xì)化 步驟，以對(duì)所述圖像分割結(jié)果進(jìn)一步分割直到獲得所需的圖像分割結(jié)果。作為本發(fā)明的一個(gè)實(shí)施例，所述建立圖像的初始IGM進(jìn)一步包括將所述圖像分 成多個(gè)圖像塊；提取每個(gè)圖像塊的特征向量，其中，圖像塊的特征向量為九維特征向量，包 括圖像塊的顏色均值、顏色方差和顏色熵，且所述圖像塊的顏色均值、顏色方差和顏色熵 均有紅、綠、藍(lán)三個(gè)通道；根據(jù)所述每個(gè)圖像塊的特征向量之間的對(duì)應(yīng)關(guān)系建立所述初始 IGM。作為本發(fā)明的一個(gè)實(shí)施例，所述根據(jù)所述每個(gè)圖像塊的特征向量之間的對(duì)應(yīng)關(guān)系
4建立所述IGM時(shí)，圖像塊之間的關(guān)系設(shè)定為符合伊辛模型，且同一類別的圖像塊的特征向 量設(shè)定為服從高斯分布。本發(fā)明另一方面還提出一種用于圖像分割的系統(tǒng)，包括模型建立模塊、計(jì)算模塊 和提取模塊。所述模型建立模塊用于建立圖像的IGM ；所述計(jì)算模塊，用于對(duì)所述IGM進(jìn)行 求解得到圖像分割結(jié)果；所述提取模塊用于從所述圖像分割結(jié)果中提取出前景圖像塊。其 中，所述提取模塊提取出前景圖像塊后，將所述前景圖像塊發(fā)送至所述模型建立模塊，建立 所述前景圖像塊的IGM，然后所述模型建立模塊將所述前景圖像塊的IGM發(fā)送至所述計(jì)算 模塊進(jìn)行求解，得到所述前景圖像塊的進(jìn)一步分割結(jié)果。作為本發(fā)明的一個(gè)實(shí)施例，所述用于圖像分割的系統(tǒng)進(jìn)一步包括迭代判定模塊， 所述迭代判定模塊用于判定所述計(jì)算模塊得到的圖像分割結(jié)果是否為所需的圖像分割結(jié)^ o作為本發(fā)明的一個(gè)實(shí)施例，所述模型建立模塊進(jìn)一步包括圖像分塊模塊、特征向 量提取模型和建立模塊。所述圖像分塊模塊用于將所述圖像分成多個(gè)圖像塊；所述特征向 量提取模塊用于提取每個(gè)圖像塊的特征向量；所述建立模塊用于根據(jù)所述每個(gè)圖像塊的特 征向量之間的對(duì)應(yīng)關(guān)系建立所述IGM。作為本發(fā)明的一個(gè)實(shí)施例，所述計(jì)算模塊包括初始化模塊和結(jié)果求取模塊。所述 初始化模塊用于初始化所述IGM ；所述結(jié)果求取模塊用于在所述初始化之后，使用變分的 EM算法對(duì)所述IGM進(jìn)行求解，得到圖像分割結(jié)果。本發(fā)明通過建立和求解圖像的IGM模型對(duì)圖像進(jìn)行分割，并通過迭代的方法細(xì)化 分割，使得圖像分割的效果更加明顯，魯棒性更好。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明實(shí)施例的用于圖像分割的方法的流程圖；以及圖2為本發(fā)明實(shí)施例的用于圖像分割的系統(tǒng)的結(jié)構(gòu)圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。本發(fā)明主要在于建立圖像的IGM，在此框架下，利用多重網(wǎng)格的思想，迭代求解，獲 得精細(xì)的圖像分割結(jié)果，與傳統(tǒng)的直接對(duì)原圖像進(jìn)行低通濾波、平滑處理相比，使用本發(fā)明 的圖像分割方法的圖像分割效果更加明顯，魯棒性更好。本發(fā)明不僅可應(yīng)用于圖像分割，還 可應(yīng)用于人工智能的物體識(shí)別。如圖1所示，為本發(fā)明實(shí)施例的用于圖像分割的方法的流程圖，包括以下步驟步驟S101，建立圖像的初始IGM。
對(duì)于建立圖像的初始IGM，本發(fā)明提出如下的模型建立方案，當(dāng)然本領(lǐng)域普通技術(shù) 人員還能夠根據(jù)下述方案提出其他修改或變化，例如改變圖像塊的特征向量等，這些修改 或變化均應(yīng)包含在本發(fā)明的包含范圍之內(nèi)。首先，將圖像分成n = MXN個(gè)圖像塊。M和N可取較小的值，保證分成的圖像塊比較大，例如，M = 10，N = 10。這樣，一 幅圖像就等同于這些圖像塊Xl，x2，. . . .，xn的集合。然后，提取n個(gè)圖像塊的特征向量。在本發(fā)明中，每個(gè)圖像塊Xi使用九維的特征向量表示，包括圖像塊的顏色均值、 顏色方差以及顏色熵，且顏色均值、顏色方差和顏色熵都有紅、綠、藍(lán)三個(gè)通道。其中，顏色 熵可以用如下的公式表示<formula>formula see original document page 6</formula>
(1)其中，Pi是對(duì)圖像分塊的顏色進(jìn)行統(tǒng)計(jì)后，歸一化得到的概率值。應(yīng)理解，特征向量不一定只是9維向量，本領(lǐng)域普通技術(shù)人員可以根據(jù)實(shí)際情況 擴(kuò)展特征向量的維度，也就是說，任何形式的可以表征該圖像塊的數(shù)據(jù)降維向量都是允許 的，例如，使用主成分PCA分析，使用奇異值分解SVD等。最后，根據(jù)每個(gè)圖像塊的特征向量之間的關(guān)系，建立初始IGM。如果用隱變量Zl，z2，. . . .，zn表示它們各自對(duì)應(yīng)的圖像塊Xl，x2，. . . .，xn是前景還 是背景，則圖像的分割問題就轉(zhuǎn)變成一系列概率的計(jì)算問題，也就是判斷P(Zi =前景|Xi) 與P(Zi =背景X,)的大小，如果p(Zi =前景Xi)的值大于p(Zi =背景k)的值，則圖像 塊\為前景圖像塊，否則為背景圖像塊。進(jìn)一步，如果用Z = (Zl，z2，. . . .，zn)，X = (Xl，x2，. . . .，xn)分別表示圖像的分割 結(jié)果與原始數(shù)據(jù)，則圖像分割的問題就是需要求解Z ==⑵其中，k = 1表示圖像塊為背景圖像塊，k = -1表示圖像塊為前景圖像塊，<formula>formula see original document page 6</formula>
<formula>formula see original document page 6</formula>
其中，ki=士 1。應(yīng)注意到，圖像塊的隱變量是相互關(guān)聯(lián)的，也就是說，如果一個(gè)隱變量^的周圍都 是前景，則該隱變量^為前景的可能性就會(huì)非常大。這種現(xiàn)象可以用如下的伊辛模型表 示<formula>formula see original document page 7</formula>⑷其中，0表示隱變量之間的連接緊密程度，0越大表示隱變量連接更緊密，Z是
歸一化常量。還應(yīng)注意到，屬于同一類別的圖像塊之間是有差異的，這種差異可以用概率的特 性來表征，在本發(fā)明中，假定它們服從高斯分布。也就是說，屬于背景的圖像塊的特征向量 服從高斯分布，屬于前景的圖像塊的特征向量也服從高斯分布。
根據(jù)上述圖像塊的特征向量之間的關(guān)系可知，
<formula>formula see original document page 7</formula>也就是說，IGM中求解Z的公式應(yīng)當(dāng)為
<formula>formula see original document page 7</formula>其中，表示隱變量對(duì)應(yīng)的圖像塊特征向量構(gòu)成的高斯分布的均值，E k表示隱 變量對(duì)應(yīng)的圖像塊特征向量構(gòu)成的高斯分布的協(xié)方差矩陣。步驟S102，對(duì)圖像的初始IGM進(jìn)行求解，得到初始圖像分割結(jié)果。由于不知道3，Uk,E k的具體數(shù)值，因此，公式(6)依然無法直接求解。在本發(fā) 明中，為了計(jì)算得到Z值，采用變分的期望最大(expectationmaximization，EM)算法進(jìn)行 求解。當(dāng)然本領(lǐng)域技術(shù)人員還可采用其他算法進(jìn)行求解，這些修改或變化均應(yīng)包含在本發(fā) 明的包含范圍之內(nèi)。<formula>formula see original document page 7</formula>
根據(jù)EM算法，可得
<formula>formula see original document page 8</formula>(9)對(duì)公式(9)經(jīng)過一系列的數(shù)學(xué)變形處理之后，可得如下的公式(10)，此處為了簡 單起見，不詳細(xì)描述具體的計(jì)算過程，
<formula>formula see original document page 8</formula>
<formula>formula see original document page 8</formula>
則，根據(jù)公式(7)和(10)可以得到
<formula>formula see original document page 8</formula>
<formula>formula see original document page 8</formula>
<formula>formula see original document page 8</formula> 其中，3的更新公式為<formula>formula see original document page 8</formula>
u k的更新公式為<formula>formula see original document page 8</formula>
E k的更新公式為<formula>formula see original document page 8</formula>
<formula>formula see original document page 8</formula><formula>formula see original document page 9</formula>根據(jù)公式(12) (17)可以計(jì)算得到Z值。首先，給定初始參數(shù)3、yk和Ek，其 中，0的初始值一般設(shè)定為0. 01 0. 2，并初始化Z = -1 ；接著，根據(jù)公式(12)和(13)計(jì) 算出Yi(k)；然后，根據(jù)公式(13) (16)計(jì)算出0、1!1;和[1;;最后根據(jù)公式(17)更新 Zi。不斷重復(fù)上述步驟，直至收斂。步驟S103，從初始圖像分割結(jié)果中提取出前景圖像塊，建立前景圖像塊IGM并進(jìn) 行求解，得到進(jìn)一步的分割結(jié)果。本發(fā)明中使用多重網(wǎng)格的思想對(duì)分割結(jié)果進(jìn)行優(yōu)化，即提取出分割結(jié)果中的前景 圖像塊，將這些圖像塊繼續(xù)細(xì)分為mXs個(gè)小塊，得到更細(xì)的網(wǎng)絡(luò)，在細(xì)化后的網(wǎng)格上重新 建立IGM并進(jìn)行求解，得到更細(xì)的分割結(jié)果，其中，m和s的大小決定了分割的快慢。前景 圖像塊IGM的建立與求解過程與步驟S101和S102中初始IGM的建立與求解過程相同，此 處為了簡單起見，不再詳細(xì)描述。步驟S104，重復(fù)步驟S103，直至得到符合要求的分割結(jié)果。例如，對(duì)于1000X 1000的圖像，重復(fù)5次就可以得到滿意的分割結(jié)果。為了實(shí)施上述實(shí)施例，本發(fā)明還提出一種用于圖像分割的系統(tǒng)，如圖2中所示。圖 2顯示了本發(fā)明實(shí)施例的用于圖像分割的系統(tǒng)的結(jié)構(gòu)圖，該系統(tǒng)包括模型建立模塊100、計(jì) 算模塊200和提取模塊300。模型建立模塊100用于建立圖像的IGM ；計(jì)算模塊200用于對(duì) IGM進(jìn)行求解得到圖像分割結(jié)果。提取模塊300用于從圖像分割結(jié)果中提取出前景圖像塊。 提取模塊300提取出前景圖像塊后，將前景圖像塊發(fā)送至模型建立模塊100，建立前景圖像 塊的IGM，然后模型建立模塊100將前景圖像塊的IGM發(fā)送至計(jì)算模塊200進(jìn)行求解，得到 前景圖像塊的進(jìn)一步分割結(jié)果。該系統(tǒng)還包括迭代判定模塊400 (圖2中未顯示)。迭代判定模塊400用于判定計(jì) 算模塊200得到的圖像分割結(jié)果是否為所需的圖像分割結(jié)果。其中，模型建立模塊100包括圖像分塊模塊110、特征向量提取模塊120和建立模 塊130。圖像分塊模塊110用于將圖像分成若干個(gè)圖像塊；特征向量提取模塊120用于提取 每個(gè)圖像塊的特征向量；建立模塊用于根據(jù)每個(gè)圖像塊的特征向量之間的關(guān)系，建立IGM。其中，計(jì)算模塊200包括初始化模塊210和結(jié)果求取模塊220。初始化模塊210用 于對(duì)IGM模型進(jìn)行初始化；結(jié)果求取模塊220用于在初始化之后，使用變分的EM算法對(duì)IGM 進(jìn)行求解，得到圖像的分割結(jié)果。本發(fā)明通過建立和求解圖像的IGM模型對(duì)圖像進(jìn)行分割，并通過迭代的方法細(xì)化 分割，使得圖像分割的效果更加明顯，魯棒性更好。本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步 驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介 質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。此外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以 是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模 塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如 果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī) 可讀取存儲(chǔ)介質(zhì)中。
上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng) 視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種用于圖像分割的方法，包括以下步驟A.對(duì)所述圖像建立初始伊辛高斯模型IGM；B.對(duì)所述初始IGM進(jìn)行求解，得到初始圖像分割結(jié)果；C.從所述初始圖像分割結(jié)果中提取出前景圖像塊，建立前景圖像塊IGM，并對(duì)所述前景圖像塊IGM進(jìn)行求解，得到進(jìn)一步的圖像分割結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括重復(fù)步驟C，以對(duì)所述圖像分割結(jié)果進(jìn)一步分割直到獲得所需的圖像分割結(jié)果。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A進(jìn)一步包括 Al.將所述圖像分成多個(gè)圖像塊；A2.提取每個(gè)圖像塊的特征向量；以及A3.根據(jù)所述每個(gè)圖像塊的特征向量之間的對(duì)應(yīng)關(guān)系建立所述初始IGM。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述圖像塊的特征向量為九維特征向量， 包括圖像塊的顏色均值、顏色方差和顏色熵，且所述圖像塊的顏色均值、顏色方差和顏色 熵均有紅、綠、藍(lán)三個(gè)通道。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，在步驟A3中，圖像塊之間的關(guān)系設(shè)定為符 合伊辛模型，且同一類別的圖像塊的特征向量設(shè)定為服從高斯分布。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟B進(jìn)一步包括 初始化所述初始IGM ；在所述初始化之后，使用變分的期望最大EM算法對(duì)所述初始IGM進(jìn)行求解，得到所述 初始圖像分割結(jié)果。
7.一種用于圖像分割的系統(tǒng)，包括 模型建立模塊，用于建立圖像的IGM ；計(jì)算模塊，用于對(duì)所述IGM進(jìn)行求解，得到圖像分割結(jié)果；和 提取模塊，用于從所述圖像分割結(jié)果中提取出前景圖像塊；其中，所述提取模塊提取出前景圖像塊后，將所述前景圖像塊發(fā)送至所述模型建立模 塊，建立前景圖像塊IGM，然后所述模型建立模塊將所述前景圖像塊IGM發(fā)送至所述計(jì)算模 塊進(jìn)行求解，得到所述前景圖像塊的進(jìn)一步分割結(jié)果。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，進(jìn)一步包括迭代判定模塊，用于判定所述計(jì)算模塊獲得的圖像分割結(jié)果是否為所需的圖像分割結(jié)果。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述模型建立模塊，進(jìn)一步包括 圖像分塊模塊，用于將所述圖像分成多個(gè)圖像塊；特征向量提取模塊，用于提取每個(gè)圖像塊的特征向量；以及建立模塊，用于根據(jù)每個(gè)圖像塊的特征向量之間的對(duì)應(yīng)關(guān)系建立所述IGM。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述圖像塊的特征向量為九維特征向 量，包括圖像塊的顏色均值、顏色方差和顏色熵，且所述圖像塊的顏色均值、顏色方差和顏 色熵均有紅、綠、藍(lán)三個(gè)通道。
11.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述計(jì)算模塊包括初始化模塊和結(jié)果求 取模塊，所述初始化模塊，用于初始化所述IGM ；以及所述結(jié)果求取模塊，用于在所述初始化之后，使用變分的EM算法對(duì)所述IGM進(jìn)行求解，得到圖像分割結(jié)果。
全文摘要
本發(fā)明提出一種用于圖像分割的方法和系統(tǒng)，其中，該方法包括以下步驟將圖像看作塊組合，建立圖像塊的初始IGM；對(duì)所述初始IGM進(jìn)行求解，得到初始圖像分割結(jié)果；提取所述初始圖像分割結(jié)果中的前景圖像塊，建立所述前景圖像塊IGM，并對(duì)所述前景圖像塊IGM進(jìn)行求解，得到進(jìn)一步的圖像分割結(jié)果；重復(fù)上述步驟，以對(duì)所述圖像分割結(jié)果進(jìn)一步分割直到獲得所需的圖像分割結(jié)果。本發(fā)明通過建立和求解圖像的IGM模型對(duì)圖像進(jìn)行分割，并通過迭代的方法細(xì)化分割，使得圖像分割的效果更加優(yōu)良，魯棒性更好。
文檔編號(hào)G06T7/00GK101814183SQ20101003386
公開日2010年8月25日 申請日期2010年1月8日 優(yōu)先權(quán)日2010年1月8日
發(fā)明者戴瓊海, 王雁剛 申請人:清華大學(xué)