專利名稱：一種圖像自動分割結(jié)果的性能分析方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機視覺領(lǐng)域，具體涉及一種對圖像自動分割結(jié)果的性能分析方法。
背景技術(shù)：
圖像分割是計算機視覺領(lǐng)域中一個重要的基礎(chǔ)性研究方向，其目的是將一幅圖像劃分成一些獨立的區(qū)域，使得在每一個獨立的區(qū)域內(nèi)，像素具有相似的統(tǒng)計特性，例如，灰 度，顏色，紋理等。有效的圖像分割結(jié)果將有助于應(yīng)用系統(tǒng)中的后續(xù)各項處理，一方面，可以 通過研究每個區(qū)域的顏色和紋理，對圖像中場景的類別進行識別；另一方面，也可以通過研 究區(qū)域輪廓的幾何形狀，對圖像場景的物體進行識別或提取。從信息學(xué)的角度出發(fā)，處理分 割后的圖像區(qū)域，較之直接處理圖像中的像素，將大大減小待處理的信息量。目前，雖然關(guān)于圖像分割算法的研究已取得了突破性進展，然而在實際應(yīng)用 中，我們?nèi)匀幻媾R究竟選用哪種分割算法的問題。采用有效的分割算法，其結(jié)果能夠符 合人類視覺感知，從而有助于高層圖像信息的處理。這就涉及到了對圖像分割結(jié)果的 評價。傳統(tǒng)方法主要采用主觀定性的評價，為了更為客觀的評價現(xiàn)有分割算法的結(jié)果， 美國加州伯克利分校的研究者們建立了一個公開的手工標注圖像分割數(shù)據(jù)庫(參考 Martin，D.，F(xiàn)owlkes, C.，Tal, D.，Malik，J. :A database of human segmented natural images and itsapplication to evaluating segmentation algorithms and measuring ecologicalstatistics. In :Int.Conf. on Computer Vision (ICCV). (2001)416-425)，該 庫收集了幾百幅涵蓋各類場景的自然圖像，并且為每一幅圖像提供了 5至7個手工標注的 分割結(jié)果，每一個分割結(jié)果代表著人們對圖像在不同感知尺度上的理解。目前，該庫已成 為評價分割算法的一個默認的標準數(shù)據(jù)庫。利用該數(shù)據(jù)庫提供的手工標注分割結(jié)果，研究 者們定義出不同評價方法(performance measure)，用于衡量某一分割算法的結(jié)果與對應(yīng) 的手工標注分割結(jié)果之間的距離或相似度，從而判斷該分割算法的有效性。目前有四種 主流的評價指數(shù)，分別是，概率Rand指數(shù)(Probabilistic Rand Index，PRI)，信息變化指 數(shù)(Variation of Information, Vol),全局一至文性誤差指數(shù)(GlobalConsistency Error, GCE)，和邊界偏移誤差指數(shù)(Boundary DisplacementError，BDE)。雖然上述四種評價指數(shù)從不同角度對分割結(jié)果進行了評價，然而它們均采用了簡 單的求和取平均的方法，即，先求出待評價的分割結(jié)果與每一個手工標注分割結(jié)果之間的 距離或相似度，然后將所有的距離或相似度相加之后，再取平均值作為最終的評價指數(shù)。這 種做法忽略了數(shù)據(jù)庫中手工標注的分割結(jié)果(5至7個)之間的感知一致性。事實上，對于 一幅圖像，它的幾個手工標注分割結(jié)果雖然有所不同，但在圖像中的顯著區(qū)域上(比如，一 個具體的前景物體)，所有的手工標注分割結(jié)果都是保持一致的。而手工標注的分割結(jié)果之 間所存在的不同往往體現(xiàn)在圖像中的非顯著區(qū)域上(比如，背景區(qū)域)，因此，在計算最終 分析指數(shù)時，我們應(yīng)當(dāng)區(qū)別對待這些感知一致程度不同的區(qū)域。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種圖像自動分割結(jié)果的性能分析方法，該方法得到的性 能指標能夠定量的反應(yīng)出由某種計算機算法所處理的圖像自動分割結(jié)果與人工標注的分 割結(jié)果的符合程度。本發(fā)明提供的一種圖像自動分割結(jié)果的性能分析方法，包括下述步驟(1)假設(shè)一幅圖像為X= Ix1, -,Xi, ···，％}，由N個像素組成，Xi是第i個像素， i e {1，…，N}；將該圖像的手工標注的分割結(jié)果記為G= {G1，-Gk,…，GM}，其中，M為分 割結(jié)果的個數(shù)，每個分割結(jié)果包含η個分割區(qū)域民，每個分割結(jié)果記為Gk= (R1,…，民…， Rn}，je {1，-,n},ke {1，…，Μ}；然后計算每個像素Xi的局部一致程度LCD (Xi)，其計 算公式為
<formula>formula see original document page 5</formula>式中R^eGa，R='e Gb，a，b e {1，…，Μ}，分別表示第a個手工標注的分割結(jié)果 Ga和第b個手工標注的分割結(jié)果Gb中包含像素Xi的分割區(qū)域；函數(shù) IsSimilarfR^I^)
用來計算兩個區(qū)域的相似程度，其計算公式為
R^iRRhiI IR'η Rhi
, χλ 1，如果 a b| >0.9并且丨 a b >0.9 IsSimilar (R、R:)=
否則
toon] 其中，操作I. I表示對分割區(qū)域面積的計算；對圖像X= Ix1,…，Xi,…，xN}的每個像素計算局部一致程度IXD (Xi)的值，得 到一個LCD圖；(2)對于圖像X的一個待分析的自動分割結(jié)果，記為S= (S1, "'Sr^SJjP*!!! 個區(qū)域構(gòu)成，St表示其中的一個分割區(qū)域，t e {1，...,m}；(2.1)對于圖像X= {Xl，…，Xi,…，χΝ}的每個像素Xi，定義從第k個手工標注 分割結(jié)果Gk到S的局部評價指標LIesk為
Y LCD(x)<formula>formula see original document page 5</formula>像素 像素X9 URs]，其中區(qū)域&為第k個手工標注結(jié)果中包
含像素Xi的分割區(qū)域，Rs表示待分析的分割結(jié)果S中與疋‘相交的區(qū)域，其定義為Rs = U St，其中 St e S, t e {1，...，m}且滿足《(#,5；)>0.5其中=.(2.2)對于X= Ix1,…，Xi,…，xN}的每個像素Xi，定義從S到第k個手工標注 分割結(jié)果Gk的局部評價指標LIsek為
<formula>formula see original document page 6</formula>像素夂efr'門&]，像素< Ui Gt}，其中區(qū)域爐e5·，表示S中包含像素Xi 的分割區(qū)域W桌k個手工標注分割結(jié)果Gk中與相交的區(qū)域，其定義如下Rcf 二Ua,其中 Rj e Gk, j e {1，…，η}且滿足α(Α,ν) > 0.5其中<formula>formula see original document page 6</formula>(2. 3)對步驟(2. 1)與步驟(2. 2)中得到的 LIcsk(Gk，S，Xi)與 LISck (S，Gk，Xi)進行 數(shù)據(jù)融合，計算出待分析的自動分割結(jié)果S= {S1;…，SJ針對第k個手工標注結(jié)果Gk在 像素Xi的最終局部評價指標Z/f，計算公式為Lliix)ALIos(Gk'S^ + LIso(S'Gk^(3)對圖像X = Ix1,…，Xi，···，％}，根據(jù)步驟(1)中得到的LCD(Xi)與步驟(2. 3) 中得到的z/f (X.)，定義如下兩個向量值LCD(X) = [w1 ...,Wi..., wN]其中Wi = LCD(Xi)Llf (X) = [Llf (X1),…,Llf (χ,),..., Llf (Xw)]最后定義圖像自動分割結(jié)果S的評價指標I (S)為<formula>formula see original document page 6</formula>對于一幅圖像，它的幾個手工標注分割結(jié)果雖然有所不同，但在圖像中的顯著區(qū) 域上(比如，一個具體的前景物體)，所有的手工標注分割結(jié)果都是保持一致的。而手工標 注的分割結(jié)果之間所存在的不同往往體現(xiàn)在圖像中的非顯著區(qū)域上(比如，背景區(qū)域)，因 此，在計算最終評價指數(shù)時，我們應(yīng)當(dāng)區(qū)別對待這些感知一致程度不同的區(qū)域。通過計算多個手工標注的分割結(jié)果之間在像素上的感知一致程度，我們賦予每個 像素不同的權(quán)重。感知一致程度越高，像素的對應(yīng)權(quán)重就越高，最后計算出加權(quán)后的評價指 數(shù)，作為待評價的分割結(jié)果的最終評價指數(shù)。采用本發(fā)明方法得到的性能分析指標，由于定義了能夠定量的反應(yīng)出由某種計算 機算法所處理的圖像自動分割結(jié)果與人工標注的分割結(jié)果的符合程度，從而，客觀的反應(yīng) 出某種計算機圖像自動分割算法與人類視覺感知在圖像自動分割上的接近程度。


圖1為本發(fā)明方法的流程圖；圖2(a)為來自伯克利手工標注圖像分割數(shù)據(jù)庫的一張圖片，圖2(1)_(6)是其6 個手工標注分割結(jié)果。圖2(b)是本發(fā)明中對圖2(a)計算出的LCD圖，圖2(c)是圖2(b)對應(yīng)的顯示數(shù)值條；圖3 (a)為圖2(a)的一個分割結(jié)果，圖3 (1) -(6)依次為圖3(a)針對圖2(1)-(6)所計算出的Z/f圖，圖3(b)是圖3(1)-(6)對應(yīng)的顯示數(shù)值條；圖4(a)為來自伯克利手工標注圖像分割數(shù)據(jù)庫的另一張圖片，圖4(b)_(f)由同 一自動分割算法通過遍歷系統(tǒng)參數(shù)，根據(jù)不同的分析方法選擇出的對圖4(a)的最佳分割 結(jié)果。圖4(b)對應(yīng)本發(fā)明中WJI的結(jié)果，圖4(c)對應(yīng)PRI的結(jié)果，圖4(d)對應(yīng)BDE的結(jié) 果，圖4(e)對應(yīng)VOI的結(jié)果，圖4(f)對應(yīng)GCE的結(jié)果。每幅圖下面還給出了本發(fā)明中WJI 的指標數(shù)值。
具體實施例方式下面通過借助實施例和附圖更加詳細地說明本發(fā)明，但以下實施例僅是說明性 的，本發(fā)明的保護范圍并不受這些實施例的限制。如圖1所示，具體過程為⑴假設(shè)一幅圖像為X= Ix1, -,Xi, ···%}，由N個像素組成，Xi是第i個像素。 對于該圖像的M個手工標注的分割結(jié)果，記為G= {G1，…Gk，…，GM}，通常M取5至7，其中 每一個手工分割結(jié)果記為Gk = (R1, -,Rj-,RJ,k e {1，…，M}，它包含η個分割區(qū)域，其 中每個區(qū)域記為R」，j e {1，…，n}。然后計算像素Xi的局部一致程度(Local Consitency Degree)，其計算公式為
<formula>formula see original document page 7</formula>S*RaxieGa，RpeGb，a，be {1，…，Μ}，分別表示第a個手工標注的分割結(jié)果 Ga和第b個手工標注的分割結(jié)果Gb中包含像素Xi的分割區(qū)域。函數(shù)IsSimilar(Rax',R〖i )用
來計算兩個區(qū)域的相似程度，其計算公式為
<formula>formula see original document page 7</formula>其中，操作I. I表示對區(qū)域面積的計算。LCD(Xi)取值范圍是W，1]，對圖像X= Ix1,…，Xi,…xN}的每個像素計算LCD 值，該值即作為步驟(3)中每個像素的權(quán)重。圖2(a)為來自伯克利手工標注圖像分割數(shù)據(jù) 庫的一張圖片，圖2(1)-(6)是其6個手工標注分割結(jié)果，即本發(fā)明中的M等于6，每一個手 工標注結(jié)果所包含的分割區(qū)域均由不同的顏色表示。圖2(b)就是根據(jù)圖2(a)的6個手工 標注分割結(jié)果(1)_(6)計算出的LCD圖，圖(c)是圖(b)對應(yīng)的顯示數(shù)值條。(2)對于圖像X的一個待分析的自動分割結(jié)果，記為S= (S1,…&…；]，即由m 個區(qū)域構(gòu)成，St，te {1，…，m}表示其中的一個分割區(qū)域。自動分割結(jié)果是指由計算機利用某種算法(包括各種已知或未知的分割算法)所 生成的分割結(jié)果，本發(fā)明也就是用于對其分割質(zhì)量進行評價。
(2.1)對于圖像X= {Xl，…，Xi,…，χΝ}的每個像素Xi，定義從第k個手工標注 分割結(jié)果Gk到S的局部評價指標(Local Index)為
<formula>formula see original document page 8</formula>式中函數(shù)IXD(.)為步驟⑴中的局部一致程度，像素& 門，像素 x9 e {R；· U/ ,}，其中區(qū)域及纟為第k個手工標注結(jié)果中包含像素Xi分割區(qū)域，Rs表示待分析 的分割結(jié)果S中與相交的區(qū)域，其定義為Rs = U St，其中 St e S，t e {1，…，m}且滿足為)> 0.5其中,<formula>formula see original document page 8</formula>(2.2)同理，對于X= Ix1, -,Xi, .··，％}的每個像素Xi,定義從S到第k個手工 標注分割結(jié)果Gk的局部評價指標(Local Index)為
<formula>formula see original document page 8</formula>式中函數(shù)IXD(.)為步驟⑴中的局部一致程度，此時像素必ejy'fli^j，像素
x'q ^ Ui Gt}，其中區(qū)域ρ e S ,表示S中包含像素Xi的區(qū)域。 為第k個手工標注分割 結(jié)果Gk中與浐相交的區(qū)域，其定義如下Rck =UA，其中民 e Gk, j e {1，…，n}且滿足>0.5<formula>formula see original document page 8</formula>(2. 3)對(2. 1)與(2. 2)中定義的 LIcsk(Gk，S，Xi)與 LIsck(S，Gk, Xi)進行數(shù)據(jù)融 合，計算出待分析的自動分割結(jié)果S= {S1;…，SJ針對第k個手工標注結(jié)果Gk在像素Xi 的最終局部評價指標，計算公式為LIf (X,) =Z/f (X,.)取值范圍是
，對圖像X= Ix1,…，Xi,…，xN}的每個像素計算Z/f 值，可以得到一個Z/f圖。圖3中的圖片(a)是圖2中圖片(a)的一個計算機分割結(jié)果，即 為本發(fā)明中一個待分析的分割結(jié)果S。圖2中的圖片(1)-(6)依次即為圖3(a)與圖2中6 個手工標注分割結(jié)果(1)_(6)計算出的Z/f圖，圖3(b)是對應(yīng)的顯示數(shù)值條。(3)對圖像X= Ix1, -,Xi, ···%}，根據(jù)步驟(1)中得到的LCD(Xi)與步驟(2.3) 中得到的l/f (Xi)，定義如下兩個向量值<formula>formula see original document page 8</formula>其中Wi = LCD(Xi)
<formula>formula see original document page 9</formula>最后定義本發(fā)明中對圖像自動分割結(jié)果S的分析指標為
<formula>formula see original document page 9</formula>I(S)的取值范圍是W，1]，該指標的數(shù)值越大，說明由某種計算機算法(在特定系 統(tǒng)參數(shù)下)對圖像進行的自動分割的結(jié)果越接近手工標注的分割結(jié)果。為了驗證本發(fā)明中圖像自動分割分析指標的有效性，我們通過遍歷一個計算 機自動分割算法(參考Cour，Τ.，Benezit，F(xiàn).，Shi，J. . Spectralsegmentation with multiscale graph decom position. Proc. Comput. Vis. andPattern. Recognition，2005) 的系統(tǒng)參數(shù)得到一組自動分割的結(jié)果，然后由本發(fā)明中的分析指標與現(xiàn)有分析方法rai， V0I，GCE，BDE各自選擇出一個最佳的分割結(jié)果。通過比較這些最佳分割結(jié)果，我們可以從某 種程度上判斷這些分析指標的有效性。圖4(a)為來自伯克利手工標注圖像分割數(shù)據(jù)庫的 另一張圖片，圖4(b)對應(yīng)本發(fā)明分析指標i(s)所選擇出的最佳分割結(jié)果，圖4(c)對應(yīng)rai 選擇出的最佳分割結(jié)果，圖4(d)對應(yīng)BDE選擇出的最佳分割結(jié)果，圖4(e)對應(yīng)VOI選擇出 的最佳分割結(jié)果，圖4(f)對應(yīng)GCE選擇出的最佳分割結(jié)果。每幅圖下面還給出了本發(fā)明中 I(S)的指標數(shù)值。我們可以看出，從人類視覺感知的角度出發(fā)，由本發(fā)明分析指標I(S)選 擇出的結(jié)果最好。根據(jù)本發(fā)明的典型實施例，用于實現(xiàn)本發(fā)明的計算機系統(tǒng)可以包括，特別是，中央 處理器(CPU)、存儲器和輸入/輸出(1/0)接口。計算機系統(tǒng)通常通過1/0接口與顯示器和 諸如鼠標和鍵盤此類的各種輸入設(shè)備相連，配套電路可以包括像高速緩存、電源、時鐘電路 和通信總線這樣的電路。存儲器可以包括隨機存儲器(RAM)、只讀存儲器(ROM)、磁盤驅(qū)動 器、磁帶機等，或它們的組合。計算機平臺還包括操作系統(tǒng)和微指令代碼。此處所述各種過 程和功能可以是通過操作系統(tǒng)執(zhí)行的微指令代碼或應(yīng)用程序(或它們的組合)的一部分。 此外，各種其他外圍設(shè)備可以連接到該計算機平臺，如附加數(shù)據(jù)存儲設(shè)備和打印設(shè)備。
權(quán)利要求
一種圖像自動分割結(jié)果的性能分析方法，其特征在于，該方法包括下述步驟(1)假設(shè)一幅圖像為X＝{x1，...，xi，...，xN}，由N個像素組成，xi是第i個像素，i∈{1，...，N}；將該圖像的手工標注的分割結(jié)果記為G＝{G1，...Gk，...，GM}，其中，M為分割結(jié)果的個數(shù)，每個分割結(jié)果包含n個分割區(qū)域Rj，每個分割結(jié)果記為Gk＝{R1，...，Rj...，Rn}，j∈{1，...，n}，k∈{1，...，M)；然后計算每個像素xi的局部一致程度LCD(xi)，其計算公式為式中 a，b∈{1，...，M)，分別表示第a個手工標注的分割結(jié)果Ga和第b個手工標注的分割結(jié)果Gb中包含像素xi的分割區(qū)域；函數(shù) 用來計算兩個區(qū)域的相似程度，其計算公式為其中，操作|.|表示對分割區(qū)域面積的計算；對圖像X＝{x1，...，xi，...，xN}的每個像素計算局部一致程度LCD(xi)的值；(2)對于圖像X的一個待分析的自動分割結(jié)果，記為S＝{S1，...St...，Sm}，即由m個區(qū)域構(gòu)成，St表示其中的一個分割區(qū)域，t∈{1，...，m}；(2.1)對于圖像X＝{x1，...，xi，...，xN}的每個像素xi，定義從第k個手工標注分割結(jié)果Gk到S的局部評價指標LIGSk為 k∈{1，...，M}像素 像素 其中區(qū)域 為第k個手工標注結(jié)果中包含像素xi的分割區(qū)域，Rs表示待分析的分割結(jié)果S中與 相交的區(qū)域，其定義為Rs＝∪St，其中St∈S，t∈{1，...，m}且滿足其中(2.2)對于X＝{x1，...，xi，...，xN}的每個像素xi，定義從S到第k個手工標注分割結(jié)果Gk的局部評價指標LISGk為k∈{1，...，M}像素 像素 其中區(qū)域 表示S中包含像素xi的分割區(qū)域； 為第k個手工標注分割結(jié)果Gk中與 相交的區(qū)域，其定義如下其中Rj∈Gk，j∈{1，...，n}且滿足其中(2.3)對步驟(2.1)與步驟(2.2)中得到的LIGSk(Gk，S，xi)與LISGk(S，Gk，xi)進行數(shù)據(jù)融合，計算出待分析的自動分割結(jié)果S＝{S1，...，Sm}針對第k個手工標注結(jié)果Gk在像素xi的最終局部評價指標 計算公式為(3)對圖像X＝{x1，...，xi，...，xN}，根據(jù)步驟(1)中得到的LCD(xi)與步驟(2.3) 中得到的 定義如下兩個向量值LCD(X)＝[w1，...，wi...，wN]其中wi＝LCD(xi)最后定義圖像自動分割結(jié)果S的評價指標I(S)為k∈{1，...，M} 。FSA00000048740500011.tif,FSA00000048740500012.tif,FSA00000048740500013.tif,FSA00000048740500014.tif,FSA00000048740500015.tif,FSA00000048740500021.tif,FSA00000048740500022.tif,FSA00000048740500023.tif,FSA00000048740500024.tif,FSA00000048740500025.tif,FSA00000048740500026.tif,FSA00000048740500027.tif,FSA00000048740500028.tif,FSA00000048740500029.tif,FSA000000487405000210.tif,FSA000000487405000211.tif,FSA000000487405000212.tif,FSA000000487405000213.tif,FSA000000487405000214.tif,FSA000000487405000215.tif,FSA000000487405000216.tif,FSA000000487405000217.tif,FSA000000487405000218.tif,FSA00000048740500031.tif,FSA00000048740500032.tif,FSA00000048740500033.tif
全文摘要
本發(fā)明公開了一種圖像自動分割結(jié)果的性能分析方法，本發(fā)明通過計算多個手工標注的分割結(jié)果之間在像素上的感知一致程度，賦予每個像素不同的權(quán)重，感知一致程度越高，像素的對應(yīng)權(quán)重就越高，最后計算出加權(quán)后的評價指數(shù)，作為待評價的分割結(jié)果的最終評價指數(shù)。采用本發(fā)明方法得到的性能分析指標，由于定義了能夠定量的反應(yīng)出由某種計算機算法所處理的圖像自動分割結(jié)果與人工標注的分割結(jié)果的符合程度，從而，客觀的反應(yīng)出某種計算機圖像自動分割算法與人類視覺感知在圖像自動分割上的接近程度。
文檔編號G06T7/00GK101799925SQ201010120808
公開日2010年8月11日 申請日期2010年3月5日 優(yōu)先權(quán)日2010年3月5日
發(fā)明者唐奇伶, 桑農(nóng), 王岳環(huán), 高峻, 高常鑫, 黃銳 申請人:華中科技大學(xué)