基于階層圖形的圖像提取以及前景估測的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是有關(guān)于一種圖像提?。╩atting)，且特別是有關(guān)于一種基于階層 (hierarchical)圖形的圖像提取以及前景估測的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 圖像提取是從圖像中提取連同稱為α提取的參數(shù)的前景物體的程序。此程序產(chǎn) 生有用的應(yīng)用，例如圖像與視頻編輯、圖像層分解，以及場景分析。在圖像提取中，在像素 i 處的像素值L可被建模為前景顏色值F i與背景顏色值B i的線性組合。也就是，
[0003] 1；= α (1)
[0004] 其中a i表示對應(yīng)于前景顏色的不透明度（opacity)的α提取值。
[0005] 常規(guī)的圖像提取技術(shù)可以大體上分成兩類：監(jiān)督（supervised)提取以及無監(jiān)督 提取。在監(jiān)督提取中，提供用戶引導(dǎo)以將幾個像素標(biāo)記為"前景"或者"背景"。基于這些經(jīng) 標(biāo)記像素，監(jiān)督提取方法估測其余未標(biāo)記像素的α提取值。反之，無監(jiān)督提取目標(biāo)在于在 沒有任何用戶引導(dǎo)的情況下自動從輸入圖像中估測α提取。
[0006] 常規(guī)的圖像提取技術(shù)具有若干缺點(diǎn)。首先，常規(guī)的無監(jiān)督提取技術(shù)是計算密集型 的。盡管已經(jīng)提出了圖像處理方案以減少所需的計算，但這些現(xiàn)有方案可能導(dǎo)致圖像品質(zhì) 退化。
[0007] 第二，由常規(guī)的圖像提取技術(shù)產(chǎn)生的結(jié)果可能并不始終是一致的。在提取程序期 間缺乏全面（globe)信息會使得在處理具有雜亂場景的圖像的程序中難以產(chǎn)生一致的結(jié) 果。
[0008] 第三，常規(guī)的無監(jiān)督提取技術(shù)聚焦于圖像內(nèi)容的二進(jìn)位分區(qū)。因?yàn)閳D像可以含有 一個以上前景物體，所以由這些常規(guī)無監(jiān)督提取技術(shù)產(chǎn)生的結(jié)果可能不是非常實(shí)用的。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明提供一種基于階層圖形的圖像提取以及前景估測的方法和系統(tǒng)，該方法 包括：接收包含多個圖像元素（element)的輸入圖像；基于輸入圖像產(chǎn)生多個提取單元 (cell)，每個單元包含一組圖像元素；基于輸入圖像計算多個提取單元的關(guān)聯(lián)（affinity) 值；基于多個提取單元以及關(guān)聯(lián)值形成圖形，所述圖形包含表示提取單元的多個節(jié)點(diǎn)以及 與提取單元的關(guān)聯(lián)值相關(guān)聯(lián)的多個邊緣；以及基于圖形產(chǎn)生用于輸入圖像的多個提取分 量。
[0010] 根據(jù)另一實(shí)施例，基于階層圖形的圖像提取以及前景估測的方法包括：接收包含 多個圖像元素的輸入圖像；基于輸入圖像形成第一圖形，所述第一圖形包含表示圖像元素 的多個第一節(jié)點(diǎn)以及表示圖像元素當(dāng)中的關(guān)聯(lián)關(guān)系的多個第一邊緣；通過將圖像元素分組 成多個單元來形成第二圖形，所述第二圖形包含表示單元的多個第二節(jié)點(diǎn)以及表示單元當(dāng) 中的關(guān)聯(lián)關(guān)系的多個第二邊緣；通過將第二圖形分解成多個提取分量來形成第三圖形，所 述第三圖形包含表示提取分量的多個第三節(jié)點(diǎn)以及表示提取分量當(dāng)中的關(guān)聯(lián)關(guān)系的多個 邊緣；以及基于第三圖形確定提取分量屬于輸入圖像的前景區(qū)域的機(jī)率。
[0011] 根據(jù)另一實(shí)施例，非暫時性計算機(jī)可讀媒體存儲指令，在由處理器執(zhí)行時所述指 令使得處理器執(zhí)行用于基于階層圖形進(jìn)行圖像提取的方法。所述方法包括：接收包含多個 圖像元素的輸入圖像；基于輸入圖像產(chǎn)生多個提取單元，每個單元包含一組圖像元素；基 于輸入圖像計算多個提取單元的關(guān)聯(lián)值；基于多個提取單元以及關(guān)聯(lián)值形成圖形，所述圖 形包含表示提取單元的多個節(jié)點(diǎn)以及表示提取單元的關(guān)聯(lián)信息的多個邊緣；以及基于圖形 產(chǎn)生輸入圖像的多個提取分量。
[0012] 以下的說明將部分闡述另外的特征和優(yōu)點(diǎn)，并且這些特征和優(yōu)點(diǎn)將部分從描述中 顯而易見，或者可以通過對所揭示的實(shí)施例的實(shí)踐習(xí)得。所述特征以及優(yōu)點(diǎn)將借助于在所 附權(quán)利要求書中特別地指出的元件以及組合來實(shí)現(xiàn)以及獲得。
[0013] 應(yīng)理解，前文大體描述以及以下詳細(xì)描述僅是示例性以及解釋性的且并不限制所 主張的發(fā)明。
[0014] 并入在本說明書中并且構(gòu)成本說明書的一部分的附圖圖示了若干實(shí)施例，并且與 描述一起用以說明本發(fā)明的原理。
【附圖說明】
[0015] 圖1A是本發(fā)明一個實(shí)施例中基于階層圖形的圖像提取的示例性系統(tǒng)的框圖；
[0016] 圖1B是本發(fā)明一個實(shí)施例的用于實(shí)施圖1A的系統(tǒng)的計算機(jī)系統(tǒng)的示意圖；
[0017] 圖2為本發(fā)明一個實(shí)施例中基于像素級圖形的示例性收縮程序的示意圖；
[0018] 圖3為本發(fā)明一個實(shí)施例中收縮程序在應(yīng)用到示例性輸入圖像上時的結(jié)果的示 意圖；
[0019] 圖4為本發(fā)明一個實(shí)施例中基于特征空間的像素到單元映射程序的示意圖；
[0020] 圖5(a)到5(d)為本發(fā)明中用于單元級圖形建模的固定解析度方案以及多解析度 方案的示例性實(shí)施例的示意圖；
[0021] 圖6為本發(fā)明一個實(shí)施例中基于多解析度圖像區(qū)域的單元級處理的示意圖；
[0022] 圖7為本發(fā)明一個實(shí)施例中從單元到分量映射的示意圖；
[0023] 圖8為本發(fā)明中輸入圖像、提取片段，以及提取分量的示例性實(shí)施例的示意圖；
[0024] 圖9為本發(fā)明分量級圖形的一個示例性實(shí)施例的示意圖；
[0025] 圖10為本發(fā)明一個實(shí)施例中從分量到層映射的示意圖；
[0026] 圖11A為本發(fā)明一個實(shí)施例中基于從單元到層的直接映射的提取結(jié)果的示意圖；
[0027] 圖11B為本發(fā)明一個實(shí)施例中基于從單元到分量并且隨后到層的多解析度映射 的提取結(jié)果的示意圖；
[0028] 圖12為本發(fā)明提取層的示例性實(shí)施例以及輸入圖像的前景區(qū)域的可能性示意 圖；
[0029] 圖13為本發(fā)明一個實(shí)施例中基于階層圖形的圖像提取以及前景估測的方法的流 程圖；
[0030] 圖14為本發(fā)明另一個實(shí)施例中基于階層圖形的圖像提取以及前景估測的方法的 流程圖。
[0031] 附圖標(biāo)記說明：
[0032] 100 :系統(tǒng)；
[0033] 102 :像素處理模塊；
[0034] 104 :單元處理模塊；
[0035] 106 :分量處理模塊；
[0036] 108 :層處理模塊；
[0037] 110:前景估測模塊；
[0038] 112:輸入數(shù)據(jù)；
[0039] 114:輸出數(shù)據(jù)；
[0040] 120 :計算機(jī)系統(tǒng)；
[0041] 122:處理器；
[0042] i24 :計算機(jī)可讀媒體；
[0043] 128 :顯示裝置；
[0044] 126 :鍵盤；
[0045] 202 :初始圖形；
[0046] 204 :收縮圖形；
[0047] 206 :頂點(diǎn)；
[0048] 208 :邊緣；
[0049] 302、802 :輸入圖像；
[0050] 304 :收縮圖像；
[0051] 402 :特征空間；
[0052] 502:圓形物體；
[0053] 504 :小三角形物體；
[0054] 506、508 :取樣像素；
[0055] 602 :多解析度圖像區(qū)域；
[0056] 604:圖像金字塔；
[0057] 604A :最粗糙圖像；
[0058] 604B :中間解析度圖像；
[0059] 604C:最精細(xì)圖像；
[0060] 606:單元級圖形；
[0061] 702、806 :提取分量；
[0062] 804 :提取片段；
[0063] 902:分量級圖形；
[0064] 1002、1202 ~1220 :提取層；
[0065] 1222:可能性示意圖；
[0066] 1300、1400 :程序；
[0067] 1302 ~1310、1402 ~1410 :步驟。
【具體實(shí)施方式】
[0068] 現(xiàn)在將詳細(xì)參考本發(fā)明的示例性實(shí)施例，所述實(shí)施例的實(shí)例在附圖中進(jìn)行說明。 只要有可能，將在所有附圖中使用相同參考數(shù)字來指代相同或相似部分。
[0069] 根據(jù)本發(fā)明的一些實(shí)施例，揭示了執(zhí)行包含監(jiān)督提取以及無監(jiān)督提取的圖像提取 的階層框架。基于自下而上機(jī)制，所述階層框架從像素（pixel)到單元（cell)、從單元到分 量（cmponent)，并且最終從分量到提取層（layer)逐漸壓縮圖像數(shù)據(jù)。更具體來說，在階層 框架的第一級（即，像素級）處，圖像像素通過像素到單元映射首先壓縮至單元。此映射是 基于以下假設(shè)：在特征空間中的相鄰數(shù)據(jù)傾向于共用相似的提取值。此壓縮程序可以大大 減少用于譜分析的所需計算，而不產(chǎn)生明顯的品質(zhì)退化。
[0070] 在第二級（即，單元級）處，基于單元的結(jié)構(gòu)基于單元級圖形提供多尺度關(guān)聯(lián) (affinity)的學(xué)習(xí)。當(dāng)處理雜亂場景的圖像時，多尺度關(guān)聯(lián)學(xué)習(xí)可以有效地改進(jìn)譜分析的 性能。通過解決圖形分區(qū)問題來自動從單元級圖形中提取提取分量。
[0071] 在第三級（即，分量級）處，分量級圖形產(chǎn)生用于多個提取層的估測。根據(jù)另一實(shí) 施例，應(yīng)用前景機(jī)率分布模型以隨機(jī)產(chǎn)生一列可能的前景提取并且估測用于提取圖層的前 景可能性。
[0072] 圖1A是本發(fā)明一個實(shí)施例中基于階層圖形的圖像提取的示例性系統(tǒng)的框圖，圖 1B是本發(fā)明一個實(shí)施例的用于實(shí)施圖1A的系統(tǒng)的計算機(jī)系統(tǒng)的示意圖。系統(tǒng)100包含像 素處理模塊102、單元處理模塊104、分量處理模塊106、層處理模塊108,以及前景估測模塊 110。模塊102到110可以串聯(lián)布置，使得像素處理模塊102接收輸入數(shù)據(jù)112并且前景估 測模塊110產(chǎn)生輸出數(shù)據(jù)114。單元處理模塊104、分量處理模塊106,以及層處理模塊108 根據(jù)圖1A中示出的次序執(zhí)行中間處理步驟。像素處理模塊102到前景估測模塊110中的 一者或多者可以從系統(tǒng)100中省略。例如，層處理模塊108可以被省略，使得前景估測模塊 110基于由分量處理模塊106提供的數(shù)據(jù)產(chǎn)生輸出數(shù)據(jù)。
[0073] 在一個實(shí)施例中，圖1A中示出的像素處理模塊102到前景估測模塊110可以通 過圖1B中示出的計算機(jī)系統(tǒng)120來實(shí)施，所述計算機(jī)系統(tǒng)120包含處理器122以及非暫 時性計算機(jī)可讀媒體124。處理器122可以是中央處理器（central processing unit，簡 稱：CPU)，例如，因特爾（INTEL)處理器、高級微設(shè)備（Advanced Micro Devices，簡稱：AMD) 處理器，或所屬領(lǐng)域中已知的其他處理器。計算機(jī)可讀媒體124可以包含硬盤、閃存、光碟 (compact disc，簡稱：⑶）、數(shù)字多功能光碟（digital Versatile Disc，簡稱：DVD)、隨機(jī)存 儲器（random access memory，簡稱：RAM)，只讀存儲器（read-only memory，簡稱：ROM)或 其類似者，所述計算機(jī)可讀媒體124經(jīng)配置以存儲與本文中揭示的圖像提取技術(shù)相關(guān)的指 令以及數(shù)據(jù)。所述指令可以用C、C++、BAS IC、FORTRAN、JAVA，或所屬領(lǐng)域中已知的其他編程 語言來書寫。處理器122接收來自計算機(jī)可讀