一種圖像編輯傳播方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，特別涉及一種基于零范數(shù)梯度最小化的圖像編輯 傳播方法與系統(tǒng)。
【背景技術(shù)】
[0002] 隨著數(shù)字計(jì)算攝像學(xué)的成熟，研究人員深入挖掘數(shù)字圖像和視頻的高級(jí)別編輯技 術(shù)以滿足日益增長(zhǎng)的需求?；趥鞑サ膱D像編輯領(lǐng)域框架中，用戶指定不同類別的編輯區(qū) 域，這些區(qū)域通過特定的傳播方法自動(dòng)傳播到特征空間中相鄰的區(qū)域。根據(jù)傳播后的結(jié)果， 可以修改圖像的顏色、結(jié)構(gòu)、色度等相關(guān)信息。
[0003] 傳統(tǒng)的圖像編輯傳播方法包括人工選取法和基于優(yōu)化的傳播法。在圖像處理過程 中，用戶指定感興趣區(qū)域(R0I)并生成蒙版，對(duì)不同蒙版進(jìn)行操作。這種方法不僅需要對(duì)圖 像邊緣處進(jìn)行細(xì)致繁瑣的處理，而且在對(duì)蒙版進(jìn)行操作時(shí)邊界相鄰區(qū)域過渡不夠自然。而 基于優(yōu)化的方法主要包含局部?jī)?yōu)化法和全局優(yōu)化法。局部?jī)?yōu)化的方法需要用戶在所有的區(qū) 域指定編輯區(qū)，以傳播到不相鄰的區(qū)域中去，需要密集的用戶輸入。全局傳播的方法中，用 戶可以僅僅指定少量的編輯區(qū)來傳播到整個(gè)特征空間。但在全局優(yōu)化過程中，對(duì)于到若干 種指定編輯特征空間距離類似的位置，會(huì)出現(xiàn)混合模糊問題。并且，這兩種傳統(tǒng)方法的外觀 特征空間僅僅由單一的像素外觀值特征作為傳播判據(jù)，信息量少;優(yōu)化需要一定的運(yùn)算時(shí) 間，不能實(shí)時(shí)得到需要的結(jié)果。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種圖像編輯傳播方法與系統(tǒng)，可以將用戶指定的編輯有 效自然的傳播到整幅圖像之中。
[0005] 為此，本發(fā)明提出一種圖像編輯傳播方法，其特征在于包括下列步驟：
[0006] S1、獲取原始圖像及用戶編輯組成的筆觸圖像；
[0007] S 2、估計(jì)圖像的相似矩陣，即圖像中任意兩點(diǎn)對(duì)應(yīng)的向量，取
[0008] 其中，i與j為矩陣任意兩列的序號(hào)，m代表矩陣列數(shù)，V表示矩陣某列元素；
[0009] S3、設(shè)置優(yōu)化問題目標(biāo)函數(shù)，使得圖像傳播過程中，編輯滿足兩個(gè)條件，一方面?zhèn)?播后編輯對(duì)于相似的像素點(diǎn)約束其具有相似的傳播結(jié)果，另一方面最終得到的編輯需要有 合適的梯度數(shù)，即零范數(shù)梯度項(xiàng)；
[0010] S4、通過迭代的方法求解所述得到最終編輯結(jié)果。
[0011]本發(fā)明的優(yōu)點(diǎn)在于將零范數(shù)梯度最小化與編輯傳播結(jié)合起來，可以將用戶指定的 編輯有效自然的傳播到整幅圖像之中，約束零范數(shù)梯度可以使結(jié)果更加連續(xù)和自然。本方 法提出了一種相似度矩陣采樣的新方法，可以更精確的估計(jì)初始圖像相似度矩陣。該方法 的自適應(yīng)參數(shù)調(diào)節(jié)方法，減輕了用戶的負(fù)擔(dān)并提升了最終效果。
【附圖說明】
[0012]圖1是本發(fā)明實(shí)施例流程不意圖。
[0013] 圖2是本發(fā)明實(shí)施例估計(jì)圖像的維度的相似未知矩陣Z示意圖。
【具體實(shí)施方式】
[0014] 本發(fā)明實(shí)施例主要關(guān)注在根據(jù)已有用戶指定編輯區(qū)域，如何利用現(xiàn)有圖像和指定 編輯區(qū)域的信息來將已有的編輯方案?jìng)鞑サ饺謭D像中。與以往的傳播技術(shù)相比，我們的 方法將零范數(shù)梯度最小化與編輯傳播結(jié)合起來，可以將用戶指定的編輯有效自然的傳播到 整幅圖像之中，約束零范數(shù)梯度可以使結(jié)果更加連續(xù)和自然。本方法提出了一種相似度矩 陣采樣的新方法，可以更精確的估計(jì)初始圖像相似度矩陣。該方法的自適應(yīng)參數(shù)調(diào)節(jié)方法， 減輕了用戶的負(fù)擔(dān)并提升了最終效果。利用該結(jié)果可以進(jìn)行后續(xù)的圖像編輯操作，包括重 新著色、調(diào)節(jié)圖像局部色調(diào)、改變物體材料結(jié)構(gòu)等功能。
[0015] 概括地講，本發(fā)明下述實(shí)例中提供的編輯傳播方法是基于零范數(shù)梯度最小化的， 它包括以下步驟：
[0016] 1)獲取原始圖像及用戶編輯組成的筆觸圖像；
[0017] 2)估計(jì)圖像的相似矩陣，即圖像中任意兩點(diǎn)對(duì)應(yīng)的向量(本例包含顏色分量及空 間分量)，取- F/)2
[0018] 其中，i與j為矩陣任意兩列的序號(hào)，m代表矩陣列數(shù)，V表示矩陣某列元素。
[0019] 3)圖像傳播過程中，編輯滿足兩個(gè)條件，一方面?zhèn)鞑ズ缶庉媽?duì)于相似的像素點(diǎn)約 束其具有相似的傳播結(jié)果，另一方面最終得到的編輯需要有合適的梯度數(shù)，即零范數(shù)梯度 項(xiàng)。最小化
[0020] 1 J
[0021 ]此為最終的優(yōu)化問題目標(biāo)函數(shù)
[0022]其中，g為用戶指定的編輯，e為傳播后的編輯，w為編輯約束強(qiáng)度，z為像素點(diǎn)間相 似度矩陣，C(e)圖像的梯度值，λ參數(shù)。
[0023] 4)通過迭代的方法求解所述優(yōu)化問題目標(biāo)函數(shù)得到最終編輯結(jié)果。
[0024] 更具體而言，上述基于零范數(shù)梯度最小化的編輯傳播方法包括以下步驟：
[0025] 2)獲取原始圖像及用戶編輯組成的筆觸圖像，所述原始圖像被所述筆觸圖像覆蓋 的區(qū)域?yàn)闃?biāo)定編輯區(qū)域，所述原始圖像未被所述筆觸圖像覆蓋的區(qū)域?yàn)槲礃?biāo)定編輯區(qū)域；
[0026] 3)如圖2所示，估計(jì)圖像的(η為I的像素點(diǎn)數(shù))維度的相似未知矩陣Ζ，使用估計(jì)的Ζ 矩陣來近似該矩陣。獲取U和Α，其中，
I像素點(diǎn)的RGB 顏色空間分量向量，X為像素點(diǎn)的空間坐標(biāo)的橫縱坐標(biāo)軸分量向量，〇s相似度矩陣維度比 較大，但卻有相似的結(jié)構(gòu)，因此可以進(jìn)行低維估計(jì)操作，即用圖2右邊的A與B矩陣來估計(jì)整 個(gè)矩陣。其中η代表原矩陣維度，m代表取得估計(jì)子矩陣列數(shù)。A代表m*m的Z矩陣的子矩陣，B 為(n-m)*m的Z矩陣的子矩陣。在此處我們對(duì)此估計(jì)圖像維度相似矩陣作自適應(yīng)選擇處理， 我們用即圖像中任意兩點(diǎn)對(duì)應(yīng)的向量（本例包含顏色分量及空間分量），取 max 。這種方法與現(xiàn)有的矩陣估計(jì)技術(shù)相比，穩(wěn)定性更好，適應(yīng)性更強(qiáng)。
[0027] 4)現(xiàn)有的傳播后的編輯要求傳播后編輯對(duì)于相似的像素點(diǎn)約束其具有相似的傳 播結(jié)果，而本方法所提技術(shù)最終得到的編輯還需要有合適的梯度數(shù)，即零范數(shù)梯度項(xiàng)。通過 約束最終生成的圖像的梯度零函數(shù)來優(yōu)化最終的結(jié)果。
[0028]
[0029]其中，g為用戶指定的編輯，e為傳播后的編輯，w為編輯約束強(qiáng)度，ζ為像素點(diǎn)間相 似度矩陣，C(e)為傳播后圖像的梯度值，λ是梯度約束占比參數(shù)。
[0030] 采用一種基于輔助分暈項(xiàng)的特殊半二次化分解，即轉(zhuǎn)化為：
[0031] -
, ,
[0032] 其中，β系數(shù)，g表示最終傳播結(jié)果，h表示估計(jì)最終結(jié)果X方向的梯度圖，ν表示估計(jì) 最終結(jié)果y方向的梯度圖，根據(jù)該優(yōu)化表達(dá)式求出最終傳播結(jié)果。
[0033] 將公式分為兩個(gè)子問題。
[0034] 子問題一:計(jì)算e
[0035] 根據(jù)
[0036]
[0037] 求導(dǎo)并用公式一替換相似矩陣，得到求解：
[0038] 公式三
[0039 ]子問題二:根據(jù)閾方法求解計(jì)算，得到
[0040] 公式四：
[0041 ]我們可以分別迭代求解這兩個(gè)子問題得到最終的結(jié)果。
[0042] 5)通過迭代的方法求解所述優(yōu)化問題得到最終編輯結(jié)果。迭代過程：
[0043] 初始化e = g，i = 0，根據(jù)公式四求解hf及。
[0044] 由h⑴及v⑴，根據(jù)公式三求解e(i+1)。
[0045] β初值設(shè)為1，每次進(jìn)行新一輪迭代時(shí)，更新
[0046] β = κβ,? = ?+1
[0047] 直至
【主權(quán)項(xiàng)】
1. 一種圖像編輯傳播方法，其特征在于包括下列步驟： 51、 獲取原始圖像及用戶編輯組成的筆觸圖像； 52、 估計(jì)圖像的相似矩陣，即圖像中任意兩點(diǎn)對(duì)應(yīng)的向量，取maxSriiS井-巧)2; 其中，i與j為矩陣任意兩列的序號(hào)，m代表矩陣列數(shù)，V表示矩陣某列元素； 53、 設(shè)置優(yōu)化問題目標(biāo)函數(shù)，使得圖像傳播過程中，編輯滿足兩個(gè)條件，一方面?zhèn)鞑ズ?編輯對(duì)于相似的像素點(diǎn)約束其具有相似的傳播結(jié)果，另一方面最終得到的編輯需要有合適 的梯度數(shù)，即零范數(shù)梯度項(xiàng)； 54、 通過迭代的方法求解所述得到最終編輯結(jié)果。2. 如權(quán)利要求1所述的圖像編輯傳播方法，其特征在于:所述優(yōu)化問題目標(biāo)函數(shù)是最小 化其中，g為用戶指定的編輯，e為傳播后的編輯，W為編輯約束強(qiáng)度，Z為像素點(diǎn)間相似度 矩陣，C(e)為傳播后圖像的梯度值，A是梯度約束占比參數(shù)。3. 如權(quán)利要求1所述的圖像編輯傳播方法，其特征在于:所述向量包含顏色分量及空間 分量。4. 如權(quán)利要求1所述的圖像編輯傳播方法，其特征在于:步驟Sl中，所述原始圖像被所 述筆觸圖像覆蓋的區(qū)域?yàn)闃?biāo)定編輯區(qū)域，所述原始圖像未被所述筆觸圖像覆蓋的區(qū)域?yàn)槲?標(biāo)定編輯區(qū)域。5. 如權(quán)利要求1所述的圖像編輯傳播方法，其特征在于:步驟S2中，估計(jì)圖像的相似矩 陣的方法是:估計(jì)圖像的維度的相似未知矩陣Z，使用估計(jì)的Z矩陣來近似該矩陣，獲取U和 A，其中：：為像素點(diǎn)的RGB顏色空間分量向量，X為像素 點(diǎn)的空間坐標(biāo)的橫縱坐標(biāo)軸分量向量，Oa為顏色分量權(quán)重參數(shù)，Os為空間分量權(quán)重參數(shù)。6. 如權(quán)利要求1所述的圖像編輯傳播方法，其特征是：步驟S3中，通過約束最終生成的 圖像的梯度零函數(shù)來優(yōu)化最終的結(jié)果： 公式二：其中，g為用戶指定的編輯，e為傳播后的編輯，W為編輯約束強(qiáng)度，Z為像素點(diǎn)間相似度 矩陣，C(e)為傳播后圖像的梯度值，A是梯度約束占比參數(shù)。7. 如權(quán)利要求6所述的圖像編輯傳播方法，其特征是:進(jìn)一步地，采用一種基于輔助分 量項(xiàng)的特殊半二次化分解，將優(yōu)化問題轉(zhuǎn)化為：其中，e表示收斂速度系數(shù)，g表示最終傳播結(jié)果，h表示估計(jì)最終結(jié)果X方向的梯度圖，V 表示估計(jì)最終結(jié)果y方向的梯度圖，根據(jù)該優(yōu)化表達(dá)式求出最終傳播結(jié)果。8. 如權(quán)利要求7所述的圖像編輯傳播方法，其特征是:進(jìn)一步地，將優(yōu)化問題分為兩個(gè) 子問題。 子問題一:計(jì)算e 根據(jù)求導(dǎo)并用公式一替換相似矩陣，得到求解： 公式e = ((UA-1爐)* + + 3成))1 (化4-1爐W +好(化啦+取日y)) 子問題二:根據(jù)闊方法求解計(jì)算，得到 公式四= Ovt^二(腳巧 枝辦，} +腳氣。；）<1成 -- [(d^Bp^dyep) otherwise 分別迭代求解運(yùn)兩個(gè)子問題得到最終的結(jié)果。9.如權(quán)利要求8所述的圖像編輯傳播方法，其特征是所述迭代過程為： 初始化e = g，0 = 00，i = O。由e(1 >，根據(jù)公式四求解h滬及.皆， 由hW及yW，根據(jù)公式S求解e， 0初值設(shè)為1，每次進(jìn)行新一輪迭代時(shí)，更新 P = KP , i = i + 1 直至P > Pmax。
【專利摘要】本發(fā)明涉及一種圖像編輯傳播方法，包括如下步驟：S1、獲取原始圖像及用戶編輯組成的筆觸圖像；S2、估計(jì)圖像的相似矩陣；S3、設(shè)置優(yōu)化問題目標(biāo)函數(shù)，使得圖像傳播過程中，編輯滿足兩個(gè)條件，一方面?zhèn)鞑ズ缶庉媽?duì)于相似的像素點(diǎn)約束其具有相似的傳播結(jié)果，另一方面最終得到的編輯需要有合適的梯度數(shù)，即零范數(shù)梯度項(xiàng)；S4、通過迭代的方法求解所述得到最終編輯結(jié)果。本發(fā)明的優(yōu)點(diǎn)在于將零范數(shù)梯度最小化與編輯傳播結(jié)合起來，可以將用戶指定的編輯有效自然的傳播到整幅圖像之中，約束零范數(shù)梯度可以使結(jié)果更加連續(xù)和自然，并且可以更精確的估計(jì)初始圖像相似度矩陣。該方法的自適應(yīng)參數(shù)調(diào)節(jié)方法，減輕了用戶的負(fù)擔(dān)并提升了最終效果。
【IPC分類】G06T11/00
【公開號(hào)】CN105513107
【申請(qǐng)?zhí)枴緾N201510906430
【發(fā)明人】王好謙, 郭震遠(yuǎn), 王興政, 張永兵, 戴瓊海
【申請(qǐng)人】深圳市未來媒體技術(shù)研究院, 清華大學(xué)深圳研究生院
【公開日】2016年4月20日
【申請(qǐng)日】2015年12月9日