一種基于圖像梯度的三角剖分快速圖像融合方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于圖像梯度的三角剖分快速圖像融合方法。該方法包括：在源圖像中勾勒出需要復(fù)制到目標(biāo)圖像中的圖像塊(Source?patch)，根據(jù)圖像塊的梯度對(duì)圖像塊進(jìn)行聚類(lèi)分塊，計(jì)算每塊的聚類(lèi)中心點(diǎn)；根據(jù)源圖像和目標(biāo)圖像在圖像塊邊界線處的梯度差，計(jì)算邊界線的采樣點(diǎn)，形成對(duì)圖像塊的三角剖分，根據(jù)邊界采樣點(diǎn)的顏色差值來(lái)計(jì)算圖像塊中三角形頂點(diǎn)的顏色差值，通過(guò)硬件插值的方式計(jì)算三角型內(nèi)部各個(gè)像素點(diǎn)的顏色差值，從而得到融合后的圖像顏色值。本發(fā)明能快速地將圖像塊與目標(biāo)圖像融合，減弱顏色差異。
【專(zhuān)利說(shuō)明】一種基于圖像梯度的三角剖分快速圖像融合方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)應(yīng)用技術(shù)中的圖像編輯領(lǐng)域，尤其涉及一種基于圖像梯度的三角剖分快速圖像融合方法。
【背景技術(shù)】
[0002]圖像融合(image cloning)是計(jì)算機(jī)圖形學(xué)圖像編輯領(lǐng)域的一個(gè)具有挑戰(zhàn)性的問(wèn)題。目前市面上有多種軟件工具提供圖像融合功能，知名的有商業(yè)軟件Adobe Photoshop以及開(kāi)源軟件GMP等，然而這些軟件工具的圖像融合功能往往需要用戶(hù)提供較為精確的圖像邊界并通過(guò)手動(dòng)地調(diào)節(jié)圖像對(duì)比度與亮度等圖像參數(shù)來(lái)實(shí)現(xiàn)融合效果，除去需要大量的人工交互外，融合結(jié)果的視覺(jué)效果也往往不能達(dá)到與原始圖像一致。經(jīng)典的自動(dòng)圖像融合算法 Poisson image editing (PIE) [Patrick Perez, Michel Gangnet, andAndrewBlake.2003.Poisson image editing.ACM Trans.Graph.22,3(July2003),313-318.DOI=10.1145 / 882262.882269]通過(guò)在梯度域中求解poisson方程來(lái)解決邊界顏色差異帶來(lái)的顏色改變，然而該方法需要進(jìn)行大量的矩陣計(jì)算，計(jì)算復(fù)雜度較高。Coordinatesfor instant image cloning(CIC)[Zeev Farbman, Gil Hoffer, Yaron Lipman, DanielCohen-Or, and Dani Lischinsk1.2009.Coordinates for instant image cloning.ACMTrans.Graph.28,3,Article67(July2009),9pages.DOI = 10.1145 / 1531326.1531373]采用了建立一種Adaptive mesh的方式對(duì)圖像區(qū)域進(jìn)行三角剖分，降低了計(jì)算復(fù)雜度，然而源圖像的梯度信息不會(huì)得到很好的保留，對(duì)于圖像中內(nèi)容復(fù)雜，梯度變化明顯的融合效果往往不佳。

【發(fā)明內(nèi)容】

[0003](一 )要解決的技術(shù)問(wèn)題
[0004]本發(fā)明所要解決的技術(shù)問(wèn)題在降低圖像融合計(jì)算復(fù)雜度加速圖像融合計(jì)算的基礎(chǔ)上更好得保持原始圖像的梯度信息，自動(dòng)得進(jìn)行圖像融合，得到更好的視覺(jué)效果。本發(fā)明主要應(yīng)用于數(shù)字娛樂(lè)、文化創(chuàng)意和建模設(shè)計(jì)等方面。
[0005]( 二 )技術(shù)方案
[0006]為解決上述技術(shù)問(wèn)題，本發(fā)明提出一種基于圖像梯度的三角剖分快速圖像融合方法，其包括:
[0007]步驟1、確定源圖像中需要融合到目標(biāo)圖像中的圖像塊Ps和其在目標(biāo)圖像中的位置，計(jì)算圖像塊Ps的所有像素在目標(biāo)圖像上的坐標(biāo)向量；
[0008]步驟2、計(jì)算圖像塊Ps的梯度，根據(jù)梯度對(duì)圖像塊Ps進(jìn)行聯(lián)通區(qū)域聚類(lèi)，并計(jì)算得到K個(gè)聚類(lèi)中心；
[0009]步驟3、計(jì)算圖像塊Ps的邊界線上的每個(gè)像素點(diǎn)在目標(biāo)圖像中內(nèi)指定區(qū)域的梯度均值，以該梯度均值等比例地對(duì)邊界線進(jìn)行采樣，得到邊界采樣點(diǎn)；
[0010]步驟4、將步驟2得來(lái)的聚類(lèi)中心和步驟3得到的邊界采樣點(diǎn)對(duì)圖像塊Ps進(jìn)行三角首丨J分;
[0011]步驟5、計(jì)算邊界采樣點(diǎn)在源圖像和目標(biāo)圖像上的像素顏色差值，使用MVC算法計(jì)算K個(gè)聚類(lèi)中心的顏色差值；
[0012]步驟6、使用步驟5得到的三角形頂點(diǎn)的顏色差值，進(jìn)行線性插值得到三角形內(nèi)部各個(gè)像素的顏色差值，將顏色差值與圖像塊Ps對(duì)應(yīng)位置的像素相加，得到融合結(jié)果。
[0013]根據(jù)本發(fā)明的一種【具體實(shí)施方式】，所述步驟2的聯(lián)通區(qū)域聚類(lèi)步驟為使用圖像梯度作為聚類(lèi)的度量信息，使用基于區(qū)域生長(zhǎng)的圖像分割方法把圖像塊Ps分割成K個(gè)分塊區(qū)域，每個(gè)區(qū)域取所有像素的中間值計(jì)算一個(gè)中心點(diǎn)。
[0014]根據(jù)本發(fā)明的一種【具體實(shí)施方式】，在所述步驟3中，在計(jì)算邊界點(diǎn)在指定尺寸鄰域的梯度均值時(shí)，在計(jì)算梯度時(shí)邊界線右側(cè)使用源圖像的顏色值，左側(cè)使用目標(biāo)圖像的顏色值，生成一個(gè)邊界線的有序梯度向量隊(duì)列。
[0015]根據(jù)本發(fā)明的一種【具體實(shí)施方式】，所述步驟3中的以該梯度均值等比例地對(duì)邊界線進(jìn)行采樣是指:預(yù)先指定邊界采樣點(diǎn)的數(shù)量N，梯度向量隊(duì)列的梯度和為G，從隊(duì)尾開(kāi)始計(jì)算采樣點(diǎn)位置，在與隊(duì)尾之間梯度和最接近G / N的位置標(biāo)記為新采樣點(diǎn)，同時(shí)將該采樣點(diǎn)標(biāo)記為隊(duì)尾，直至所有N個(gè)采樣點(diǎn)標(biāo)記完畢。
[0016]根據(jù)本發(fā)明的一種【具體實(shí)施方式】，在步驟4中，對(duì)以K個(gè)聚類(lèi)中心點(diǎn)為采樣點(diǎn)，N個(gè)采樣邊界點(diǎn)順序鏈接的閉合區(qū)域進(jìn)行Delaunay三角化。
[0017]根據(jù)本發(fā)明的一種【具體實(shí)施方式】，由步驟5計(jì)算得到三角化后三角形各頂點(diǎn)的顏色差值，使用GPU的圖形管線指定三角形頂點(diǎn)的顏色后由GPU硬件完成三角形內(nèi)部像素的
差值計(jì)算。
[0018](三)有益效果
[0019]本發(fā)明采用基于梯度信息來(lái)對(duì)待融合圖像進(jìn)行三角剖分，選取位置更優(yōu)的內(nèi)部采樣點(diǎn)以及邊界采樣點(diǎn)，同時(shí)利用圖形硬件進(jìn)行內(nèi)部點(diǎn)的快速插值計(jì)算，可以得到速度更快質(zhì)量更優(yōu)的圖像融合方法，降低編輯成本。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0020]圖1示出了本發(fā)明中基于圖像梯度的三角剖分快速圖像融合方法的流程圖；
[0021]圖2A顯示了本發(fā)明的一個(gè)實(shí)施例的原圖像中勾勒選取的待融合部分；
[0022]圖2B顯示了本發(fā)明的一個(gè)實(shí)施例的目標(biāo)圖像；
[0023]圖2C顯示了本發(fā)明的一個(gè)實(shí)施例所計(jì)算的三角剖分結(jié)果；
[0024]圖2D顯示了本發(fā)明的一個(gè)實(shí)施例所得到的融合結(jié)果；
[0025]圖2E為使用PIE方法的融合結(jié)果；
[0026]圖2F為使用CIC方法生成的自適應(yīng)網(wǎng)格；
[0027]圖2G為使用CIC方法的融合結(jié)果。
【具體實(shí)施方式】
[0028]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
[0029]圖1示出了本發(fā)明中基于圖像梯度的三角剖分快速圖像融合方法的流程圖。如圖I所示，本發(fā)明的基于圖像梯度的三角剖分快速圖像融合方法包括如下步驟:
[0030]步驟1:確定源圖像中需要融合到目標(biāo)圖像中的圖像塊Ps和其在目標(biāo)圖像中的位置，計(jì)算圖像塊Ps的所有像素在目標(biāo)圖像上的坐標(biāo)向量。
[0031]例如，可以在源圖像中以順時(shí)針?lè)较蚬蠢粘鲂枰诤系侥繕?biāo)圖像中的圖像塊(Source patch,記為Ps),將勾勒過(guò)的邊界線像素點(diǎn)在源圖像中的二維坐標(biāo)記錄到一個(gè)向量Vbs中。通過(guò)將Ps拖拽到目標(biāo)圖像中來(lái)指定其在目標(biāo)圖像中的位置，根據(jù)Ps的外接矩形左上角頂點(diǎn)在源圖像與目標(biāo)圖像中的坐標(biāo)偏移量deIta,計(jì)算Vbs在目標(biāo)圖像上的坐標(biāo)向量
【權(quán)利要求】
1.一種基于圖像梯度的三角剖分快速圖像融合方法，其包括: 步驟1、確定源圖像中需要融合到目標(biāo)圖像中的圖像塊Ps和其在目標(biāo)圖像中的位置，計(jì)算圖像塊Ps的所有像素在目標(biāo)圖像上的坐標(biāo)向量； 步驟2、計(jì)算圖像塊Ps的梯度，根據(jù)梯度對(duì)圖像塊Ps進(jìn)行聯(lián)通區(qū)域聚類(lèi)，并計(jì)算得到K個(gè)聚類(lèi)中心； 步驟3、計(jì)算圖像塊Ps的邊界線上的每個(gè)像素點(diǎn)在目標(biāo)圖像中內(nèi)指定區(qū)域的梯度均值，以該梯度均值等比例地對(duì)邊界線進(jìn)行采樣，得到邊界采樣點(diǎn)； 步驟4、將步驟2得來(lái)的聚類(lèi)中心和步驟3得到的邊界采樣點(diǎn)對(duì)圖像塊Ps進(jìn)行三角剖分； 步驟5、計(jì)算邊界采樣點(diǎn)在源圖像和目標(biāo)圖像上的像素顏色差值，使用MVC算法計(jì)算K個(gè)聚類(lèi)中心的顏色差值； 步驟6、使用步驟5得到的三角形頂點(diǎn)的顏色差值，進(jìn)行線性插值得到三角形內(nèi)部各個(gè)像素的顏色差值，將顏色差值與圖像塊Ps對(duì)應(yīng)位置的像素相加，得到融合結(jié)果。
2.如權(quán)利要求1所述的基于圖像梯度的三角剖分快速圖像融合方法，其特征在于，所述步驟2的聯(lián)通區(qū)域聚類(lèi)步驟為使用圖像梯度作為聚類(lèi)的度量信息，使用基于區(qū)域生長(zhǎng)的圖像分割方法把圖像塊Ps分割成K個(gè)分塊區(qū)域，每個(gè)區(qū)域取所有像素的中間值計(jì)算一個(gè)中心點(diǎn)。
3.如權(quán)利要求1所述的基于圖像梯度的三角剖分快速圖像融合方法，其特征在于，在所述步驟3中，在計(jì)算邊界點(diǎn)在指定尺寸鄰域的梯度均值時(shí)，在計(jì)算梯度時(shí)邊界線右側(cè)使用源圖像的顏色值，左側(cè)使用目標(biāo)圖像的顏色值，生成一個(gè)邊界線的有序梯度向量隊(duì)列。
4.如權(quán)利要求1所述的基于圖像梯度的三角剖分快速圖像融合方法，其特征在于，所述步驟3中的以該梯度均值等比例地對(duì)邊界線進(jìn)行采樣是指:預(yù)先指定邊界采樣點(diǎn)的數(shù)量N，梯度向量隊(duì)列的梯度和為G，從隊(duì)尾開(kāi)始計(jì)算采樣點(diǎn)位置，在與隊(duì)尾之間梯度和最接近G / N的位置標(biāo)記為新采樣點(diǎn)，同時(shí)將該采樣點(diǎn)標(biāo)記為隊(duì)尾，直至所有N個(gè)采樣點(diǎn)標(biāo)記完畢。
5.如權(quán)利要求1所述的基于圖像梯度的三角剖分快速圖像融合方法，其特征在于，在步驟4中，對(duì)以K個(gè)聚類(lèi)中心點(diǎn)為采樣點(diǎn)，N個(gè)采樣邊界點(diǎn)順序鏈接的閉合區(qū)域進(jìn)行Delaunay三角化。
6.如權(quán)利要求1所述的基于圖像梯度的三角剖分快速圖像融合方法，其特征在于，由步驟5計(jì)算得到三角化后三角形各頂點(diǎn)的顏色差值，使用GPU的圖形管線指定三角形頂點(diǎn)的顏色后由GPU硬件完成三角形內(nèi)部像素的差值計(jì)算。
【文檔編號(hào)】G06T7/00GK103559721SQ201310601251
【公開(kāi)日】2014年2月5日 申請(qǐng)日期:2013年11月25日 優(yōu)先權(quán)日:2013年11月25日
【發(fā)明者】鮑冠伯, 王政, 車(chē)武軍, 徐波 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所