基于內(nèi)容感知的交互式網(wǎng)格約束變形圖像自適應(yīng)縮放方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像、多媒體信號處理領(lǐng)域，尤其涉及一種基于內(nèi)容感知的交互式網(wǎng) 格約束變形圖像自適應(yīng)縮放方法。
【背景技術(shù)】
[0002] 隨著電子科技的發(fā)展，信息的采集、顯示也基本數(shù)字化了，圖像、視頻的采集與顯 示給我們的生活帶來了很多便利，由于顯示設(shè)備的顯示大小與顯示比例的不同，對于同一 采樣數(shù)據(jù)的顯示，需要進行處理后才能在顯示設(shè)備上完美顯示。例如電視的傳播信號為 4:3,電影的畫幅是20:9,而手機的顯示比例為16:9。所以在這些設(shè)備上顯示這些內(nèi)容時， 傳統(tǒng)的等比縮放往往不能充分利用屏幕的顯示面積，如果直接拉伸又會造成顯示內(nèi)容的失 真變形。為了使圖像在不同的顯示設(shè)備中，充分利用顯示面積，同時不造成明顯的失真，這 一問題被稱為2維圖像重構(gòu)，重構(gòu)方法可以分為離散和連續(xù)兩類，下面以圖6-a為例說明：
[0003] 第一類離散處理方法如圖6-b所示，將圖像劃分為不同的處理單元，對具備不同 特征的處理單元進行刪除或者復(fù)制的操作使得滿足最終的顯示大小。這里面包括裁剪、細 縫裁剪、移位映射、塊匹配等。這些方法采用的不同的離散實體，如細縫裁剪中是單個像素， 移位映射是不規(guī)則的塊區(qū)域。通過增加或者刪除部分實體，并最終獲得指定大小的圖像。生 成圖6-b的移位映射可以看做圖像為了將源圖像的寬度變小，通過去除圖像中網(wǎng)的部分， 在通過圖割算法解決拼接產(chǎn)生的接縫，最終的處理結(jié)果自然，主體清晰。該類方法的特點是 結(jié)果不可控，處理結(jié)果過于依賴圖像本身的內(nèi)容分布，針對某些背景簡單的圖像，通過直接 去除或者增加背景區(qū)域就可以取得較好的結(jié)果。然而對于復(fù)雜背景，往往很難運算得出符 合顯示效果的圖像，如果將圖6-b的寬度在縮減一半，背景部分的信息就很難做出調(diào)整來 適應(yīng)主體的兩只鳥這部分。算法實用性一般，運算時間不穩(wěn)定。離散方法本質(zhì)上相當于圖 像重組，該類方法易于設(shè)計交互來控制最終的編輯結(jié)果，如塊匹配算法中利用一個新的隨 機最近鄰域搜索算法，找到每個塊對應(yīng)于圖像中最相似的部分，通過交互工具，對圖像進行 指定尺寸合成，合成結(jié)果連續(xù)。
[0004] 第二類連續(xù)的方法采用的連續(xù)或者分段連續(xù)的映射函數(shù)，將目標圖像中的像素所 處的位置對應(yīng)到源圖像中某個位置，常見的有魚眼變形和卷曲，魚眼變形可以看做是一種 連續(xù)映射函數(shù)，而卷曲的實現(xiàn)看以看做是不同區(qū)域采用不同的映射函數(shù)，也就是分段連續(xù)。 以后不斷發(fā)展的基于圖像內(nèi)容的卷曲的方法通常采用矩形網(wǎng)格，或者三角形網(wǎng)格。上述方 法大體可以分為三個步驟，首先選取特征點，然后根據(jù)特征點所具備的特征及目標顯示大 小計算出特征定的新位置，最后對對應(yīng)網(wǎng)格區(qū)域分別進行仿射變化。該方法簡單快速，處理 復(fù)雜度與處理結(jié)果不變。圖6-C就是采用卷曲方法的處理結(jié)果。圖像中除了鳥部分的區(qū)域 都進行較大范圍的形變以適應(yīng)目標顯示大小，連續(xù)的方法對圖像中的線條的連續(xù)性保護較 好，不過對于圖像中出現(xiàn)在不同網(wǎng)格中的同一線條，可能會因為出現(xiàn)在不同區(qū)域而造成失 真不連續(xù)，因此很多算法的網(wǎng)格選取都盡可能的選取圖像的邊緣。
[0005] 不過對于處理邊緣較少的圖像，卷曲的方法不僅計算速度快而且取得的效果好。 這類方法試圖將尺寸變化帶來的幾何變化盡可能的傳遞給非顯著區(qū)域，使得顯著區(qū)域的形 變不明顯。這類方法可以通過控制各個區(qū)域的形變參數(shù)來控制最終的顯示結(jié)果，不過對于 邊緣信息較多的圖像會產(chǎn)生較為明顯的不連續(xù)。
[0006] 由于圖像的內(nèi)容不同，針對某些特定的情況，單一離散或者連續(xù)方法就可以取得 良好的結(jié)果，因此通過對這兩類方法進行適當?shù)慕Y(jié)合，就可以處理更大寬容度內(nèi)的圖像重 構(gòu)問題。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明所要解決的技術(shù)問題是針對【背景技術(shù)】中所涉及到的缺陷，提供一種基于內(nèi) 容感知的交互式網(wǎng)格約束變形圖像自適應(yīng)縮放方法，更好的滿足用戶瀏覽體驗以及圖像的 理解。
[0008] 本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：
[0009] 基于內(nèi)容感知的交互式網(wǎng)格約束變形圖像自適應(yīng)縮放方法，具體包括以下步驟：
[0010] 步驟1)，確定圖像的視覺顯著區(qū)域，得到視覺顯著圖；
[0011] 步驟2)，確定輸入圖像的能量分布圖；
[0012] 步驟3)，確定輸入圖像的紋理區(qū)域分布；
[0013] 步驟4)，確定輸入圖像的特征點分布圖；
[0014] 步驟5)，確定中間圖像的大小；
[0015] 步驟6)，計算特征點分布圖中每個特征點的位置變化值，進而求出每個特征點的 新位置；
[0016] 步驟7)，根據(jù)輸入圖像的特征點分布圖對輸入圖像進行三角剖分，并根據(jù)步驟6) 求出的每個特征點的新位置，通過反射變換求出與輸出圖像縱橫比相同的中間圖像；
[0017] 步驟8)，根據(jù)輸入圖像的紋理區(qū)域分布對步驟7)中生成的中間圖像中對應(yīng)的紋 理部分進行紋理合成替換，生成經(jīng)過紋理處理過的中間圖像；
[0018] 步驟9)，對經(jīng)過紋理處理過的中間圖像采用雙線性插值變換，縮放至符合目標輸 出大小的圖像。
[0019] 作為本發(fā)明基于內(nèi)容感知的交互式網(wǎng)格約束變形圖像自適應(yīng)縮放方法進一步的 優(yōu)化方案，所述步驟1)的詳細步驟如下：
[0020] 基于輸入圖像所具備的低級特征，通過計算具有相似低級特征的像素區(qū)域與圖像 全局特征的對比確定顯著區(qū)域像素的分布，為彌補視覺顯著模型的輸出結(jié)果不理想，加入 交互畫刷增加或者減少視覺顯著區(qū)域；所述低級特征包括梯度和亮度特征值。
[0021] 作為本發(fā)明基于內(nèi)容感知的交互式網(wǎng)格約束變形圖像自適應(yīng)縮放方法進一步的 優(yōu)化方案，所述步驟2)的詳細步驟如下：
[0022] 計算輸入圖像中每個像素點四個方向的梯度值的和，加上視覺顯著圖獲得輸入圖 像的能量分布圖。
[0023] 作為本發(fā)明基于內(nèi)容感知的交互式網(wǎng)格約束變形圖像自適應(yīng)縮放方法進一步的 優(yōu)化方案，所述步驟3)的詳細步驟如下：
[0024] 通過對輸入圖像進行平滑濾波，濾除紋理區(qū)域的細節(jié)信息，從而使具有相似紋理 區(qū)域的像素具有相近的顏色特征，將平滑濾波處理過的圖像中具有相似顏色特征的像素聯(lián) 通，且大于圖像顯示面積的四分之一的區(qū)域標記為圖像的紋理區(qū)域。
[0025] 作為本發(fā)明基于內(nèi)容感知的交互式網(wǎng)格約束變形圖像自適應(yīng)縮放方法進一步的 優(yōu)化方案，所述步驟4)的詳細步驟如下：
[0026] 對輸入圖像進行超像素分割，對超像素分割圖中在視覺顯著區(qū)域的像素區(qū)域進行 遍歷，檢測遍歷處像素點與遍歷處8鄰域像素的距離值的數(shù)量，如果求出的距離值數(shù)量大 于等于3,就認為該點為特征點，標記該特征點的種類為1;邊緣輔助點的選取依據(jù)每條邊 上包括每條邊的頂點在內(nèi)，一共8個點，這些邊緣特征點的種類值標記為0,得到種類值為1 的視覺顯著區(qū)域的特征點及種類值為〇的邊緣輔助點的特征點分布圖。
[0027] 作為本發(fā)明基于內(nèi)容感知的交互式網(wǎng)格約束變形圖像自適應(yīng)縮放方法進一步的 優(yōu)化方案，所述步驟5)的中間圖像大小計算的詳細步驟如下：
[0028]步驟5. 1)，以視覺顯著圖為基礎(chǔ)，建立以顯著區(qū)域的質(zhì)心為原點、通過原點且平行 于長和寬方向射線為坐標X軸Y軸的坐標系；
[0029]步驟5. 2)，根據(jù)以下能量變化函數(shù)計算能量分布圖在步驟5. 1)中所建坐標系中 四個象限的能量值，進而得到中間圖像四個頂點的新坐標值。
[0030]E(zl,z2,z3,z4) =αΦΕ(zl,z2) +β*E(z3,z4)
[0031] 其中，El、E2、E3、E4分別為四個象限的能量值，Al、A2、A3、A4分別為輸入圖像的 四個頂點坐標，Bl、B2、B3、B4分別為中間圖像的四個頂點坐標，Cl、C2、C3、C4分別為視覺 顯著圖的四個頂點坐標，n、m、r分別為輸入圖像的長、高、縱橫比，N、M、R分別為目標顯示大 小的長、高、縱橫比，zl、z2、z3、z4分別為坐標點的變化量；
[0032]E(zl，z2,）=m*[zl2*(El+E