基于顯著自適應(yīng)的視覺舒適預(yù)測(cè)及非線性映射的視覺舒適增強(qiáng)方法
【專利摘要】本發(fā)明屬于3D立體顯示【技術(shù)領(lǐng)域】，具體公開了一種基于顯著自適應(yīng)的視覺舒適預(yù)測(cè)及非線性映射的視覺舒適增強(qiáng)方法，其實(shí)現(xiàn)步驟：1)提取圖像的彩色顯著圖和視差顯著圖；2)彩色顯著圖歸一化處理，將歸一化值作為權(quán)值乘以視差顯著圖，得到顯著自適應(yīng)視差圖；3)利用閾值分割提取顯著不舒適區(qū)域；4)提取視差特征，基于SVR估計(jì)視覺舒適度，計(jì)算VC值進(jìn)行可視化操作；5)顯著自適應(yīng)視差圖的非線性映射處理；6)利用DIBR技術(shù)，映射后的視差圖和原右視圖作輸入合成虛擬圖像。本發(fā)明預(yù)測(cè)的視覺舒適度比主觀評(píng)價(jià)得到的有較高相關(guān)性，既減小了過度視差，又保持了圖像的顯著信息，從而提高立體圖像的視覺舒適度，可廣泛用于3D立體顯示。
【專利說明】基于顯著自適應(yīng)的視覺舒適預(yù)測(cè)及非線性映射的視覺舒適 増強(qiáng)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于3D立體顯示【技術(shù)領(lǐng)域】，涉及一種視覺舒適預(yù)測(cè)及增強(qiáng)的方法，可用于 對(duì)舒適度要求較高的立體顯示中，具體是一種基于顯著自適應(yīng)的視覺舒適預(yù)測(cè)及非線性映 射的視覺舒適增強(qiáng)方法。

【背景技術(shù)】
[0002] 隨著3D立體顯示技術(shù)的飛速發(fā)展，人們可以身臨其境地體驗(yàn)3D帶來(lái)的視覺上與 感知上的雙重沖擊。但是在立體觀看過程中存在一些至關(guān)重要的問題，如：視覺不舒適，視 覺疲勞等。為了立體顯示技術(shù)的廣泛使用，給觀看者創(chuàng)造一個(gè)舒適安全的觀看環(huán)境顯得很 有必要。引起視覺不舒適的因素有很多，包括過度視差、左右圖像的不匹配、深度信息的沖 突等。而過度視差由于我們的雙眼很難融合，因而最容易引起視覺不舒適。
[0003] 傳統(tǒng)的視覺舒適度可客觀評(píng)價(jià)方法主要是基于全局的視差統(tǒng)計(jì)特征來(lái)預(yù)測(cè)視覺 舒適度，如整幅視差圖像的均值、方差、分布范圍等特征。然而，根據(jù)人眼立體視覺注意力特 性，人眼只對(duì)部分視覺重要區(qū)域的視覺舒適/不舒適比較敏感，如果以全局的視差統(tǒng)計(jì)特 征來(lái)預(yù)測(cè)視覺重要區(qū)域的視覺舒適程度，會(huì)導(dǎo)致無(wú)法精確預(yù)測(cè)得到的客觀評(píng)價(jià)值。
[0004] Sohn H、Jung Y J 和 Lee S 等人在 IEEE Transactions on Broadcasting 上名為 "Predicting visual discomfort using object size and disparity information in stereoscopic images"的論文中提出了一種相對(duì)視差和前景對(duì)象尺寸的立體圖像視覺舒 適度客觀評(píng)價(jià)方法，該方法首先利用mean-shift分割方法對(duì)視差圖進(jìn)行分割，有效地提取 出對(duì)象的輪廓，然后計(jì)算到鄰近對(duì)象間的相對(duì)視差和前景對(duì)象的尺寸，并將其作為舒適度 感知特征，最后結(jié)合傳統(tǒng)的全局視差統(tǒng)計(jì)特征，可以較大程度地提高視覺舒適預(yù)測(cè)的準(zhǔn)確 性。然而，該方法沒有考慮空間頻率特征對(duì)人眼深度感知的影響，也沒有考慮立體視覺顯著 區(qū)域?qū)σ曈X舒適評(píng)價(jià)的影響。
[0005] 2013年在名為"一種立體圖像視覺舒適度評(píng)價(jià)方法"的NO. CN103581661A專利中 提出了一種立體圖像視覺舒適度評(píng)價(jià)方法，該方法首先通過提取右視點(diǎn)圖像的顯著圖和右 視差圖像的深度顯著圖，得到右視點(diǎn)圖像的立體顯著圖，然后根據(jù)立體顯著圖加權(quán)提取出 視差幅度、視差梯度和空間頻率特征，得到立體圖像的特征矢量，再利用支持向量回歸對(duì)立 體圖像集合中的所有立體圖像的特征矢量進(jìn)行訓(xùn)練，最后利用訓(xùn)練得到的支持向量回歸訓(xùn) 練模型對(duì)立體圖像集合中的每幅立體圖像進(jìn)行測(cè)試，得到每幅立體圖像的客觀視覺舒適度 評(píng)價(jià)預(yù)測(cè)值。該方法的優(yōu)點(diǎn)是獲得的立體圖像的特征矢量信息具有較強(qiáng)的穩(wěn)定性且能夠較 好地反映立體圖像的視覺舒適度變化情況，從而有效地提高了客觀評(píng)價(jià)結(jié)果與主觀感知的 相關(guān)性。然而，獲得的立體顯著圖是線性疊加了圖像顯著圖和深度顯著圖，這種傳統(tǒng)的線性 疊加方法不僅弱化了圖像的顯著信息，并且會(huì)引入一些本來(lái)不顯著的區(qū)域，較大程度地改 變了原始圖像的視差范圍。在此基礎(chǔ)上得到的提取的視差特征矢量，不能較好地表征原圖 像的舒適度范圍，不能夠準(zhǔn)確地預(yù)測(cè)圖像的舒適度。
[0006] 傳統(tǒng)的用于改善視覺不舒適的方法主要是通過調(diào)整視差，調(diào)整的方法主要分為兩 大類：一個(gè)是視差縮放；另一個(gè)是視差平移。
[0007] Holliman N在SPIE上名為"Mapping perceived depth to regions of interest in stereoscopic images"的論文中提出了通過視差縮放來(lái)調(diào)整視差，該方法是通過縮放 原圖像的視差范圍到一個(gè)相對(duì)舒適的目標(biāo)區(qū)域，進(jìn)而減少3D立體顯示中的視覺不舒適。這 種方法的缺點(diǎn)是，經(jīng)過縮放后的圖像尺寸會(huì)相應(yīng)的減小，如果采用簡(jiǎn)單的線性差值可以擴(kuò) 充到原圖像的大小，但是圖像的整體質(zhì)量會(huì)下降。
[0008] Xu D、Coria L E 和 Nasiopoulos P 等人在 IEEE International Conference on Consumer Electronics 上名為 "Quality of experience for the horizontal pixel parallax adjustment of stereoscopic 3D videos" 的論文中提出了視差平移方法，是通 過水平平移左右視點(diǎn)的圖像來(lái)調(diào)整視差，可以保持原圖像的視差范圍。這種方法由于較低 的算法復(fù)雜度被廣泛應(yīng)用。然而，當(dāng)原圖像的視差范圍超過了確定的視覺舒適區(qū)，用這種方 法減少視覺不舒適的效果將會(huì)不明顯。


【發(fā)明內(nèi)容】

[0009] 本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的不足，提出一種基于顯著自適應(yīng)的視覺舒適 預(yù)測(cè)及非線性映射的視覺舒適增強(qiáng)方法，同時(shí)考慮圖像的顯著信息和深度視差信息，在不 影響圖像整體質(zhì)量的情況下，預(yù)測(cè)并提高圖像的視覺舒適度。
[0010] 本發(fā)明的技術(shù)方案是：基于顯著自適應(yīng)的視覺舒適預(yù)測(cè)及非線性映射的視覺舒適 增強(qiáng)方法，包括如下步驟：
[0011] ⑴顯著估計(jì)：
[0012] la)讀入一個(gè)2D彩色圖像的左視點(diǎn)圖像Ii，利用GBVS顯著圖提取方法得到對(duì)應(yīng) 的彩色顯著圖S I;
[0013] lb)讀入一副2D彩色圖像的左視點(diǎn)圖像Ii和右視點(diǎn)圖像I p利用DERS估計(jì)方法 得到對(duì)應(yīng)的視差顯著圖SD;
[0014] (2)合成顯著自適應(yīng)視差圖：
[0015] 2a)先對(duì)&進(jìn)行歸一化處理，將其像素值轉(zhuǎn)化成[0, 1]范圍內(nèi)的雙精度值，用以表 明其顯著性；如果某點(diǎn)像素值越接近〇,表明該點(diǎn)越不顯著；如果某點(diǎn)像素值越接近1，表 明該點(diǎn)越顯著；歸一化公式如下：

【權(quán)利要求】
1. 基于顯著自適應(yīng)的視覺舒適預(yù)測(cè)及非線性映射的視覺舒適增強(qiáng)方法，其特征在于， 包括如下步驟： (1) 顯著估計(jì)： la) 讀入一個(gè)2D彩色圖像的左視點(diǎn)圖像I1，利用GBVS顯著圖提取方法得到對(duì)應(yīng)的彩 色顯著圖S1; lb) 讀入一副2D彩色圖像的左視點(diǎn)圖像I1和右視點(diǎn)圖像Iy利用DERS估計(jì)方法得到 對(duì)應(yīng)的視差顯著圖Sd; (2) 合成顯著自適應(yīng)視差圖： 2a)先對(duì)51進(jìn)行歸一化處理，將其像素值轉(zhuǎn)化成[0, 1]范圍內(nèi)的雙精度值，用以表明其 顯著性；如果某點(diǎn)像素值越接近0,表明該點(diǎn)越不顯著；如果某點(diǎn)像素值越接近1，表明該點(diǎn) 越顯著；歸一化公式如下： 其中S1Oc,y)表示在（X，y)像素點(diǎn)處的顯著值； 2b)將Wt作為權(quán)值，乘到視差顯著圖SD上，得到合成的顯著自適應(yīng)視差圖Sad，即：Sad(x，y) =Wt (x，y)*SD (x，y); (3) 選取顯著自適應(yīng)視差圖Sad中的前6% -10%的視差值，作為閾值分割的閾值1\，得 到視覺不舒適區(qū)域SDR: ^ ?; [0otherwise. (4) 預(yù)測(cè)視覺不舒適的程度： 4a)提取兩個(gè)視差特征，一個(gè)是基于顯著權(quán)值的視差特征Dmsd;另一個(gè)是最大視差特征Dm; 4b)形成視差特征向量D，視差特征向量D由視差特征Dmsd和視差特征Dm組成：D= [Dmsd,Dm]; 4c)計(jì)算視覺舒適度VC:基于支持向量回歸分析SVR預(yù)測(cè)，預(yù)測(cè)函數(shù)為： KC= /(D) =j>,.-⑷,D) +h其中α和α*是拉格朗日乘子；K(DiJ)是非線性變 i=l 換輸入特征的核函數(shù)，這里采用徑向基函數(shù)RBF: =c· ?;?):，其中γ表示核函數(shù)的 變化； (5) 視覺舒適的增強(qiáng)： 在顯著自適應(yīng)視差圖Sad中，存在著四種類型的像素：不顯著舒適像素、顯著舒適像素、 不顯著不舒適像素和顯著不舒適像素；先確定像素的所屬類型，再根據(jù)非線性映射公式： Dnm(Xj) = 20*lg(Sad(x，y))，對(duì)顯著自適應(yīng)視差圖Sad進(jìn)行壓縮處理； (6) 合成虛擬圖像： 利用深度圖像繪制技術(shù)DIBR，將處理過的視差圖Dnm和原右視點(diǎn)圖像作為輸入，合成虛 擬圖像。
2. 根據(jù)權(quán)利要求1所述的基于顯著自適應(yīng)的視覺舒適預(yù)測(cè)及非線性映射的視覺舒適 增強(qiáng)方法，其特征在于，其中步驟（4a)中的視差特征的提取，具體按如下步驟進(jìn)行： (2al)基于得到的顯著不舒適區(qū)域SDR，首先統(tǒng)計(jì)該區(qū)域中的像素個(gè)數(shù)N; (2a2)接著計(jì)算該視覺不舒適區(qū)域SDR像素的平均值Dmsd，作為視覺舒適預(yù)測(cè)的一個(gè)視 差特征，實(shí)現(xiàn)公式為：Ζλ/.ν/?Σ ΣU.Y，.V); ^ xeSDRveSDJi (2a3)提取視覺不舒適區(qū)域SDR中的最大的視差Dm，實(shí)現(xiàn)公式為：Dm=max(Sad(x，y))， 作為另一個(gè)視差特征用于視覺舒適估計(jì)。
3.根據(jù)權(quán)利要求1所述的基于顯著自適應(yīng)的視覺舒適預(yù)測(cè)及非線性映射的視覺舒適 增強(qiáng)方法，其特征在于，其中步驟（5)中所述的四種類型的像素的具體劃分范圍如下： 在顯著自適應(yīng)視差圖Sad中，其像素值范圍為0-255,為了有效地進(jìn)行非線性映射處理， 根據(jù)Sad的值，上述四種類型的像素范圍分別為
：
【文檔編號(hào)】H04N13/00GK104469355SQ201410766071
【公開日】2015年3月25日 申請(qǐng)日期:2014年12月11日 優(yōu)先權(quán)日:2014年12月11日
【發(fā)明者】鄭喆坤, 劉紅民, 王帥, 崔玉, 金重圭, 尹仁龍, 權(quán)炳賢 申請(qǐng)人:西安電子科技大學(xué)