基于顯著性檢測和全變分的最小可察覺失真方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視頻壓縮技術(shù)領(lǐng)域，尤其設(shè)及一種基于顯著性檢測和全變分的最小可 察覺失真方法及系統(tǒng)。
【背景技術(shù)】
[0002] 視頻編碼技術(shù)主要在于觀看視覺效果不受影響的前提下合理的壓縮數(shù)據(jù)。傳統(tǒng)的 視頻編碼技術(shù)主要利用視頻數(shù)據(jù)的空間冗余、時間冗余等進(jìn)行數(shù)據(jù)的壓縮，如皿VCXHigh Efficiency Video Coding)，皿VC是一種新的視頻壓縮標(biāo)準(zhǔn)。近年來，越來越多的研究者開 始把注意力轉(zhuǎn)向感知視頻編碼領(lǐng)域。
[0003] 感知視頻編碼是一種全新的視頻編碼模式，它是基于人類視覺系統(tǒng)化VS)理論，人 類視覺系統(tǒng)化VS)是視頻和圖像處理的最終接受者，將HVS因素加入到圖像視頻處理領(lǐng)域 中，能夠獲取更好的處理效果。JNDQust Noticeable Difference)是表示人類視覺系統(tǒng)對 圖像失真的最小可察覺程度。如果數(shù)據(jù)的損失程度超過了對應(yīng)的JND闊值，則會被人眼察覺 到。最近幾年，JND模型應(yīng)用在許多的圖像和視頻領(lǐng)域，比如感知圖像編碼、視頻數(shù)據(jù)壓縮 等。有許多研究者提出了各種改進(jìn)的JND模型，提出的JND模型主要分為:像素域的JND模型 和DCT域的JND模型兩類。
[0004] 基于像素域的JND模型生成主要在圖像域中，大部分的JND模型都W亮度自適應(yīng)和 對比度效應(yīng)作為其基本因子。像素域的JND模型對比于DCT域的JND模型在計算復(fù)雜度上更 低，因為像素域的JND模型在生成過程中不需要變換到頻域。化ng等人提出了基于LA和CM兩 個效應(yīng)因子來建模JND模型。Chen等人把中央凹掩蔽模型整合到像素域的JND模型里面，同 時考慮了視覺離屯、率等因素。
[0005] 基于DCT域的JND模型在頻域進(jìn)行建模，即建模前圖像需要進(jìn)行DCT變換。其模型充 分的融合了HVS的特性對比度敏感函數(shù)(CSF) DAhumada和化terson比較早的提出了基于DCT 域的JND模型，該模型加入了CSF因子。Zheng等人提出了基于紋理分解的在變換域建模的 JND模型，該模型使用全變分(TV)的方法分解圖像為結(jié)構(gòu)分量和紋理分量，在進(jìn)行DCT系數(shù) 分類使用紋理分量更加準(zhǔn)確。Zheng等人提出一種聯(lián)合估計JND模型的方法，主要是在圖像 不同區(qū)域進(jìn)行不同的估計JND闊值來提高建模JND的準(zhǔn)確度。Wei等人提出了在DCT域下考慮 時空域因素的JND模型。Jia等人提出的JND模型適應(yīng)于視頻處理，該模型包含了時空對比敏 感度函數(shù)，眼球運(yùn)動的影響、亮度適應(yīng)和對比度掩蔽更符合人類感知。
[0006] 為了進(jìn)一步提高視頻壓縮的性能，研究者將視覺注意力計算模型加入到視頻編碼 中?；诟信d趣區(qū)域的視頻壓縮主要思想是人眼對圖像感興趣的局部給予高質(zhì)量的編碼， 而不顯著的區(qū)域給予較少的比特編碼，運(yùn)樣就做到了比特分配的優(yōu)化。1998年Laurent Itti等人提出了自下而上的顯著性模型，該模型計算復(fù)雜度低。Wang等人提出了視覺注意 力模型融合像素域的JND模型，該模型考慮了人眼注意力特性和敏感度特性。
[0007] 在已有的技術(shù)中，有的算法結(jié)構(gòu)簡單，效果不佳;有的算法預(yù)測不夠準(zhǔn)確，沒能充 分利用HVS的特性。而JND模型的準(zhǔn)確度直接影響到視頻壓縮的客觀效果和主觀質(zhì)量，為了 更加準(zhǔn)確的估計JND闊值，有必要發(fā)明一種不僅考慮視覺注意力模型還加入全變分方法充 分探索圖像信息W建立更加準(zhǔn)確的JND模型的方法。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明所要解決的技術(shù)問題是，提供一種基于顯著性檢測結(jié)合全變分的最小可察 覺失真方法及系統(tǒng)，能夠解決現(xiàn)有視頻編碼技術(shù)未充分利用HVS特性和JND模型不夠準(zhǔn)確的 問題。
[0009] 為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：
[0010] -種基于顯著性檢測和全變分的最小可察覺失真方法，包括：
[0011] Sl、將原始圖像數(shù)據(jù)使用全變分方法分解為結(jié)構(gòu)分量和紋理分量；
[001。S2、根據(jù)結(jié)構(gòu)分量和紋理分量計算像素域JND闊值和變換域JND闊值；
[0013] S3、對原始圖像數(shù)據(jù)進(jìn)行顯著性檢測，得到顯著性映射圖；使用顯著性映射圖加 權(quán)像素域JND闊值和變換域JND闊值，取最大值作為最終的JND闊值。
[0014] 本發(fā)明基于顯著性檢測和全變分的最小可察覺失真方法的有益效果在于:使用全 變分方法將圖像分解為結(jié)構(gòu)分量和紋理分量，結(jié)構(gòu)分量包含圖像的輪廓等信息，而紋理分 量包含更加準(zhǔn)確的紋理信息，因而計算變換域JND闊值時需要使用紋理塊進(jìn)行劃分，運(yùn)樣能 更精確地得到圖像塊的塊類型;根據(jù)所包含的不同信息的分量來生成JND闊值，能夠計算出 更精確地JND闊值;顯著性檢測利用人眼視覺特性，得到圖像顯著性區(qū)域，模擬人類視覺對 感興趣的區(qū)域能夠得到更多的關(guān)注，從而能夠更好的探索數(shù)據(jù)間的冗余，并且使得碼率下 降，得到的JND闊值精確，而視頻的主觀測試沒有明顯的損失。
[0015] -種基于顯著性檢測和全變分的最小可察覺失真系統(tǒng)，包括：
[0016] 分解模塊，用于將原始圖像數(shù)據(jù)使用全變分方法分解為結(jié)構(gòu)分量和紋理分量；
[0017] 計算模塊，根據(jù)結(jié)構(gòu)分量和紋理分量計算像素域JND闊值和變換域JND闊值；
[0018] 合成模塊，用于對原始圖像數(shù)據(jù)進(jìn)行顯著性檢測，得到顯著性映射圖；使用顯著性 映射圖加權(quán)像素域JND闊值和變換域JND闊值，取最大值作為最終的JND闊值。
[0019] 本發(fā)明基于顯著性檢測和全變分的最小可察覺失真系統(tǒng)的有益效果在于:原始圖 像數(shù)據(jù)經(jīng)分解模塊分解成結(jié)構(gòu)分量和紋理分量，由于結(jié)構(gòu)分量包含圖像的輪廓等信息，而 紋理分量包含更加準(zhǔn)確的紋理信息，因此計算模塊計算變換域JND闊值時需要使用紋理塊 進(jìn)行劃分，運(yùn)樣能更精確地得到圖像塊的塊類型;計算模塊根據(jù)所包含的不同信息的分量 來生成JND闊值，能夠計算出更精確地JND闊值;合成模塊結(jié)合顯著性檢測來獲取最終的JND 闊值，模擬人類視覺對感興趣的區(qū)域能夠得到更多的關(guān)注，從而能夠更好的探索數(shù)據(jù)間的 冗余，并且使得碼率下降。
【附圖說明】
[0020] 圖1為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的感 知視頻編碼框架圖；
[0021] 圖2為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的STJ 模型；
[0022] 圖3為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的 BQTerrace實例失真性能；
[0023] 圖4為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的 Baske憂al IDrive實例失真性能；
[0024] 圖5為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的 化Ctus實例失真性能；
[0025] 圖6為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的 ParkScene實例失真性能；
[0026] 圖7為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的 化opleOnStreet實例失真性能；
[0027] 圖8為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的 Baske憂al IDri 11實例失真性能；
[0028] 圖9為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的4個 方向的濾波模塊；
[0029] 圖10為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的背 景亮度的濾波模塊；
[0030] 圖11為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的碼 率實驗結(jié)果；
[0031] 圖12為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的 PSNR實驗結(jié)果；
[0032] 圖13為本發(fā)明實施例一的基于顯著性檢測和全變分的最小可察覺失真方法的流 程圖；
[0033] 圖14為本發(fā)明實施例二的基于顯著性檢測和全變分的最小可察覺失真系統(tǒng)的結(jié) 構(gòu)圖。
[0034] 標(biāo)號說明：
[0035] 1、分解模塊；2、計算模塊;21、第一計算模塊；22、第二計算模塊；23、第一合成模 塊;24、第=計算模塊;25、第四計算模塊;26、第二合成模塊;3、合成模塊;31、相異度計算模 塊;32、顯著值計算模塊;33、周邊顯著值計算模塊;34、第五計算模塊。
【具體實施方式】
[0036] 為詳細(xì)說明本發(fā)明的技術(shù)內(nèi)容、構(gòu)造特征、所實現(xiàn)目的及效果，W下結(jié)合實施方式 并配合附圖詳予說明。
[0037] 本發(fā)明最關(guān)鍵的構(gòu)思在于：使用全變分的方法將圖像分解為結(jié)構(gòu)分量和紋理分 量，根據(jù)結(jié)構(gòu)分量和紋理分量計算JND闊值，并結(jié)合顯著性檢測，計算最終的JND闊值。
[003引請參閱圖1至圖13，
[0039] -種基于顯著性檢測和全變分的最小可察覺失真方法，包括：
[0040] S1、將原始圖像數(shù)據(jù)使用全變分方法分解為結(jié)構(gòu)分量和紋理分量；
[0041 ] S2、根據(jù)結(jié)構(gòu)分量和紋理分量計算像素域JND闊值和變換域JND闊值；
[0042] S3、對原始圖像數(shù)據(jù)進(jìn)行顯著性檢測，得到顯著性映射圖；使用顯著性映射圖加權(quán) 像素域JND闊值和變換域JND闊值，取最大值作為最終的JND闊值。
[0043] 從上述描述可知，本發(fā)明基于顯著性檢測和全變分的最小可察覺失真方法的有益 效果在于:使用全變分方法將圖像分解為結(jié)構(gòu)分量和紋理分量，結(jié)構(gòu)分量包含圖像的輪廓 等信息，而紋理分量包含更加準(zhǔn)確的紋理信息，因而計算變換域JND闊值時需要使用紋理塊 進(jìn)行劃分，運(yùn)樣能更精確地得到圖像塊的塊類型;根據(jù)所包含的不同信息的分量來生成JND 闊值，能夠計算出更精確地JND闊值;顯著性檢測利用人眼視覺特性，得到圖像顯著性區(qū)域， 模擬人類視覺對感興趣的區(qū)域能夠得到更多的關(guān)注，從而能夠更好的探索數(shù)據(jù)間的冗余， 并且使得碼率下降，得到的JND闊值精確，而視頻的主觀測試沒有明顯的損失。
[0044] 進(jìn)一步的，所述步驟S2的計算像素域JND闊值具體為：
[0045] S21、利用結(jié)構(gòu)分量計算邊界掩蔽效應(yīng)W及利用紋理分量計算紋理掩蔽效應(yīng)；
[0046] S22、將結(jié)構(gòu)分量和紋理分量分別進(jìn)行4個方向的濾波計算和平均背景亮度計算， 設(shè)置紋理掩蔽效應(yīng)的權(quán)重大于邊界掩蔽效應(yīng)的權(quán)重，進(jìn)行加權(quán)求和得到對比度掩蔽效