基于視網(wǎng)膜模型的圖像質(zhì)量評價方法
【專利摘要】本發(fā)明公開一種基于視網(wǎng)膜模型的圖像質(zhì)量評價方法，該方法公開的視網(wǎng)膜模型就基于視網(wǎng)膜將盡量減少視覺冗余但保留有用信號的假設；該視網(wǎng)膜模型包含一個光學調(diào)制傳輸模塊和一個自適應低通濾波模塊，將模型當做一個黑盒子，利用信息論方法設計自適應濾波器；對于全參圖像質(zhì)量評價方法，原圖和失真圖先通過該視網(wǎng)膜濾波器，然后再計算兩幅圖濾波后的區(qū)別，從而評價失真圖的質(zhì)量；該視網(wǎng)膜模型可以作為大多數(shù)圖像質(zhì)量評價方法的預處理，如基于視網(wǎng)膜模型的均方誤差或者峰值信噪比，雖然非常簡單，但是在很多圖像質(zhì)量評價庫上可以達到領先水平的性能。
【專利說明】基于視網(wǎng)膜模型的圖像質(zhì)量評價方法

【技術領域】
[0001]本發(fā)明涉及的是一種圖像處理【技術領域】的方法，具體是一種基于視網(wǎng)膜模型的圖像質(zhì)量評價方法。

【背景技術】
[0002]圖像質(zhì)量評價從來就不是獨立于視覺感知之外的任務，視覺的終極任務是目標識別并幫助動物在生存環(huán)境中感知物體和事件。所以圖像質(zhì)量評價可以從人眼視覺系統(tǒng)的研究中獲取靈感，但是目前圖像質(zhì)量評價的工程型方法卻旨在對人眼視覺系統(tǒng)的已知功能部件進行精確的建模。這類工程型質(zhì)量評價方法的精確度和魯棒性并不是十分理想，這可能是由于視覺感知是視覺大腦超出我們理解范圍的一種高度動態(tài)的過程。目前圖像質(zhì)量評價研究的一個發(fā)展趨勢就是將人眼視覺系統(tǒng)當做一個黑盒子，并尋找一些簡單而有效的計算原則來模擬視覺系統(tǒng)。這類方法的優(yōu)勢在于它們通常可以利用一些有時候比較復雜的信號處理技術而不需要擔心人眼視覺系統(tǒng)的具體功能結構的限制。
[0003]在視覺感知的研究當中，信息論為構想各種視覺信息獲取、傳輸和理解的計算模型提供了一個總體框架。自然圖像中普遍存在的各種物體形態(tài)學上的一致性表明自然圖像有大量的冗余，所以可以從信息論的角度，通過視覺信號的冗余度壓縮或者有效表示來研究視覺感知。從一些開創(chuàng)性工作(如F.Attneave在《Psychological Review))期刊第61 卷第 3 期第 183 頁至第 193 頁發(fā)表的論文“Some informat1nal aspects of visualpercept1n”)開始,壓縮感知成為一個熱門的研究領域,該理論成功地解釋了視覺感知領域的諸多方面。在研究有效的圖像質(zhì)量評價方法時，基于信息論的視覺感知計算策略同樣會有重要作用，冗余度壓縮即為本發(fā)明方法的指導原則，更具體地，該方法將關注視覺感知的第一個階段，即視網(wǎng)膜的視覺信號獲取階段。
[0004]根據(jù)自然圖像統(tǒng)計的一些開創(chuàng)性工作(如E.P.Simoncelli和B.A.0lshausen在《Annual Review of Neuroscience))期刊第24卷第1193頁至第1216頁發(fā)表的論文“Natural image statistics and neural r印resentat1n”)，自然圖像只是所有像素排列的一個小子集，這類像素排列的空間功率譜通常服從冪次定律。自然圖像中包含大量的冗余，很自然地可以想到視網(wǎng)膜的一個重要功能就是去除輸入圖像的冗余信息，而這恰恰是利用信息論研究壓縮感知的初始步驟。上述冗余信息去除及去相關可以通過圖像濾波來實現(xiàn)，所以視網(wǎng)膜模型的凈效應就是一個利用全局自適應濾波器對圖像從低通到帶通的濾波過程。作為一種全參質(zhì)量評價方法，基于視網(wǎng)膜模型的圖像質(zhì)量評價方法首先將原圖和失真圖進行濾波，然后再計算兩幅輸出圖片的均方誤差，也就是說該方法直接衡量視網(wǎng)膜之后的大腦皮層從輸入圖像獲得的信號。由于該方法的凸性，使得全局濾波加上均方誤差計算同樣可以作為其他各種編碼及恢復任務的目標函數(shù)。
[0005]視網(wǎng)膜神經(jīng)節(jié)細胞通常表現(xiàn)為一個線性濾波器，假如把視網(wǎng)膜當做一個黑盒子，Atick 和 Redlich 的研究工作(Atick 和 Redlich 在《Neural Computat1n))期刊第 24 卷第 196 頁至 210 頁發(fā)表的論文“What does the retina know about natural scenes ?，，)表明:對于自然圖像輸入來說，系統(tǒng)輸出的幅度譜已經(jīng)被白化到峰值靈敏度頻率。但是視覺系統(tǒng)不會將圖像幅度譜白化到分辨率的極限，因為視覺系統(tǒng)通常存在固有的光子和生化噪音。過度白化將會顯著放大噪聲，而且完全的白化圖像信號和噪聲在視覺系統(tǒng)的后期不可分割，所以視網(wǎng)膜模型必須考慮噪聲的影響，并對噪聲進行合理的控制。


【發(fā)明內(nèi)容】

[0006]針對現(xiàn)有技術的不足，本發(fā)明提供一種基于視網(wǎng)膜模型的圖像質(zhì)量評價方法，該方法是一種全參圖像質(zhì)量評價方法，可用于圖像質(zhì)量評價。
[0007]視覺信號的信息率通常遠超人眼視覺系統(tǒng)的處理能力，所以人的視覺系統(tǒng)會有非常有效的數(shù)據(jù)簡化過程，而視網(wǎng)膜模型基于視網(wǎng)膜將減少視覺信號但盡量保留有用信號的假設；該視網(wǎng)膜模型包含一個光學調(diào)制傳輸模塊和一個自適應低通濾波模塊，將該模型當做一個黑盒子，從而利用信息論方法設計自適應濾波器；作為一種全參圖像質(zhì)量評價方法，原圖和失真圖首先通過該視網(wǎng)膜濾波器，然后再計算兩幅圖的某種“距離”，從而進行圖像質(zhì)量評價；該視網(wǎng)膜模型通常可以作為大多數(shù)圖像質(zhì)量評價方法的預處理，如基于視網(wǎng)膜模型的均方誤差或者峰值信噪比，雖然非常簡單，但是在很多圖像質(zhì)量評價庫上可以達到領先水平的性能。
[0008]本發(fā)明是通過以下技術方案實現(xiàn)的，本發(fā)明包括以下步驟:
[0009]第一步、構建基于視網(wǎng)膜的計算模型，將基于視網(wǎng)膜的計算模型分割為串聯(lián)的兩個子模塊，分別為:光學調(diào)制傳輸模塊和自適應低通濾波模塊；光學調(diào)制傳輸模塊模擬人眼的光學結構；自適應低通濾波模塊進行噪聲抑制和冗余度壓縮；輸入信號IJf)通過基于視網(wǎng)膜的計算模型后的輸出信號可以通過下式計算:I2(f)=L(f).(M(f).(1。^)+%^))+&的)，其中皿江)和L(f)分別表示表示光學調(diào)制傳輸模塊和自適應低通濾波模塊的傳遞函數(shù)，NJf)和^⑴分別表示光學調(diào)制傳輸模塊和自適應低通濾波模塊的噪聲，f表示信號的頻率；
[0010]第二步、利用信息論方法設計自適應低通濾波模塊中的低通濾波器L進行噪聲抑制，自適應低通濾波模塊的輸入I1及輸出I2將用于質(zhì)量評價，低通濾波器L的設計原則就是盡量抑制該模塊的輸入信號I1的噪聲，而不損失過多的有用信號；低通濾波器L的設計最終依靠輸入I1及輸出I2之間的互信息Hd1 ;12)，保持H(I2)不變的同時最大化Hd1 ;12)。
[0011]第三步、通過上述構建的基于視網(wǎng)膜的計算模型進行全參圖像評價，對于全參圖像質(zhì)量評價，假設原圖和失真圖都通過了基于視網(wǎng)膜的計算模型，可以通過計算經(jīng)過濾波后圖像的均方誤差或者峰值信噪比來衡量失真圖的圖像質(zhì)量。
[0012]與現(xiàn)有技術相比，本發(fā)明具有以下有益效果:
[0013]本發(fā)明利用自然圖像中普遍存在的各種物體形態(tài)學上的一致性導致的大量的冗余，基于視網(wǎng)膜將減少視覺信號但盡量保留有用信號的假設，從信息論的角度，構建視網(wǎng)膜模型，首先將原圖和失真圖進行濾波，然后再計算兩幅輸出圖片的均方誤差。該基于視網(wǎng)膜的計算模型包含兩個主要模塊:一個光學調(diào)制傳輸模塊，該模塊主要模擬人眼的光學結構；還有一個低通濾波模塊，該模塊主要進行噪聲抑制和冗余度壓縮。實驗證明盡管使用了與人主觀評價不是很相符的均方誤差，該方法仍然達到了全參圖像質(zhì)量評價的主流性能。

【專利附圖】

【附圖說明】
[0014]通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯:
[0015]圖1是本發(fā)明的視網(wǎng)膜計算模型的框圖；
[0016]圖2是本發(fā)明的視網(wǎng)膜模型濾波的空間域效果圖，其中第一行分別為原圖、含噪聲的失真圖及原圖和失真圖之間的誤差圖，第二行分別為利用視網(wǎng)膜模型濾波后的原圖、失真圖及原圖和失真圖之間的誤差圖。
[0017]圖3是本發(fā)明的視網(wǎng)膜模型的頻域效果圖，其中第一行分別為原圖、失真圖及誤差圖在頻域的表示，第二行分別為模傳遞函數(shù)、低通濾波器及總的視網(wǎng)膜濾波器。

【具體實施方式】
[0018]下面結合具體實施例對本發(fā)明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干變形和改進。這些都屬于本發(fā)明的保護范圍。
[0019]實施例:
[0020]第一步、構建基于視網(wǎng)膜的計算模型，將基于視網(wǎng)膜的計算模型分割為串聯(lián)的兩個子模塊，分別為:光學調(diào)制傳輸模塊和自適應低通濾波模塊，如附圖1所示。根據(jù)附圖1所示的計算模型，輸入信號10(f)通過視網(wǎng)膜模型后的輸出信號I2(f)可以通過下式計算:
[0021]I2 (f) = L(f).(M(f).(10 (f)+N0 (^)+^(^)
[0022]其中M(f)和L(f)分別表示表示光學調(diào)制傳輸模塊和自適應低通濾波模塊的傳遞函數(shù)，Nc^f)和&&)分別表示光學調(diào)制傳輸模塊和自適應低通濾波模塊的內(nèi)在和生化的噪聲，f表示信號的頻率；
[0023]光學調(diào)制傳輸模塊和自適應低通濾波模塊的濾波過程分別為:
[0024]I^f) =M(f).(10(f)+N0(f))
[0025]I2 (f) = L(f).(I1 (f) +N1 (f))
[0026]第一個模塊的調(diào)制傳遞函數(shù)是通過實驗決定的，在本方法中，該函數(shù)由下式?jīng)Q定:

【權利要求】
1.一種基于視網(wǎng)膜模型的圖像質(zhì)量評價方法，其特征在于包括以下步驟: 第一步、構建基于視網(wǎng)膜的計算模型，將基于視網(wǎng)膜的計算模型分割為串聯(lián)的兩個子模塊，分別為:光學調(diào)制傳輸模塊和自適應低通濾波模塊；光學調(diào)制傳輸模塊模擬人眼的光學結構；自適應低通濾波模塊進行噪聲抑制和冗余度壓縮；輸入信號10(f)通過基于視網(wǎng)膜的計算模型后的輸出信號通過下式計算: I2 (f) = L(f).(M(f).(1。出+凡江))+&出)，其中1^)和L(f)分別表示表示光學調(diào)制傳輸模塊和自適應低通濾波模塊的傳遞函數(shù)，NJf)和&&)分別表示光學調(diào)制傳輸模塊和自適應低通濾波模塊的噪聲，f表示信號的頻率； 第二步、利用信息論方法設計自適應低通濾波模塊中的低通濾波器L進行噪聲抑制，自適應低通濾波模塊的輸入I1及輸出I2將用于質(zhì)量評價，低通濾波器L的設計原則是盡量抑制自適應低通濾波模塊的輸入信號I1的噪聲，而不損失過多的有用信號；濾波器的設計最終依靠輸入I1及輸出I2之間的互信息Hd1 ;I2)，保持輸出熵H(I2)不變的同時最大化Hd1 ；12)； 第三步、通過上述構建的基于視網(wǎng)膜的計算模型進行全參圖像評價，對于全參圖像質(zhì)量評價，假設原圖和失真圖都通過了基于視網(wǎng)膜的計算模型，可通過計算經(jīng)過濾波后圖像的均方誤差或者峰值信噪比來衡量失真圖的圖像質(zhì)量。
2.根據(jù)權利要求1所述的基于視網(wǎng)膜的計算模型的圖像質(zhì)量評價方法，其特征是，第一步中:光學調(diào)制傳輸模塊的濾波過程為:
I^f) = M(f).(10(f)+N0(f)) 其中，10(f)和I1(F)分別為光學調(diào)制傳輸模塊的輸入和輸出，M(f)和NJf)分別為該模塊的傳遞函數(shù)及噪聲，f表示信號的頻率，調(diào)制傳遞函數(shù)M(f)由實驗決定，通過下式來刻畫:
其中，參數(shù)f。和α分別取為:f。= 22周期/視角，α =1.4; 自適應低通濾波過程為:
I2 (f) = L(f).(I^f)+N1 (f)) 其中，IJf)和I2(f)分別為低通濾波子系統(tǒng)的輸入和輸出，L(f)和&&)分別為該模塊的傳遞函數(shù)及噪聲。
3.根據(jù)權利要求1所述的基于視網(wǎng)膜模型的圖像質(zhì)量評價方法，其特征是，第二步中:自適應低通濾波模塊的輸入I1及輸出I2之間的互信息為:
其中反表示總的等效噪聲，為了抑制噪聲，需要減小噪聲的熵H(N1)，在上式中即保持輸出熵H(I2)不變的同時最大化互信息Hd1 ；12)； 假設自適應低通濾波模塊的輸入I1及噪聲N1都是多元高斯分布的，其協(xié)方差矩陣分別為1, Σ，同時信號都是以離散形式表示的，故還有一個量化誤差項N,，假設N,也是高斯分布的，則低通濾波子系統(tǒng)表示為:
輸出信號的熵表不為:
噪聲項N1和輸入信號I1相互獨立，與上式類似可得:
設計最優(yōu)低通濾波器L時需要固定H(I2)的同時最大化Hd1 ;12)，即最小化以下目標函數(shù):
E(L) = -Hd1 ；Ι2) + λ.H(I2) 求解優(yōu)化問題:
假設;I =En^.ζ，則上式簡化得到最終的低通濾波器:
上述優(yōu)化問題是針對每個頻率分量獨立進行得。
4.根據(jù)權利要求1所述的基于視網(wǎng)膜模型的圖像質(zhì)量評價方法，其特征是，第三步中:對于全參圖像質(zhì)量評價，假設原圖和失真圖都通過了基于視網(wǎng)膜的計算模型，通過計算兩幅圖片經(jīng)過濾波后的均方誤差或峰值信噪比來衡量失真圖的圖像質(zhì)量，整個視網(wǎng)膜濾波在頻域或者空間域進行。
【文檔編號】G06T7/00GK104166984SQ201410318467
【公開日】2014年11月26日 申請日期:2014年7月4日 優(yōu)先權日:2014年7月4日
【發(fā)明者】翟廣濤, 閔雄闊, 楊小康, 李鐸 申請人:上海交通大學