專利名稱：用于預(yù)測(cè)因干擾而產(chǎn)生的注意力焦點(diǎn)概率軌跡的視頻位置的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例涉及視頻測(cè)試和測(cè)量，并且更特別地涉及對(duì)核心視頻圖片質(zhì)量(PQ)測(cè)量的改進(jìn)，例如對(duì)臨時(shí)觀眾的主觀視頻質(zhì)量預(yù)測(cè)。

背景技術(shù)：
諸如MPEG-2和H.264處理視頻的視頻壓縮方法使用有損壓縮方法并引入理論上人眼看不到的誤差。任何由壓縮方法中的損耗引起的可見誤差將其自身表現(xiàn)為通?？赡芨蓴_觀眾的缺陷偽影(impairmentartifact)。此外，視頻圖像的其它方面吸引了觀眾的注意力。已開發(fā)了用于預(yù)測(cè)因這些其它非干擾注意力吸引物(attracter)而產(chǎn)生的空間和時(shí)間上的注意力焦點(diǎn)的概率密度的算法，并且這些算法通常被稱為“注意力模型”。術(shù)語“干擾”在此是指視頻缺陷以及更普通的是指與視頻參考而不是視頻中的預(yù)期內(nèi)容的偏差(deviation)，其中所述視頻中的預(yù)期內(nèi)容可以具有自己類型的“干擾”。
當(dāng)結(jié)合諸如感知差異預(yù)測(cè)模型等其它視頻測(cè)量一起使用時(shí)，迄今為止開發(fā)的注意力模型在測(cè)量具有干擾的視頻時(shí)通常沒有比移去注意力模型時(shí)更改進(jìn)主觀評(píng)定的預(yù)測(cè)。然而，很多研究已表明當(dāng)不存在干擾時(shí)，對(duì)注意力焦點(diǎn)概率的預(yù)測(cè)可以是非常令人滿意的，而且，已公知取決于視頻顯示占用了多少視場(chǎng)，人類周圍視覺(peripheralvisio)對(duì)空間失真比“凹(foveal)”視覺或中心視覺實(shí)質(zhì)上更不敏感。因此，預(yù)測(cè)可見視頻如何劣化(degradation)的關(guān)鍵缺失部分將取決于人在哪里看，包括他們什么時(shí)候看到之前提到的干擾。


發(fā)明內(nèi)容
需要一種自動(dòng)的方法來像現(xiàn)有技術(shù)那樣預(yù)測(cè)觀眾的注意力焦點(diǎn)，但是具有因干擾而產(chǎn)生的新增加的注意力。該方法應(yīng)該包括要結(jié)合到現(xiàn)有視頻測(cè)量中的手段，例如用于加權(quán)這些測(cè)量的手段，該視頻測(cè)量尤其是圖片質(zhì)量測(cè)量和主觀質(zhì)量評(píng)定預(yù)測(cè)。另外，干擾性(distractibility)的控制對(duì)反映人口統(tǒng)計(jì)等的特定應(yīng)用很重要。最后，期望包括響應(yīng)于干擾的注意力行為(behavior)的該方法具有計(jì)算效率，使得對(duì)給定精度存在相對(duì)低的處理水平。
因此，本發(fā)明的各種實(shí)施例提供包括在用于視頻質(zhì)量評(píng)估的注意力模型中產(chǎn)生干擾表示的機(jī)制；包括模擬周圍視覺中減小的感知靈敏度(閾值和超閾值)(除了例如超過一定尺寸的物體移動(dòng)等情況)的機(jī)制，由此更好地預(yù)測(cè)看到潛在干擾的能力；包括用于識(shí)別可能被看成干擾的視頻偽影的可能等級(jí)(class)并且允許在預(yù)測(cè)注意力干擾的概率時(shí)選擇性地對(duì)每個(gè)偽影等級(jí)加權(quán)的機(jī)制。另外的實(shí)施例包括對(duì)應(yīng)于所述機(jī)制的客觀類似物。



圖1是用于全參考測(cè)量的參考視頻序列的無缺陷參考視頻幀的示例； 圖2是用于全參考或無參考測(cè)量的測(cè)試視頻序列的缺陷測(cè)試視頻幀的示例； 圖3是為圖1的參考視頻幀和圖2的測(cè)試視頻幀計(jì)算的預(yù)測(cè)感知對(duì)比差異(contrast difference)圖的示例； 圖4是為圖1示出的視頻計(jì)算的預(yù)測(cè)注意力焦點(diǎn)概率圖的示例； 圖5是使用圖3的注意力圖和圖4的感知差異圖為圖1示出的視頻計(jì)算的注意力加權(quán)預(yù)測(cè)感知對(duì)比差異圖的示例； 圖6是說明本發(fā)明的實(shí)施例的框圖； 圖7是具有包括設(shè)置成100％的干擾性控制的干擾的注意力焦點(diǎn)概率圖的示例； 圖8是具有包括設(shè)置成50％的干擾性控制的干擾的注意力焦點(diǎn)概率圖的示例； 圖9是具有包括設(shè)置成10％的干擾性控制的干擾的注意力焦點(diǎn)概率圖的示例； 圖10是關(guān)于離心率(eccentricity)數(shù)據(jù)對(duì)單模型perifSensModel(角度)的周圍閾值估計(jì)的圖； 圖11是對(duì)于16∶9的示例顯示器高寬比作為觀看距離的函數(shù)的圖像中的最大閾值估計(jì)因子(evaluation factor)的圖； 圖12示出了用于說明本發(fā)明實(shí)施例的行為的合成標(biāo)稱圖線(synthetic nominal map line)； 圖13示出了用于說明本發(fā)明實(shí)施例的行為的合成注意力圖線； 圖14示出了縮放(scale)和重疊在提高的(elevated)閾值(ET)圖上的圖12和圖13的輸入以及具有分別設(shè)置為0％、25％、50％、75％和100％的干擾控制的干擾的合成注意力圖；以及 圖15示出了所產(chǎn)生的注意力(包括干擾)加權(quán)測(cè)量，其重疊在與具有分別設(shè)置為0％、25％、50％、75％和100％的干擾控制的干擾的合成注意力圖相對(duì)應(yīng)的ET圖上。

具體實(shí)施例方式 本發(fā)明的實(shí)施例在圖6中示出。如在610所示，基于測(cè)試視頻輸入620以及可選的對(duì)應(yīng)于測(cè)試視頻620的參考視頻輸入630制成標(biāo)稱視頻測(cè)量和干擾源圖，但是測(cè)試視頻輸入中不存在缺陷。在圖2中與圖1中所示的對(duì)應(yīng)的參考視頻幀一起示出了測(cè)試視頻幀的示例。在本發(fā)明的實(shí)施例中，使用參考視頻輸入630和測(cè)試視頻輸入620將標(biāo)稱視頻測(cè)量和干擾源圖制成為全參考測(cè)量。在可替換的實(shí)施例中，標(biāo)稱視頻測(cè)量和干擾源圖被制成為無參考測(cè)量，這意味著沒有使用參考視頻輸入630。無論使用全參考還是無參考，本發(fā)明的實(shí)施例都可以是主觀測(cè)量、客觀測(cè)量或者客觀加權(quán)的主觀測(cè)量(objectivelyweighted subjective measurement)。在應(yīng)用主觀測(cè)量的實(shí)施例中，使用了2005年12月13日發(fā)布的Kevin Ferguson的標(biāo)題為“Predicting Human Vision Perception and PerceptualDifference”的美國(guó)專利No.6,975,776中所描述的裝置和方法，通過引用將其結(jié)合于此。在應(yīng)用客觀測(cè)量的實(shí)施例中，執(zhí)行了PSNR測(cè)量。在另一個(gè)應(yīng)用客觀測(cè)量的實(shí)施例中，執(zhí)行了Kevin Ferguson等人于2008年3月28日提交的標(biāo)題為“Systems and Methods for MeasuringLoss of Detail in a Video Codec Block”的美國(guó)專利申請(qǐng)序列號(hào)12/058,474中所描述的偽影檢測(cè)，通過引用將其結(jié)合于此。在又一個(gè)實(shí)施例中，提供了如在2006年9月5日發(fā)布的Kevin Ferguson的標(biāo)題為“Picture Quality Diagnostics for Revealing Cause ofPerceptible Impairments”的美國(guó)專利No.7,102,667中所描述的客觀加權(quán)的主觀測(cè)量，通過引用將其結(jié)合于此。在圖3中示出了在此被稱為“標(biāo)稱圖”的未由注意力加權(quán)的標(biāo)稱視頻測(cè)量圖的示例。圖4示出了在此被稱為“注意力圖”的注意力焦點(diǎn)概率圖的示例。這些被提供為由在610處示出的標(biāo)稱視頻測(cè)量提供的輸出的示例。
測(cè)試視頻輸入620還被用來創(chuàng)建注意力焦點(diǎn)概率圖640。在無參考測(cè)量的情況下，測(cè)試視頻由它本身輸入。在全參考實(shí)施例中，還提供了參考視頻輸入630。注意，標(biāo)稱視頻測(cè)量塊和注意力模型之間的虛線箭頭表示包括被用作注意力模型的輸入而不是直接視頻輸入的中間感知模型輸出(感知對(duì)比)的可選實(shí)施例。在本發(fā)明的實(shí)施例中，提供了如在2003年12月30發(fā)布的Wilfried Osberger的標(biāo)題為“Visual Attention Model”的美國(guó)專利No.6,670,963中所描述的注意力焦點(diǎn)概率圖，通過引用將其結(jié)合于此。
將干擾源圖和標(biāo)稱視頻測(cè)量610以及注意力焦點(diǎn)概率圖640的輸出提供給包括干擾的注意力預(yù)測(cè)650和干擾性控制652。干擾性控制提供例如0和100％之間的值。包括干擾的注意力預(yù)測(cè)650的輸出被提供為注意力(包括干擾)加權(quán)測(cè)量圖660和標(biāo)稱圖的輸入。圖660利用來自具有干擾的注意力預(yù)測(cè)650的輸入圖遮掩(mask)標(biāo)稱圖。這產(chǎn)生例如在圖7到9中示出的分別對(duì)應(yīng)于100％、50％和10％的干擾性控制設(shè)置的結(jié)果。
將注意力(包括干擾)加權(quán)測(cè)量圖的輸出提供給圖格式化和合并(pooling)塊670，其提供測(cè)量圖和測(cè)量匯總數(shù)據(jù)(summary data)，以用于顯示給最終用戶。來自塊670的所產(chǎn)生的輸出是注意力(包括干擾)加權(quán)測(cè)量圖的顯示。在一些實(shí)施例中還顯示了注意力(包括干擾)加權(quán)測(cè)量。
包括干擾的注意力預(yù)測(cè)塊650提供了兩個(gè)其它塊以用于執(zhí)行特定操作。基于標(biāo)稱圖和注意力概率圖創(chuàng)建周圍靈敏度概率圖654。第二塊658基于標(biāo)稱圖、注意力概率圖、周圍靈敏度圖和來自干擾性控制的輸入創(chuàng)建具有干擾的注意力焦點(diǎn)概率圖。將在下面更詳細(xì)地描述在包括干擾的注意力概率塊中的這兩個(gè)塊的操作。
在本發(fā)明的實(shí)施例中，通過將靈敏度對(duì)離心率的圖與注意力概率圖卷積來創(chuàng)建周圍靈敏度概率圖(the peripheral sensitivityprobability map is created by convolving the sensitivity vs.eccentricity map with the attention probability map)。在視覺科學(xué)中利用實(shí)驗(yàn)數(shù)據(jù)結(jié)果(例如在Mark Cannon的工作中)探究出了周圍靈敏度隨離心率的變化。如圖10所示，對(duì)于給定的頻率(在這種情況下近似對(duì)應(yīng)于最大靈敏度)，通過perifSensRawModel(Eccentricity)＝1.165Eccentricity可以對(duì)對(duì)比靈敏度閾值高度(contrast sensitivity threshold elevation)進(jìn)行近似。
在極坐標(biāo)中，通過二維表示該靈敏度的人類視覺點(diǎn)擴(kuò)散函數(shù)(PSF)可以被近似成perifSensModel()的圓掃描，其中用r代替離心率 perifSensModelPSFpolar(Θ，r)＝perifSensModel(-r) 注意，用-r來代替r，因?yàn)辄c(diǎn)擴(kuò)散函數(shù)是靈敏度高度的逆(reciprocal)。
并且最終，在直角坐標(biāo)系中 該點(diǎn)擴(kuò)散函數(shù)與注意力圖卷積，以根據(jù)注意力圖概率產(chǎn)生PSFF圖，該P(yáng)SFF圖表示當(dāng)看到圖像中的注意力吸引物時(shí)因周圍視覺而產(chǎn)生的閾值高度概率的逆。然后將PSFF圖的每個(gè)樣本分成0.1％感知對(duì)比(每個(gè)Canon)的標(biāo)稱(凹)閾值以產(chǎn)生提高的閾值。
該方法實(shí)現(xiàn)高水平的精確度。然而，計(jì)算上有些高代價(jià)。在特定觀看距離(圖像所占用的視場(chǎng))上檢查點(diǎn)擴(kuò)散函數(shù)變化了多少導(dǎo)致用更簡(jiǎn)單的替換方法進(jìn)行的良好近似使用根據(jù)平均圖像離心率的平均周圍靈敏度高度。例如，考慮作為觀看距離(以屏幕高度為單位)的函數(shù)的最大離心率范圍 對(duì)于16/9的高清晰度電視顯示器高寬比(aspectRatio)，在圖11中繪出了該函數(shù)與觀看距離(viewingDist)的關(guān)系。該繪圖說明了在許多實(shí)際視頻觀看情況下PSF的動(dòng)態(tài)范圍很低，因此如果使用了對(duì)應(yīng)于平均離心率的對(duì)比高度，則將產(chǎn)生近似最小的總(RMS等)誤差。給定最大離心率和顯示器高寬比，通過下式得到圖像的平均離心率 其中 totalViewingAngle＝2*MaxEccentricity(viewingDist，aspectRatio) 給定觀看距離和顯示器高寬比，可以根據(jù)對(duì)perifSensModelPSFpolar(0，MeanEccentricity)的計(jì)算來計(jì)算近似平均對(duì)比靈敏度閾值高度。通常注意力圖包括朝向屏幕中間分布的更高的概率，因此平均來說在圖像上提高的閾值沒有大的變化。高度因子的值的范圍從用于3個(gè)屏幕高度的接近2下降到用于10個(gè)屏幕高度的近似1.25。這些值可以用作來自圖6的塊654的全部周圍靈敏度圖輸出。
對(duì)于大部分應(yīng)用來說，該方法得到具有良好近似的速度(低計(jì)算費(fèi)用)。
類似地，超閾值(suprathreshold)響應(yīng)隨著周圍視覺而變化，但是也不一定那樣。到目前為止，情況是閾值高度可以被表示為常數(shù)，超閾值靈敏度也可以用常數(shù)表示。
如在圖6中的658處提供的那樣，提供了一種創(chuàng)建具有干擾的注意力焦點(diǎn)概率圖的方法。利用足夠的干擾提高了正常情況下為低注意力的區(qū)域。對(duì)于大部分應(yīng)用來說，該方法得到具有良好近似的速度(低計(jì)算費(fèi)用)。使用下面的逐個(gè)像素(pixel-wise)的操作，周圍靈敏度(提高的閾值或ET)概率圖(可選地用上述的常數(shù)值代替)與注意力圖和標(biāo)稱圖以及干擾性控制相結(jié)合 其中 pcDiff表示標(biāo)稱圖的第y行和第x列的像素 attn是注意力圖的對(duì)應(yīng)像素 ET是周圍靈敏度(提高的閾值或ET)概率圖的像素 EG是超閾值靈敏度概率圖 maxAttn是注意力圖中的最大值 wt是干擾性控制 if(boolean，x，y)＝x if boolean is true，y if false(如果boolean為真，y為假，則(boolean，x，y)＝x) 注意為了方便在該示例中已將maxAttn歸一化為1，而在通常情況下該值取決于概率分布。
圖12到15說明了在各種水平的標(biāo)稱圖、注意力圖和干擾性控制下的attentionProb的行為。
實(shí)際上，具有低注意力概率的圖像區(qū)域?qū)⑼瑯泳哂杏糜跇?biāo)稱圖的提高的閾值(例如感知對(duì)比)并且低值被完全遮掩。另一方面，具有高注意力概率的區(qū)域沒有被干擾影響，因?yàn)樽⒁饬Ω怕嗜詻]有變化并且最后的注意力加權(quán)輸出同樣沒有變化。在注意力圖值的這兩種極端情況(extreme)之間存在連續(xù)的響應(yīng)，所有這些都由干擾性控制適當(dāng)?shù)丶訖?quán)。
權(quán)利要求
1.一種用于預(yù)測(cè)因干擾而產(chǎn)生的注意力焦點(diǎn)概率軌跡的視頻位置的方法，包括
基于測(cè)試視頻輸入創(chuàng)建標(biāo)稱測(cè)量基于測(cè)試視頻輸入創(chuàng)建注意力概率基于所述標(biāo)稱測(cè)量圖和所述注意力概率圖創(chuàng)建周圍靈敏度概率基于所述標(biāo)稱測(cè)量圖、注意力概率圖、周圍靈敏度圖和干擾性控制創(chuàng)建具有干擾的注意力焦點(diǎn)概率圖；以及
基于所述具有干擾的注意力焦點(diǎn)概率圖和標(biāo)稱測(cè)量圖提供注意力加權(quán)測(cè)量圖。
2.根據(jù)權(quán)利要求1所述的方法，還包括格式化所述注意力加權(quán)測(cè)量圖并顯示所述注意力加權(quán)測(cè)量圖。
3.根據(jù)權(quán)利要求1所述的方法，還包括合并注意力加權(quán)測(cè)量，并顯示包括干擾的注意力加權(quán)測(cè)量。
4.根據(jù)權(quán)利要求1所述的方法，其中創(chuàng)建所述標(biāo)稱測(cè)量圖是基于所述測(cè)試視頻輸入和參考視頻輸入。
5.根據(jù)權(quán)利要求1所述的方法，其中創(chuàng)建所述注意力概率圖基于所述測(cè)試視頻輸入和參考視頻輸入。
6.根據(jù)權(quán)利要求1所述的方法，其中創(chuàng)建所述周圍靈敏度概率圖包括將基于所述標(biāo)稱測(cè)量圖的靈敏度圖對(duì)離心率圖與所述注意力概率圖進(jìn)行卷積。
7.根據(jù)權(quán)利要求1所述的方法，其中創(chuàng)建具有干擾的注意力焦點(diǎn)概率圖基于干擾的水平提高正常情況下為低注意力的區(qū)域。
8.根據(jù)權(quán)利要求1所述的方法，其中提供注意力加權(quán)測(cè)量圖使用注意力相關(guān)圖作為標(biāo)稱測(cè)量圖的遮掩。
全文摘要
本發(fā)明提供了一種用于預(yù)測(cè)因測(cè)試視頻中的干擾而產(chǎn)生的注意力焦點(diǎn)概率軌跡的位置的方法?；跇?biāo)稱測(cè)量圖和注意力概率圖創(chuàng)建周圍靈敏度概率圖，標(biāo)稱測(cè)量圖和注意力概率圖都是基于測(cè)試視頻輸入的?；谥車`敏度圖、標(biāo)稱測(cè)量圖、注意力概率圖和干擾性控制輸入產(chǎn)生具有干擾的注意力焦點(diǎn)概率圖。
文檔編號(hào)H04N17/00GK101743757SQ200880019090
公開日2010年6月16日 申請(qǐng)日期2008年4月8日 優(yōu)先權(quán)日2007年4月9日
發(fā)明者K·費(fèi)爾古森 申請(qǐng)人:特克特朗尼克公司