專利名稱：用于運(yùn)動(dòng)補(bǔ)償?shù)囊曨l內(nèi)插的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻幀內(nèi)插系統(tǒng)，并尤其涉及與降低運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插中的偽像可視性相關(guān)聯(lián)的方法和裝置。
背景技術(shù)：
視頻序列通常包含視頻數(shù)據(jù)的一系列非交織巾貞(non interlaced frame)或視頻數(shù)據(jù)的一系列交織場(chǎng)(interlaced field)。交織序列由在顯示器的交替行上攜帶數(shù)據(jù)的場(chǎng)產(chǎn)生，以便第一場(chǎng)將攜帶交替行的數(shù)據(jù)，第二場(chǎng)將攜帶缺失行的數(shù)據(jù)。因此將這些場(chǎng)在時(shí)間和空間上被隔開。序列中的每個(gè)交替場(chǎng)都將攜帶同一空間位置處的數(shù)據(jù)。一對(duì)交織場(chǎng)可以被稱為幀，而非交織場(chǎng)也可以被稱為幀。本發(fā)明的實(shí)施方式將就非交織系統(tǒng)進(jìn)行描述，但是本發(fā)明可以等價(jià)地應(yīng)用于處理交織或非交織視頻數(shù)據(jù)的系統(tǒng)。
視頻序列中的運(yùn)動(dòng)的識(shí)別是眾所周知的，且產(chǎn)生用于描述一個(gè)幀與另一個(gè)幀之間的運(yùn)動(dòng)的每個(gè)像素或像素組的運(yùn)動(dòng)矢量。眾所周知的基于塊匹配技術(shù)的運(yùn)動(dòng)估計(jì)方法將用于說(shuō)明本發(fā)明，雖然其他類型的運(yùn)動(dòng)估計(jì)器將是等價(jià)適用的?；趬K的運(yùn)動(dòng)估計(jì)方法通?？紤]來(lái)自視頻序列的兩個(gè)連續(xù)的幀，并把它們?cè)俜殖煞Q為塊或宏塊的多個(gè)區(qū)域。在運(yùn)動(dòng)搜索過(guò)程中，每個(gè)塊與來(lái)自先前幀中的各種候選位置的像素?cái)?shù)據(jù)進(jìn)行比較。最佳匹配的相對(duì)位置給出了描述那個(gè)塊位置處的情景中的運(yùn)動(dòng)的矢量。共同地，幀中每個(gè)塊位置處的運(yùn)動(dòng)矢量組被稱為針對(duì)那個(gè)幀的運(yùn)動(dòng)矢量場(chǎng)(motion vector field)。注意，術(shù)語(yǔ)“矢量場(chǎng)”的使用不能與用于描述交織視頻序列中的數(shù)據(jù)的“場(chǎng)”或“視頻場(chǎng)”的使用混淆。圖I示出了塊匹配運(yùn)動(dòng)估計(jì)器的典型示例。在包括圖I在內(nèi)的所有附圖中，用位于塊的中心的對(duì)應(yīng)于矢量的箭頭的頭來(lái)示出運(yùn)動(dòng)矢量。幀被分成了塊，并且之前幀中的對(duì)象101已經(jīng)移動(dòng)到當(dāng)前幀中的位置102。該對(duì)象的之前位置被示為疊加在當(dāng)前幀上，并用103表示。針對(duì)塊而非針對(duì)對(duì)象執(zhí)行運(yùn)動(dòng)估計(jì)，其中當(dāng)前幀中的像素塊與之前幀中的塊大小的像素區(qū)域相匹配，其不必是塊對(duì)準(zhǔn)的。例如，塊104被移動(dòng)的對(duì)象102部分覆蓋，并具有如105處所示的內(nèi)容。如果執(zhí)行得好的話，針對(duì)塊104的運(yùn)動(dòng)估計(jì)將發(fā)現(xiàn)之前幀中的像素?cái)?shù)據(jù)區(qū)域106，也能看到該像素?cái)?shù)據(jù)區(qū)域106包含105中所示的像素，也就是好的匹配已經(jīng)被找到。通過(guò)被疊加回當(dāng)前幀上，匹配的像素?cái)?shù)據(jù)區(qū)域位于107處。因此，與塊104相關(guān)聯(lián)的運(yùn)動(dòng)矢量由箭頭108示出。許多基于塊的運(yùn)動(dòng)估計(jì)通過(guò)用絕對(duì)差和(SAD)或平均平方差(MSD)之類的方法對(duì)運(yùn)動(dòng)矢量候選集進(jìn)行測(cè)試來(lái)選擇它們的輸出運(yùn)動(dòng)矢量，以識(shí)別給出最低誤差塊匹配的運(yùn)動(dòng)矢量。圖2示出了針對(duì)當(dāng)前幀中的塊201的候選評(píng)估過(guò)程，其中塊201具有在211中所示的像素內(nèi)容。在該簡(jiǎn)單的示例性系統(tǒng)中，考慮了三個(gè)運(yùn)動(dòng)矢量候選206、207和208，這三個(gè)運(yùn)動(dòng)矢量候選對(duì)應(yīng)于之前幀中的位置202、203和204處的候選像素?cái)?shù)據(jù)區(qū)域。這些像素?cái)?shù)據(jù)區(qū)域的像素內(nèi)容分別如212、213和214中所見。顯然，位置202處的像素?cái)?shù)據(jù)提供了針對(duì)塊201的最佳匹配，因此應(yīng)該被選為最佳匹配/最低差別候選。通過(guò)疊加回當(dāng)前幀上，匹配的像素?cái)?shù)據(jù)區(qū)域位于205處，并且相關(guān)聯(lián)的運(yùn)動(dòng)矢量是206。
不同的系統(tǒng)具有不同的運(yùn)動(dòng)估計(jì)需求。在視頻編碼器中，該需求將通過(guò)參考序列中的先前幀形成幀的最緊湊表示。該需求通常是找到給出最低誤差塊匹配的運(yùn)動(dòng)矢量，并且當(dāng)獲得的運(yùn)動(dòng)矢量通常是情景中的對(duì)象的真實(shí)運(yùn)動(dòng)的表示時(shí)，沒(méi)有需求，這種情況總是存在的。在其他應(yīng)用中，諸如反交織(de-interlacing)或巾貞率轉(zhuǎn)換，即使視頻中的其他失真意味著塊匹配并不總是給出最低誤差，運(yùn)動(dòng)矢量表示情景的真實(shí)運(yùn)動(dòng)仍然是更加重要的。通過(guò)在運(yùn)動(dòng)搜索期間將合適的約束應(yīng)用到候選運(yùn)動(dòng)矢量，結(jié)果能夠在需要時(shí)被指引向“最低誤差”或“真實(shí)運(yùn)動(dòng)”。幀率轉(zhuǎn)換系統(tǒng)也是眾所周知的。在這種系統(tǒng)中，輸入幀率下的輸入場(chǎng)或幀的序列被改變成不同的輸出幀率。通常，這通過(guò)重復(fù)和/或減小幀直到實(shí)現(xiàn)期望的輸出幀率而完成。產(chǎn)生更平滑的輸出運(yùn)動(dòng)的可替換的方法稱為運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插。在運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插系統(tǒng)中，運(yùn)動(dòng)估計(jì)被用于確定表示場(chǎng)景中的對(duì)象的真實(shí)運(yùn)動(dòng)的運(yùn)動(dòng)矢量，而且這些運(yùn)動(dòng)矢量用于創(chuàng)建額外巾貞，在所述額外巾貞中，運(yùn)動(dòng)中的對(duì)象被表不在正確的中間位置處。相對(duì)于輸入序列的原始幀，我們將幀的時(shí)間位置描述為幀的時(shí)間實(shí)例(time instance)。對(duì)于幀率加倍的應(yīng)用，其中在t=-l和t=0的兩個(gè)輸入幀之間的時(shí)間中點(diǎn)處需要內(nèi)插幀，則內(nèi)插幀的時(shí)·間實(shí)例是處于t=-0. 5處。運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插系統(tǒng)需要在兩個(gè)輸入幀之間創(chuàng)建中間幀。必須在其處輸出每個(gè)內(nèi)插幀的時(shí)間位置從輸入和輸出幀率中獲得，而且被稱為幀的“理想時(shí)間實(shí)例”。在傳統(tǒng)運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插系統(tǒng)中，使用理想時(shí)間實(shí)例來(lái)創(chuàng)建每個(gè)內(nèi)插幀，以確定場(chǎng)景中對(duì)象的中間位置。幀率轉(zhuǎn)換系統(tǒng)的框圖如圖15所示。該系統(tǒng)包括視頻輸入1501，該視頻輸入1501去向存儲(chǔ)器1502和運(yùn)動(dòng)估計(jì)單元1503，其中，存儲(chǔ)器1502用于儲(chǔ)存輸入幀歷史，而運(yùn)動(dòng)估計(jì)單元1503用于通過(guò)將來(lái)自視頻輸入1501的當(dāng)前輸入幀與來(lái)自存儲(chǔ)器1502的先前幀進(jìn)行比較來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)矢量被發(fā)送到內(nèi)插單元1504，該內(nèi)插單元1504根據(jù)輸入幀構(gòu)建內(nèi)插幀并提供視頻輸出1507。已知運(yùn)動(dòng)矢量允許內(nèi)插單元1504放置像素以便內(nèi)插幀中的對(duì)象根據(jù)他們運(yùn)動(dòng)的軌跡出現(xiàn)在合適的位置中。時(shí)間控制單元1505為內(nèi)插輸出幀計(jì)算理想時(shí)間實(shí)例。圖像分析單元1506也可以對(duì)輸入幀數(shù)據(jù)進(jìn)行分析，以檢測(cè)諸如場(chǎng)景改變和交替漸變之類的事件，已知在這些事件中運(yùn)動(dòng)估計(jì)難以進(jìn)行。在這些情況中，優(yōu)選將理想時(shí)間實(shí)例設(shè)置成t=-l，從而重復(fù)原始輸入幀。圖3示出了示例性的幀率轉(zhuǎn)換系統(tǒng)，在該系統(tǒng)中，使用三個(gè)輸入幀來(lái)創(chuàng)建具有加倍的輸出幀數(shù)量的輸出序列?？梢钥闯觯敵鯥是被提供為輸入I的幀的直接復(fù)制。輸出2必須被創(chuàng)建在輸入I時(shí)間實(shí)例與輸入2時(shí)間實(shí)例之間的時(shí)間中點(diǎn)處?？梢钥闯觯敵?是被提供為輸入2的幀的直接復(fù)制。輸出4必須被創(chuàng)建在輸入2時(shí)間實(shí)例與輸入3時(shí)間實(shí)例之間的時(shí)間中點(diǎn)處?？梢钥闯?，輸出5是被提供為輸入3的幀的直接復(fù)制。圖4示出了示例性的幀率轉(zhuǎn)換系統(tǒng)，在該系統(tǒng)中，使用三個(gè)輸入幀來(lái)創(chuàng)建具有2.5倍輸出幀數(shù)量的輸出序列。可以看出，輸出I是被提供為輸入I的幀的直接復(fù)制。輸出2必須被創(chuàng)建在輸入I與輸入2之間的時(shí)間實(shí)例2/5處。輸出3必須被創(chuàng)建在輸入I與輸入2之間的時(shí)間實(shí)例4/5處。輸入2在輸出序列中沒(méi)有不出。輸出4必須被創(chuàng)建在輸入2與輸入3之間的時(shí)間實(shí)例1/5處。輸出5必須被創(chuàng)建在輸入2與輸入3之間的時(shí)間實(shí)例3/5處?？梢钥闯?，輸出6是被提供為輸入3的幀的直接復(fù)制。
存在著用于在內(nèi)插輸出幀中創(chuàng)建每個(gè)像素塊的各種方案。在運(yùn)動(dòng)估計(jì)已經(jīng)識(shí)別了輸入幀中的像素?cái)?shù)據(jù)的區(qū)域之間的完美匹配的情況中，內(nèi)插可以和將來(lái)自其中一個(gè)輸入幀的像素復(fù)制到由運(yùn)動(dòng)矢量所確定的內(nèi)插幀中的位置以及該內(nèi)插幀的時(shí)間實(shí)例那樣簡(jiǎn)單。在由運(yùn)動(dòng)估計(jì)所識(shí)別的匹配不完美的情況中，有必要根據(jù)來(lái)自輸入幀的像素?cái)?shù)據(jù)的一些組合來(lái)生成內(nèi)插輸出幀中的像素塊。恰當(dāng)方法的詳細(xì)描述超出了本發(fā)明的范圍，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解。適用于說(shuō)明本發(fā)明的概念的簡(jiǎn)單方法是在來(lái)自兩個(gè)鄰近輸入幀的運(yùn)動(dòng)補(bǔ)償?shù)南袼財(cái)?shù)據(jù)之間使用加權(quán)混合。圖5示出了加權(quán)混合內(nèi)插系統(tǒng)。內(nèi)插像素區(qū)域中的每個(gè)像素值可以被認(rèn)為是來(lái)自鄰近輸入幀中的運(yùn)動(dòng)補(bǔ)償?shù)奈恢锰幍南袼財(cái)?shù)據(jù)區(qū)域中的相應(yīng)位置的像素值之間的內(nèi)插。在圖5中，需要來(lái)自之前輸入幀的黑像素(A)與來(lái)自當(dāng)前輸入幀的白像素(B)之間的內(nèi)插。輸入幀之間的中間時(shí)間實(shí)例處的內(nèi)插像素能夠通過(guò)黑像素與白像素之間的適當(dāng)加權(quán)混合進(jìn)行創(chuàng)建。適當(dāng)?shù)募訖?quán)函數(shù)將使用與輸入幀的時(shí)間實(shí)例相關(guān)的內(nèi)插幀的分?jǐn)?shù)時(shí)間實(shí)例。例 如，如果內(nèi)插幀的時(shí)間實(shí)例位于之前輸入幀(包含像素A)與當(dāng)前輸入幀(包含像素B)之間的時(shí)間距離的四分之一處，則內(nèi)插像素應(yīng)當(dāng)使用來(lái)自像素A的75%的貢獻(xiàn)和來(lái)自像素B的25%的貢獻(xiàn)，即像素A和像素B之間3/4:1/4混合。如果內(nèi)插像素在兩個(gè)幀之間的中點(diǎn)處被創(chuàng)建，則將使用來(lái)自每個(gè)像素的相等的貢獻(xiàn)，即像素A和像素B之間1/2:1/2混合。由運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插產(chǎn)生的內(nèi)插幀的質(zhì)量極大地依賴于運(yùn)動(dòng)估計(jì)器的性能。在運(yùn)動(dòng)估計(jì)器執(zhí)行地比較差并產(chǎn)生非真實(shí)矢量的情況中，使用這些差矢量的內(nèi)插產(chǎn)生偽像。差的運(yùn)動(dòng)矢量可以源自復(fù)雜或不規(guī)則的運(yùn)動(dòng)、輸入幀之間被遮蓋/揭露的對(duì)象、混疊、或者被縮放或旋轉(zhuǎn)的對(duì)象，以致于不能由從屏幕的一個(gè)區(qū)域到另一區(qū)域的簡(jiǎn)單的像素平移來(lái)對(duì)其進(jìn)行描述。圖6示出了傳統(tǒng)運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插系統(tǒng)，其創(chuàng)建雙倍輸入幀率的輸出幀。在該示例中，之前輸入幀的時(shí)間實(shí)例是t=-l，而當(dāng)前輸入幀的時(shí)間實(shí)例是t=0，即100%的輸入幀時(shí)間間隔。描述在該間隔期間從位置601至位置602的對(duì)象的運(yùn)動(dòng)的運(yùn)動(dòng)矢量被示為603。清晰起見，已經(jīng)省略了運(yùn)動(dòng)矢量場(chǎng)中的其他矢量。由于內(nèi)插巾貞必須被輸出在輸入巾貞時(shí)間實(shí)例位置之間的中間的時(shí)間實(shí)例處，即位于50%的輸入幀時(shí)間間隔處，所以理想時(shí)間實(shí)例為t=-0. 5，而且在那個(gè)時(shí)間實(shí)例處對(duì)象的位置可以被內(nèi)插在沿著運(yùn)動(dòng)矢量的中間位置處，SP604處。被要求表示塊大小的像素區(qū)域614中的對(duì)象的像素?cái)?shù)據(jù)通過(guò)在塊大小的像素區(qū)域611 (內(nèi)容被示為611-A)與像素塊612 (內(nèi)容被示為612-A)之間進(jìn)行內(nèi)插來(lái)創(chuàng)建。611-A與612-A之間由理想時(shí)間實(shí)例確定的50%的混合結(jié)果被示為614-A。當(dāng)用于描述輸入幀間隔上對(duì)象的運(yùn)動(dòng)的運(yùn)動(dòng)矢量精確地描述了對(duì)象的真實(shí)運(yùn)動(dòng)時(shí)，該方法很好地工作。所得到的對(duì)象通過(guò)用之前輸入幀中它們的位置之間的線性位置而被平滑地內(nèi)插到當(dāng)前輸入幀中它們的位置中。圖7示出了傳統(tǒng)運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插系統(tǒng)，其在運(yùn)動(dòng)估計(jì)執(zhí)行差的情況中創(chuàng)建雙倍輸入幀率的輸出幀。在該示例中,之前輸入幀的時(shí)間實(shí)例是t=_l，而當(dāng)前輸入幀的時(shí)間實(shí)例是t=0。用于描述在該間隔期間從位置701至位置702的對(duì)象的真實(shí)運(yùn)動(dòng)的運(yùn)動(dòng)矢量(出于一些原因而)不能被運(yùn)動(dòng)估計(jì)器精確地確定。替代真實(shí)運(yùn)動(dòng)矢量，運(yùn)動(dòng)估計(jì)器引入被示為703和704的非真實(shí)運(yùn)動(dòng)矢量。再次地，清晰起見，已經(jīng)省略了運(yùn)動(dòng)矢量場(chǎng)中的其他矢量。由于內(nèi)插幀必須被輸出在輸入幀之間的中間的時(shí)間實(shí)例處，所以理想時(shí)間實(shí)例是t=-0. 5。因此，對(duì)象將被內(nèi)插在沿著運(yùn)動(dòng)矢量703和704的中間的位置處。通過(guò)沿著運(yùn)動(dòng)矢量703的內(nèi)插，塊大小的像素區(qū)域715通過(guò)在塊大小的像素區(qū)域711 (包含如711-A中所示的對(duì)象像素)與像素塊722 (包含如722-A中所示的背景像素)之間進(jìn)行內(nèi)插來(lái)創(chuàng)建。塊大小的像素區(qū)域711-A與722-A之間的50%混合的結(jié)果被示為715-A，為對(duì)象和背景像素之間的1/2:1/2混合。通過(guò)沿著運(yùn)動(dòng)矢量704的內(nèi)插，塊大小的像素區(qū)域716通過(guò)在塊大小的像素區(qū)域721 (包含如721-A中所示的背景像素)與像素塊712 (包含如712-A中所示的對(duì)象像素)之間進(jìn)行內(nèi)插來(lái)創(chuàng)建。塊大小的像素區(qū)域721-A與712-A之間的50%混合的結(jié)果被示 為716-A，為對(duì)象和背景像素之間的1/2:1/2混合。內(nèi)插幀現(xiàn)在包括原始對(duì)象的兩個(gè)內(nèi)插版本，這兩個(gè)內(nèi)插版本中輸入幀中的對(duì)象的不透明度不同且位于錯(cuò)誤的位置中。使用非真實(shí)運(yùn)動(dòng)矢量的內(nèi)插因此導(dǎo)致了內(nèi)插幀中明顯可見的偽像。圖8示出了如何使用運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插在兩個(gè)輸入幀之間的中點(diǎn)之外的時(shí)間實(shí)例處生成一對(duì)輸入幀之間的兩個(gè)中間幀。這適用于諸如2. 5倍幀率轉(zhuǎn)換的應(yīng)用。之前幀中的對(duì)象801已經(jīng)移動(dòng)到當(dāng)前幀中的位置811。之前的對(duì)象位置疊加在內(nèi)插幀上，如821和831所示，以及對(duì)象的當(dāng)前位置疊加在內(nèi)插幀上，如824和834所示。運(yùn)動(dòng)估計(jì)執(zhí)行地很好，而且用于描述輸入幀之間對(duì)象的運(yùn)動(dòng)的運(yùn)動(dòng)矢量被示為826和836。為了增加幀率，有必要在之前輸入幀的時(shí)間實(shí)例與當(dāng)前輸入幀的時(shí)間實(shí)例之間的分?jǐn)?shù)點(diǎn)處創(chuàng)建內(nèi)插幀。在2. 5倍幀率轉(zhuǎn)換中被示為具有第一跨度的示例中，有必要在時(shí)間實(shí)例跨度的2/5和4/5(即t=-0. 6和t=-0. 2)處創(chuàng)建內(nèi)插幀。假設(shè)對(duì)象位置的線性內(nèi)插，則可以期望在第一內(nèi)插幀中，對(duì)象將在輸入幀之間的2/5時(shí)間實(shí)例處沿著由運(yùn)動(dòng)矢量826所限定的路徑移動(dòng)2/5的距離。第一內(nèi)插幀中位置823處的內(nèi)插后的塊大小的像素區(qū)域因此能夠通過(guò)塊大小的像素區(qū)域802與塊812中的像素之間的內(nèi)插來(lái)創(chuàng)建，所得到的混合中的3/5來(lái)自之前輸入幀而2/5來(lái)自當(dāng)前輸入幀。類似地，假設(shè)對(duì)象位置的線性內(nèi)插，則可以期望在第二內(nèi)插幀中，對(duì)象將在輸入幀之間的4/5時(shí)間實(shí)例處沿著由運(yùn)動(dòng)矢量836所限定的路徑移動(dòng)4/5的距離。第二內(nèi)插幀中位置833處的內(nèi)插后的塊大小的像素區(qū)域因此能夠通過(guò)塊大小的像素區(qū)域802與塊812中的像素之間的內(nèi)插來(lái)創(chuàng)建，所得到的混合中的1/5來(lái)自之前輸入幀而4/5來(lái)自當(dāng)前輸入幀。為了改進(jìn)運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插系統(tǒng)的視覺(jué)質(zhì)量，希望將出現(xiàn)在差運(yùn)動(dòng)估計(jì)區(qū)域中的偽像的可視性最小化。

發(fā)明內(nèi)容
本發(fā)明的優(yōu)選實(shí)施方式提供了與通過(guò)改變?cè)趧?chuàng)建內(nèi)插幀時(shí)使用的、與在其處顯示該內(nèi)插幀的時(shí)間位置有關(guān)的時(shí)間位置來(lái)降低運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插中的偽像的可視性相關(guān)聯(lián)的方法和裝置。


現(xiàn)在將通過(guò)參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施方式，其中圖I示出了典型的現(xiàn)有技術(shù)塊匹配運(yùn)動(dòng)估計(jì)器；圖2示出了現(xiàn)有技術(shù)候選矢量之間的比較；圖3示出了 2倍幀率轉(zhuǎn)換的所需內(nèi)插時(shí)間實(shí)例；
圖4示出了 2. 5倍幀率轉(zhuǎn)換的所需內(nèi)插時(shí)間實(shí)例；圖5示出了在源像素之間使用加權(quán)混合的示例性現(xiàn)有技術(shù)像素內(nèi)插系統(tǒng)；圖6示出了使用真實(shí)運(yùn)動(dòng)矢量用于2倍幀率轉(zhuǎn)換的現(xiàn)有技術(shù)對(duì)象內(nèi)插；圖7示出了使用非真實(shí)運(yùn)動(dòng)矢量用于2倍幀率轉(zhuǎn)換的現(xiàn)有技術(shù)對(duì)象內(nèi)插；圖8示出了使用真實(shí)運(yùn)動(dòng)矢量用于2. 5倍幀率轉(zhuǎn)換的現(xiàn)有技術(shù)對(duì)象內(nèi)插；圖9示出了針對(duì)具有操作縮放因子為1/2的2倍巾貞率轉(zhuǎn)換所需內(nèi)插時(shí)間實(shí)例和操作時(shí)間實(shí)例； 圖10示出了針對(duì)采用各種時(shí)間實(shí)例移位方法的、具有1/2操作縮放因子的4倍幀率轉(zhuǎn)換所需內(nèi)插時(shí)間實(shí)例和操作時(shí)間實(shí)例；圖11示出了使用非真實(shí)運(yùn)動(dòng)矢量的2倍幀率轉(zhuǎn)換的對(duì)象內(nèi)插，其中應(yīng)用了變化的時(shí)間內(nèi)插方法；圖12示出了在應(yīng)用變化的時(shí)間內(nèi)插方法之前和之后幀內(nèi)插偽像的比較；圖13示出了示例性的基于運(yùn)動(dòng)估計(jì)器的性能的操作縮放因子的確定；圖14示出了示例性的基于運(yùn)動(dòng)估計(jì)器的性能的操作縮放因子以及箝位(clamping)縮放因子的確定；圖15是傳統(tǒng)運(yùn)動(dòng)補(bǔ)償?shù)膸兽D(zhuǎn)換系統(tǒng)的框圖；圖16是被修改以包括變化的時(shí)間內(nèi)插的運(yùn)動(dòng)補(bǔ)償?shù)膸兽D(zhuǎn)換系統(tǒng)的框圖。
具體實(shí)施例方式本發(fā)明的實(shí)施方式提供了運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插系統(tǒng)的修改，其能夠減小內(nèi)插幀中偽像的可視性。在傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插系統(tǒng)中，理想時(shí)間實(shí)例(在該理想時(shí)間實(shí)例處，在序列中輸出輸出巾貞)用于確定內(nèi)插場(chǎng)景中的對(duì)象的位置。提出雖然內(nèi)插巾貞應(yīng)當(dāng)在時(shí)間實(shí)例處(在此處需要(“理想時(shí)間”))仍舊被輸出，但是可以使用第二“操作時(shí)間實(shí)例”來(lái)幫助屏幕中對(duì)象的位置的計(jì)算。通常，操作時(shí)間實(shí)例可以被定義為由“操作縮放因子”修改的理想時(shí)間實(shí)例。這帶來(lái)在其處幀被內(nèi)插成更接近于輸入幀的時(shí)間實(shí)例。這應(yīng)該降低任何不穩(wěn)定的運(yùn)動(dòng)矢量的影響并提供具有較少偽像的輸出，其中該較少偽像之后可以在理想時(shí)間使用。圖9不出了不例性的巾貞率轉(zhuǎn)換系統(tǒng)，在該系統(tǒng)中，使用三個(gè)輸入巾貞來(lái)創(chuàng)建輸出序列，其中輸出幀率是輸入幀率的兩倍。可以看出，輸出I是被提供為輸入I的幀的直接復(fù)制。輸出2必須在理想時(shí)間實(shí)例t=_0. 5處被輸出，其中理想時(shí)間實(shí)例t=_0. 5是輸入I時(shí)間實(shí)例與輸入2時(shí)間實(shí)例之間的中間位置。然而，針對(duì)輸出2的內(nèi)插的操作時(shí)間實(shí)例由O. 5的操作縮放因子從理想時(shí)間實(shí)例縮放回去。如果我們采用了例如通過(guò)將理想時(shí)間實(shí)例乘以操作縮放因子來(lái)確定操作時(shí)間實(shí)例的縮放函數(shù)，則這產(chǎn)生了被內(nèi)插的輸出幀，如同其處于輸入I時(shí)間實(shí)例與輸入2時(shí)間實(shí)例之間的路徑的四分之一的時(shí)間實(shí)例處。用于輸出2的操作時(shí)間實(shí)例因此是t=-0. 75?？梢钥闯?，輸出3是被提供為輸入2的幀的直接復(fù)制。輸出4必須在理想時(shí)間實(shí)例t=-0. 5處被輸出，其中理想時(shí)間實(shí)例t=-0. 5是輸入2時(shí)間實(shí)例與輸入3時(shí)間實(shí)例之間的中間位置。針對(duì)輸出4的內(nèi)插的操作時(shí)間實(shí)例由O. 5的操作縮放因子從理想時(shí)間實(shí)例縮放回去。這產(chǎn)生被內(nèi)插的輸出幀，如同其位于輸入2時(shí)間實(shí)例與輸入3時(shí)間實(shí)例之間的路徑的四分之一的時(shí)間實(shí)例處。用于輸出4的操作時(shí)間實(shí)例因此是t=0. 25?？梢钥闯觯敵?是被提供為輸入3的幀的直接復(fù)制。
在上面的示例中，操作縮放因子總是用于將操作時(shí)間實(shí)例向著之前輸入幀的時(shí)間實(shí)例移位。還能夠應(yīng)用所述方法將操作時(shí)間實(shí)例向著當(dāng)前輸入幀的時(shí)間實(shí)例移位或者將操作時(shí)間實(shí)例向著最接近的輸入幀的時(shí)間實(shí)例移位。圖10示出了如何通過(guò)使用各種時(shí)間實(shí)例移位方法來(lái)使用O. 5的操作縮放因子將操作時(shí)間實(shí)例向著輸入幀的時(shí)間實(shí)例移位。所示出的示例性幀率轉(zhuǎn)換系統(tǒng)在兩個(gè)輸入幀(位于t=-i和t=0處)之間進(jìn)行內(nèi)插，以創(chuàng)建具有四倍的輸出幀數(shù)量的輸出序列?？梢钥闯?，第一和最后的輸出幀分別是被提供為輸入I和輸入2的幀的復(fù)制，而且在輸入幀時(shí)間實(shí)例處被顯示。內(nèi)插輸出幀的理想時(shí)間實(shí)例位于t=-0. 75、t=-0. 5和t=-0. 25處。通過(guò)采用
O.5的操作縮放因子以及向著之前輸入幀移位的時(shí)間實(shí)例，操作時(shí)間實(shí)例能夠通過(guò)將理想 時(shí)間實(shí)例乘以操作縮放因子來(lái)計(jì)算。這給出了順序地位于時(shí)間位置t=-0. 825、t=-0. 75和t=-0. 6 2 5處的操作時(shí)間實(shí)例。輸入幀時(shí)間實(shí)例與內(nèi)插幀時(shí)間實(shí)例之間的最大時(shí)間距離是輸入幀周期的O. 375，以及連續(xù)的操作時(shí)間實(shí)例之間的最大間隔是輸入幀周期的O. 625。簡(jiǎn)單地計(jì)算為時(shí)間實(shí)例和操作縮放因子的乘積的替代，操作時(shí)間實(shí)例可以被計(jì)算以便操作時(shí)間實(shí)例向著為最接近于內(nèi)插幀的理想時(shí)間實(shí)例的輸入幀移位。可以看出，操作時(shí)間實(shí)例現(xiàn)在順序地位于時(shí)間位置t=-0. 875、t=-0. 75和t=-0. 125處。輸入幀時(shí)間實(shí)例與內(nèi)插幀時(shí)間實(shí)例之間的最大時(shí)間距離現(xiàn)在是輸入幀周期的O. 25，而連續(xù)的操作時(shí)間實(shí)例之間的最大間隔保持為輸入幀周期的O. 625 ο如我們將討論的,輸入幀時(shí)間實(shí)例與內(nèi)插幀時(shí)間實(shí)例之間的減小的最大時(shí)間距離使得內(nèi)插幀中的可視偽像更少。而且，通過(guò)保持連續(xù)的操作時(shí)間實(shí)例之間的相同間隔，不會(huì)影響輸出視頻序列的被感知的平滑性。圖11示出了之前在圖7中所示的示例，其中，引入O. 5的操作縮放因子來(lái)將操作時(shí)間實(shí)例向著之前的幀移位。在該示例中，之前輸入幀的時(shí)間實(shí)例是t=-l，而當(dāng)前輸入幀的時(shí)間實(shí)例是t=0。用于描述在該間隔期間從位置1101至位置1102的對(duì)象的真實(shí)運(yùn)動(dòng)的運(yùn)動(dòng)矢量(出于一些原因而)不能被運(yùn)動(dòng)估計(jì)器精確地確定。替代真實(shí)運(yùn)動(dòng)矢量，運(yùn)動(dòng)估計(jì)器生成被示為1103和1104的非真實(shí)運(yùn)動(dòng)矢量。清晰起見，已經(jīng)省略了運(yùn)動(dòng)矢量場(chǎng)中的其他矢量。對(duì)于內(nèi)插幀而言，t=-0. 5的理想時(shí)間實(shí)例和O. 5的操作縮放因子使得操作時(shí)間實(shí)例上升到t=-0. 75。為了在該操作時(shí)間實(shí)例處進(jìn)行內(nèi)插，對(duì)象必須在沿著運(yùn)動(dòng)矢量1103和1104的路徑的四分之一位置處被內(nèi)插。通過(guò)沿著運(yùn)動(dòng)矢量1103的內(nèi)插，塊大小的像素區(qū)域1115通過(guò)在塊大小的像素區(qū)域1111 (包含如Illl-A中所示的對(duì)象像素)與像素塊1122 (包含如1122-A中所示的背景像素)之間進(jìn)行內(nèi)插來(lái)創(chuàng)建。Illl-A與1122-A之間的混合結(jié)果被操作時(shí)間實(shí)例確定為使用來(lái)自之前輸入幀的25%和來(lái)自當(dāng)前輸入幀的75%。該結(jié)果被示為1115-A，為對(duì)象和背景像素之間的3/4:1/4混合。通過(guò)沿著運(yùn)動(dòng)矢量1104的內(nèi)插，塊大小的像素區(qū)域1116通過(guò)在塊大小的像素區(qū)域1121 (包含如1121-A中所示的背景像素)與像素塊1112 (包含如1112-A中所示的對(duì)象像素)之間進(jìn)行內(nèi)插來(lái)創(chuàng)建。1121-A與1112-A之間的混合結(jié)果被操作時(shí)間實(shí)例確定為使用來(lái)自之前輸入幀的75%和來(lái)自當(dāng)前輸入幀的25%。該結(jié)果被示為1116-A，為對(duì)象和背景像素之間的1/4:3/4混合。內(nèi)插幀現(xiàn)在包括原始對(duì)象的兩個(gè)內(nèi)插版本，這兩個(gè)內(nèi)插版本中輸入幀中的對(duì)象的不透明度不同且位于錯(cuò)誤的位置中。使用非真實(shí)運(yùn)動(dòng)矢量的內(nèi)插因此仍然導(dǎo)致了內(nèi)插幀中的可見偽像。然而，在應(yīng)用操作縮放因子之后出現(xiàn)的偽像明顯比通過(guò)在理想時(shí)間實(shí)例處進(jìn)行內(nèi)插所引入的偽像要少。通常，對(duì)操作時(shí)間實(shí)例進(jìn)行移位使其更接近于輸入幀的操作縮放因子的引入使得內(nèi)插幀看起來(lái)更像其所移向的輸入幀。在差運(yùn)動(dòng)估計(jì)發(fā)生的區(qū)域中，與在理想時(shí)間實(shí)例處進(jìn)行內(nèi)插相比，這通常是更好的替代，因?yàn)閷⑻岣咻敵鰣D像的質(zhì)量。圖12示出了使用傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插方法與本發(fā)明所描述的修改方法在偽像可視性中的差異。在該示例中，輸出幀率是輸入幀率的3倍，要求兩個(gè)內(nèi)插幀位于源幀之間的理想時(shí)間實(shí)例1/3和2/3的時(shí)間實(shí)例處。圖12-A示出了輸入幀。圖12-B示出了完美結(jié)果，其中真實(shí)運(yùn)動(dòng)矢量用于將對(duì)象內(nèi)插在理想時(shí)間實(shí)例處。圖12-C示出了使用錯(cuò)誤的或非真實(shí)運(yùn)動(dòng)矢量將對(duì)象內(nèi)插在理想時(shí)間實(shí)例處的可能結(jié)果。這些錯(cuò)誤的/非真實(shí)運(yùn)動(dòng)矢量與圖11中所示相同。這些運(yùn)動(dòng)矢量使得對(duì)象在錯(cuò)誤位置中的多個(gè)內(nèi)插上升。對(duì)象的內(nèi)插從對(duì)象像素和背景像素之間的混合產(chǎn)生，如之前圖7中所示具有由內(nèi)插幀的理想時(shí)間實(shí)例確定的不透明。由于t=l/3的理想時(shí)間實(shí)例，內(nèi)插幀#1左邊的內(nèi)插對(duì)象由對(duì)象像素和背景像素之間的2/3:1/3加權(quán)混合創(chuàng)建。由于t=l/3的理想時(shí)間實(shí)例，內(nèi)插幀#1右邊的內(nèi)插對(duì)象由背景像素和對(duì)象像素之間的2/3:1/3加權(quán)混合創(chuàng)建。類似地，由于t=2/3的理想時(shí)間實(shí)例，內(nèi)插幀#2左邊的內(nèi)插對(duì)象由對(duì)象像素和背景像 素之間的1/3:2/3加權(quán)混合創(chuàng)建。由于t=2/3的理想時(shí)間實(shí)例，內(nèi)插幀#2右邊的內(nèi)插對(duì)象由背景像素和對(duì)象像素之間的1/3:2/3加權(quán)混合創(chuàng)建。這些內(nèi)插像素在它們的錯(cuò)誤位置處具有相對(duì)聞的可視性。圖12-D示出了在使用O. 5的操作縮放因子將內(nèi)插幀的操作時(shí)間實(shí)例向著最接近內(nèi)插幀的理想時(shí)間實(shí)例的輸入幀移位的系統(tǒng)中，改善的使用與圖12-C所示的相同的非真實(shí)運(yùn)動(dòng)矢量的結(jié)果。根據(jù)t=l/3的理想時(shí)間實(shí)例計(jì)算的內(nèi)插幀#1的操作時(shí)間實(shí)例因此是t=l/6,而根據(jù)t=2/3的理想時(shí)間實(shí)例計(jì)算的內(nèi)插巾貞#2的操作時(shí)間實(shí)例因此是t=5/6。在該修改后的系統(tǒng)中，內(nèi)插幀顯示對(duì)象的混合內(nèi)插，具有最接近源幀中對(duì)象的原始位置的混合內(nèi)插更加明顯的。相反地，離對(duì)象的原始位置最遠(yuǎn)的混合內(nèi)插最不明顯。由于1/6的操作時(shí)間實(shí)例內(nèi)插幀#1左邊的內(nèi)插對(duì)象由對(duì)象像素和背景像素之間的5/6:1/6加權(quán)混合創(chuàng)建。類似地，內(nèi)插幀#1右邊的內(nèi)插對(duì)象由背景像素和對(duì)象像素之間的5/6:1/6加權(quán)混合創(chuàng)建。內(nèi)插幀#2使用1/6:5/6加權(quán)混合以相同的方式被創(chuàng)建。雖然對(duì)象的兩個(gè)混合內(nèi)插在錯(cuò)誤位置仍然是可見的，但是操作時(shí)間實(shí)例內(nèi)插使得接近原始源幀對(duì)象的位置(并因此接近對(duì)象的真實(shí)運(yùn)動(dòng)路徑)的內(nèi)插對(duì)象具有增加的可視性，而使遠(yuǎn)離原始源幀對(duì)象的位置(并因此遠(yuǎn)離對(duì)象的真實(shí)運(yùn)動(dòng)路徑)的內(nèi)插對(duì)象的可視性降低。在至此為止的示例中，操作縮放因子已經(jīng)被明確提供為常量，該常量影響了所有的幀和等價(jià)地影響了幀的所有部分。雖然至此所描述的實(shí)施方式用于降低差運(yùn)動(dòng)估計(jì)器性能的區(qū)域中偽像的可見性，但是其也可能降低了運(yùn)動(dòng)估計(jì)器執(zhí)行地很好的區(qū)域中內(nèi)插視頻的平滑度。實(shí)際上，內(nèi)插視頻的平滑度的明顯改進(jìn)仍然能夠被觀察到，而且通常能夠找到內(nèi)插性能與偽像減小之間的滿意折中，即使是在采用恒定操作縮放因子的情況中。對(duì)于性能的進(jìn)一步改進(jìn)，建議無(wú)論是全局還是局部幀中，操作縮放因子還可以由運(yùn)動(dòng)估計(jì)器的性能來(lái)確定。寬范圍的度量可以用于確定運(yùn)動(dòng)估計(jì)器正在執(zhí)行的如何好。例如，對(duì)于運(yùn)動(dòng)估計(jì)器性能的全局測(cè)量，我們可以對(duì)由運(yùn)動(dòng)估計(jì)器找到的具有最佳匹配的SAD值高于特定閾值的塊的數(shù)量進(jìn)行計(jì)數(shù)。本質(zhì)上，如果運(yùn)動(dòng)估計(jì)器被認(rèn)為執(zhí)行地很好，則接近于I. O的操作縮放因子可以被使用。隨著運(yùn)動(dòng)估計(jì)的質(zhì)量的減小，可能由于復(fù)雜運(yùn)動(dòng)所致，則所產(chǎn)生的矢量場(chǎng)變得不太可靠，而且更低的操作縮放因子可以期望減小偽像的可見性。這種限制情況在O. O的操作縮放因子被應(yīng)用且系統(tǒng)將重復(fù)輸入幀以產(chǎn)生輸出系列中的正確幀數(shù)時(shí)發(fā)生。該幀重復(fù)情況為非常差的運(yùn)動(dòng)估計(jì)提供了安全、無(wú)偽像狀態(tài)，但是將丟失運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插所提供的益處。所提出的用于執(zhí)行從理想的運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插向幀重復(fù)的平滑過(guò)渡的方案的能力是期望的特征。圖13示出了基于運(yùn)動(dòng)估計(jì)器的性能確定操作縮放因子的適當(dāng)方法。在該示例中，被認(rèn)為給出源幀 像素之間的差匹配的矢量場(chǎng)中的矢量的比例用于為幀中的每個(gè)塊生成單個(gè)操作縮放因子度量。在幀中0%的差矢量與幀中用戶定義的閾值八％的差矢量之間，操作縮放因子被設(shè)置為1.0。在該區(qū)域中，運(yùn)動(dòng)估計(jì)器的性能被認(rèn)為是好的，因此操作時(shí)間實(shí)例被應(yīng)當(dāng)被從理想時(shí)間矢量縮放回去。在從幀中第二用戶定義的閾值8%的差矢量至幀中100%的差矢量的區(qū)域中，運(yùn)動(dòng)估計(jì)器的性能被認(rèn)為是不可接受的，因此與使用運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插幀相比，輸出重復(fù)的幀是更安全的。這通過(guò)將操作縮放因子設(shè)置成O. O來(lái)實(shí)現(xiàn)。在幀中用戶定義的閾值A(chǔ)%的差矢量與幀中B%的差矢量之間的區(qū)域中，運(yùn)動(dòng)估計(jì)器被認(rèn)為是不可靠的，因此需要位于I. O與O. O之間的操作縮放因子。該簡(jiǎn)單的示例能夠被容易地修改以使用例如可替換的運(yùn)動(dòng)估計(jì)性能度量、非線性斜坡函數(shù)、具有不同斜坡函數(shù)的多個(gè)閾值等。在圖13中，操作縮放因子在O. O與I. O之間改變。對(duì)該系統(tǒng)的有用修改是將恒定縮放因子制定為箝位值以用于上限和下限。圖14示出了根據(jù)運(yùn)動(dòng)估計(jì)器的性能以及根據(jù)被明確定義的上限箝位縮放因子來(lái)確定操作縮放因子的方法的擴(kuò)展。1401示出了用于基于運(yùn)動(dòng)估計(jì)器的性能來(lái)確定縮放因子的函數(shù)，如之前圖13中所示的那樣。1402示出了被明確定義的近似為O. 5的上限箝位縮放因子。1403示出了作為兩個(gè)縮放因子的乘積的最終的操作縮放因子函數(shù)。在幀中0%的差矢量與幀中用戶定義的閾值八％的差矢量之間，操作縮放因子被設(shè)置成上限箝位縮放因子。在從幀中第二用戶定義的閾值8%的差矢量至幀中100%的差矢量的區(qū)域中，運(yùn)動(dòng)估計(jì)器的性能被認(rèn)為是不可接受的，因此與使用運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插幀相比，輸出重復(fù)的幀是更安全的。在幀中用戶定義的閾值八％的差矢量與幀中B%的差矢量之間的區(qū)域中，運(yùn)動(dòng)估計(jì)器被認(rèn)為是不可靠的，因此需要位于上限箝位縮放因子與下限箝位縮放因子之間的操作縮放因子。在該示例中將箝位縮放因子至函數(shù)的引入已經(jīng)被用于將在內(nèi)插中使用的操作時(shí)間實(shí)例向著輸入幀時(shí)間實(shí)例移位，即該系統(tǒng)更保守且將具有更少的可視偽像。還期望應(yīng)用下限箝位縮放因子以確保該系統(tǒng)總是將一定量的平滑引入輸出幀中。通常，操作縮放因子可以根據(jù)被明確定義的箝位縮放因子的組合以及從運(yùn)動(dòng)估計(jì)器的性能中導(dǎo)出。最終的操作縮放因子可以被選擇作為兩個(gè)值的最小/最大/平均值，或者可以通過(guò)算數(shù)函數(shù)進(jìn)行計(jì)算。適當(dāng)?shù)乃阈g(shù)函數(shù)可以包括但不局限于兩個(gè)縮放因子的乘積或和。根據(jù)本發(fā)明修改的幀率轉(zhuǎn)換系統(tǒng)的框圖如圖16所示。該系統(tǒng)包括視頻輸入1601，該視頻輸入去向存儲(chǔ)器1602和運(yùn)動(dòng)估計(jì)單元1603，其中，存儲(chǔ)器1602用于儲(chǔ)存輸入幀歷史，而運(yùn)動(dòng)估計(jì)單元1603用于通過(guò)將來(lái)自視頻輸入1601的當(dāng)前輸入幀與來(lái)自存儲(chǔ)器1602的先前幀進(jìn)行比較來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)矢量被發(fā)送到內(nèi)插單元1604，該內(nèi)插單元根據(jù)輸入幀構(gòu)建內(nèi)插幀并提供視頻輸出1607。理想時(shí)間控制單元1605為內(nèi)插輸出幀計(jì)算理想時(shí)間實(shí)例。圖像和誤差分析單元1606可以監(jiān)控在操作縮放因子計(jì)算中使用的運(yùn)動(dòng)估計(jì)器的性能，以在逐塊的基礎(chǔ)上或整個(gè)圖像的基礎(chǔ)上確定其執(zhí)行地怎么樣。依賴于運(yùn)動(dòng)估計(jì)的輸 出被提供給操作縮放因子計(jì)算1608。這使用接收到的信號(hào)來(lái)確定操作縮放因子，該操作縮放因子之后被操作時(shí)間實(shí)例控制單元1609用于提供由內(nèi)插單元1604所使用的調(diào)整后內(nèi)插時(shí)間。單元1608可以確定處于箝位上限值與下限值之間的操作縮放因子。
權(quán)利要求
1.一種用于運(yùn)動(dòng)補(bǔ)償?shù)囊曨l內(nèi)插的方法，該方法包括以下步驟 a)將視頻圖像序列的每個(gè)場(chǎng)或幀再分成多個(gè)塊； b)針對(duì)當(dāng)前視頻場(chǎng)或幀中的每個(gè)塊，確定產(chǎn)生與先前視頻場(chǎng)或幀中的像素?cái)?shù)據(jù)區(qū)域的最佳匹配的運(yùn)動(dòng)矢量； c)通過(guò)使用如此確定的針對(duì)每個(gè)塊的最佳匹配矢量來(lái)形成針對(duì)當(dāng)前視頻場(chǎng)或幀的運(yùn)動(dòng)矢量場(chǎng)； d)確定第一時(shí)間實(shí)例，在該第一時(shí)間實(shí)例處必須顯不視頻場(chǎng)或巾貞中的內(nèi)插塊； e)確定第二時(shí)間實(shí)例,在該第二時(shí)間實(shí)例處將創(chuàng)建相應(yīng)內(nèi)插塊； f )使用所述運(yùn)動(dòng)矢量場(chǎng)針對(duì)所述圖像的每個(gè)塊在所述每個(gè)塊各自的第二時(shí)間實(shí)例處內(nèi)插視頻數(shù)據(jù)； g)將在各自的第二時(shí)間實(shí)例處被內(nèi)插的內(nèi)插塊組合成用于輸出的幀或場(chǎng)； h)輸出內(nèi)插幀或場(chǎng)以用于存儲(chǔ)或在所述第一時(shí)間實(shí)例處進(jìn)行顯示。
2.根據(jù)權(quán)利要求I所述的方法，其中內(nèi)插場(chǎng)或幀中的所有塊使用相同的第二時(shí)間實(shí)例。
3.根據(jù)權(quán)利要求I所述的方法，其中用于內(nèi)插場(chǎng)或幀中的每個(gè)塊的所述第二時(shí)間實(shí)例被單獨(dú)地確定。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)權(quán)利要求所述的方法，其中所述第二時(shí)間實(shí)例通過(guò)將縮放因子應(yīng)用于所述第一時(shí)間實(shí)例進(jìn)行確定。
5.根據(jù)權(quán)利要求4所述的方法，其中所述縮放因子依賴于運(yùn)動(dòng)估計(jì)器的性能。
6.根據(jù)權(quán)利要求4所述的方法，其中所述縮放因子被導(dǎo)出位于上限箝位縮放因子與下限箝位縮放因子之間。
7.根據(jù)權(quán)利要求5或6所述的方法，其中操作縮放因子從由所述運(yùn)動(dòng)估計(jì)器的性能確定的所述縮放因子和被提供的箝位縮放因子值兩者中導(dǎo)出。
8.根據(jù)權(quán)利要求7所述的方法，其中所述縮放因子是依賴于所述運(yùn)動(dòng)估計(jì)器的性能的所述縮放因子與被提供的上限和/或下限箝位縮放因子值的算術(shù)函數(shù)。
9.根據(jù)權(quán)利要求8所述的方法，其中所述算術(shù)函數(shù)是所述縮放因子的乘積。
10.根據(jù)權(quán)利要求8所述的方法，其中所述算術(shù)函數(shù)是所述縮放因子的平均值。
11.根據(jù)權(quán)利要求I至10所述的方法，其中所述內(nèi)插場(chǎng)或幀的所述第二時(shí)間實(shí)例被向著之前輸入的場(chǎng)或幀的時(shí)間實(shí)例進(jìn)行時(shí)間移位。
12.根據(jù)權(quán)利要求I至10所述的方法，其中所述內(nèi)插場(chǎng)或幀的所述第二時(shí)間實(shí)例被向著當(dāng)前輸入的場(chǎng)或幀的時(shí)間實(shí)例進(jìn)行移位。
13.根據(jù)權(quán)利要求I至10所述的方法，其中所述內(nèi)插場(chǎng)或幀的所述第二時(shí)間實(shí)例被向著最接近于所述內(nèi)插場(chǎng)或幀的第一時(shí)間實(shí)例的輸入的場(chǎng)或幀進(jìn)行移位。
14.一種用于運(yùn)動(dòng)補(bǔ)償?shù)囊曨l內(nèi)插的裝置，該裝置包括 用于將視頻圖像序列的每個(gè)場(chǎng)或幀再分成多個(gè)塊的設(shè)備； 用于針對(duì)當(dāng)前視頻場(chǎng)或幀中的每個(gè)塊確定產(chǎn)生與先前視頻場(chǎng)或幀中的像素?cái)?shù)據(jù)區(qū)域的最佳匹配的運(yùn)動(dòng)矢量的設(shè)備； 用于通過(guò)使用如此確定的針對(duì)每個(gè)塊的最佳匹配矢量來(lái)形成針對(duì)當(dāng)前視頻場(chǎng)或幀的運(yùn)動(dòng)矢量場(chǎng)的設(shè)備；用于確定第一時(shí)間實(shí)例的設(shè)備，在該第一時(shí)間實(shí)例處必須顯示視頻場(chǎng)或幀的內(nèi)插塊； 用于確定第二時(shí)間實(shí)例的設(shè)備，在該第二時(shí)間實(shí)例處將創(chuàng)建相應(yīng)內(nèi)插塊； 用于使用所述運(yùn)動(dòng)矢量場(chǎng)針對(duì)圖像的每個(gè)塊在所述每個(gè)塊各自的第二時(shí)間實(shí)例處內(nèi)插視頻數(shù)據(jù)的設(shè)備； 用于將在各自的第二時(shí)間實(shí)例處內(nèi)插的內(nèi)插塊組合成用于輸出的巾貞或場(chǎng)的設(shè)備； 用于輸出內(nèi)插幀或場(chǎng)以用于存儲(chǔ)或在所述第一時(shí)間實(shí)例處進(jìn)行顯示的設(shè)備。
15.根據(jù)權(quán)利要求I所述的裝置，其中每個(gè)塊使用相同的第二時(shí)間實(shí)例。
16.根據(jù)權(quán)利要求14所述的裝置，其中用于內(nèi)插場(chǎng)或幀中的每個(gè)塊的第二時(shí)間實(shí)例獨(dú)立于所述場(chǎng)或幀中的其他塊而被確定。
17.根據(jù)權(quán)利要求14至16中任一項(xiàng)權(quán)利要求所述的裝置，其中所述第二時(shí)間實(shí)例通過(guò)將縮放因子應(yīng)用于所述第一時(shí)間實(shí)例來(lái)確定。
18.根據(jù)權(quán)利要求17所述的裝置，該裝置包括用于確定運(yùn)動(dòng)估計(jì)誤差的設(shè)備和用于依賴于如此確定的誤差來(lái)確定所述縮放因子的設(shè)備。
19.根據(jù)權(quán)利要求17所述的裝置，其中所述用于獲得所述縮放因子的裝置獲得位于上限箝位縮放因子值與下限箝位縮放因子值之間的縮放因子。
全文摘要
提供了用于運(yùn)動(dòng)補(bǔ)償?shù)囊曨l內(nèi)插的方法和裝置。視頻圖像系列中的每個(gè)場(chǎng)或幀被再分成多個(gè)塊，且運(yùn)動(dòng)矢量場(chǎng)使用用于當(dāng)前視頻場(chǎng)的塊匹配而獲得，所述當(dāng)前視頻場(chǎng)使用與之前視頻場(chǎng)或幀匹配的數(shù)據(jù)。第一時(shí)間實(shí)例被確定為處于對(duì)內(nèi)插塊進(jìn)行顯示的位置處，以及第二時(shí)間實(shí)例被確定為處于相應(yīng)的內(nèi)插塊將被創(chuàng)建的位置處。針對(duì)每個(gè)塊的視頻數(shù)據(jù)在用于每個(gè)塊的第二時(shí)間實(shí)例處被內(nèi)插，且之后被輸出以用于在第一時(shí)間實(shí)例處被顯示。
文檔編號(hào)H04N7/01GK102939747SQ201180021429
公開日2013年2月20日 申請(qǐng)日期2011年4月27日 優(yōu)先權(quán)日2010年4月30日
發(fā)明者S·菲什威克, S·莫費(fèi)特 申請(qǐng)人:想象技術(shù)有限公司