專利名稱：降低電影信號(hào)運(yùn)動(dòng)不連續(xù)之運(yùn)動(dòng)向量估測(cè)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及影像處理技術(shù)領(lǐng)域，特別是一種用于降低電影信號(hào)運(yùn)動(dòng)不連 續(xù)之運(yùn)動(dòng)向量估測(cè)裝置。
背景技術(shù)：
在拍攝電影時(shí)，電影信號(hào)是以逐行掃描方式拍攝。而電影信號(hào)要于電視
系統(tǒng)(例如NTSC (National Television Standards Committee,美國(guó)國(guó)家電-見(jiàn)標(biāo)準(zhǔn) 委員會(huì))或PAL (Phase Alternating Line ，逐行倒相)電視系統(tǒng))傳輸時(shí)，則 將一個(gè)逐行掃描的幀(frame)分成多個(gè)場(chǎng)(field)，當(dāng)要顯示于電視時(shí)，去交錯(cuò)掃 描裝置可將原屬同一個(gè)幀的多個(gè)場(chǎng)重新組合，還原原來(lái)的逐行掃描畫(huà)面。
然而，相較于電視節(jié)目的拍攝場(chǎng)(field)頻率(60Hz),電影拍攝時(shí)的幀(frame) 頻率通常較低(24Hz),以致于電影信號(hào)的運(yùn)動(dòng)不連續(xù)(film judder)的情形較為 嚴(yán)重。降低因幀頻率較低產(chǎn)生的運(yùn)動(dòng)不連續(xù)，可利用運(yùn)動(dòng)估觀'Kmotion estimation)沖戈出物體移動(dòng)的速度，再利用運(yùn)動(dòng)4卜4嘗(motion compensation)3奪原有 幀中其它的時(shí)間點(diǎn)，利用運(yùn)動(dòng)向量(motion vector)及前后時(shí)間的幀數(shù)據(jù)內(nèi)插產(chǎn) 生，以提高最后的幀頻率。
應(yīng)用在這種幀頻率轉(zhuǎn)換(frame rate convert)的運(yùn)動(dòng)估測(cè):技術(shù)，需要找出物 體真正的運(yùn)動(dòng)向量，而非僅只找出影像相似的部份。真正的運(yùn)動(dòng)向量通常會(huì) 具有較高的空間和時(shí)間的關(guān)連性，美國(guó)專利第5,221,926號(hào)公告揭露一種利用 附近已找到的運(yùn)動(dòng)向量，加上不同的更新運(yùn)動(dòng)向量(update vector),產(chǎn)生數(shù)個(gè) 候選向量(candidate vector),對(duì)選出之候選向量進(jìn)行區(qū)塊匹配計(jì)算(block matching),得到每個(gè)候選向量的匹配代《介(matching cost)，匹配代/f介最小的向 量即為該區(qū)塊的最佳向量。雖然每一個(gè)區(qū)塊只有有限的候選向量個(gè)數(shù)及有限 大小更新運(yùn)動(dòng)向量，但利用遞歸方式，可以收斂到最佳的運(yùn)動(dòng)向量。
IEEE transactions on circuits and systems for video technology. VOL. 3, NO.5, October 1993, "True-Motion estimation with 3-D recursive search blockmatching" ^r文進(jìn)一步提出從空間及時(shí)間上選出候選向量，如此可同時(shí)在空間上及時(shí)間上進(jìn)行遞歸處理，加速收斂到真正運(yùn)動(dòng)向量的時(shí)間。同時(shí)，每一次只對(duì)數(shù)個(gè)候選向量進(jìn)行區(qū)塊匹配計(jì)算，可以大幅度降低在運(yùn)動(dòng)估測(cè)時(shí)所需的運(yùn)算量。
如前所述，利用空間和時(shí)間的遞歸式區(qū)塊匹配可以大幅降j氐運(yùn)動(dòng)估測(cè)的運(yùn)算量，并且保持運(yùn)動(dòng)向量在空間上和時(shí)間上的關(guān)連性，而收斂到正確的運(yùn)動(dòng)向量的速度，會(huì)決定遞歸式運(yùn)動(dòng)估測(cè)的質(zhì)量。影響運(yùn)動(dòng)向量收斂速度有三個(gè)主要的因素 一為是否可以將正確的運(yùn)動(dòng)向量放進(jìn)候選向量中，二為更新運(yùn)動(dòng)向量大小的決定，三為決定每一個(gè)候選向量的處罰代價(jià)(penalty)。處罰代價(jià)指對(duì)于不同來(lái)源的候選向量的偏好，藉由這樣的偏好，使遞歸運(yùn)算可以更
快速的收斂到正確的運(yùn)動(dòng)向量。在現(xiàn)有技術(shù)中應(yīng)用于電視的運(yùn)算處理的技術(shù)方案中，由于受限于電視掃描方式為由左至右、由上而下，這使得候選向量的來(lái)源只能由左方或上方已做完區(qū)塊匹配的部份而來(lái)，或是前一個(gè)時(shí)間的運(yùn)動(dòng)向量而來(lái)。當(dāng)目前不管從空間上或時(shí)間上選到的運(yùn)動(dòng)向量，都不是正確的運(yùn)動(dòng)向量的情況下，通常影像像素是位于不同速度物體的交界，需要靠更新目前現(xiàn)有運(yùn)動(dòng)向量來(lái)趨向正確的運(yùn)動(dòng)向量。那么，更新運(yùn)動(dòng)向量的大小就會(huì)決定改變到正確向量的速度，更新運(yùn)動(dòng)向量越大，趨向正確向量的速度就會(huì)越快。然而，較大的更新運(yùn)動(dòng)向量所產(chǎn)生的缺點(diǎn)是分辨率較差，當(dāng)物體間運(yùn)動(dòng)向量改變較小的時(shí)候，較大的更新運(yùn)動(dòng)向量可能造成收斂精確度較差或是向量振蕩的問(wèn)題。
由于此運(yùn)動(dòng)估測(cè)技術(shù)主要用于解決電影幀頻率較低產(chǎn)生的運(yùn)動(dòng)不連續(xù)的技術(shù)問(wèn)題。如前所述，電影信號(hào)拍攝為逐行掃描的形式，當(dāng)需要轉(zhuǎn)換為隔行掃描的形式傳輸時(shí)，會(huì)將一個(gè)完整(同時(shí)間拍攝)逐行掃描的畫(huà)面分成數(shù)個(gè)奇場(chǎng)(odd field)及偶場(chǎng)(even field)后傳送，例如一個(gè)畫(huà)面分一個(gè)奇場(chǎng)及一個(gè)偶場(chǎng)的方式，稱為2:2下拉(pull down )。圖1是一現(xiàn)有的2:2 pull down之示意圖。參照?qǐng)D1,原始電影信號(hào)為F0， F2, F4….，傳輸時(shí)會(huì)轉(zhuǎn)換為E0， O0, E2, 02， E4,04.....，經(jīng)過(guò)運(yùn)動(dòng)估測(cè)及運(yùn)動(dòng)動(dòng)補(bǔ)償后，會(huì)輸出F0,F1，F(xiàn)2,F3,F4….，其中，F(xiàn)0為結(jié)合E0及O0而產(chǎn)生，F(xiàn)l為E0、 00、 E2、 02經(jīng)過(guò)運(yùn)動(dòng)估測(cè)及補(bǔ)償后的結(jié)果，依此類推。圖2是一現(xiàn)有的應(yīng)用于降低電影運(yùn)動(dòng)不連續(xù)裝置之方塊圖。如圖2所示，輸入的視訊信號(hào)為電影2:2 pull down格式，經(jīng)過(guò)三個(gè)場(chǎng)緩沖器(field buffer)210,220, 230后，E2、 02及E0、 O0分別輸入運(yùn)動(dòng)估測(cè)裝置240及運(yùn)動(dòng)補(bǔ)償裝置250,運(yùn)動(dòng)估測(cè)裝置240的輸出為運(yùn)動(dòng)向量MV,經(jīng)過(guò)延遲裝置260后，再送回至運(yùn)動(dòng)估測(cè)裝置240，作為以后運(yùn)動(dòng)估測(cè)的候選向量的來(lái)源，透過(guò)這個(gè)反饋的路徑，建立起遞歸式搜尋運(yùn)動(dòng)估測(cè)的架構(gòu)。
圖3是遞歸式運(yùn)動(dòng)估測(cè)裝置240的方塊圖，該運(yùn)動(dòng)估測(cè)裝置240包含一運(yùn)動(dòng)向量選擇裝置310、多個(gè)區(qū)塊匹配裝置320、 一運(yùn)動(dòng)向量決定裝置330。運(yùn)動(dòng)向量選擇裝置310用以從多個(gè)向量來(lái)源中選出數(shù)個(gè)候選向量，每一個(gè)候選向量依照其來(lái)源，同時(shí)產(chǎn)生一處罰代價(jià)，使不同來(lái)源的候選向量有不同的比對(duì)偏好，較高的處罰代價(jià)代表對(duì)于該候選向量的偏好度較低。選出的候選向量會(huì)由多個(gè)區(qū)塊匹配裝置320進(jìn)行區(qū)塊匹配，計(jì)算該運(yùn)動(dòng)向量對(duì)應(yīng)前后時(shí)間點(diǎn)的差異量，加上該候選向量的處罰代價(jià)，得到該候選向量的最后的匹配代價(jià)。運(yùn)動(dòng)向量決定裝置330選擇匹配代價(jià)最低的候選向量，作為運(yùn)動(dòng)估測(cè)的結(jié)果。運(yùn)動(dòng)向量決定裝置330產(chǎn)生的MV信號(hào)分別經(jīng)過(guò)延遲裝置260及直接回送給運(yùn)動(dòng)向量選擇裝置310,以便在進(jìn)行候選向量選擇的過(guò)程中參考之前的運(yùn)動(dòng)估測(cè)的結(jié)果。
在進(jìn)行本發(fā)明創(chuàng)造過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題然而此種利用遞歸方式中，候選向量的選擇及運(yùn)動(dòng)向量的更新大、往往會(huì)影響收斂的速度和收斂的精確度等。所以，現(xiàn)有技術(shù)中—并未考慮如何在保證收斂的精確度的基礎(chǔ)上，加快收斂的速度。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明一個(gè)或多個(gè)實(shí)施例的目的在于提供一種降低電影信號(hào)運(yùn)動(dòng)不連續(xù)的運(yùn)動(dòng)向量估測(cè)裝置，以解決上述不能兼顧收斂速度和收斂精確度的問(wèn)題。為解決上述問(wèn)題，本發(fā)明實(shí)施例提供了 一種降低電影信號(hào)運(yùn)動(dòng)不連續(xù)的運(yùn)動(dòng)向量估測(cè)裝置，用于估測(cè)影像的區(qū)塊的運(yùn)動(dòng)向量，所述影像由二維數(shù)組的區(qū)塊像素所組成，所述運(yùn)動(dòng)向量估測(cè)裝置包含
一運(yùn)動(dòng)向量選擇裝置，包括復(fù)數(shù)個(gè)運(yùn)動(dòng)向量選擇器，所述復(fù)數(shù)個(gè)運(yùn)動(dòng)向
7量選擇器用于分別接收多個(gè)運(yùn)動(dòng)向量，每一運(yùn)動(dòng)向量選擇器依據(jù)接收的運(yùn)動(dòng)向量產(chǎn)生N個(gè)候選運(yùn)動(dòng)向量，并依據(jù)一運(yùn)動(dòng)估測(cè)階段信號(hào)選擇一運(yùn)動(dòng)向量選
擇器的N個(gè)候選運(yùn)動(dòng)向量輸出，N為正整數(shù)；
N個(gè)區(qū)塊匹配裝置，連接至所述運(yùn)動(dòng)向量選擇裝置，用于分別依據(jù)所述N個(gè)候選運(yùn)動(dòng)向量執(zhí)行區(qū)塊匹配后，分別產(chǎn)生N個(gè)匹配代價(jià)；
一運(yùn)動(dòng)向量決定裝置，連接至所述N個(gè)區(qū)塊匹配裝置及所述運(yùn)動(dòng)向量選擇裝置，用于依據(jù)所述N個(gè)匹配代價(jià)以決定所述區(qū)塊的輸出運(yùn)動(dòng)向量，并將所述輸出運(yùn)動(dòng)向量反饋給所述運(yùn)動(dòng)向量選擇裝置。
與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn)
采用本發(fā)明實(shí)施例的技術(shù)方案，通過(guò)在一個(gè)時(shí)間區(qū)間中進(jìn)行多次運(yùn)動(dòng)估測(cè)，選擇不同的候選運(yùn)動(dòng)向量，和/或利用不同的處罰代價(jià)調(diào)整對(duì)候選運(yùn)動(dòng)向量的喜好程度。能夠?qū)崿F(xiàn)根據(jù)該多次運(yùn)動(dòng)估測(cè)的結(jié)果，選擇合適的運(yùn)動(dòng)向量，在此基礎(chǔ)上，既能夠保證運(yùn)動(dòng)估測(cè)精確度的同時(shí)，還可以提高收斂到正確運(yùn)動(dòng)向量的速度。
同時(shí)，本發(fā)明實(shí)施例的第二次運(yùn)動(dòng)估測(cè)還可以選擇第一次運(yùn)動(dòng)估測(cè)已經(jīng)獲得的區(qū)塊(i，j)右方和下方的候選運(yùn)動(dòng)向量，使整個(gè)候選向量更加完整，更進(jìn)一步提高了估測(cè)的精確度。


為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1所示是現(xiàn)有技術(shù)中2:2 pull down之示意圖。圖2所示是現(xiàn)有技術(shù)中應(yīng)用于降低電影運(yùn)動(dòng)不連續(xù)裝置之方塊圖。圖3所示是現(xiàn)有技術(shù)中遞歸式運(yùn)動(dòng)估測(cè)裝置240之方塊圖。圖4所示是本發(fā)明實(shí)施例中降低電影信號(hào)運(yùn)動(dòng)不連續(xù)之運(yùn)動(dòng)向量估測(cè)裝置之方塊圖。
圖5所示是本發(fā)明實(shí)施例中各運(yùn)動(dòng)向量之示意圖。
圖6所示是顯示本發(fā)明實(shí)施例的第一運(yùn)動(dòng)向量選擇器之方塊圖。圖7所示是顯示本發(fā)明實(shí)施例的第二運(yùn)動(dòng)向量選擇器413之方塊圖。圖8所示是現(xiàn)有技術(shù)中2:3 pull down之示意圖。
具體實(shí)施例方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
請(qǐng)參見(jiàn)圖4,其系顯示本發(fā)明降低電影信號(hào)運(yùn)動(dòng)不連續(xù)之運(yùn)動(dòng)向量估測(cè)裝置400的方塊圖。該運(yùn)動(dòng)向量估測(cè)裝置400系用于估測(cè)影^^區(qū)塊的運(yùn)動(dòng)向量MV,該影像是由二維數(shù)組的區(qū)塊像素所組成，該區(qū)塊為該影像第i列第j行的區(qū)塊，并以(i,j)標(biāo)示，i、 j為整數(shù)，該區(qū)塊可為4x4、 6x6、 8x8或16x16的像素所組成。該運(yùn)動(dòng)向量估測(cè)裝置400包含一運(yùn)動(dòng)向量選擇裝置410、多個(gè)區(qū)塊匹配裝置420、 一運(yùn)動(dòng)向量決定裝置430及一暫存裝置440。
該運(yùn)動(dòng)向量選擇裝置410以其接收多個(gè)運(yùn)動(dòng)向量，并依據(jù)一運(yùn)動(dòng)估測(cè)階段信號(hào)(ME一stage),產(chǎn)生N個(gè)候選運(yùn)動(dòng)向量，N為正整數(shù)。
該多個(gè)區(qū)塊匹配裝置420連接至該運(yùn)動(dòng)向量選擇裝置410,分別依據(jù)該N個(gè)候選運(yùn)動(dòng)向量執(zhí)行區(qū)塊匹配，產(chǎn)生該候選運(yùn)動(dòng)向量對(duì)應(yīng)之匹配代J介。該匹配^/f介(matching cost)是才丸4亍SAD ( sum of absolute difference,絕對(duì)差之和)運(yùn)算加上該候選運(yùn)動(dòng)向量對(duì)應(yīng)之處罰代價(jià)(penalty )。
該運(yùn)動(dòng)向量決定裝置430連接至該多個(gè)區(qū)塊匹配裝置420及該運(yùn)動(dòng)向量選擇裝置410,依據(jù)該多個(gè)匹配代價(jià)，選取匹配代價(jià)最小之后選運(yùn)動(dòng)向量，決定該區(qū)塊的輸出運(yùn)動(dòng)向量MV,并將其反饋給運(yùn)動(dòng)向量選擇裝置410。
該暫存裝置440連接至該運(yùn)動(dòng)向量選擇裝置410及該運(yùn)動(dòng)向量決定裝置430,以暫存該區(qū)塊的前一時(shí)間運(yùn)動(dòng)向量決定裝置430所輸出之運(yùn)動(dòng)向量并將其發(fā)送給運(yùn)動(dòng)向量選擇裝置410。其中，該運(yùn)動(dòng)向量決定裝置430還將當(dāng)前時(shí)間之影像區(qū)塊(i-l,j-l)、 (i-l,j)、 (i,j隱l)、 (i-l,j+l)和(i+l,j+l)的輸出運(yùn)動(dòng)向量發(fā)送給運(yùn)動(dòng)向量選擇裝置410。該運(yùn)動(dòng)向量選擇裝置410包含一第一運(yùn)動(dòng)向量選擇器411、 一第二運(yùn)動(dòng)向 量選擇器413、及一多任務(wù)器415
圖5所示為本發(fā)明實(shí)施例中各運(yùn)動(dòng)向量的示意圖。該第一運(yùn)動(dòng)向量選擇 器411接收前一時(shí)間Tn-1時(shí)影像的區(qū)塊(i,j)的輸出運(yùn)動(dòng)向量TMV、當(dāng)前時(shí)間 Tn的影像的區(qū)塊(i-l，j-l)的輸出運(yùn)動(dòng)向量SMVO、(i-l,j)的輸出運(yùn)動(dòng)向量SMVl、 及(i，j-l)的輸出運(yùn)動(dòng)向量SMV2,并產(chǎn)生第一組候選運(yùn)動(dòng)向量。如圖5所示， TMV為前一個(gè)時(shí)間區(qū)塊(i,j)得到的運(yùn)動(dòng)向量，SMV0為目前時(shí)間進(jìn)行區(qū)塊(i,j) 比對(duì)左上方區(qū)塊(i-l，j-l)的運(yùn)動(dòng)向量，SMV1為目前進(jìn)行區(qū)塊(i，j)比對(duì)上方區(qū)塊 (i-l,j)的運(yùn)動(dòng)向量，SMV2為目前進(jìn)行區(qū)塊(i，j)比對(duì)左方(i，j-l)的運(yùn)動(dòng)向量。第 一運(yùn)動(dòng)向量選擇器411的選擇過(guò)程可以參見(jiàn)圖6及其文字說(shuō)明。
該第二運(yùn)動(dòng)向量選擇器413接收(i,j-l)的輸出運(yùn)動(dòng)向量SMV2、 (i-lj+l) 的輸出運(yùn)動(dòng)向量SMV3、 (i+l,j+l)的輸出運(yùn)動(dòng)向量SMV4，并產(chǎn)生第二組候選 運(yùn)動(dòng)向量。如圖5所示，其中，SMV3為目前時(shí)間進(jìn)行區(qū)塊(i,j)比對(duì)右上方區(qū) 塊(i-l,j+l)的運(yùn)動(dòng)向量，SMV4為目前時(shí)間進(jìn)行區(qū)塊(i,j)比對(duì)右下方(i+l,j+l)的 運(yùn)動(dòng)向量。第二運(yùn)動(dòng)向量選擇器413的選擇過(guò)程可以參見(jiàn)圖7及其文字說(shuō)明。
該多任務(wù)器415連接至該第一運(yùn)動(dòng)向量選擇器411及該第二運(yùn)動(dòng)向量選 擇器413，并依據(jù)該運(yùn)動(dòng)估測(cè)階段信號(hào)(ME—stage)選擇該第一組候選運(yùn)動(dòng)向量 及對(duì)應(yīng)的處罰代價(jià)(penalty)或該第二組候選運(yùn)動(dòng)向量作為該多個(gè)候選運(yùn)動(dòng) 向量及對(duì)應(yīng)的處罰代價(jià)(penalty )。
該多任務(wù)器415的具體選擇過(guò)程可以是該多任務(wù)器415依據(jù)運(yùn)動(dòng)估測(cè) 階段信號(hào)(ME一stage)決定該運(yùn)動(dòng)向量選擇裝置410的輸出為該第一運(yùn)動(dòng)向量 選擇器411的輸出或是該第二運(yùn)動(dòng)向量選擇器413的輸出。運(yùn)動(dòng)估測(cè)階段信 號(hào)(ME一stage)由目前該次的運(yùn)動(dòng)估測(cè)，為同 一個(gè)時(shí)間區(qū)間進(jìn)行的次數(shù)決定。例 如，在輸出為FO時(shí)，進(jìn)行F0及F2時(shí)間區(qū)間之第一次運(yùn)動(dòng)估測(cè)，則運(yùn)動(dòng)估測(cè) 階段信號(hào)(ME一stage)為0,運(yùn)動(dòng)向量選擇裝置410輸出該第一運(yùn)動(dòng)向量選擇器 411的輸出及對(duì)應(yīng)之處罰代價(jià)(penalty),在輸出為F1(MC)時(shí)，進(jìn)行F0及F2 時(shí)間區(qū)間之第二次運(yùn)動(dòng)估測(cè)，運(yùn)動(dòng)估測(cè)階^1信號(hào)(ME—stage)為1,此時(shí)，運(yùn)動(dòng) 向量選擇裝置410輸出該第二運(yùn)動(dòng)向量選擇器413的輸出及對(duì)應(yīng)之處罰代價(jià)
10(penalty )。
該運(yùn)動(dòng)向量選擇裝置410中也可以包含3個(gè)或者更多個(gè)運(yùn)動(dòng)向量選擇器， 該運(yùn)動(dòng)向量選擇裝置410包含多少個(gè)運(yùn)動(dòng)向量選擇器取決于原電影信號(hào)的頻 率和顯示頻率的關(guān)系，如果原電影膠片拍攝的過(guò)程中的拍攝速度是24幀/秒， 而顯示視頻信號(hào)的速度是48幀/秒，則在同一時(shí)間區(qū)間內(nèi)可以進(jìn)行兩次運(yùn)動(dòng)估 測(cè)，這樣就可以包含兩個(gè)運(yùn)動(dòng)向量選擇器。而如果顯示視頻信號(hào)的速度是72 幀/秒以上，則在同 一時(shí)間區(qū)間內(nèi)可以進(jìn)行三次運(yùn)動(dòng)估測(cè)，這樣就可以包含三
個(gè)運(yùn)動(dòng)向量選^r器。
圖6所示為本發(fā)明實(shí)施例第一運(yùn)動(dòng)向量選擇器411的方塊圖。該第一運(yùn) 動(dòng)向量選擇器411包含一計(jì)算選擇器610、 一第一及第二加法器620和630。
該計(jì)算選擇器610分別計(jì)算一預(yù)定運(yùn)動(dòng)向量MVO (例如零向量)、前一時(shí) 間影像的區(qū)塊(i,j)輸出運(yùn)動(dòng)向量TMV、當(dāng)前時(shí)間影像區(qū)塊(i-l,j-l)輸出運(yùn)動(dòng)向 量SMVO、 (i-l,j)的輸出運(yùn)動(dòng)向量中SMV1與區(qū)塊(i，j-l)的輸出運(yùn)動(dòng)向量SMV2 的差異，并選取差異最大者輸出為其第一候選運(yùn)動(dòng)向量T1CMV。
該第一運(yùn)動(dòng)向量選擇器411將該區(qū)塊(i,j-l)的輸出運(yùn)動(dòng)向量SMV2直接輸 出為第二候選運(yùn)動(dòng)向量T2CMV，并將該第二候選運(yùn)動(dòng)向量分別加上第一及第 二更新運(yùn)動(dòng)向量(UMVl, UMV2),而分別產(chǎn)生第三及第四候選運(yùn)動(dòng)向量 T3CMV,T4CMV。該第一運(yùn)動(dòng)選擇器411同時(shí)輸出第一至第四處罰代價(jià)P1、 P2、 P3、 P4,對(duì)應(yīng)于第一至第四候選運(yùn)動(dòng)向量。該處罰代價(jià)系依據(jù)該候選向 量的來(lái)源，選取一預(yù)先設(shè)定的數(shù)值，用以調(diào)整該候選向量區(qū)塊匹配之匹配代 價(jià)，以反映該候選向量的偏好程度。
其中，當(dāng)該第一更新運(yùn)動(dòng)向量(UMV1)大于該第二更新運(yùn)動(dòng)向量(UMV2) 時(shí)，該第三處罰代價(jià)P3大于該第四處罰代價(jià)P4,當(dāng)該第一更新運(yùn)動(dòng)向量 (UMV1)非大于該第二更新運(yùn)動(dòng)向量(UMV2)時(shí)，該第三處罰代價(jià)P3非大于該 第四處罰代價(jià)P4。
第一更新運(yùn)動(dòng)向量(UMVl)的大小依據(jù)該比對(duì)區(qū)塊(i,j)所在水平位置x及 垂直位置y的和，除以四的余數(shù)。若余數(shù)為0, UMV1為{+4，0};若余數(shù)為1, UMV1為{-4,0};若余數(shù)為2， UMV1為{+2，0};若余數(shù)為3， UMV1為{-2, 0}。
ii依據(jù)UMV1之向量絕對(duì)值大小決定該候選向量的第三處罰代價(jià)P3的大小。 IUMVll為4，第三處罰代價(jià)P3為40， IUMVII為2,第三處罰代價(jià)P3則為20。
SMV2加上該第二更新運(yùn)動(dòng)向量(UMV2)得到第四候選向量T4CMV。第 二更新運(yùn)動(dòng)向量(UMV2)大小依據(jù)該比對(duì)區(qū)塊(i，j)所在水平位置x及垂直位置y 的和，除以二的余數(shù)決定。若余數(shù)為0， UMV2為(0，-2);若余數(shù)為1, UMV2 為{0，+2}。第四處罰代價(jià)P4則為20。
圖7所示為本發(fā)明實(shí)施例中第二運(yùn)動(dòng)向量選^^器413的方塊圖。該第二 運(yùn)動(dòng)向量選擇器413包含一第三加法器710。
該第二運(yùn)動(dòng)向量選擇器將該區(qū)塊(i，j-1 )的輸出運(yùn)動(dòng)向量SMV2直接輸出為 第五候選運(yùn)動(dòng)向量T5CMV,將該第五候選運(yùn)動(dòng)向量T5CMV加上第三更新運(yùn) 動(dòng)向量(UMV3),而產(chǎn)生第六候選運(yùn)動(dòng)向量T6CMV，并分別將區(qū)塊(i-l，j+l)輸 出運(yùn)動(dòng)向量SMV3及區(qū)塊(i+l,j+l)的輸出運(yùn)動(dòng)向量SMV4直接輸出為第七及 第八候選運(yùn)動(dòng)向量T7CMV, T8CMV。其中該第 一更新運(yùn)動(dòng)向量(UMV 1 )及該第 二更新運(yùn)動(dòng)向量(UMV2)均大于或等于該第三更新運(yùn)動(dòng)向量(UMV3)。
該第二運(yùn)動(dòng)向量選擇器413同時(shí)輸出第五至第八處罰代價(jià)P5、 P6、 P7、 P8,對(duì)應(yīng)于第五至第八候選運(yùn)動(dòng)向量。該處罰代價(jià)系依據(jù)該候選向量的來(lái)源， 選取一預(yù)先設(shè)定的數(shù)值，用以調(diào)整該候選向量區(qū)塊匹配之匹配代價(jià)，以反映 該候選向量的偏好程度。其中，第五至第八處罰代價(jià)大小以下列公式表示 尸"","W6 ,當(dāng)中，"，尸WS分別為該第五至第八處罰代價(jià)。
第二運(yùn)動(dòng)向量選擇器413選擇左方區(qū)塊SMV2為第五候選向量，處罰代 價(jià)P5為0，選擇右上方區(qū)塊SMV3為第七候選向量，處罰代價(jià)P7為5，選擇 右下方區(qū)塊(ME stage為0時(shí)所計(jì)算出之運(yùn)動(dòng)向量)SMV4為第八候選向量，處 罰代價(jià)P8為5，第六候選向量為SMV2加上第三更新運(yùn)動(dòng)向量(UMV3),第 三更新運(yùn)動(dòng)向量(UMV3)大小依據(jù)該比對(duì)區(qū)塊(i，j)所在水平位置x及垂直位置y 的和，除以四的余數(shù)。若余數(shù)為0, UMV3為(+1,0);若余數(shù)為1, UMV3為 {-1,0};若余數(shù)為2， UMV3為(0,+1};若余數(shù)為3, UMV3為《0, -1}，處罰 代價(jià)P6為10。也可以如圖6中的該第一運(yùn)動(dòng)向量選擇器411 選擇相同的候選運(yùn)動(dòng)向量，也可選擇比該第一運(yùn)動(dòng)向量選擇器411更小的更 新運(yùn)動(dòng)向量和不同的處罰代價(jià)從而獲得不同的運(yùn)動(dòng)向量。
請(qǐng)參閱圖1，原始電影信號(hào)為F0,F2,F4….，傳輸時(shí)會(huì)轉(zhuǎn)換為EO, OO, E2, 02,E4，04.....，經(jīng)過(guò)運(yùn)動(dòng)估測(cè)及運(yùn)動(dòng)動(dòng)補(bǔ)償后，會(huì)輸出F0,F1,F2,F3,F4….， 其中，F(xiàn)O為結(jié)合EO及OO而產(chǎn)生，F(xiàn)l為EO、 00、 E2、 02經(jīng)過(guò)運(yùn)動(dòng)估測(cè)及 補(bǔ)償后的結(jié)果，依此類推。
本發(fā)明實(shí)施例利用在電影模式(film mode)下，同一個(gè)時(shí)間區(qū)間會(huì)有多個(gè)輸 出的特性，如F0及F2間，會(huì)輸出F0(直接結(jié)合)及F1(F0及F2運(yùn)動(dòng)估測(cè)及補(bǔ) 償)，故可對(duì)同 一個(gè)時(shí)間區(qū)間進(jìn)行多數(shù)次運(yùn)動(dòng)估測(cè)，且依據(jù)該次運(yùn)動(dòng)估測(cè)在同 時(shí)間區(qū)間已進(jìn)行過(guò)運(yùn)動(dòng)估測(cè)次數(shù)，選擇不同的候選向量及該向量的處罰代價(jià)。 例如，在輸出F0畫(huà)面時(shí)，對(duì)F0及F2的時(shí)間區(qū)間進(jìn)行第 一次運(yùn)動(dòng)估測(cè)，在輸 出F1 (F0及F2運(yùn)動(dòng)補(bǔ)償)畫(huà)面時(shí)，對(duì)F0及F2的時(shí)間區(qū)間進(jìn)行第二次運(yùn)動(dòng)估 測(cè)并產(chǎn)生用于該次運(yùn)動(dòng)補(bǔ)償所需要的運(yùn)動(dòng)向量。第一次運(yùn)動(dòng)估測(cè)可用較大更 新運(yùn)動(dòng)向量得到初步的運(yùn)動(dòng)向量場(chǎng)(motion vector field),第二次運(yùn)動(dòng)估測(cè)則利 用較小的更新運(yùn)動(dòng)向量，增加運(yùn)動(dòng)補(bǔ)償所使用的運(yùn)動(dòng)向量的準(zhǔn)確性。并藉由 該運(yùn)動(dòng)估測(cè)階,殳信號(hào)(ME—stage)以選擇第一次運(yùn)動(dòng)估測(cè)的初步的運(yùn)動(dòng)向量場(chǎng) (motion vector field)或第二次運(yùn)動(dòng)估測(cè)的運(yùn)動(dòng)向量場(chǎng)，以增加運(yùn)動(dòng)補(bǔ)償所使用 的運(yùn)動(dòng)向量的準(zhǔn)確性。
本發(fā)明實(shí)施例的技術(shù)方案同樣也可以適用于2:3 pull down,圖8所示是 2:3 pull down之示意圖。參看圖8，對(duì)于液晶電視常規(guī)的屏幕刷新頻率為60Hz， 播放DVD的時(shí)候按照第一格分兩場(chǎng)，第二格分三場(chǎng)，第三格分兩場(chǎng)，第四個(gè) 分三場(chǎng)的順序轉(zhuǎn)換成60場(chǎng)(30幀)/秒的模式。原理同上，在此不再贅述。
不過(guò)第一次和第二次即使相同的候選運(yùn)動(dòng)向量選擇方式也可以有不同的 處罰代價(jià)。例如，第一次因?yàn)橄Ｍ业酱笾碌倪\(yùn)動(dòng)向量，可以讓由加上更新 運(yùn)動(dòng)向量產(chǎn)生的候選運(yùn)動(dòng)向量的處罰代價(jià)d、一點(diǎn)，第二次則加大處罰代價(jià)， 讓運(yùn)動(dòng)向量不會(huì)發(fā)生較大的改變。除了調(diào)整更新運(yùn)動(dòng)向量大小之外，第一次 選擇空間上左方及上方的向量為候選運(yùn)動(dòng)向量，第二次則可以選右方及下方
13的向量為候選運(yùn)動(dòng)向量。另外第一次可以參考TMV,而第二次可以不參考 TMVo
由上述說(shuō)明可知，雖然現(xiàn)有技術(shù)已經(jīng)揭露如何選擇候選的運(yùn)動(dòng)向量及的 更新運(yùn)動(dòng)向量更新運(yùn)動(dòng)向量的大小。但是，在現(xiàn)有技術(shù)中，如果選擇較大的 更新運(yùn)動(dòng)向量，這樣可以提高趨向正確運(yùn)動(dòng)向量的速度，但是其技術(shù)問(wèn)題在 于收斂的精確度較差；如果選擇較小的更新運(yùn)動(dòng)向量，這樣可以提高收斂的 精確度，但是其技術(shù)問(wèn)題在于趨向正確運(yùn)動(dòng)向量的速度較慢。
采用本發(fā)明實(shí)施例的技術(shù)方案，通過(guò)在一個(gè)時(shí)間區(qū)間中進(jìn)行多次運(yùn)動(dòng)估 測(cè)，選擇不同的候選運(yùn)動(dòng)向量，和/或利用不同的處罰代價(jià)調(diào)整對(duì)候選運(yùn)動(dòng)向 量的喜好程度。能夠?qū)崿F(xiàn)根據(jù)該多次運(yùn)動(dòng)估測(cè)的結(jié)果，選擇合適的運(yùn)動(dòng)向量， 在此基礎(chǔ)上，既能夠保證運(yùn)動(dòng)估測(cè)精確度的同時(shí)，還可以提高收斂到正確運(yùn) 動(dòng)向量的速度。同時(shí)，本發(fā)明實(shí)施例的第二次運(yùn)動(dòng)估測(cè)還可以選擇第一次運(yùn) 動(dòng)估測(cè)已經(jīng)獲得的區(qū)塊(i，j)右方和下方的候選運(yùn)動(dòng)向量，使整個(gè)候選向量更 加完整，更進(jìn)一步提高了估測(cè)的精確度。
通過(guò)以上的實(shí)施方式的描述，所屬領(lǐng)域的技術(shù)人員可以清楚地了解到本 發(fā)明可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)。以上所述的本發(fā)明實(shí) 施方式，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限定。任何在本發(fā)明的精神和原則之 內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1. 一種降低電影信號(hào)運(yùn)動(dòng)不連續(xù)的運(yùn)動(dòng)向量估測(cè)裝置，用于估測(cè)影像區(qū)塊的運(yùn)動(dòng)向量，所述影像由二維數(shù)組的區(qū)塊像素所組成，其特征在于，所述運(yùn)動(dòng)向量估測(cè)裝置包含一運(yùn)動(dòng)向量選擇裝置，包括復(fù)數(shù)個(gè)運(yùn)動(dòng)向量選擇器，所述復(fù)數(shù)個(gè)運(yùn)動(dòng)向量選擇器用于分別接收多個(gè)運(yùn)動(dòng)向量，每一運(yùn)動(dòng)向量選擇器依據(jù)接收的運(yùn)動(dòng)向量產(chǎn)生N個(gè)候選運(yùn)動(dòng)向量，并依據(jù)一運(yùn)動(dòng)估測(cè)階段信號(hào)選擇一運(yùn)動(dòng)向量選擇器的N個(gè)候選運(yùn)動(dòng)向量輸出，N為正整數(shù)；N個(gè)區(qū)塊匹配裝置，連接至所述運(yùn)動(dòng)向量選擇裝置，用于分別依據(jù)所述N個(gè)候選運(yùn)動(dòng)向量執(zhí)行區(qū)塊匹配后，分別產(chǎn)生N個(gè)匹配代價(jià)；一運(yùn)動(dòng)向量決定裝置，連接至所述N個(gè)區(qū)塊匹配裝置及所述運(yùn)動(dòng)向量選擇裝置，用于依據(jù)所述N個(gè)匹配代價(jià)以決定所述區(qū)塊的輸出運(yùn)動(dòng)向量，并將所述輸出運(yùn)動(dòng)向量反饋給所述運(yùn)動(dòng)向量選擇裝置。
2. 如權(quán)利要求1所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于，所 述運(yùn)動(dòng)向量選擇裝置包含一第一運(yùn)動(dòng)向量選擇器，用于產(chǎn)生第一組N個(gè)候選運(yùn)動(dòng)向量； 一第二運(yùn)動(dòng)向量選擇器，用于產(chǎn)生第二組N個(gè)候選運(yùn)動(dòng)向量；以及一多任務(wù)器，連接至所述第 一運(yùn)動(dòng)向量選擇器及所述第二運(yùn) 動(dòng)向量選擇器，用于依據(jù)所述運(yùn)動(dòng)估測(cè)階段信號(hào)選擇所述第 一組 候選運(yùn)動(dòng)向量或所述第二組候選運(yùn)動(dòng)向量，作為所述N個(gè)候選運(yùn) 動(dòng)向量。
3. 如權(quán)利要求1或2任 一 項(xiàng)所述的運(yùn)動(dòng)向量估測(cè)裝置，其特 征在于，所述影像第i列第j行的區(qū)塊，以(i，j)標(biāo)示，i、 j為整 數(shù)，所述運(yùn)動(dòng)向量決定裝置用于將當(dāng)前時(shí)間所進(jìn)行區(qū)塊 (i一l,j一1)、 (i —l，j)、 (i,j一l)、 (i一l,j + l)、 (i + l,j + l)的輸出 運(yùn)動(dòng)向量反饋給所述運(yùn)動(dòng)向量選擇裝置。
4. 如權(quán)利要求3所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于，還包含一暫存裝置，連接至所述運(yùn)動(dòng)向量選擇裝置及所述運(yùn)動(dòng)向量 決定裝置，用于暫存所述運(yùn)動(dòng)向量決定裝置輸出的一前一時(shí)間影 像的區(qū)塊(i， j)的運(yùn)動(dòng)向量，并將所述輸出運(yùn)動(dòng)向量提供給所述 運(yùn)動(dòng)向量選擇裝置。
5. 如權(quán)利要求4所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于， 所述第 一運(yùn)動(dòng)向量選擇器還用于接收前一時(shí)間影像區(qū)塊(i， j)、 當(dāng)前時(shí)間影像區(qū)塊(i-1, j-l) 、 (i-1, j) 、 (i， j-l)的輸出運(yùn)動(dòng)向 量；以及所述第二運(yùn)動(dòng)向量選擇器還用于接收當(dāng)前時(shí)間影像區(qū) 塊(i， j-l) 、 (i-l, j + l) 、 (i + l， j + l)的輸出運(yùn)動(dòng)向量。
6. 如權(quán)利要求5所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于， 所述第一運(yùn)動(dòng)向量選擇器包含一計(jì)算選擇器、 一第一加法器，以 及一第二加法器，所述計(jì)算選擇器用于計(jì)算 一 預(yù)定運(yùn)動(dòng)向量及前 一 時(shí)間的影 像區(qū)塊(i，j)、當(dāng)前時(shí)間的影像區(qū)塊(i-1, j-l) 、 (i-l，j)的輸出 運(yùn)動(dòng)向量中與區(qū)塊(i， j-l)的輸出運(yùn)動(dòng)向量的差異，并選取差異 最大者作為其第一候選運(yùn)動(dòng)向量輸出；所述第一運(yùn)動(dòng)向量選擇器用于將所述區(qū)塊(i, j-l)的輸出運(yùn) 動(dòng)向量直接作為第二候選運(yùn)動(dòng)向量輸出，所述第一加法器和第二 加法器用于將所述第二候選運(yùn)動(dòng)向量分別加上第一及第二更新 運(yùn)動(dòng)向量，而分別產(chǎn)生第三及第四候選運(yùn)動(dòng)向量。
7. 如權(quán)利要求6所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于， 所述第一運(yùn)動(dòng)向量選擇器用于分別對(duì)所述第一至第四候選運(yùn)動(dòng)向量產(chǎn)生第一至第四處罰代價(jià)。
8. 如權(quán)利要求7所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于，當(dāng)所述第一更新運(yùn)動(dòng)向量大于所述第二更新運(yùn)動(dòng)向量時(shí)，所述第 三處罰代價(jià)大于所述第四處罰代價(jià)，當(dāng)所述第 一更新運(yùn)動(dòng)向量小于或等于所述第二更新運(yùn)動(dòng)向量時(shí)，所述第三處罰代價(jià)小于或等 于所述第四處罰代價(jià)。
9. 如權(quán)利要求5所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于， 所述第二運(yùn)動(dòng)向量選擇器用于將所述區(qū)塊(i， j-1)的輸出運(yùn)動(dòng)向 量直接作為第五候選運(yùn)動(dòng)向量輸出，將所述第五候選運(yùn)動(dòng)向量加 上第三更新運(yùn)動(dòng)向量，而產(chǎn)生第六候選運(yùn)動(dòng)向量，并分別將區(qū)塊 (i-l, j + l)及區(qū)塊(i + l， j + l)的輸出運(yùn)動(dòng)向量直接作為第七及第 八候選運(yùn)動(dòng)向量輸出。
10. 如權(quán)利要求9所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于，所述第二運(yùn)動(dòng)向量選擇器還用于分別對(duì)所述第五至第八候選運(yùn) 動(dòng)向量產(chǎn)生第五至第八處罰代價(jià)。
11. 如權(quán)利要求10所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于， 所述第一更新運(yùn)動(dòng)向量及所述第二更新運(yùn)動(dòng)向量均大于所述第 三更新運(yùn)動(dòng)向量。
12. 如權(quán)利要求ll所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于， 第五至第八處罰代價(jià)大小以下列公式表示當(dāng)中，PS，^,F7,PS分別為所述第五至第八處罰代價(jià)。
13. 如權(quán)利要求1所述的運(yùn)動(dòng)向量估測(cè)裝置，其特征在于， 所述多個(gè)匹配代價(jià)是通過(guò)計(jì)算所述N個(gè)候選運(yùn)動(dòng)向量的絕對(duì)差之 和SAD值，加上所述候選運(yùn)動(dòng)向量的處罰代價(jià)而得到。
全文摘要
本發(fā)明實(shí)施例公開(kāi)了一種降低電影信號(hào)運(yùn)動(dòng)不連續(xù)的運(yùn)動(dòng)向量估測(cè)裝置，包含運(yùn)動(dòng)向量選擇裝置，包括復(fù)數(shù)個(gè)運(yùn)動(dòng)向量選擇器，所述復(fù)數(shù)個(gè)運(yùn)動(dòng)向量選擇器用于分別接收多個(gè)運(yùn)動(dòng)向量，每一運(yùn)動(dòng)向量選擇器依據(jù)接收的運(yùn)動(dòng)向量產(chǎn)生N個(gè)候選運(yùn)動(dòng)向量，并依據(jù)運(yùn)動(dòng)估測(cè)階段信號(hào)選擇運(yùn)動(dòng)向量選擇器的N個(gè)候選運(yùn)動(dòng)向量輸出，N為正整數(shù)；N個(gè)區(qū)塊匹配裝置，用于分別依據(jù)所述N個(gè)候選運(yùn)動(dòng)向量執(zhí)行區(qū)塊匹配后，分別產(chǎn)生N個(gè)匹配代價(jià)；運(yùn)動(dòng)向量決定裝置，用于依據(jù)所述N個(gè)匹配代價(jià)以決定所述區(qū)塊的輸出運(yùn)動(dòng)向量，并將所述輸出運(yùn)動(dòng)向量反饋給所述運(yùn)動(dòng)向量選擇裝置。本發(fā)明實(shí)施例能夠在保證收斂的精確度的基礎(chǔ)上，加快收斂的速度。
文檔編號(hào)H04N7/01GK101510949SQ20091011784
公開(kāi)日2009年8月19日 申請(qǐng)日期2009年3月6日 優(yōu)先權(quán)日2009年3月6日
發(fā)明者彭源智, 陳衍霖 申請(qǐng)人:凌陽(yáng)科技股份有限公司