專利名稱：上變換解碼的幀的幀頻的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明的多個方面涉及一種視頻編碼技術(shù)，更具體地講，涉及一種通過f口方法。
背景技術(shù)：
隨著信息和通信技術(shù)以及互聯(lián)網(wǎng)的發(fā)展，視頻通信、短消息通信以及語 音通信也在增長。然而，傳統(tǒng)的短消息為核心的通信方法不能滿足用戶的各 種需求。因此，逐漸提出了能夠融合短消息、圖像、音樂等各種特點的多媒 體服務(wù)。然而，多媒體數(shù)據(jù)量如此之大，使得需要海量存儲裝置以及用于數(shù) 據(jù)傳輸?shù)募訉挼膸挕Ｒ虼?，為了傳輸包括短消息、圖像和音頻數(shù)據(jù)的多媒 體數(shù)據(jù)，使用了編碼壓縮技術(shù)。數(shù)據(jù)壓縮的基本原理是消除數(shù)據(jù)冗余。通過消除空間冗余(例如，相同 顏色或?qū)ο蟮闹貜?fù))、時間冗余(例如，當(dāng)運動圖像幀中相鄰幀改變很小時或 者在音頻文件中相同音調(diào)被重復(fù)時)以及視頻冗余(考慮了人的視覺和感知 對高頻不敏感這一事實)可以壓縮數(shù)據(jù)。在公知的視頻編碼方法中，通過基 于運動補償進行時域濾波來消除視頻數(shù)據(jù)中的時間冗余，通過空間變換來消 除空間冗余。根據(jù)量化處理，已經(jīng)消除了冗余的視頻數(shù)據(jù)纟皮有損地壓縮。最后，量化 的數(shù)據(jù)經(jīng)過熵編碼被無損地壓縮。在從大容量數(shù)據(jù)處理裝置(例如，數(shù)字TV、 DVD播放器等)到用于相 對小容量的數(shù)據(jù)處理的移動裝置(例如，移動電話、PDA(個人數(shù)字助理)、 數(shù)字攝像機等)的各種裝置中都采用了這種視頻數(shù)據(jù)壓縮技術(shù)。通常，由于這些移動裝置設(shè)置的數(shù)據(jù)存儲空間、網(wǎng)絡(luò)通信帶寬以及數(shù)據(jù) 處理容量不足，在這些移動裝置中使用的視頻數(shù)據(jù)的分辨率以及幀頻相對較低。結(jié)果，當(dāng)在移動裝置中設(shè)置的液晶顯示器(LCD)面板上生成視頻圖像 時，低幀頻的視頻圖像對用戶來說會看起來更不自然。為了克服這個問題，已經(jīng)提出了用于編碼的視頻的幀頻上變換技術(shù)。這 種變換提高了以特定幀頻編碼的視頻的幀頻。例如，如圖1所示，如果原始幀(編碼的視頻的幀)的幀頻是15Hz，則通過將內(nèi)插幀添加到每個幀中，可 以獲得總幀頻為30Hz的視頻幀。在這種情況下，從原始幀獲得內(nèi)插幀的方法 是關(guān)鍵問題。然而，如果通過附加的運動估計(如在編碼器中那樣)獲得內(nèi) 插幀，則需要量相當(dāng)大的計算，因此，這不適合在移動裝置中播放視頻。因此，有必要通過使用已經(jīng)包含在編碼的視頻中的運動矢量而不進行額 外的運動估計處理來實現(xiàn)幀頻上變換。發(fā)明內(nèi)容本發(fā)明的多個方面提供了一種通過從解碼的運動矢量中再采樣與真實運 動相似的運動矢量來有效執(zhí)行幀頻上變換的方法。根據(jù)本發(fā)明的一方面，提供了 一種通過利用來自視頻流的運動信息生成 內(nèi)插幀而將視頻流的解碼幀的幀頻上變換的設(shè)備，所述設(shè)備包括運動矢量 再采樣單元，通過使用運動信息對解碼幀的當(dāng)前塊的運動矢量進行濾波而對 用于內(nèi)插幀的運動矢量進行再采樣；運動補償單元，用再采樣的運動矢量補 償解碼幀的運動，以生成內(nèi)插幀；開關(guān)，根據(jù)幀的連續(xù)順序選擇性地輸出解 碼幀和內(nèi)插幀中的一個。根據(jù)本發(fā)明的另 一方面，提供了 一種通過使用來自視頻流運動信息生成 內(nèi)插幀來將視頻流的解碼幀的幀頻上變換的方法，所述方法包括通過使用 運動信息對解碼幀的當(dāng)前塊的運動矢量進行濾波，來對用于內(nèi)插幀的運動矢 量進行再采樣；通過再采樣的運動矢量來補償解碼幀的運動，以生成內(nèi)插幀； 根據(jù)幀的連續(xù)順序選#^生地輸出解碼幀和內(nèi)插幀中的一個。根據(jù)本發(fā)明的又一方面，提供了 一種用于對用來補償解碼幀的運動而對 視頻流的解碼幀的運動矢量進行再采樣以產(chǎn)生用于將解碼幀的幀頻上變換的 內(nèi)插幀的設(shè)備，所述設(shè)備包括運動矢量計算單元，通過利用解碼幀中的當(dāng) 前塊的運動矢量和當(dāng)前塊的相鄰塊的運動矢量來對解碼幀的當(dāng)前塊的運動矢 量進行濾波從而對運動矢量進行再采樣。根據(jù)本發(fā)明的又一方面，提供了 一種用于對用來補償解碼幀的運動而對視頻流的解碼幀的運動矢量進行再采樣以產(chǎn)生用于將解碼幀的幀頻上變換的內(nèi)插幀的方法，所述方法包括通過利用解碼幀中的當(dāng)前塊的運動矢量和當(dāng)前塊的相鄰塊的運動矢量對解碼幀的當(dāng)前塊的運動矢量進行濾波而對運動矢 量進行再采樣。，根據(jù)本發(fā)明的另一方面，提供了一種通過使用來自視頻流的運動信息生成內(nèi)插幀而將視頻流的幀頻上變換的設(shè)備，所述設(shè)備包括解碼器，用于將 視頻流的幀以及來自視頻流的運動信息解碼；運動矢量再采樣單元，通過使 用運動信息對解碼幀的當(dāng)前塊的運動矢量進行濾波來對用于內(nèi)插幀的運動矢 量進行再采樣；運動補償單元，通過再采樣的運動矢量來補償解碼幀的運動 矢量，以生成內(nèi)插幀；開關(guān)，根據(jù)解碼幀和內(nèi)插幀的連續(xù)順序選擇性地輸出 解碼幀和內(nèi)插幀中的 一個。將在下面的描述中部分闡述本發(fā)明的另外的方面和/或優(yōu)點，另外的部 分，通過該描述將是清楚的或者通過實施本發(fā)明來了解。


通過下面結(jié)合附圖對實施例的描述，本發(fā)明的這些和/或其它方面和優(yōu)點 將會變得清楚和更容易理解，其中 圖1是示出幀頻的上采樣的示圖；圖2是示出根據(jù)本發(fā)明實施例的幀頻上變換設(shè)備的結(jié)構(gòu)的框圖； 圖3是示出根據(jù)H.264具有不同尺寸的可變塊的例子的示圖； 圖4是示出多幀參考的示圖；圖5是示出根據(jù)本發(fā)明的實施例的解碼器的結(jié)構(gòu)的框圖；圖6是示出根據(jù)本發(fā)明實施例的運動矢量再采樣單元的結(jié)構(gòu)的框圖；圖7是示出塊尺寸調(diào)整的例子的示圖；圖；； 、、 ' 、' 、'、 、圖9是示出選擇用于評估矢量中值運算的塊的例子的示圖； 圖10是示出根據(jù)本發(fā)明的實施例的在濾波處理期間分配權(quán)重的例子的示圖；圖11是示出根據(jù)用于評估的塊的類型和尺寸設(shè)置不同權(quán)重的例子的示圖；圖12是示出使用固定核心尺寸的例子的示圖；圖13是示出根據(jù)本發(fā)明的實施例的驗證技術(shù)的曲線圖。
具體實施方式
以下，將詳細說明本發(fā)明的實施例，其例子列舉在附圖中，其中，相同 的標號始終表示相同的元件。下面，通過參照附圖描述實施例以解釋本發(fā)明。圖2是示出根據(jù)本發(fā)明的實施例的幀頻上變換設(shè)備100的結(jié)構(gòu)的框圖。 上變換設(shè)備100包括解碼器200、運動矢量再采樣單元300、運動補償器400 以及開關(guān)500。解碼器200從編碼的視頻流(下面，稱作編碼流)解碼幀和運動信息。 在本說明書中，運動信息包括分配給每一塊的運動矢量、塊的類型、塊分割 信息、參考幀偏移等中的至少一種。塊的類型表示塊是通過時域預(yù)測獲得的 (下面，稱作預(yù)測塊)還是沒有通過時域預(yù)測獲得的(下面，稱作幀內(nèi)塊)。 塊分割信息涉及根據(jù)塊匹配算法具有H.264中使用的可變尺寸的塊的尺寸。 參照圖3,被分配運動矢量的塊具有各種^象素尺寸(例如，16x16、 16x8、 8x16、 8x8、 8x4、 4x8以及4x4)。圖4是示出多幀參考的示圖。H.264標準允許當(dāng)前幀41中的塊參考位于 當(dāng)前幀41之前的其它幀42。在這種情況下，才艮據(jù)與當(dāng)前幀41的距離，四個 幀42的參考幀偏移可具有從4到1的值(偏移隨著距離的增加而變大)。當(dāng) 前幀41包括使用運動矢量的預(yù)測編碼塊以及不使用運動矢量的幀內(nèi)編碼塊。 因此，并不是當(dāng)前幀41內(nèi)的所有塊都具有運動矢量。圖5是示出根據(jù)本發(fā)明實施例的解碼器200的結(jié)構(gòu)的框圖。參照圖5, 解碼器200包括熵解碼器210、去量化器220、逆變換器230、加法器235、 緩沖器240以及運動補償器250。熵解碼器210 ^L行無損解碼以從編碼流中 提取運動信息和編碼的殘差信息。各種解碼技術(shù)(例如，可變長度解碼、算 術(shù)解碼以及哈夫曼解碼)可被用來進行無損解碼。提取的殘差信息被提供到 去量化器220，運動信息被提供到運動補償器250。去量化器220對熵解碼器210提供的殘差信息進行去量化。具體地，去 量化器220使用與在量化處理中使用的表相同的量化表從量化處理中所產(chǎn)生 的(或提供的)索引(index)恢復(fù)與殘差信息匹配的值。逆變換器230對去量化的結(jié)果進行逆變換。具體地，逆變換器230通過使用逆DCT變換、逆小波變換等逆向地執(zhí)行編碼器階段中的變換處理。作為 逆變換的結(jié)果的恢復(fù)的殘差信號被提供給加法器235。幀(所述參考幀是被恢復(fù)并被存儲在緩沖器240中的幀)的運動進行補償以 生成預(yù)測信號。加法器235將逆變換器230提供的恢復(fù)的殘差信息以及生成的預(yù)測信號 相加，以恢復(fù)當(dāng)前幀?；謴?fù)的當(dāng)前幀被臨時存儲在緩沖器240中，用于恢復(fù) 不同的幀。再次參照圖2,由解碼器200的熵解碼器210提供的運動信息被提供給 運動矢量再采樣單元300。而且，由解碼器200恢復(fù)的幀被提供給運動補償 器400以及開關(guān)500。運動矢量再采樣單元300使用由解碼器200提供的運動信息對運動矢量 再采樣以便生成內(nèi)插幀，并將再采樣的運動矢量提供給運動補償器400。將 參照圖6更詳細地描述根據(jù)本發(fā)明實施例的運動矢量再采樣單元300的操作。運動補償器400使用再采樣的運動矢量(以及其它運動信息)作為輸入 來執(zhí)行恢復(fù)的幀的運動補償以生成內(nèi)插幀。開關(guān)500根據(jù)連續(xù)順序選擇性地輸出由解碼器200提供的解碼的幀以及 由運動補償器400提供的內(nèi)插幀中的一個，以執(zhí)行幀頻上變換。解碼器200、 運動矢量再采樣單元300和/或運動補償器400可包括用于存儲多個幀的運動 的緩沖器。圖6是詳細示出圖2中的運動矢量再采樣單元300的結(jié)構(gòu)的框圖。運動 矢量再采樣單元300包括運動矢量歸一化器310、塊尺寸調(diào)整器320、運動矢 量計算器330、運動矢量驗證器340以及運動矢量濾波器350。通常，由于視頻編碼器為了最小化編碼大小而搜索產(chǎn)生最小運動補償?shù)?殘差值的運動矢量，所以獲得的運動矢量可能與根據(jù)實際對象的運動不同。 此外，由于運動矢量可能參考不同的在前的參考幀，因此，將運動矢量的尺 寸歸一化是很重要的。運動矢量歸一化器310根據(jù)解碼器200提供的運動矢量的參考距離(當(dāng) 前幀和參考幀之間的時域距離)將運動矢量歸一化。例如，運動矢量歸一化 器310通過利用將運動矢量除以參考幀偏移的運算來將運動矢量歸一化。參 考幀偏移可以被存儲在緩沖器(未示出)中，以用于后面的運動矢量計算。塊尺寸調(diào)整器320將被分配了運動矢量的具有各種尺寸的塊調(diào)整為具有預(yù)定尺寸或者更大的塊。所述調(diào)整操作將尺寸比預(yù)定塊尺寸小的塊組合為具 有歸一化的塊尺寸的代表塊。然而，應(yīng)該理解的是，根據(jù)本發(fā)明的多個方面，所述結(jié)合處理可以省略(例如，當(dāng)被分配了由解碼器200提供的運動矢量的 塊的尺寸被固定為具有歸一化的塊尺寸或者更小時)。在高級視頻編碼技術(shù)(例如，H.264)中，為了獲得最小的編碼尺寸，使 用了如圖3所示的塊尺寸變化的可變塊尺寸運動補償。例如，如圖3中所示， 宏塊可以被分割為具有范圍從16x16到4x4的各種塊尺寸。為了在運動矢量再采樣之后執(zhí)行運動補償，可以獲得被分配給具有相同 尺寸的塊的運動矢量，并且在再采樣的運動矢量中反映實際視頻對象的真實 運動是重要的。圖7示出塊尺寸調(diào)整的例子。位于圖7左側(cè)的調(diào)整之前的塊具有各種尺 寸。這里，尺寸最小的塊F、 G、 H和I具有4x4像素，尺寸最大的塊L具有 16x16像素。相反，位于圖7右側(cè)的規(guī)則塊具有預(yù)定塊尺寸或更大(例如，8x8 像素或更多)。在圖7中，尺寸比規(guī)則塊尺寸(例如，8x8像素)小的塊被調(diào)整為一個 具有規(guī)則塊尺寸的代表塊。塊被調(diào)整是因為具有小的塊尺寸的運動矢量具有 更少的參考像素，因此，與具有大的塊尺寸的運動矢量相比，不能充分地反 映出真實運動。例如，調(diào)整之前的塊A和B被調(diào)整為代表塊0,塊D和E 被調(diào)整為代表塊Q，塊F、 G、 H和I被調(diào)整為代表塊R。對于從多個塊的運動矢量獲得被應(yīng)用于規(guī)則塊(代表塊)的一個運動矢 量，存在各種運算。例如，可以使用矢量中值運算(vector median operation )。 將在下面對運動矢量計算器330的操作的描述中更詳細地描述矢量中值運 算。然而，在這種情況下，由于代表塊O或Q包括兩個塊，不能計算其矢量 中值。因此，可從相應(yīng)代表塊中包含的塊的運動矢量中選擇具有較小尺寸的 運動矢量作為代表塊的運動矢量?？蛇x擇具有較小尺寸的運動矢量，這是因 為，如果運動矢量的尺寸小，則逼近真實運動的可能性增加?？梢圆徽{(diào)整具有8x8像素或更多像素的塊K、 J、 M、 N和L(即，可以 不改變其尺寸)。這是因為，如果在運動矢量補償器400中需要對具有8x8像 素的恒定尺寸的塊進行運動補償，則塊K、 J、 M、 N和L可以在任何時間被 改變?yōu)榫哂?x8像素的尺寸。如圖8所示，尺寸為16xl6像素的塊L被分為四個尺寸為8x8像素的塊，并且運動矢量被分配給這些分割后的塊。被分配給分割后的塊的運動矢量與塊L的原始運動矢量相同。運動矢量計算器330通過參考調(diào)整后的當(dāng)前塊的運動矢量以及相鄰塊的 運動矢量，來計算當(dāng)前塊的運動矢量。運動矢量計算是通過參考空間或時域 區(qū)域中的相鄰運動矢量來獲得逼近真實運動的運動矢量的濾波操作。運動矢量計算處理包括選擇與濾波操作相關(guān)的塊(以下，稱為估計塊 (evaluation block))、根據(jù)塊的類型為這些塊分配權(quán)重、使用反映了這些權(quán)重 的預(yù)定運算獲得運動矢量。將參照圖9描述選擇估計塊的過程。用"X"代表應(yīng)用濾波操作的塊(下 面，稱為當(dāng)前塊)。在本發(fā)明的實施例中，估計塊包括當(dāng)前塊以及與當(dāng)前塊相 鄰的塊(下面，稱為相鄰塊)。在本發(fā)明的另一實施例中，除了當(dāng)前內(nèi)插幀之 外，可考慮當(dāng)前內(nèi)插幀之前的內(nèi)插幀。在圖9的例子中，除了當(dāng)前內(nèi)插幀的 當(dāng)前塊以及當(dāng)前內(nèi)插幀中的當(dāng)前塊的相鄰塊之外，估計塊還包括位于先前內(nèi) 插幀的與當(dāng)前塊相應(yīng)的位置上的塊(下面，稱為先前塊)。當(dāng)前塊和相鄰塊的運動矢量是可能通過特定運算(例如，矢量中值運算) 而作為濾波的運動矢量的候選運動矢量。在運算中，先前塊可以僅被用于估 計，而不被選擇作為候選運動矢量。然而，應(yīng)該理解的是，根據(jù)本發(fā)明的其 它方面，先前塊也可被用作候選運動矢量。在圖9的當(dāng)前內(nèi)插幀中，提供候選運動矢量的區(qū)域被定義為核心 (kernel )。在圖9所示的實施例中，應(yīng)該理解的是，因為相鄰塊的尺寸根據(jù) 當(dāng)前塊的尺寸而變化，因此核心的尺寸也變化?，F(xiàn)在，將參照圖IO描述濾波處理中的權(quán)重分配。在濾波處理中，不將尺 寸超過規(guī)則塊尺寸的塊分割為規(guī)則塊尺寸，而是才艮據(jù)塊尺寸應(yīng)用權(quán)重。例如， 具有16xl6像素的塊可以被分為4個規(guī)則塊(具有8x8像素)。然而，在這種 情況下，分割后的塊的運動矢量彼此相等，如果將矢量中值應(yīng)用到這些塊上， 則分割后的塊的運動矢量被選擇作為濾波的運動矢量的可能性增加。因此， 如果濾波處理的目的是通過考慮相鄰塊或先前塊來搜索與真實運動最相似的 運動矢量，則該處理可能是無意義的。然而，關(guān)于這一點，由于與小塊的運動矢量相比，大塊的運動矢量相對 重要一些，因此可根據(jù)塊的尺寸將不同的權(quán)重應(yīng)用到矢量中值運算中。圖10 示出了估計塊的尺寸。參照圖10，根據(jù)估計塊的尺寸和類型設(shè)置不同的權(quán)重。如圖10中所示，幀內(nèi)編碼的塊不具有任何運動矢量，因此其權(quán)重為O。預(yù)測 編碼的塊具有根據(jù)塊尺寸而增加的權(quán)重。然而，可以由本領(lǐng)域的技術(shù)人員任 意選擇特定權(quán)重值。圖11示出根據(jù)估計塊的類型和尺寸設(shè)置的不同權(quán)重的例子。在圖11中， 參考標符P表示預(yù)測編碼的塊，參考標符I表示幀內(nèi)編碼的塊。在當(dāng)前內(nèi)插幀中，根據(jù)預(yù)測編碼的塊的數(shù)量，相鄰塊的最大數(shù)量是12。在塊尺寸為16x 16像素的例子中，在當(dāng)前內(nèi)插幀中存在7個候選運動矢量(在 這種情況下，塊I被排除)。然而，可將先前內(nèi)插幀中的兩個運動矢量(即， 位于先前內(nèi)插幀中與當(dāng)前塊相應(yīng)的位置處的兩個評估塊的兩個運動矢量)添 加到所述7個候選運動矢量中。如果如上所述對所有估計塊設(shè)置權(quán)重，則使用預(yù)定運算執(zhí)行濾波處理以 獲得運動矢量。運算的例子可包括矢量中值運算。如果存在N個估計塊以及M個候選運動矢量(其中，M小于或等于N ), 則矢量中值運算計算候選運動矢量和其余的M-l個運動矢量之差(運動矢量 變差)，并計算這些差之和，以輸出具有最小和的候選運動矢量。通常，矢量 中值運算不使用權(quán)重。相反，根據(jù)^發(fā)明的多個方面的矢量中值運算使用如 等式1所示的各種權(quán)重。這里，標符Nc是一組候選運動矢量，杯符Ne是一 組估計運動矢量。Ne可以不存在。等式l:<formula>formula see original document page 14</formula>在等式1中，7是候選運動矢量，['是包括候選運動矢量的估計運動矢量，乙是矢量中值運算的結(jié)果，即為當(dāng)前塊的濾波的運動矢量，下標x和y 分別表示x方向和y方向， 和w,是各種才又重。這里，如圖10和11中所示，^是考慮了塊的類型和尺寸而應(yīng)用的權(quán)重。其它權(quán)重h^、 mv和vv, 可^皮選4奪性;也應(yīng)用。首先，^是如果離由相應(yīng)塊參考的幀的參考距離(參考幀偏移)增加則 被設(shè)置得更小的權(quán)重。通過考慮如果參考距離大則運動與真實運動不同的可 能性越大這一因素來設(shè)置該權(quán)重。接著，HV是根據(jù)相應(yīng)塊的幀所處的時域位置而被設(shè)置的權(quán)重。如圖9所 示，如果在濾波操作中，除了考慮當(dāng)前內(nèi)插幀的塊之外，還考慮了至少一個先前內(nèi)插幀的塊，則該權(quán)重隨著當(dāng)前內(nèi)插幀的時域位置離得越遠而被設(shè)置得 越小。最后，m^是基于塊在核心中的位置而被設(shè)置的權(quán)重。m^可以隨著塊越遠 離核心的中心而變得越小。可以根據(jù)高斯分布來設(shè)置 、^和w,。即使在當(dāng)前實施例中(參考圖9)，核心尺寸根據(jù)當(dāng)前塊的尺寸而改變， 也應(yīng)該理解的是，核心尺寸可以是固定的。圖12示出了當(dāng)應(yīng)用固定核心尺寸時的例子。參考圖12,核心尺寸被固定為4x4像素，而不管當(dāng)前塊的尺寸如何。只有依賴于塊的類型和尺寸的m^與圖10中的相同。在本實施例中，不同的運動矢量可以被分配給由解碼器200提供的一個塊(例如，16x16、 8x16、 16x8以及8x8像素)。在圖12中，用標號11至14表示用于每個塊的運動濾波區(qū)域。運動矢量驗證器340驗證在運動矢量計算器330中濾波的運動矢量是有 效的還是無效的。濾波的運動矢量的可靠性主要依賴于矢量中值的大小。圖 13是示出根據(jù)本發(fā)明實施例的驗證技術(shù)的曲線圖。在本實施例中使用的驗證 函數(shù)是線性函數(shù)。運動矢量驗證器340確定如果特定中值集(median set)的 大小的中值和(median sum)小于驗證函數(shù)，則運動矢量有效。中值和是例 如通過等式l獲得的矢量中值運算的和(即，矢量中值運算的結(jié)果)。中值集 大小是由例如等式1表達的運動矢量中值運算過程中使用的運動矢量的數(shù)量 (或塊的數(shù)量)。在等式1中，如果Nc的大小等于Ne的大小，則Nc或Ne 的大小為中值集大小。圖13示出驗證矢量中值運算的例子。在圖13中，雖然驗證函數(shù)是線性 函數(shù)，但是也可以選擇不同的函數(shù)。水平軸代表當(dāng)前或先前運動場中的預(yù)測 編碼的運動矢量的數(shù)量(即，用于矢量中值運算的中值集大小)。垂直軸代表 矢量中值和。只有特定中值集大小的中值和不超過驗證函數(shù)時，矢量中值和 才是可用的。運動矢量濾波器350確定具有無效運動矢量(被運動矢量驗證器340確 定為無效運動矢量)的塊的運動矢量，并在塊中用有效的運動矢量替換無效 運動矢量。只對有效運動矢量執(zhí)行預(yù)定大小(例如，3x3核心)的矢量中值 運算的方法可以被用來確定具有無效運動矢量的塊的運動矢量?？赏ㄟ^軟件(例如，任務(wù)、類、子程序、進程、對象、執(zhí)行線程以及在 存儲器的預(yù)定區(qū)域中執(zhí)行的程序)以及硬件組件(例如，現(xiàn)場可編程門陣列(FPGA)或?qū)Ｓ眉呻奮各(ASIC))來實現(xiàn)圖2、 5和6的組件。此外，可 以通過軟件和硬件的組合來形成這些組件。這些組件可以被存儲在計算機可 讀存儲介質(zhì)中或者分布在多個計算機中。計算機可讀記錄介質(zhì)的例子包括只 讀存儲器(ROM)、隨機存取存儲器(RAM)、 CD-ROM、磁帶、軟盤以及光 學(xué)數(shù)據(jù)存儲裝置。本發(fā)明的多個方面還可被實現(xiàn)為嵌入載波中并包含可由計 算機讀取而且可在因特網(wǎng)上傳輸?shù)某绦虻臄?shù)據(jù)信號。每個組件可代表包括一個或多個用于實施特定邏輯功能的可執(zhí)行指令的 模塊、代碼段或部分代碼，。還應(yīng)該注意的是，在一些可替換實施例中，塊中 標注的函數(shù)可以不按順序發(fā)生。例如，根據(jù)涉及的功能性，連續(xù)示出的兩個 塊實際上可以基本同時執(zhí)行或者有時可按照相反的順序執(zhí)行。根據(jù)本發(fā)明的多個方面，幀頻可以被有效而快速地上變換。此外，本發(fā) 明的多個方面可以被適當(dāng)?shù)貞?yīng)用于具有如低運算容量、有限的存儲資源以及 低能耗這樣的條件的設(shè)備。盡管已經(jīng)示出和描述了本發(fā)明的一些實施例，但是本領(lǐng)域的技術(shù)人員應(yīng) 該理解，在不脫離本發(fā)明的原理和精神的情況下，可以對這些實施例作出改 變，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
1、一種通過利用來自視頻流的運動信息生成內(nèi)插幀來將視頻流的解碼幀的幀頻上變換的設(shè)備，所述設(shè)備包括運動矢量再采樣單元，通過使用運動信息對解碼幀的當(dāng)前塊的運動矢量進行濾波而用于內(nèi)插幀的運動矢量進行再采樣；運動補償單元，用再采樣的運動矢量補償解碼幀的運動，以生成內(nèi)插幀；開關(guān)，根據(jù)解碼幀和內(nèi)插幀的連續(xù)順序選擇性地輸出解碼幀和內(nèi)插幀中的一個。
2、 如權(quán)利要求l所述的設(shè)備，其中，運動矢量再采樣單元包括運動矢量計算單元，通過使用解碼幀中的當(dāng)前塊的運動矢量以及當(dāng)前塊 的相鄰塊的運動矢量來對當(dāng)前塊的運動矢量進行濾波。
3、 如權(quán)利要求2所述的設(shè)備，其中，運動矢量再采樣單元還包括 運動矢量-驗^t單元，用于驗證濾波的運動矢量的有效性。
4、 如權(quán)利要求2所述的設(shè)備，其中，運動矢量再采樣單元還包括 運動矢量歸一化單元，用于利用參考幀偏移將當(dāng)前塊以及相鄰塊的運動矢量歸一化。
5、 如權(quán)利要求4所述的設(shè)備，其中，運動矢量再采樣單元還包括 塊尺寸調(diào)整單元，用于將當(dāng)前塊和相鄰塊調(diào)整為至少具有預(yù)定塊尺寸。
6、 如權(quán)利要求5所述的設(shè)備，其中，所述塊尺寸調(diào)整單元將尺寸小于所 述預(yù)定塊尺寸的塊組合，以創(chuàng)建尺寸大于或等于所述預(yù)定尺寸的代表塊。
7、 如權(quán)利要求3所述的設(shè)備，其中，所述運動矢量再采樣單元還包括 運動矢量濾波器，用于用被運動矢量驗證單元確定為有效的運動矢量來替換被運動矢量驗證單元確定為無效的濾波的運動矢量。
8、 如權(quán)利要求2所述的設(shè)備，其中，運動矢量計算單元通過使用當(dāng)前塊 的運動矢量和相鄰塊的運動矢量作為輸入執(zhí)行矢量中值運算來對當(dāng)前塊的運 動矢量進4于濾波。
9、 如權(quán)利要求8所述的設(shè)備，其中，運動矢量計算單元根據(jù)當(dāng)前塊的尺寸和相鄰塊的各個尺寸將權(quán)重應(yīng)用于 當(dāng)前塊和相鄰塊；矢量中值運算使用所應(yīng)用的權(quán)重。
10、 如權(quán)利要求9所述的設(shè)備，其中，在矢量中值運算過程中，運動矢 量計算單元根據(jù)當(dāng)前塊和相鄰塊在核心中的位置來應(yīng)用權(quán)重。
11、 如權(quán)利要求10所述的設(shè)備，其中，在矢量中值運算中，運動矢量計 算單元根據(jù)當(dāng)前塊的參考幀偏移以及相鄰塊的參考幀偏移來施加權(quán)重。
12、 如權(quán)利要求8所述的設(shè)備，其中，運動矢量再采樣單元還包括運動 矢量驗證單元，用于驗證濾波的運動矢量的有效性，如果特定中值集大小的 中值和小于預(yù)定驗證函數(shù)，則運動矢量驗證單元確定當(dāng)前塊的濾波的運動矢 量有效，其中，所述中值和對應(yīng)于矢量中值運算的結(jié)果，所述特定中值集的 大小對應(yīng)于矢量中值運算過程中使用的運動矢量的數(shù)量。
13、 如權(quán)利要求2所述的設(shè)備，其中，運動矢量計算單元使用當(dāng)前塊的 運動矢量、相鄰塊的運動矢量、先前內(nèi)插幀的與解碼幀中當(dāng)前塊的位置對應(yīng) 的位置上的一個或多個塊來對當(dāng)前塊的運動矢量濾波。
14、 如權(quán)利要求9所述的設(shè)備，其中，矢量中值運算包括等式、=argminj (f)wv(y)(|《+ -其中，M是可能與濾波的運動矢量相應(yīng)的候選運動塊的數(shù)量，N是由運 動矢量計算單元對運動矢量進行濾波所使用的估計塊的數(shù)量，7是候選運動 塊的候選運動矢量， 一是與估計塊相應(yīng)的估計運動矢量，^是矢量中值運算 的結(jié)果，即，當(dāng)前塊的濾波的運動矢量，下標x和y分別表示x方向和y方 向，ws 、 ws 、 wr和ws是各種權(quán)重o
15、 如權(quán)利要求9所述的設(shè)備，其中，運動矢量計算單元對第一塊應(yīng)用 第 一權(quán)重，對尺寸小于第 一塊的第二塊應(yīng)用小于第 一權(quán)重的第二權(quán)重。
16、 一種通過使用來自視頻流的運動信息生成內(nèi)插幀來將視頻流的解碼 幀的幀頻上變換的方法，所述方法包括通過使用運動信息對解碼幀的當(dāng)前塊的運動矢量進行濾波，來對用于內(nèi) 插幀的運動矢量進行再采樣；通過再采樣的運動矢量來補償解碼幀的運動，以生成內(nèi)插幀； 根據(jù)解碼幀和內(nèi)插幀的連續(xù)順序選擇性地輸出解碼幀和內(nèi)插幀中的一個。
17、 如權(quán)利要求16所述的方法，其中，運動矢量的再采樣包括使用解 碼幀中的當(dāng)前塊的運動矢量以及當(dāng)前塊的相鄰塊的運動矢量對當(dāng)前塊的運動矢量進行濾波。
18、 如權(quán)利要求17所述的方法，其中，運動矢量的再采樣還包括驗證濾波的運動矢量的有步文性。
19、 如權(quán)利要求17所述的方法，其中，運動矢量的再采樣還包括 用參考幀偏移將運動信息中包含的當(dāng)前塊以及相鄰塊的運動矢量歸一化。
20、 如權(quán)利要求19所述的方法，其中，運動矢量的再采樣還包括 將當(dāng)前塊和相鄰塊調(diào)整為至少具有預(yù)定塊尺寸。
21、 如權(quán)利要求20所述的方法，其中，當(dāng)前塊和相鄰塊的調(diào)整包括 將尺寸小于所述預(yù)定塊尺寸的塊組合，以創(chuàng)建尺寸大于或等于所述預(yù)定塊尺寸的代表塊。
22、 如權(quán)利要求18所述的方法，其中，運動矢量的再釆樣還包括 用被驗證為有效的運動矢量替換被驗證為無效的濾波的運動矢量。
23、 如權(quán)利要求17所述的方法，其中，運動矢量的濾波包括通過用當(dāng)前塊的運動矢量和相鄰塊的運動矢量作為輸入執(zhí)行矢量中值運 算來對當(dāng)前塊的運動矢量進行濾波。
24、 如權(quán)利要求23所述的方法，其中，通過執(zhí)行矢量中值運算來對當(dāng)前 塊的運動矢量進行濾波的步驟包括才艮據(jù)當(dāng)前塊的尺寸和相鄰塊的各個尺寸對當(dāng)前塊和相鄰塊應(yīng)用權(quán)重，應(yīng) 用的權(quán)重在矢量中值運算中使用。
25、 如權(quán)利要求24所述的方法，其中，應(yīng)用權(quán)重的步驟包括在矢量中值運算過程中根據(jù)當(dāng)前塊和相鄰塊在核心中的位置來應(yīng)用權(quán)重。
26、 如權(quán)利要求25所述的方法，其中，應(yīng)用權(quán)重的步驟包括 在矢量中值運算中根據(jù)當(dāng)前塊的參考幀偏移和相鄰塊的參考幀偏移來應(yīng)用權(quán)重。
27、 如權(quán)利要求23所述的方法，其中，運動矢量的再采樣還包括 驗證濾波的運動矢量的有效性，如果特定中值集大小的中值和小于預(yù)定驗證函數(shù)，則確定當(dāng)前塊的濾波的運動矢量有效，其中，所述中值和對應(yīng)于 矢量中值運算的結(jié)果，所述特定中值集大小對應(yīng)于矢量中值運算過程中使用 的運動矢量的數(shù)量。
28、 如權(quán)利要求17所述的方法，其中，對當(dāng)前塊的運動矢量進行濾波的 步驟包括使用當(dāng)前塊的運動矢量、相鄰塊的運動矢量、先前內(nèi)插幀的與解碼幀中 當(dāng)前塊的位置對應(yīng)的位置上的一個或多個塊來對當(dāng)前塊的運動矢量濾波。
29、 如權(quán)利要求24所述的方法，其中，矢量中值運算包括等式<formula>formula see original document page 5</formula>其中，M是可能與濾波的運動矢量相應(yīng)的候選運動塊的數(shù)量，N是對運 動矢量進行濾波所使用的估計塊的數(shù)量，；是候選運動塊的候選運動矢量，P 是與估計塊相應(yīng)的估計運動矢量，^是矢量中值運算的結(jié)果，即，當(dāng)前塊的 濾波的運動矢量，下才示x和y分別表示x方向禾口y方向，wB 、 Ww 、 mv和m^是 各種纟又重。
30、 如權(quán)利要求24所述的方法，其中，應(yīng)用權(quán)重的步驟包括對第 一塊應(yīng)用第 一權(quán)重，對尺寸小于第 一塊的第二塊應(yīng)用小于第 一權(quán)重 的第二權(quán)重。
31、 一種計算機可讀記錄介質(zhì)，包含有如權(quán)利要求16所述的方法并且可 由計算機實施。
32、 一種通過使用來自視頻流的運動信息生成內(nèi)插幀來將視頻流的幀頻 上變換的設(shè)備，所述設(shè)備包括解碼器，用于將視頻流的幀以及來自視頻流的運動信息解碼； 運動矢量再采樣單元，通過使用運動信息對解碼幀的當(dāng)前塊的運動矢量進行濾波來對用于內(nèi)插幀的運動矢量進行再采樣；運動補償單元，通過再采樣的運動矢量來補償解碼幀的運動，以生成內(nèi)插幀；開關(guān)，根據(jù)解碼幀和內(nèi)插幀的連續(xù)順序選擇性地輸出解碼幀和內(nèi)插幀中 的一個。
33、 如權(quán)利要求32所述的設(shè)備，其中，運動矢量再采樣單元包括 運動矢量計算單元，通過使用解碼幀中當(dāng)前塊的運動矢量以及當(dāng)前塊的相鄰塊的運動矢量來對當(dāng)前塊的運動矢量進行濾波。
34、 如權(quán)利要求32所述的設(shè)備，其中，運動矢量計算單元通過使用當(dāng)前 塊的運動矢量和相鄰塊的運動矢量作為輸入執(zhí)行矢量中值運算來對當(dāng)前塊的運動矢量進行濾波。
35、 如權(quán)利要求34所述的設(shè)備，其中，運動矢量計算單元根據(jù)當(dāng)前塊的尺寸以及相鄰塊的各個尺寸對當(dāng)前塊和相鄰塊應(yīng)用權(quán)重，矢量中值運算使用 應(yīng)用的權(quán)重。
36、 如權(quán)利要求32所述的設(shè)備，其中，解碼器包括熵解碼器，對視頻流執(zhí)行無損解碼，以提取運動信息和編碼的殘差信息；去量化器，通過使用與量化過程中使用的表相同的量化表從索引恢復(fù)與 殘差信息匹配的值來對殘差信息進行去量化；逆變換器，通過逆向地執(zhí)行視頻流的編碼處理中的變換處理來對去量化 的殘差信息進行變換并恢復(fù)殘差信息；運動補償器，使用提取的運動信息來生成預(yù)測信號。
全文摘要
提供了一種利用由視頻解碼器解碼的幀以及運動信息來將幀頻上變換的設(shè)備和方法。所述設(shè)備包括運動矢量再采樣單元，通過使用解碼幀中的當(dāng)前塊的運動矢量和相鄰塊的運動矢量對當(dāng)前塊的運動矢量進行濾波而對用于內(nèi)插幀的運動矢量進行再采樣；運動補償單元，用再采樣的運動矢量補償解碼幀的運動，以生成內(nèi)插幀；開關(guān)，根據(jù)幀的連續(xù)順序選擇性地輸出解碼幀和內(nèi)插幀中的一個。
文檔編號H04N7/30GK101237579SQ20081000941
公開日2008年8月6日 申請日期2008年2月1日 優(yōu)先權(quán)日2007年2月2日
發(fā)明者樸斗植, 白亞倫 申請人:三星電子株式會社