專利名稱：一種基于視頻運動特征的圖像自適應(yīng)幀場編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種自適應(yīng)幀場編碼方法，尤其涉及一種基于視頻運動特征的圖像自
適應(yīng)幀場編碼方法。
背景技術(shù)：
隔行掃描技術(shù)自電視技術(shù)誕生以來得到了廣泛的應(yīng)用，該技術(shù)將一幀圖像分解為 兩場，其中頂場只包含圖像的奇數(shù)行，底場只包含圖像的偶數(shù)行，它依賴人眼的視覺暫留特 征以及顯示器的一些特征，使兩個場的掃描線看起來交織在一起，成為一幅完整的圖像。迄 今為止，很多珍貴的視頻資料都是隔行掃描格式的，所以在相當(dāng)長的時間內(nèi)，隔行掃描格式 仍然會作為主要視頻格式之一而活躍在歷史舞臺上。 圖像級自適應(yīng)幀場(PAFF， picture adaptive frame field)編碼技術(shù)在處理隔
行(interlace)序列時可將兩場合成一幀，按照幀編碼方式進(jìn)行；也可以將其作為兩場，
分別按照場編碼方式進(jìn)行。目前，圖像自適應(yīng)幀場編碼技術(shù)的實現(xiàn)方法通常為對于每一幀
圖像或一幀中的兩場，分別進(jìn)行幀編碼和場編碼，從中選擇代價較小的作為這幀圖像的編
碼模式。顯而易見，PAFF技術(shù)的采用雖然會使得編碼性能有所提高，但由于分別進(jìn)行了場
編碼和幀編碼，所以會導(dǎo)致編碼時間或復(fù)雜度上升兩倍或更多。 因此，需要一種快速的圖像自適應(yīng)幀場編碼方法，以便降低時間損耗。

發(fā)明內(nèi)容
本發(fā)明提供了一種能解決以上問題的基于視頻運動特征的圖像自適應(yīng)幀場編碼 方法。 在第一方面，本發(fā)明提供了一種圖像自適應(yīng)幀場編碼方法，其特征在于包括如下 步驟 a.判斷當(dāng)前幀是否是視頻的第一幀或者處于場景切換處； b.在步驟a的判斷結(jié)果為否定的情況下，計算當(dāng)前幀的運動特征值； c將所述運動特征值與閾值進(jìn)行比較，判斷是否能夠直接為當(dāng)前幀選擇編碼模
式； d.在步驟c的判斷結(jié)果為肯定的情況下，基于該判斷結(jié)果對當(dāng)前幀進(jìn)行幀編碼或 者場編碼。 在本發(fā)明的第一方面中，優(yōu)選地，還包括步驟e.在步驟a或者步驟c的判斷結(jié)果 為否定的情況下，對當(dāng)前幀分別進(jìn)行幀編碼和場編碼，從中選擇編碼失真代價較小的一個 作為當(dāng)前幀的編碼模式。 在本發(fā)明的第一方面中，優(yōu)選地，所述閾值包括第一閾值，當(dāng)所述運動特征值小于 或等于第一閾值時，步驟d包括對當(dāng)前幀進(jìn)行幀編碼；所述閾值包括第二閾值，當(dāng)所述運動 特征值大于或等于第二閾值時，步驟d包括對當(dāng)前幀進(jìn)行場編碼。 在本發(fā)明的第一方面中，優(yōu)選地，在步驟a的判斷結(jié)果為肯定的情況下，令第一閾值為0，第二閾值為+①。 在本發(fā)明的第一方面中，優(yōu)選地，在步驟e選擇幀編碼作為當(dāng)前幀的編碼模式的 情況下，如果所述運動特征值大于或等于第一閾值，則將所述運動特征值的值賦給第一閾 值；在步驟e選擇幀編碼作為當(dāng)前幀的編碼模式的情況下，如果所述運動特征值小于或等 于第二閾值，則將所述運動特征值的值賦給第二閾值。 在本發(fā)明的第一方面中，優(yōu)選地，所述運動特征值是當(dāng)前幀圖像與前一幀圖像的 像素點間亮度值的均方差值，或者是將當(dāng)前幀與前一幀作塊匹配計算而求出的運動矢量估 計值。 在本發(fā)明的第一方面中，優(yōu)選地，基于灰度值檢測、基于運動搜索檢測和基于邊緣 輪廓檢測之一來判斷當(dāng)前幀是否處于場景切換。 在本發(fā)明的第一方面中，優(yōu)選地，基于灰度值檢測的場景切換判斷包括DY(F， Fp)/mean(Y) +Du(F， Fp)/mean(U) +DV(F， Fp)/mean(V) > tlDY (F， Fp) +Du (F， Fp) +DV (F， Fp) > t2 當(dāng)上面兩式同時滿足時，判定當(dāng)前幀有場景切換發(fā)生， 其中，mean (Y)、mean (U)和mean(V)分別是當(dāng)前N幀內(nèi)，當(dāng)前幀之前所有幀的各分 量均值的平均值； DY(F， Fp) 、 Du(F， Fp)和DV(F， Fp)分別是當(dāng)前幀和參考幀的3個分量Y、 U、 V的均 值的絕對差值，Y為亮度分量，U、 V為色度分量； tl和t2為判決門限，分別描述當(dāng)前幀和參考幀之間亮度和色度均值的相對差異 和絕對差異。
在第二方面，本發(fā)明提供了一種圖像自適應(yīng)幀場編碼裝置，其特征在于包括
用于執(zhí)行步驟a的模塊.步驟a是判斷當(dāng)前幀是否是視頻的第一幀或者處于場景 切換處； 用于執(zhí)行步驟b的?！姥耄襟Eb是在步驟a的判斷結(jié)果為否定的情況下，計算當(dāng)前 幀的運動特征值； 用于執(zhí)行步驟c的?！姥耄襟Ec是將所述運動特征值與閾值比較，判斷是否能夠直 接為當(dāng)前幀選擇編碼模式； 用于執(zhí)行步驟d的模塊，步驟d是在步驟c的判斷結(jié)果為肯定的情況下，基于該判
斷結(jié)果對當(dāng)前幀進(jìn)行幀編碼或者場編碼。 在本發(fā)明的第二方面中，優(yōu)選地，還包括 用于執(zhí)行步驟e的模塊，步驟e是在步驟a的判斷結(jié)果為肯定或者步驟c的判斷 結(jié)果為否定的情況下，對當(dāng)前幀分別進(jìn)行幀編碼和場編碼，從中選擇代價較小的一個作為 當(dāng)前幀的編碼模式。 在第三方面，本發(fā)明提供了一種圖像自適應(yīng)幀場編碼方法，其特征在于包括如下 步驟 判斷當(dāng)前幀是否是視頻的第一幀或者處于場景切換處； 如果是，則對當(dāng)前幀分別進(jìn)行幀編碼和場編碼，從中選擇代價較小的一個作為當(dāng) 前幀的編碼模式； 如果否，則計算當(dāng)前幀的運動特征值并將所述運動特征值與第一閾值和第二閾值
5進(jìn)行比較，其中第一閾值小于或等于第二閾值，當(dāng)所述運動特征值小于或等于第一閾值時， 對當(dāng)前幀進(jìn)行幀編碼；當(dāng)所述運動特征值大于或等于第二閾值時，對當(dāng)前幀進(jìn)行場編碼； 當(dāng)所述運動特征值小于或等于第二閾值且大于或等于第一閾值時，對當(dāng)前幀分別進(jìn)行幀編 碼和場編碼，從中選擇代價較小的一個作為當(dāng)前幀的編碼模式。 本發(fā)明結(jié)合了視頻場景檢測和運動特征值技術(shù)，通過對于當(dāng)前圖像的編碼模式進(jìn) 行預(yù)先的判定選擇，在保證現(xiàn)有圖像自適應(yīng)幀場編碼技術(shù)所獲得的編碼效率的同時，加速 了編碼的過程。


下面將參照附圖對本發(fā)明的具體實施方案進(jìn)行更詳細(xì)的說明，在附圖中
圖1是基于視頻內(nèi)容特征的快速圖像自適應(yīng)幀場編碼的流程圖。
具體實施例方式
通過在實際應(yīng)用中對幀編碼和場編碼的編碼特性的試驗分析而得出，幀編碼模式 適合用在運動量較小，鄰行之間空間相關(guān)性大的視頻區(qū)域；而場編碼模式適合用在運動量 大，鄰行之間時間相關(guān)性大的視頻區(qū)域。由此可見，在移動性較小的視頻中，幀編碼模式比 場編碼模式更有效率；反之，在移動性較小的視頻中，場編碼模式比幀編碼模式更有效率。 本發(fā)明提出一種基于視頻內(nèi)容特征的快速圖像自適應(yīng)幀場編碼方法，該方法采用視頻場景 檢測的方法判斷當(dāng)前幀圖像處是否發(fā)生了場景切換，即當(dāng)前圖像是否處于一個新的場景 中，從而得知當(dāng)前幀圖像與先前幀圖像的相關(guān)性。如果當(dāng)前圖像處于新的場景中，由于與 先前幀圖像的相關(guān)性很低，無法通過與先前幀圖像相比較而得到當(dāng)前幀圖像的運動特性。 在這種情況下，為保證所選擇編碼模式的正確性，采用傳統(tǒng)的圖像自適應(yīng)幀場編碼方法對 其進(jìn)行編碼，即分別進(jìn)行幀編碼和場編碼，并選擇其中代價較小的一個作為這幀圖像的編 碼模式。如果當(dāng)前幀圖像與先前幀圖像處于同一場景中，則通過對于視頻圖像運動特征的 分析來判斷當(dāng)前幀圖像運動變化的劇烈程度，相應(yīng)地選擇幀或場模式對當(dāng)前幀圖像進(jìn)行編 碼。 圖1是基于視頻內(nèi)容特征的快速圖像自適應(yīng)幀場編碼的一個具體實施方式
的流 程圖。 如圖1所示，在步驟101，首先判斷輸入的視頻數(shù)據(jù)是否為視頻的第一幀圖像，或 者是否處于場景切換處，即當(dāng)前視頻幀是否是新場景中的第一幀。目前，視頻場景切換主要 有如下幾種類型突變場景切換、消融和淡入淡出等。 可以采用各種現(xiàn)有的視頻場景檢測方法來判斷當(dāng)前幀圖像是否處于場景切換處。 已有的場景切換檢測算法大致可以分為三類，分別是基于灰度值檢測、基于運動搜索檢測 和基于邊緣輪廓檢測。后兩類檢測算法具有相對較好的性能，但是其算法的高復(fù)雜度極大 地限制了它們的應(yīng)用，尤其是在對實時性的要求比較高的應(yīng)用中。優(yōu)選地，考慮到運算復(fù)雜 度的要求，選擇第一類邊緣檢測算法，即基于灰度值檢測的算法。在具體應(yīng)用中，根據(jù)對于 實時性編碼質(zhì)量等不同的要求可以選擇不同的場景切換檢測算法。 在采用第一類基于灰度值檢測的場景檢測的情況下，通過對視頻序列的統(tǒng)計分析 發(fā)現(xiàn)當(dāng)有場景切換時，當(dāng)前幀與其參考幀在灰度和色彩信息上有很大的區(qū)別；而沒有場
6景切換的時候，整個序列的灰度和色彩基本處于平穩(wěn)或者緩變的狀態(tài)。具體來說，在場景切 換處，3個分量(Y為亮度分量，U、 V為色度分量)均值中的全部或部分將會出現(xiàn)突變。在 具體實現(xiàn)中，可以采用當(dāng)前幀和參考幀的3個分量均值的絕對差值作為判斷當(dāng)前幀圖像是 否有場景切換的差異函數(shù)Dx(F，F(xiàn)p) = lmean(F，x)-mean(Fp，x) l，其中，mean()為均值函 數(shù)，F(xiàn)和Fp表示當(dāng)前圖像和參考幀圖像，x代表三個分量Y、 U、 V。根據(jù)該差異函數(shù)，來判斷 是否有場景切換 DY(F， Fp)/mean(Y) +Du(F， Fp)/mean(U) +DV(F， Fp)/mean(V) > tl
DY (F， Fp) +Du (F， Fp) +DV (F， Fp) > t2 當(dāng)上兩式同時滿足時，可以判定當(dāng)前幀有場景切換發(fā)生。上式中mean(Y)、 mean(U)和mean(V)分別為當(dāng)前N幀內(nèi)，當(dāng)前幀之前的其他所有幀各分量均值的平均值；tl 和t2為判決門限，分別描述當(dāng)前幀和參考幀之間亮度和色度均值的相對差異和絕對差異， 并且在灰度值檢測方法所給出的一個經(jīng)驗值范圍內(nèi)選取。上述算法只需要計算各幀圖像中 三個分量的均值，其算法復(fù)雜度低，很適合在實時要求高的應(yīng)用中。經(jīng)仿真實驗證明誤檢率 幾乎為O。 在步驟101，如果當(dāng)前幀圖像是視頻的第一幀圖像或者處于場景切換處，則流程進(jìn) 行到步驟104。在步驟104，使用傳統(tǒng)的圖像自適應(yīng)幀場編碼方法對其進(jìn)行編碼，即分別進(jìn) 行幀編碼和場編碼，從中并選擇其中代價較小的一個作為這一幀圖像的編碼模式，然后初 始化兩個閾值，1\ = 0， T2 = +①。稍后將描述，這兩個閾值是用于量化并判斷當(dāng)前幀的運 動劇烈程度。 應(yīng)當(dāng)指出，1\、1~2也可以依據(jù)實驗數(shù)據(jù)或經(jīng)驗而分別被初始化為一個極小和極大的 值，不一定必須是0和+①。 如果當(dāng)前幀圖像不是視頻的第一幀或者不處于場景切換處，則流程進(jìn)行到步驟 102。在步驟102，對當(dāng)前幀進(jìn)行運動劇烈程度的分析，判斷是否能夠直接選擇幀或場編碼模 式對其進(jìn)行編碼。 步驟102中的分析可以通過計算當(dāng)前幀圖像的運動特征值T來實現(xiàn)。具體地，可 以根據(jù)不同需求而選擇計算復(fù)雜度不同的算法，譬如使用當(dāng)前幀圖像與前一幀圖像的像素 點間亮度值的均方差值，或者將當(dāng)前幀與前一幀作塊匹配計算，求出運動矢量估計值等。所 計算的當(dāng)前圖像的運動特征值T應(yīng)當(dāng)保證具有以下兩個特性處于(0，+①)的范圍內(nèi)；隨
著圖像運動劇烈程度的增加而單調(diào)遞增。 將當(dāng)前圖像的運動特征量化為值T之后，就可以對當(dāng)前圖像的運動劇烈程度進(jìn)行 判斷。具體地說，如果T > T2或T《1\，則代表能夠直接選擇編碼模式，否則代表不能直接 選擇編碼模式。具體地，如果T > T2，則選擇場編碼模式對當(dāng)前幀進(jìn)行編碼；如果T《1\，則 選擇幀編碼模式對當(dāng)前幀進(jìn)行編碼。 如果能夠直接選擇編碼模式，則流程進(jìn)行到步驟103，直接對當(dāng)前幀圖像進(jìn)行幀編 碼或者場編碼。否則，流程進(jìn)行到步驟104，仍采用傳統(tǒng)的圖像自適應(yīng)幀場編碼方法對其進(jìn) 行編碼，即對當(dāng)前幀分別進(jìn)行幀編碼和場編碼，從中選擇代價較小的作為這幀圖像的編碼 模式，并記錄下相關(guān)信息。優(yōu)選地，所述相關(guān)信息在這里是閾值T1和T2。在步驟104，如果 幀模式為編碼代價小的模式，且T > 1\，則令1\ = T ;如果場模式為編碼代價小的模式，且 T《T2，則令T2 = T。通過在步驟104中對Tl和T2進(jìn)行重新賦值使得Tl從0開始逐次增大，使T2從+①開始逐次減小，這樣可以使得越來越多的幀圖像可以通過步驟102進(jìn)行步 驟103，從而加速了這些幀圖像的編碼的過程。 應(yīng)當(dāng)指出，在另一個具體的實施例中，在1\、 T2可以依據(jù)實驗數(shù)據(jù)或經(jīng)驗而分別被 初始化為一個較小和較大的固定值，并且同樣采用上述流程，但是在步驟104中并不對1\、 T2重新賦值，同樣可以實現(xiàn)本發(fā)明的自適應(yīng)幀場編碼。 在步驟103或104，對當(dāng)前幀圖像進(jìn)行編碼之后，判斷當(dāng)前幀是否是視頻中的最后 一幀圖像。如果是，則編碼結(jié)束，否則流程回到步驟ioi，取下一幀圖像開始進(jìn)行判斷。
顯而易見，在不偏離本發(fā)明的真實精神和范圍的前提下，在此描述的本發(fā)明可以 有許多變化。因此，所有對于本領(lǐng)域技術(shù)人員來說顯而易見的改變，都應(yīng)包括在本權(quán)利要求 書所涵蓋的范圍之內(nèi)。本發(fā)明所要求保護(hù)的范圍僅由所述的權(quán)利要求書進(jìn)行限定。
權(quán)利要求
一種圖像自適應(yīng)幀場編碼方法，其特征在于包括如下步驟a.判斷當(dāng)前幀是否是視頻的第一幀或者處于場景切換處；b.在步驟a的判斷結(jié)果為否定的情況下，計算當(dāng)前幀的運動特征值；c將所述運動特征值與閾值進(jìn)行比較，判斷是否能夠直接為當(dāng)前幀選擇編碼模式；d.在步驟c的判斷結(jié)果為肯定的情況下，基于該判斷結(jié)果對當(dāng)前幀進(jìn)行幀編碼或者場編碼。
2. 根據(jù)權(quán)利要求1的方法，其特征在于還包括步驟e. 在步驟a的判斷結(jié)果為肯定或者步驟c的判斷結(jié)果為否定的情況下，對當(dāng)前幀分別 進(jìn)行幀編碼和場編碼，從中選擇代價較小的一個作為當(dāng)前幀的編碼模式。
3. 根據(jù)權(quán)利要求1的方法，其特征在于所述閾值包括第一閾值，當(dāng)所述運動特征值小于或等于第一閾值時，步驟d包括對當(dāng) 前幀進(jìn)行幀編碼；所述閾值包括第二閾值，當(dāng)所述運動特征值大于或等于第二閾值時，步驟d包括對當(dāng) 前幀進(jìn)行場編碼。
4. 根據(jù)權(quán)利要求3的方法，其特征在于在步驟a的判斷結(jié)果為肯定的情況下，令第一閾值為O，第二閾值為+①。
5. 根據(jù)權(quán)利要求2或3的方法，其特征在于在步驟e選擇幀編碼作為當(dāng)前幀的編碼模式的情況下，如果所述運動特征值大于或等 于第一閾值，則將所述運動特征值的值賦給第一閾值；在步驟e選擇幀編碼作為當(dāng)前幀的編碼模式的情況下，如果所述運動特征值小于或等 于第二閾值，則將所述運動特征值的值賦給第二閾值。
6. 根據(jù)權(quán)利要求1的方法，其特征在于所述運動特征值是當(dāng)前幀圖像與前一幀圖像的像素點間亮度值的均方差值，或者是將 當(dāng)前幀與前一幀作塊匹配計算而求出的運動矢量估計值。
7. 根據(jù)權(quán)利要求1的方法，其特征在于基于灰度值檢測、基于運動搜索檢測和基于邊緣輪廓檢測之一來判斷當(dāng)前幀是否處于 場景切換。
8. 根據(jù)權(quán)利要求7的方法，其特征在于基于灰度值檢測的場景切換判斷包括<formula>formula see original document page 2</formula>當(dāng)上面兩式同時滿足時，判定當(dāng)前幀有場景切換發(fā)生，其中，mean (Y)、mean (U)和mean(V)分別是當(dāng)前N幀內(nèi)，當(dāng)前幀之前所有幀的各分量均 值的平均值；DY(F， Fp) 、 Du(F， Fp)和DV(F， Fp)分別是當(dāng)前幀和參考幀的3個分量Y、 U、 V的均值的 絕對差值，Y為亮度分量，U、 V為色度分量；tl和t2為判決門限，分別描述當(dāng)前幀和參考幀之間亮度和色度均值的相對差異和絕 對差異。
9. 一種圖像自適應(yīng)幀場編碼裝置，其特征在于包括用于執(zhí)行步驟a的模塊.步驟a是判斷當(dāng)前幀是否是視頻的第一幀或者處于場景切換處；用于執(zhí)行步驟b的模塊，步驟b是在步驟a的判斷結(jié)果為否定的情況下，計算當(dāng)前幀的 運動特征值；用于執(zhí)行步驟c的模塊，步驟c是將所述運動特征值與閾值比較，判斷是否能夠直接為 當(dāng)前幀選擇編碼模式；用于執(zhí)行步驟d的模塊，步驟d是在步驟c的判斷結(jié)果為肯定的情況下，基于該判斷結(jié) 果對當(dāng)前幀進(jìn)行幀編碼或者場編碼。
10. 根據(jù)權(quán)利要求9的裝置，其特征在于還包括用于執(zhí)行步驟e的模塊，步驟e是在步驟a的判斷結(jié)果為肯定或者步驟c的判斷結(jié)果 為否定的情況下，對當(dāng)前幀分別進(jìn)行幀編碼和場編碼，從中選擇代價較小的一個作為當(dāng)前 幀的編碼模式。
11. 一種圖像自適應(yīng)幀場編碼方法，其特征在于包括如下步驟 判斷當(dāng)前幀是否是視頻的第一幀或者處于場景切換處；如果是，則對當(dāng)前幀分別進(jìn)行幀編碼和場編碼，從中選擇代價較小的一個作為當(dāng)前幀 的編碼模式；如果否，則計算當(dāng)前幀的運動特征值并將所述運動特征值與第一閾值和第二閾值進(jìn)行 比較，其中第一閾值小于或等于第二閾值，當(dāng)所述運動特征值小于第一閾值時，對當(dāng)前幀進(jìn) 行幀編碼；當(dāng)所述運動特征值大于第二閾值時，對當(dāng)前幀進(jìn)行場編碼；當(dāng)所述運動特征值 小于第二閾值且大于第一閾值時，對當(dāng)前幀分別進(jìn)行幀編碼和場編碼，從中選擇代價較小 的一個作為當(dāng)前幀的編碼模式。
12. 根據(jù)權(quán)利要求11的方法，其特征在于所述當(dāng)所述運動特征值小于第二閾值且大于第一閾值時，如果選擇幀編碼作為當(dāng)前幀 的編碼模式，則將運動特征值的值賦給第一閾值，如果選擇場編碼作為當(dāng)前幀的編碼模式 情況下，則將運動特征值的值賦給第二閾值。
13. 根據(jù)權(quán)利要求11的方法，其特征在于所述運動特征值是當(dāng)前幀圖像與前一幀圖像的像素點間亮度值的均方差值，或者是將 當(dāng)前幀與前一幀作塊匹配計算而求出的運動矢量估計值。
14. 根據(jù)權(quán)利要求11的方法，其特征在于基于灰度值檢測、基于運動搜索檢測和基于邊緣輪廓檢測之一來判斷當(dāng)前幀是否處于 場景切換。
全文摘要
本發(fā)明涉及一種圖像自適應(yīng)幀場編碼方法，其特征在于包括如下步驟a.判斷當(dāng)前幀是否是視頻的第一幀或者處于場景切換處；b.在步驟a的判斷結(jié)果為否定的情況下，計算當(dāng)前幀的運動特征值；c將所述運動特征值與閾值進(jìn)行比較，判斷是否能夠直接為當(dāng)前幀選擇編碼模式；d.在步驟c的判斷結(jié)果為肯定的情況下，基于該判斷結(jié)果對當(dāng)前幀進(jìn)行幀編碼或者場編碼。本發(fā)明結(jié)合了視頻場景檢測和運動特征值技術(shù)，通過對于當(dāng)前圖像的編碼模式進(jìn)行預(yù)先的判定選擇，在保證現(xiàn)有圖像自適應(yīng)幀場編碼技術(shù)所獲得的編碼效率的同時，加速了編碼的過程。
文檔編號H04N7/26GK101742293SQ20081022658
公開日2010年6月16日 申請日期2008年11月14日 優(yōu)先權(quán)日2008年11月14日
發(fā)明者于燁 申請人:北京中星微電子有限公司;中星電子股份有限公司