視頻實時處理的方法及設備的制作方法
【專利摘要】提出了一種視頻實時處理的方法，包括以下步驟：獲取原始視頻幀數(shù)據(jù)，對所述原始視頻幀數(shù)據(jù)進行下采樣；根據(jù)邊緣化風格，確定邊緣提取方式及均衡化方式，其后根據(jù)所述提取方式及均衡化方式對下采樣后的數(shù)據(jù)進行邊緣化處理；對邊緣化處理后的數(shù)據(jù)進行插值，使所述邊緣化處理后的數(shù)據(jù)達到原始的數(shù)據(jù)規(guī)模。本發(fā)明的實施例還提出一種視頻實時處理的設備。本發(fā)明提出的技術(shù)方案，通過下采樣的方式降低需要處理的視頻數(shù)據(jù)的數(shù)據(jù)量，提高數(shù)據(jù)處理的效率，以及在邊緣數(shù)據(jù)的提取、均衡化環(huán)節(jié)中，根據(jù)不同的邊緣化風格，選取合適的算法，提高了算法的效率和邊緣化處理的效果。
【專利說明】視頻實時處理的方法及設備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體【技術(shù)領(lǐng)域】，具體而言，本發(fā)明涉及視頻實時處理的方法及設備。【背景技術(shù)】
[0002]近些年來，隨著移動互聯(lián)網(wǎng)的發(fā)展和多媒體技術(shù)的普及，視頻流媒體技術(shù)越來越受到青睞，視頻處理技術(shù)廣泛應用于視頻通話、遠程監(jiān)控、實時通信等諸多領(lǐng)域。同時，視頻的非真實感渲染效果越來越受到廣大用戶的歡迎。并涵蓋了現(xiàn)階段所有的信息設備，例如家庭電腦、手機、平板電腦等等。
[0003]視頻的不同風格邊緣生成是視頻的非真實感渲染的一個重要環(huán)節(jié)。通常，為了達到不同的視頻風格渲染效果，往往需要不同風格的邊緣。
[0004]現(xiàn)有不同風格邊緣生成技術(shù)主要有兩個環(huán)節(jié):
[0005]首先對圖像進行邊緣提取，例如目前已經(jīng)應用比較成熟的Sobel、Canny邊緣提取算子。然后再對邊緣進行相關(guān)的均衡化處理來達到用戶所需的風格邊緣。圖1顯示了現(xiàn)有的一些現(xiàn)有的不同風格的邊緣化生成效果。
[0006]現(xiàn)階段風格邊緣生成的兩個環(huán)節(jié)都存在一定的問題。在邊緣提取環(huán)節(jié)中，除了效率上的限制之外，邊緣提取的方式也決定了后續(xù)風格邊緣的生成。例如，Canny算子的提邊風格完全不適合濃墨風格的邊緣生成，如何針對不同的邊緣風格需求找到合適的邊緣提取算子也是需要解決的問題。在邊緣數(shù)據(jù)的均衡化環(huán)節(jié)中，同樣需要算法效率的提升，其次不同的邊緣風格同樣需要優(yōu)選出不同的均衡化方式。
[0007]同時，現(xiàn)有的一些風格邊緣生成技術(shù)大都是基于靜態(tài)圖像的。目前基于視頻的實時風格邊緣生成技術(shù)亟待開發(fā)。
[0008]基于上述問題，因此有必要提出有效的技術(shù)方案，解決現(xiàn)有技術(shù)中視頻風格化邊緣處理不理想的問題。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一，特別通過降低數(shù)據(jù)處理量和選擇合適的數(shù)據(jù)處理方式，提升視頻風格化邊緣處理的效果。
[0010]為了達到上述目的，本發(fā)明的實施例一方面提出了一種視頻實時處理的方法，包括以下步驟:
[0011]獲取原始視頻幀數(shù)據(jù)，對所述原始視頻幀數(shù)據(jù)進行下采樣；
[0012]根據(jù)邊緣化風格，確定邊緣提取方式及均衡化方式，其后根據(jù)所述提取方式及均衡化方式對下采樣后的數(shù)據(jù)進行邊緣化處理；
[0013]對邊緣化處理后的數(shù)據(jù)進行插值，使所述邊緣化處理后的數(shù)據(jù)達到原始的數(shù)據(jù)規(guī)模。
[0014]本發(fā)明的實施例另一方面提出一種視頻實時處理的設備，包括采樣模塊、邊緣化模塊和插值模塊，[0015]所述采樣模塊，用于獲取原始視頻幀數(shù)據(jù)，對所述原始視頻幀數(shù)據(jù)進行下采樣；
[0016]所述邊緣化模塊，用于根據(jù)邊緣化風格，確定邊緣提取方式及均衡化方式，其后根據(jù)所述提取方式及均衡化方式對下采樣后的數(shù)據(jù)進行邊緣化處理；
[0017]所述插值模塊，用于對邊緣化處理后的數(shù)據(jù)進行插值，使所述邊緣化處理后的數(shù)據(jù)達到原始的數(shù)據(jù)規(guī)模。
[0018]本發(fā)明提出的上述技術(shù)方案，通過下采樣的方式降低需要處理的視頻數(shù)據(jù)的數(shù)據(jù)量，提高數(shù)據(jù)處理的效率，以及在邊緣數(shù)據(jù)的提取、均衡化環(huán)節(jié)中，根據(jù)不同的邊緣化風格，選取合適的算法，提高了算法的效率和邊緣化處理的效果。
[0019]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
【專利附圖】

【附圖說明】
[0020]本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中:
[0021]圖1為現(xiàn)有的風格邊緣化生成效果示意圖；
[0022]圖2為視頻實時處理的方法的流程圖；
[0023]圖3為視頻實時處理的設備結(jié)構(gòu)示意圖；
[0024]圖4為本發(fā)明實施例濃墨風格邊緣生成系統(tǒng)框圖；
[0025]圖5為Sigmoid函數(shù)示意圖；
[0026]圖6為經(jīng)過直方圖均衡化的視頻幀邊緣示意圖；
[0027]圖7為本發(fā)明實施例鉛筆畫風格邊緣生成系統(tǒng)框圖；
[0028]圖8為鉛筆紋理獲取模塊處理過程示意圖；
[0029]圖9為基于兩種風格化邊緣的視頻?宣染效果圖；
[0030]圖10為兩種風格化邊緣在視頻渲染中的應用示意圖。
【具體實施方式】
[0031]下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。
[0032]針對效率問題，現(xiàn)有解決方案主要是從風格化邊緣生成的兩個環(huán)節(jié)入手，通過尋找更高效的邊緣提取方式和邊緣均衡化方式來解決算法效率上的局限性，然而這類方法并沒有大幅減少算法的效率。
[0033]本發(fā)明提出，除了在邊緣提取算法和邊緣均衡化模塊上提高效率，還將原始的輸入數(shù)據(jù)進行了下采樣處理，從而使風格化邊緣生成算法可以運行在相對較小的輸入數(shù)據(jù)上，處理完后對輸出數(shù)據(jù)進行插值處理，放大處理后的數(shù)據(jù)到初始幀規(guī)模的輸出數(shù)據(jù)，從而有效提高了算法的執(zhí)行效率。
[0034]為了實現(xiàn)本發(fā)明之目的，本發(fā)明實施例提出了一種視頻實時處理的方法，包括以下步驟:
[0035]獲取原始視頻幀數(shù)據(jù)，對所述原始視頻幀數(shù)據(jù)進行下采樣；[0036]根據(jù)邊緣化風格，確定邊緣提取方式及均衡化方式，其后根據(jù)所述提取方式及均衡化方式對下采樣后的數(shù)據(jù)進行邊緣化處理；
[0037]對邊緣化處理后的數(shù)據(jù)進行插值，使所述邊緣化處理后的數(shù)據(jù)達到原始的數(shù)據(jù)規(guī)模。
[0038]如圖2所示，為視頻實時處理的方法的流程圖，包括以下步驟:
[0039]SllO:對原始視頻幀數(shù)據(jù)進行下采樣。
[0040]在步驟SllO中，首先通過視頻獲取設備,例如相機、攝像機、錄像機、攝像頭等設備，獲取視頻信息。其后，對原始的視頻幀數(shù)據(jù)進行下采樣。
[0041]具體而言，例如通過下采樣Π模塊實現(xiàn)。即，下采樣的過程是用戶參與的過程，用戶可以通過設置、選定下采樣的參數(shù)。其后，根據(jù)用戶設置、選定的參數(shù)進行下采樣。
[0042]例如，下采樣通過軟件算法以下任意一種方式進行:
[0043]間隔N個像素取一個像素作為采樣點的顏色值；
[0044]NXN的窗口中像素顏色值的平均值作為采樣點的顏色值；其中，N>1。
[0045]具體實現(xiàn)中，除了可以以軟件算法實現(xiàn)以外，還可以通過DSP芯片或者其他硬件直接實現(xiàn)的下采樣功能。
[0046]例如，該下采樣功能的硬件實現(xiàn)大致可以分為兩個具體的模塊來實現(xiàn):數(shù)據(jù)過濾模板mask設定模塊和下采樣數(shù)據(jù)生成模塊。數(shù)據(jù)過濾模板設定模塊可以根據(jù)用戶輸入的下采樣率來計算生成數(shù)據(jù)幀數(shù)據(jù)獲取過濾模板；下采樣數(shù)據(jù)生成模塊是根據(jù)上一模塊中的過濾模板來過濾掉原始視頻數(shù)據(jù)中的相應像素數(shù)據(jù)，從而直接得到下采樣后的視頻數(shù)據(jù)。
[0047]為了便于后期的數(shù)據(jù)處理，進一步而言，對原始視頻幀數(shù)據(jù)進行下采樣之前或之后，對原始視頻幀數(shù)據(jù)進行灰度轉(zhuǎn)換，得到視頻幀的灰度圖像。
[0048]進行灰度轉(zhuǎn)換包括以下任意一種方式:
[0049]從彩色顏色空間RGB或者YUV轉(zhuǎn)換到灰度顏色；或者將彩色顏色空間YUV數(shù)據(jù)中的Y通道作為像素的灰度值。
[0050]例如，在PC機上，一般是進行顏色空間轉(zhuǎn)換來得到視頻的灰度數(shù)據(jù)。例如從RGB、YUV等彩色顏色空間直接通過轉(zhuǎn)換公式計算得到灰度數(shù)據(jù)。在移動設備平臺上，由于很多移動平臺設備的獲取數(shù)據(jù)是YUV空間的數(shù)據(jù)，作為本發(fā)明的實施例，除了可以通過顏色轉(zhuǎn)換計算公式得到視頻幀的灰度數(shù)據(jù)，還可以將YUV數(shù)據(jù)中的Y通道數(shù)據(jù)直接作為視頻幀的灰度數(shù)據(jù)。這樣就省掉了顏色轉(zhuǎn)換的步驟，提高了算法效率。另外，從理論上來說，根據(jù)RGB到Y(jié)通道的顏色轉(zhuǎn)換公式:
[0051 ] Y=0.299*R+0.587*G+0.114*B;
[0052]從RGB到灰度的轉(zhuǎn)換有多種方式，其中一個很著名的心理學計算公式:
[0053]Gray=0.299*R+0.587*G+0.114*B;
[0054]是和本發(fā)明提出的Y轉(zhuǎn)換公式一致的。因此從理論上來說，本發(fā)明提出的直接拿移動設備的輸入視頻幀的Y通道數(shù)據(jù)作為其灰度數(shù)據(jù)是有一定的理論基礎的。
[0055]S120:對下采樣后的數(shù)據(jù)進行邊緣化處理。
[0056]在步驟S120中，根據(jù)邊緣化風格，確定邊緣提取方式及均衡化方式，其后根據(jù)提取方式及均衡化方式對下采樣后的數(shù)據(jù)進行邊緣化處理。
[0057]作為本發(fā)明的實施例，邊緣化風格包括:濃墨風格和鉛筆畫風格。[0058]當邊緣化風格為濃墨風格時，采用以下任意一種方式獲得初始邊緣數(shù)據(jù):
[0059]采用局部梯度方式得到初始邊緣數(shù)據(jù):假設圖像像素灰度值表示成:I (i，j)，則局部梯度濾波后響應值是:
[0060]EM (i，j) =sqrt ((I (i_l，j) -1 (i, j) )~2+ (I (i, j+1) -1 (i, j) )~2)。
[0061 ]采用索貝爾濾波或拉普拉斯濾波得到初始邊緣數(shù)據(jù)。
[0062]采用以下任意一種方式對濃墨風格的初始邊緣數(shù)據(jù)均衡化:
[0063]采用Sigmoid函數(shù)將所述初始邊緣數(shù)據(jù)進行直方圖均衡化，sigmoid函數(shù)可表示
如下
【權(quán)利要求】
1.一種視頻實時處理的方法，其特征在于，包括以下步驟: 獲取原始視頻幀數(shù)據(jù)，對所述原始視頻幀數(shù)據(jù)進行下采樣； 根據(jù)邊緣化風格，確定邊緣提取方式及均衡化方式，其后根據(jù)所述提取方式及均衡化方式對下采樣后的數(shù)據(jù)進行邊緣化處理； 對邊緣化處理后的數(shù)據(jù)進行插值，使所述邊緣化處理后的數(shù)據(jù)達到原始的數(shù)據(jù)規(guī)模。
2.如權(quán)利要求1所述的視頻實時處理的方法，其特征在于，在進行邊緣化處理之前，還包括: 對所述原始視頻幀數(shù)據(jù)進行下采樣之前或之后，對所述原始視頻幀數(shù)據(jù)進行灰度轉(zhuǎn)換，得到視頻幀的灰度圖像。
3.如權(quán)利要求2所述的視頻實時處理的方法，其特征在于，所述邊緣化風格包括:濃墨風格和鉛筆畫風格。
4.如權(quán)利要求3所述的視頻實時處理的方法，其特征在于，當所述邊緣化風格為濃墨風格時，采用以下任意一種方式獲得初始邊緣數(shù)據(jù): 采用局部梯度方式得到初始邊緣數(shù)據(jù)； 采用索貝爾濾波或拉普拉斯濾波得到初始邊緣數(shù)據(jù)。
5.如權(quán)利要求4所述的視頻實時處理的方法，其特征在于，采用以下任意一種方式對所述初始邊緣數(shù)據(jù)均衡化: 采用Sigmoid函數(shù)將所述初始邊緣數(shù)據(jù)進行直方圖均衡化； 采用雙曲正切函數(shù)將所述初始邊緣數(shù)據(jù)進行直方圖均衡化。
6.如權(quán)利要求3所述的視頻實時處理的方法，其特征在于，當所述邊緣化風格為鉛筆畫風格時，采用以下任意一種方式獲得初始邊緣數(shù)據(jù): 采用反相和最小值濾波的方式來得到鉛筆畫風格的混合色圖層，并將所述混合色圖層與灰度圖像的基色圖層進行顏色減淡方式進行圖層混合，得到鉛筆畫風格的初始邊緣數(shù)據(jù)； 采用非真實感繪制NPR技術(shù)得到鉛筆畫風格的初始邊緣數(shù)據(jù)。
7.如權(quán)利要求6所述的視頻實時處理的方法，其特征在于，采用以下方式對所述初始邊緣數(shù)據(jù)均衡化: 采用線性直方圖均衡化的方式將所述初始邊緣數(shù)據(jù)進行線性拉伸的均衡化處理。
8.如權(quán)利要求2所述的視頻實時處理的方法，其特征在于，進行灰度轉(zhuǎn)換包括以下任意一種方式: 從彩色顏色空間RGB或者YUV轉(zhuǎn)換到灰度顏色； 將彩色顏色空間YUV數(shù)據(jù)中的Y通道作為像素的灰度值。
9.如權(quán)利要求1 所述的視頻實時處理的方法，其特征在于，所述下采樣包括以下任意一種方式: 間隔N個像素取一個像素作為采樣點的顏色值； NXN的窗口中像素顏色值的平均值作為采樣點的顏色值；其中，N>1。
10.一種視頻實時處理的設備，其特征在于，包括采樣模塊、邊緣化模塊和插值模塊， 所述采樣模塊，用于獲取原始視頻幀數(shù)據(jù)，對所述原始視頻幀數(shù)據(jù)進行下采樣； 所述邊緣化模塊，用于根據(jù)邊緣化風格，確定邊緣提取方式及均衡化方式，其后根據(jù)所述提取方式及均衡化方式對下采樣后的數(shù)據(jù)進行邊緣化處理； 所述插值模塊，用于對邊緣化處理后的數(shù)據(jù)進行插值，使所述邊緣化處理后的數(shù)據(jù)達到原始的數(shù)據(jù)規(guī)模。
11.如權(quán)利要求10所述的視頻實時處理的設備，其特征在于，在進行邊緣化處理之前，還包括: 所述采樣模塊對所述原始視頻幀數(shù)據(jù)進行下采樣之前或之后，所述邊緣化模塊對所述原始視頻幀數(shù)據(jù)進行灰度轉(zhuǎn)換，得到視頻幀的灰度圖像。
12.如權(quán)利要求11所述的視頻實時處理的設備，其特征在于，所述邊緣化風格包括:濃墨風格和鉛筆畫風格。
13.如權(quán)利要求12所述的視頻實時處理的設備，其特征在于，當所述邊緣化風格為濃墨風格時，所述邊緣化模塊采用以下任意一種方式獲得初始邊緣數(shù)據(jù): 采用局部梯度方式得到初始邊緣數(shù)據(jù)； 采用索貝爾濾波或拉普拉斯濾波得到初始邊緣數(shù)據(jù)。
14.如權(quán)利要求13所述的視頻實時處理的設備，其特征在于，所述邊緣化模塊采用以下任意一種方式對所述初始邊緣數(shù)據(jù)均衡化: 采用Sigmoid函數(shù)將所述初始邊緣數(shù)據(jù)進行直方圖均衡化； 采用雙曲正切函數(shù)將所述初始邊緣數(shù)據(jù)進行直方圖均衡化。
15.如權(quán)利要求12所`述的視頻實時處理的設備，其特征在于，當所述邊緣化風格為鉛筆畫風格時，所述邊緣化模塊采用以下任意一種方式獲得初始邊緣數(shù)據(jù): 采用反相和最小值濾波的方式來得到鉛筆畫風格的混合色圖層，并將所述混合色圖層與灰度圖像的基色圖層進行顏色減淡方式進行圖層混合，得到鉛筆畫風格的初始邊緣數(shù)據(jù)； 采用非真實感繪制NPR技術(shù)得到鉛筆畫風格的初始邊緣數(shù)據(jù)。
16.如權(quán)利要求15所述的視頻實時處理的設備，其特征在于，所述邊緣化模塊采用以下方式對所述初始邊緣數(shù)據(jù)均衡化: 采用線性直方圖均衡化的方式將所述初始邊緣數(shù)據(jù)進行線性拉伸的均衡化處理。
17.如權(quán)利要求11所述的視頻實時處理的設備，其特征在于，所述邊緣化模塊進行灰度轉(zhuǎn)換包括以下任意一種方式: 從彩色顏色空間RGB或者YUV轉(zhuǎn)換到灰度顏色； 將彩色顏色空間YUV數(shù)據(jù)中的Y通道作為像素的灰度值。
18.如權(quán)利要求10所述的視頻實時處理的設備，其特征在于，所述采樣模塊下采樣包括以下任意一種方式進行下采樣: 間隔N個像素取一個像素作為采樣點的顏色值； NXN的窗口中像素顏色值的平均值作為采樣點的顏色值；其中，N>1。
19.如權(quán)利要求10所述的視頻實時處理的設備，其特征在于，所述采樣模塊包括數(shù)據(jù)過濾模板設定模塊和下采樣數(shù)據(jù)的生成模塊； 所述數(shù)據(jù)過濾模板設定模塊，用于根據(jù)用戶輸入的下采樣率來計算生成數(shù)據(jù)幀數(shù)據(jù)的獲取過濾模板； 所述下采樣數(shù)據(jù)生成模塊，用于根據(jù)所述過濾模板過濾掉原始視頻數(shù)據(jù)中的相應像素數(shù)據(jù)， 得到下采樣后的視頻數(shù)據(jù)。
【文檔編號】H04N5/202GK103685858SQ201210320546
【公開日】2014年3月26日 申請日期:2012年8月31日 優(yōu)先權(quán)日:2012年8月31日
【發(fā)明者】王琳, 高艷君, 熊君君 申請人:北京三星通信技術(shù)研究有限公司, 三星電子株式會社