視頻信號圖像處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理技術(shù)領(lǐng)域，尤其設(shè)及一種視頻信號圖像處理方法和裝置。
【背景技術(shù)】
[0002] 近幾年來，民用無人機(jī)在技術(shù)和市場方面發(fā)展迅猛。民用無人機(jī)的一個最大的應(yīng) 用是航拍，尤其是在飛行過程中拍攝外景的大場面。在當(dāng)前的無人機(jī)航拍應(yīng)用中，飛機(jī)的控 制全部依賴手動，運對于操作的穩(wěn)定性提出很高要求；同時飛機(jī)控制的操作與拍攝控制的 操作分離，往往需要兩個人分別控制，運增加了操作的復(fù)雜與不穩(wěn)定。因此，民用無人機(jī)通 常采用穩(wěn)定平臺來輔助攝影。
[0003] 當(dāng)前，民用無人機(jī)通常義用二軸機(jī)電ZS臺構(gòu)成攝影平臺，來穩(wěn)定攝影。但是二軸機(jī) 電云臺體積往往很大，重量和造價很高，運給使用者帶來了好處的同時，也使無人機(jī)的集成 程度受到限制。例如無人機(jī)體積較大，不便于攜帶，能夠使用的場景就受到限制。造價高也 使得很多潛在的使用者望而卻步。因此，存在減小或消除對=軸機(jī)電云臺依賴的技術(shù)需求。
[0004]另一方面，在其它運動拍攝場景或視頻后處理階段也存在對消除視頻抖動的需 要。例如，手機(jī)或DV用戶在利用手機(jī)或DV攝像時，由于握持姿勢的不穩(wěn)定，會造成對所拍 攝的視頻流畫面的抖動、旋轉(zhuǎn)或擺動等。或者在視頻拍攝之后，用戶希望通過進(jìn)一步的軟件 處理消除視頻中的干擾性抖動等。

【發(fā)明內(nèi)容】

[0005] 在下文中給出關(guān)于本發(fā)明的簡要概述，W便提供關(guān)于本發(fā)明的某些方面的基本理 解。應(yīng)當(dāng)理解，運個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān) 鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是W簡化的形式給出某些概念， W此作為稍后論述的更詳細(xì)描述的前序。
[0006] 基于上述背景，本發(fā)明通過在采集無人機(jī)航拍的視頻圖像時或之后，進(jìn)行實時或 非實時的圖像濾波處理，來減小或消除由于缺少=軸機(jī)電云臺或由于=軸機(jī)電云臺的不穩(wěn) 定而造成的圖像旋轉(zhuǎn)或平移或縮放等全局運動，使視頻圖像更平滑、清晰而穩(wěn)定。
[0007] 本發(fā)明提供一種視頻信號的圖像處理方法，包括W下步驟：
[0008] 運動分析，包括對原始圖像進(jìn)行特征提取，估算連續(xù)帖之間的全局運動仿射矩陣， 其中所述全局運動仿射矩陣包括連續(xù)帖之間的運動參數(shù)，所述原始圖像的連續(xù)帖構(gòu)成原始 圖像的運動軌跡；
[0009]參數(shù)平滑，包括對多個所述連續(xù)帖之間的運動參數(shù)進(jìn)行濾波，獲取平滑后的當(dāng)前 帖與前一帖之間的運動參數(shù)，根據(jù)連續(xù)帖的平滑后的運動參數(shù)構(gòu)成平滑后的運動軌跡；
[0010] 仿射變換，包括利用平滑后的當(dāng)前帖與前一帖之間的運動參數(shù)，W及原始圖像的 運動軌跡和平滑后的運動軌跡的差，構(gòu)成新的全局運動仿射矩陣，計算平滑后的當(dāng)前帖對 應(yīng)圖像。
[0011] 可選地，所述圖像處理方法還包括對于原始圖像邊緣像素的數(shù)據(jù)，用先前帖的圖 像邊緣像素代替。
[0012] 可選地，所述圖像處理方法還包括原始圖像邊緣像素用設(shè)定闊值的外差值彌補(bǔ)。
[0013]可選地，所述圖像處理方法還包括利用圖像銳化算法對原始圖像模糊部分進(jìn)行處 理。
[0014]可選地，所述圖像銳化算法方法包括拉普拉斯圖像濾波。
[0015]可選地，所述圖像處理方法還包括對多個所述連續(xù)帖之間的運動參數(shù)進(jìn)行的濾波 為低通濾波。
[0016]可選地，所述圖像處理方法還包括對多個所述連續(xù)帖之間的運動參數(shù)進(jìn)行的濾波 為卡爾曼濾波。
[0017] 可選地，所述圖像處理方法還包括：所述連續(xù)帖之間的運動參數(shù)參數(shù)包括：平移、 旋轉(zhuǎn)、縮放、剪伸。
[0018]可選地，所述圖像處理方法還包括：在所述參數(shù)平滑步驟中，對多個所述連續(xù)帖之 間的運動參數(shù)進(jìn)行濾波，包括對當(dāng)前帖之前和之后的圖像帖進(jìn)行濾波，W獲取平滑后的當(dāng) 前帖與前一帖之間的運動參數(shù)。
[0019]可選地，在所述運動分析步驟中，包括融合多種傳感器信息，對原始圖像進(jìn)行特征 提取，估算連續(xù)帖之間的全局運動仿射矩陣。
[0020] 本發(fā)明還提供一種視頻信號的圖像處理裝置，包括W下模塊：
[0021] 運動分析模塊，用于對原始圖像進(jìn)行特征提取，估算連續(xù)帖之間的全局運動仿射 矩陣，其中所述全局運動仿射矩陣包括連續(xù)帖之間的運動參數(shù)，所述原始圖像的連續(xù)帖構(gòu) 成原始圖像的運動軌跡；
[0022] 參數(shù)平滑模塊，用于對多個所述連續(xù)帖之間的運動參數(shù)進(jìn)行濾波，獲取平滑后的 當(dāng)前帖與前一帖之間的運動參數(shù)，根據(jù)連續(xù)帖的平滑后的運動參數(shù)構(gòu)成平滑后的運動軌 跡；
[0023]仿射變換模塊，用于利用平滑后的當(dāng)前帖與前一帖之間的運動參數(shù)，W及原始圖 像的運動軌跡和平滑后的運動軌跡的差，構(gòu)成新的全局運動仿射矩陣，計算平滑后的當(dāng)前 帖對應(yīng)圖像。
[0024]可選地，所述圖像處理裝置還包括邊緣像素處理單元，所述邊緣像素處理單元用 于對于原始圖像邊緣像素的數(shù)據(jù)，用先前帖的圖像邊緣像素代替。
[00巧]可選地，所述圖像處理裝置還包括邊緣像素處理單元，所述邊緣像素處理單元用 于將原始圖像邊緣像素用設(shè)定闊值的外差值彌補(bǔ)。
[00%] 可選地，所述圖像處理方法還包括圖像銳化器，所述圖像銳化器利用圖像銳化算 法對原始圖像模糊部分進(jìn)行處理。
[0027]可選地，所述圖像銳化器包括拉普拉斯圖像濾波器。
[0028]可選地，所述圖像處理裝置還包括低通濾波器，所述低通濾波器用于對多個所述 連續(xù)帖之間的運動參數(shù)進(jìn)行濾波。
[0029]可選地，所述圖像處理裝置還包括卡爾曼濾波器，所述卡爾曼濾波器用于對多個 所述連續(xù)帖之間的運動參數(shù)進(jìn)行濾波。
[0030]可選地，所述圖像處理裝置處理的所述連續(xù)帖之間的運動參數(shù)包括：平移、旋轉(zhuǎn)、 縮放、剪伸。
[0031] 采用上述的視頻信號的圖像處理方法和裝置，產(chǎn)生的視頻效果可W逼近機(jī)電云臺 的效果，既沒有機(jī)電云臺帶來的笨重和成本，也能夠用戶觀看到平滑、高品質(zhì)的視頻。通過 上述視頻信號的圖像處理方法和裝置的處理，也可W消除其它視頻流中出現(xiàn)的旋轉(zhuǎn)、平移 或抖動等全局運動。
【附圖說明】
[0032] 參照下面結(jié)合附圖對本發(fā)明實施例的說明，會更加容易地理解本發(fā)明的W上和其 它目的、特點和優(yōu)點。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類似 的技術(shù)特征或部件將采用相同或類似的附圖標(biāo)記來表示。
[0033]圖1為根據(jù)本發(fā)明的一個實施例提供的視頻信號圖像處理方法的流程圖；
[0034] 圖2為根據(jù)本發(fā)明的上述實施例提供的視頻信號圖像處理裝置的結(jié)構(gòu)框圖；
[0035] 圖3示出利用多種傳感器信息進(jìn)行運動分析的一般處理框圖。
【具體實施方式】
[0036] 下面參照附圖來說明本發(fā)明的實施例。在本發(fā)明的一個附圖或一種實施方式中描 述的元素和特征可W與一個或更多個其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng) 當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知 的部件和處理的表示和描述。
[0037] 圖1為根據(jù)本發(fā)明的一個實施例提供的視頻信號圖像處理方法的流程圖。該方法 包括如下步驟：
[0038] 首先，進(jìn)行圖像采集，即步驟S101。
[0039] 安裝在民用無人機(jī)上的攝像機(jī)采集每帖的原始圖像。
[0040] 然后，進(jìn)行運動分析，即步驟S102。
[0041] 包含CPU和/或圖像處理引擎的圖像處理裝置對每一帖原始圖像進(jìn)行特征提取， 找出連續(xù)帖之間多個特征點之間的空間位置對應(yīng)關(guān)系，從而確定兩帖之間的運動參數(shù)。通 常最關(guān)屯、兩個連續(xù)帖之間的畫面全局運動，運些全局運動往往是因為攝像機(jī)本身的移動造 成。通過對運些對應(yīng)的特征點的位置變化進(jìn)行