專利名稱：基于時空顯著性檢測的多傳感器視頻融合方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進一步涉及一種視頻圖像處理技術(shù)領(lǐng)域中的基于時空顯著性檢測的多傳感器視頻融合方法。本發(fā)明能夠更加準(zhǔn)確的從輸入的視頻中提取顯著的時空特征信息，可應(yīng)用于多傳感器靜態(tài)背景的視頻圖像融合。
背景技術(shù)：
圖像和視頻融合是信息和數(shù)據(jù)融合的一個特殊領(lǐng)域，通過圖像或視頻融合，將原圖像或視頻之間的“冗余”和“互補”信息提取出來，得到一個融合的圖像或視頻。融合后的圖像或視頻比單一的輸入圖像或視頻更能精確地描述場景。靜態(tài)圖像融合的基本要求是輸入圖像中有用的空間信息應(yīng)該盡可能多的保留在融合圖像中，以及在融合過程中不引入虛假信息。靜態(tài)圖像融合算法已經(jīng)得到廣泛研究，相對于靜態(tài)圖像融合，視頻圖像融合除了滿足上述基本要求外，還要滿足時間穩(wěn)定性和一致性。由于視頻和圖像之間的特殊關(guān)系，一般情況下，可以采用靜態(tài)圖像融合算法對視頻逐幀進行融合，這種逐幀融合方法主要考慮了輸入視頻的空間信息，具有較好的空間信息提取性能，但往往忽略了輸入視頻中的時間信息，從而容易引起時間不一致性和不穩(wěn)定性問題。西安電子科技大學(xué)申請的專利“基于Surfacelet變換的紅外與可見光視頻圖像融合方法”(申請?zhí)?CN201010172719.5，申請公開號:CN101873440A)中公開一種紅外與可見光視頻圖像融合的方法。該方法的具體步驟是:首先，采用Surfacelet變換對輸入視頻圖像進行多尺度、多方向分解得到不同頻域子帶系數(shù)；然后，通過基于三維局部空-時區(qū)域能量匹配的“選擇”和“加權(quán)平均”相結(jié)合的融合方法，以及通過基于三維局部空-時區(qū)域能量和方向向量標(biāo)準(zhǔn)方差相結(jié)合的融合方法，分別對輸入視頻圖像的低通子帶系數(shù)和帶通方向子帶系數(shù)進行組合，得到融合視頻圖像的低通子帶系數(shù)和帶通方向子帶系數(shù)；最后，對組合得到的各子帶系數(shù)進行Surfacelet逆變換得到融合視頻圖像。該方法主要將已有的二維靜態(tài)融合規(guī)則通過簡單地擴展用于視頻融合，但是該方法仍然存在的不足是，由于一個視頻往往包含許多具有不同特征的區(qū)域，如果通過一個簡單的擴展將那些靜態(tài)圖像融合準(zhǔn)則應(yīng)用到視頻融合中，輸入視頻中所有的不同特征區(qū)域都將被等同對待，這在一定程度上，會降低融合方法在時空一致性和信息提取方面的性能。王宏，敬忠良，李建勛發(fā)表的論文“一種基于目標(biāo)區(qū)域的圖像融合新方法”(中國激光，32 (3)，2005，PP:351-355)中公開一種融合方法。該方法首先采用運動目標(biāo)檢測技術(shù)將視頻中各幀圖像分成運動目標(biāo)區(qū)域和背景區(qū)域，然后針對每幀圖像的背景區(qū)域和目標(biāo)區(qū)域采用不同的融合規(guī)則分別融合，得到融合視頻。但是該方法存在的不足是，由于該方法僅僅利用單幀的圖像處理方法對不同區(qū)域采用不同的融合準(zhǔn)則，在一定程度上，空間信息提取性能會被降低。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述已有技術(shù)的缺點，提出一種基于3D-UDCT和時空顯著性檢測相結(jié)合的視頻融合方法，以便更好地提取輸入視頻圖像中顯著的空間-時間特征信息，并具有更高的空間-時間一致性和穩(wěn)定性。為實現(xiàn)上述目的，本發(fā)明對輸入視頻圖像帶通方向子帶系數(shù)進行組合時，構(gòu)建一種基于時空顯著性檢測的融合規(guī)則，其技術(shù)方案是首先利用時空結(jié)構(gòu)張量，對輸入視頻帶通方向子帶系數(shù)進行時空顯著性特征，將每一個帶通方向子帶劃分成三種區(qū)域，即:運動目標(biāo)區(qū)域、空間幾何特征區(qū)域和平滑區(qū)域；然后利用不同的融合準(zhǔn)則對不同區(qū)域帶通方向子帶系數(shù)分別進行組合，得到融合視頻的帶通方向子帶系數(shù)。本發(fā)明的具體步驟如下:(I)分別輸入兩個已配準(zhǔn)的視頻；(2)獲得子帶系數(shù):對兩個視頻分別進行三維均勻離散曲波3D-UDCT分解，得到各自的帶通方向子帶系數(shù)和低通子帶系數(shù)；(3)將視頻區(qū)域劃分三種區(qū)域:對每一個視頻的帶通方向子帶系數(shù)利用三維時空結(jié)構(gòu)張量，進行時空顯著性檢測，將視頻區(qū)域劃分為運動目標(biāo)區(qū)域、空間幾何特征區(qū)域和平滑區(qū)域三種區(qū)域；(4)獲得融合后視頻的帶通方向子帶系數(shù):4a)對運動目標(biāo)區(qū)域的帶通方向子帶系數(shù)，按照基于能量選擇的融合策略進行組合，得到運動目標(biāo)區(qū)域內(nèi)融合后視頻的帶通方向子帶系數(shù)；4b)對空間幾何特征區(qū)域的帶通方向子帶系數(shù)，按照基于相似度選擇和加權(quán)平均相結(jié)合的融合策略進行組合，得到空間幾何特征區(qū)域內(nèi)融合后視頻的帶通方向子帶系數(shù)；4c)對平滑區(qū)域的帶通方向子帶系數(shù)，按照加權(quán)平均融合策略進行組合，得到平滑區(qū)域內(nèi)融合后視頻的帶通方向子帶系數(shù)；(5)獲得融合后視頻的低通子帶系數(shù):對于每一個視頻的低通子帶系數(shù)，按照加權(quán)平均的融合策略進行組合，得到融合后視頻的低通子帶系數(shù)；(6)獲得融合后的視頻:將融合后視頻的帶通方向子帶系數(shù)和低通子帶系數(shù)，進行三維均勻離散曲波3D-UDCT逆變換，得到融合視頻。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點:第一，本發(fā)明利用3D-UDCT對輸入視頻進行多尺度、多方向分解,并針對每一個方向和尺度下分解得到的帶通方向子帶，利用三維時空結(jié)構(gòu)張量對其進行時空顯著性檢測，將每個帶通子帶區(qū)域分成三個不同區(qū)域:運動目標(biāo)區(qū)域，空間幾何特征區(qū)域和平滑區(qū)域，然后對于包含不同特征的區(qū)域內(nèi)的子帶系數(shù)，利用了不同的融合準(zhǔn)則，克服了現(xiàn)有技術(shù)中受限于空間信息提取和時空一致性的缺陷，使得本發(fā)明設(shè)計的融合方法與現(xiàn)有技術(shù)相比在空間信息提取和時空一致性方面有明顯的提高。第二，本發(fā)明中采用的三維時空結(jié)構(gòu)張量矩陣以及對平滑區(qū)域進行“加權(quán)平均”，克服了現(xiàn)有技術(shù)的融合過程中容易受到噪聲影響的缺陷，使得本發(fā)明與現(xiàn)有技術(shù)相比對噪聲具有更高的魯棒性。


圖1為本發(fā)明的流程圖；圖2為對比度較高的紅外與可見光視頻圖像融合的仿真圖；圖3為對比度較低的紅外與可見光視頻圖像融合的仿真圖。
具體實施方法下面結(jié)合附圖對本發(fā)明做進一步的描述。參照附圖1，本發(fā)明的具體步驟如下:步驟1，分別輸入在空間和時間上已經(jīng)嚴(yán)格校準(zhǔn)的兩個視頻。步驟2，獲得子帶系數(shù):對兩個視頻分別進行三維均勻離散曲波3D-UDCT分解，得到各自的帶通方向子帶系數(shù)和低通子帶系數(shù)。步驟3，將視頻區(qū)域劃分三種區(qū)域:對每一個視頻的帶通方向子帶系數(shù)利用三維時空結(jié)構(gòu)張量，進行時空顯著性檢測，將視頻區(qū)域劃分為運動目標(biāo)區(qū)域、空間幾何特征區(qū)域和平滑區(qū)域三種區(qū)域；實現(xiàn)步驟如下:在時空點P (X，y, t)處構(gòu)建結(jié)構(gòu)張量矩陣:
權(quán)利要求
1.種基于時空顯著性檢測的多傳感器視頻融合方法，包括如下步驟: (1)分別輸入兩個已配準(zhǔn)的視頻； (2)獲得子帶系數(shù): 對兩個視頻分別進行三維均勻離散曲波3D-UDCT分解，得到各自的帶通方向子帶系數(shù)和低通子帶系數(shù)； (3)將視頻區(qū)域劃分三種區(qū)域: 對每一個視頻的帶通方向子帶系數(shù)利用三維時空結(jié)構(gòu)張量，進行時空顯著性檢測，將視頻區(qū)域劃分為運動目標(biāo)區(qū)域、空間幾何特征區(qū)域和平滑區(qū)域三種區(qū)域； (4)獲得融合后視頻的 帶通方向子帶系數(shù): 4a)對運動目標(biāo)區(qū)域的帶通方向子帶系數(shù)，按照基于能量選擇的融合策略進行組合，得到運動目標(biāo)區(qū)域內(nèi)融合后視頻的帶通方向子帶系數(shù)； 4b)對空間幾何特征區(qū)域的帶通方向子帶系數(shù)，按照基于相似度選擇和加權(quán)平均相結(jié)合的融合策略進行組合，得到空間幾何特征區(qū)域內(nèi)融合后視頻的帶通方向子帶系數(shù)； 4c)對平滑區(qū)域的帶通方向子帶系數(shù)，按照加權(quán)平均融合策略進行組合，得到平滑區(qū)域內(nèi)融合后視頻的帶通方向子帶系數(shù)； (5)獲得融合后視頻的低通子帶系數(shù): 對于每一個視頻的低通子帶系數(shù)，按照加權(quán)平均的融合策略進行組合，得到融合后視頻的低通子帶系數(shù)； (6)獲得融合后的視頻: 將融合后視頻的帶通方向子帶系數(shù)和低通子帶系數(shù)，進行三維均勻離散曲波3D-UDCT逆變換，得到融合視頻。
2.據(jù)權(quán)利要求1所述的基于時空顯著性檢測的多傳感器視頻融合方法，其特征在于:步驟(3)中所述的視頻區(qū)域劃分步驟如下: 第一步，構(gòu)建結(jié)構(gòu)張量矩陣:在時空點P (X，1，t)處，將視頻沿x、y和t方向求導(dǎo)，構(gòu)建一個3X3的結(jié)構(gòu)張量矩陣S(p)，其中x、y表示時空點的空間坐標(biāo)，t表示時空點的時間坐標(biāo)； 第二步，劃分平滑區(qū)域:確定閾值其中，Γ⑶表示結(jié)構(gòu)張量矩陣S (P)的跡，x、y表示時空點p(x, y, t)的空間坐標(biāo)，當(dāng)Γ⑶小于thl時,該區(qū)域為平滑區(qū)域； 第三步，劃分空間幾何區(qū)域:確定閾值讓2，&2二011^^(^|)，其中，ε t表示結(jié)構(gòu)張量矩陣S(p)的最大特征值所對應(yīng)特征向量的時間分量，I.I表示絕對值，x、y表示時空點P(x，y，t)的空間坐標(biāo)，t表示時空點p(x，y，t)的時間坐標(biāo)，當(dāng)Γ⑶大于等于thl且I et小于th2時，該區(qū)域為空間幾何區(qū)域； 第四步，劃分時間運動區(qū)域:當(dāng)Γ (S)大于等于thl且I et|大于等于th2時，該區(qū)域為時間運動區(qū)域。
3.據(jù)權(quán)利要求1所述的基于時空顯著性檢測的多傳感器視頻融合方法，其特征在于:步驟4a)中所述能量選擇的融合策略按照以下步驟實現(xiàn): 第一步，對輸入的兩個已配準(zhǔn)視頻，獲得兩個輸入視頻的能量:在以當(dāng)前時空位置(X，y，t)為中心，大小為3X3X3的局部區(qū)域內(nèi)，將第一個輸入視頻分解得到的每一個帶通方向子帶系數(shù)，計算其在該局部時空區(qū)域內(nèi)絕對值的平方和，得到該局部時空區(qū)域內(nèi)第一個輸入視頻的能量；將第二個輸入視頻分解得到的每一個帶通方向子帶系數(shù)，計算其在該局部時空區(qū)域內(nèi)絕對值的平方和，得到該局部時空區(qū)域內(nèi)第二個輸入視頻的能量； 第二步，在該局部時空區(qū)域內(nèi)，比較所獲得的兩個輸入視頻能量的大小； 第三步，當(dāng)?shù)谝粋€輸入視頻的能量大于第二個輸入視頻的能量時，融合后視頻的帶通方向子帶系數(shù)為第一個輸入視頻在該局部時空區(qū)域內(nèi)的帶通方向子帶系數(shù)；當(dāng)?shù)谝粋€輸入視頻的能量小于等于第二個輸入視頻的能量時，融合后視頻的帶通方向子帶系數(shù)為第二個輸入視頻在該局部時空區(qū)域內(nèi)的帶通方向子帶系數(shù)。
4.據(jù)權(quán)利要求1所述的基于時空顯著性檢測的多傳感器視頻融合方法，其特征在于:步驟4b)中所述相似度選擇和加權(quán)平均相結(jié)合的融合策略按照以下步驟實現(xiàn): 第一步，對輸入的兩個已配準(zhǔn)視頻，獲得兩個輸入視頻的能量:在以當(dāng)前時空位置(X，.1，t)為中心，大小為3X3X3的局部區(qū)域內(nèi)，將第一個輸入視頻分解得到的每一個帶通方向子帶系數(shù)，計算其在該局部時空區(qū)域內(nèi)絕對值的平方和，得到該局部時空區(qū)域內(nèi)第一個輸入視頻的能量；將第二個輸入視頻分解得到的每一個帶通方向子帶系 數(shù)，計算其在該局部時空區(qū)域內(nèi)絕對值的平方和，得到該局部時空區(qū)域內(nèi)第二個輸入視頻的能量； 第二步，在每一個尺度和方向上的帶通方向子帶中，按照下式計算該局部時空區(qū)域內(nèi)兩個視頻能量的匹配程度:
5.據(jù)權(quán)利要求1所述的基于時空顯著性檢測的多傳感器視頻融合方法，其特征在于:步驟4c)中所述的加權(quán)平均融合策略按照以下步驟實現(xiàn): 第一步，按照下式計算局部時空區(qū)域內(nèi)輸入視頻的權(quán)值:
6.據(jù)權(quán)利要求1所述的基于時空顯著性檢測的多傳感器視頻融合方法，其特征在于:步驟(5)中所述的加權(quán)平均融合策略按照以下步驟實現(xiàn): 第一步，按照下式計算局部時空區(qū)域內(nèi)輸入視頻的權(quán)值:
全文摘要
本發(fā)明公開了一種基于時空顯著性檢測的多傳感器視頻融合方法。其步驟為1、分別輸入兩個已配準(zhǔn)的視頻；2、利用三維均勻離散曲波3D-UDCT分解獲得子帶系數(shù)；3、將視頻區(qū)域劃分為三種不同的區(qū)域；4、對于不同的區(qū)域，按照不同的融合策略進行組合，得到融合后視頻的高通方向子帶系數(shù)；5、將低通子帶系數(shù)進行加權(quán)平均，得到融合后視頻的低通子帶系數(shù)；6、進行三維均勻離散曲波3D-UDCT逆變換，得到融合后視頻。本發(fā)明克服了現(xiàn)有技術(shù)中受限于空間信息提取和時空一致性的缺陷，可以更好地提取輸入視頻圖像中的顯著的時空特征信息，使得視頻具有更高的時空一致性和穩(wěn)定性，對噪聲魯棒性好，可以用于靜態(tài)背景的視頻圖像融合。
文檔編號H04N5/265GK103095996SQ20131004722
公開日2013年5月8日 申請日期2013年1月25日 優(yōu)先權(quán)日2013年1月25日
發(fā)明者張強, 陳月玲, 陳閔利, 王龍 申請人:西安電子科技大學(xué)