專(zhuān)利名稱(chēng)：：動(dòng)態(tài)前景分離的大幅面視頻拼接方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻拼接、全景視頻領(lǐng)域，設(shè)計(jì)和實(shí)現(xiàn)了一種基于多攝像機(jī)的前景分離的視頻拼接方法。
背景技術(shù)：
：隨著信息技術(shù)的不斷發(fā)展，人們對(duì)攝像機(jī)所釆集到的視頻信息的要求也不斷提高。全景視頻拼接技術(shù)突破攝像機(jī)釆集傳感器的物理限制，通過(guò)拼接多攝像機(jī)同一吋刻下拍攝的視頻流，得到高分辨的全景視頻，能夠大大提高人們對(duì)事物和場(chǎng)景的動(dòng)態(tài)感知、辨別與監(jiān)控能力，為各個(gè)領(lǐng)域尤其是安保、軍事、國(guó)防等領(lǐng)域降低風(fēng)險(xiǎn)，提高安全性做出貢獻(xiàn)；全景視頻拼接技術(shù)也應(yīng)用于車(chē)載后視鏡等工業(yè)領(lǐng)域；在視頻后期編輯制作中，全景視頻在體現(xiàn)視頻感染力與真實(shí)感方面也發(fā)揮了重要作用。目前，已公開(kāi)的全景視頻的獲取主要有以下四種解決方案一是常見(jiàn)于監(jiān)控系統(tǒng)的快球攝像頭。通過(guò)快球的高速運(yùn)動(dòng)能夠?qū)崿F(xiàn)對(duì)360°空間的視頻監(jiān)控，但是該系統(tǒng)在某一吋刻下只能監(jiān)控某一角度的畫(huà)面，不可避免地會(huì)在監(jiān)控吋出現(xiàn)盲區(qū)；二是利用魚(yú)眼鏡頭的寬廣視角直接獲取360°場(chǎng)景，經(jīng)過(guò)變換得到全景視頻，此方法所生成的全景視頻分辨率較低，清晰度差；第三種方法，是借助二次凸面鏡和一個(gè)攝像機(jī)組合，通過(guò)用攝像機(jī)拍攝凸面鏡上的發(fā)射圖像變換生成全景視頻，此方法需要昂貴的專(zhuān)業(yè)視頻采集設(shè)備，而且全景圖是由一幅圖像變換而得，不能達(dá)到高分辨率的要求；另外，有硏究機(jī)構(gòu)通過(guò)將攝像頭以一定幾何約束條件固定組成一攝像頭群，達(dá)到了視頻球型拼接系統(tǒng)，但是此種系統(tǒng)對(duì)攝像機(jī)的幾何位置要求嚴(yán)格，制作工藝細(xì)致，不適用于普通應(yīng)用，同吋沒(méi)有能夠解決拼接中出現(xiàn)的鬼影現(xiàn)象。
發(fā)明內(nèi)容視頻自身信息冗余龐大、實(shí)吋捕捉場(chǎng)景中運(yùn)動(dòng)物體的特點(diǎn)給視頻拼接技術(shù)的發(fā)展造成了很大障礙，主要體現(xiàn)于以下三點(diǎn)(l)運(yùn)動(dòng)物體的存在將導(dǎo)致圖像匹配產(chǎn)生致命性錯(cuò)誤；(2)大量的待處理圖像序列，需要更加高效的拼接算法；(3)復(fù)雜的運(yùn)動(dòng)物體的存在將導(dǎo)致拼接中鬼影的出現(xiàn)。本發(fā)明的目的是提出一種基于多攝像機(jī)的動(dòng)態(tài)前景分離視頻拼接方法。使用這種方法效率較高，且能夠得到理想的拼接效果。本發(fā)明所提供的動(dòng)態(tài)前景分離的大幅面視頻拼接方法的技術(shù)方案參見(jiàn)1至圖4,具體是采用多臺(tái)相同且拍攝角度固定的攝像機(jī)獲取視頻數(shù)據(jù)，再由計(jì)算機(jī)系統(tǒng)按順序讀入這些視頻序列，并對(duì)這些視頻序列依次進(jìn)行幾何校正、前景提取，然后分別對(duì)前景和背景視頻序列迸行匹配和變換，得到拼接后的前景和背景視頻，最后將拼接后的前景和背景視頻融合得到最終的視頻拼接結(jié)果，其特征在于具體包括如下步驟(1)采用多臺(tái)相同的攝像機(jī)拍攝獲取視頻數(shù)據(jù)，相鄰攝像機(jī)的拍攝區(qū)域相互重疊，且相對(duì)位置和拍攝角度保持不變；(2)計(jì)算機(jī)程序依自左到右的視場(chǎng)順序從攝像^J讀入視頻序列；(3)當(dāng)照相系統(tǒng)的鏡頭或者照相裝置沒(méi)有正對(duì)著待拍攝的景物吋候，拍攝到的景物圖像會(huì)產(chǎn)生一定的變形。通常情況下，產(chǎn)生的畸變分為射線(xiàn)和切線(xiàn)兩種方向。實(shí)際應(yīng)用中，一般忽略切線(xiàn)方向上的畸變。如圖6中(a)表示的是有畸變的網(wǎng)格圖像，(b)是原始無(wú)畸變圖像。依據(jù)攝像機(jī)的焦距對(duì)視頻進(jìn)行幾何校正；假設(shè)沒(méi)有畸變的圖像由函數(shù)乂&,/J表示，有畸變的圖像由函數(shù)乂"力/J表示；則兩函數(shù)之閭的關(guān)系可以由以下兩式表示其中，/=^+72，A，^為控制圖像畸變程度的系數(shù)；圖6中(c)是原始視頻的幀圖像，(d)為經(jīng)校正后的結(jié)果圖像。(4)利用平均法建立視頻的靜態(tài)背景，其方法如下其中，"U)為最終求得的背景圖像，7'"力為視頻幀圖像，N為視頻幀數(shù)；(5)利用背景減除法提取前景，依據(jù)背景幀的平均灰度值7、設(shè)定兩個(gè)自適應(yīng)的閾值A(chǔ),^0"(7"廣20)+10對(duì)視頻的每幀圖像/,(x，力求其中的每個(gè)像素所對(duì)應(yīng)的差值&,&值，AW，力g2(x,力HA(x，力-A(^力l對(duì)于^〉^或g2〉^者，在前景二值圖像中標(biāo)注為1，其他點(diǎn)為O,由此得到前景二值圖像；經(jīng)圖像形態(tài)學(xué)方法處理后，尋找連通區(qū)域并求取運(yùn)動(dòng)物體中心C朋^e:<formula>formulaseeoriginaldocumentpage10</formula>其中，#是前景目標(biāo)的像素個(gè)數(shù)，(A，,)是前景的坐標(biāo)；(6)對(duì)背景視頻的配準(zhǔn)處理，又具體包括以下三個(gè)步驟(a)使用Harris角點(diǎn)檢測(cè)的方法提取圖像中物體的角點(diǎn)作為特征點(diǎn)首先把彩色圖像轉(zhuǎn)換為灰度圖像，在高斯窗內(nèi)計(jì)算圖像7軸方向和7軸方向的一階偏導(dǎo)數(shù)和/v，然后使用以下公式計(jì)算C矩陣C-G(ct)O其中，W力為高斯窗函數(shù)；然后利用"角"函數(shù)"來(lái)判定圖像中物體的特征點(diǎn)/=Z)W(C)—"7>2(C)0.04SaS0.06其中，"為特征值修正系數(shù)，一般取0.04-0.06之間。當(dāng)某像素點(diǎn)的R值大于設(shè)定的某一閾值T(T〉0)吋，該點(diǎn)就是檢測(cè)出的特征點(diǎn)；(b)NCC(NormalizedCrossCorrelation)相矢點(diǎn)匹配:使用NCC相關(guān)性算法計(jì)算圖像間特征點(diǎn)的相矢性.得到成對(duì)的相關(guān)特征點(diǎn)；NCC相矢性計(jì)算公式如下<formula>formulaseeoriginaldocumentpage10</formula>其中ii和A為兩幅同吋刻視頻幀的像素值；<formula>formulaseeoriginaldocumentpage11</formula>分別為圖像力和A以&w為中心的i^xi^圖像窗內(nèi)的像素均值，Ot"力廣j)為圖像刀和厶中像素坐標(biāo)，#6"7";將NCC的相似度值歸一化在[-1,l]范圍內(nèi)；(c)RANSAC(國(guó)domSAmpleConsensus)提純處理使用RANSAC方法采用抽樣的方式提取四對(duì)相關(guān)的特征點(diǎn)計(jì)算圖像變換矩陣，然后把圖像^的所有特征點(diǎn)坐標(biāo)變換到圖像力的坐標(biāo)系中，計(jì)算其與圖像力中對(duì)應(yīng)相關(guān)點(diǎn)的坐標(biāo)誤差值，即兩點(diǎn)間距離；如果小于門(mén)限值鳳則認(rèn)為這一對(duì)相關(guān)點(diǎn)是匹配的特征點(diǎn)，即線(xiàn)內(nèi)點(diǎn)；按照如上方法繼續(xù)抽樣、計(jì)算線(xiàn)內(nèi)點(diǎn)，直到線(xiàn)內(nèi)點(diǎn)數(shù)量不再增加或者抽樣計(jì)算達(dá)到W次則終止抽樣；(7)利用圖像間成對(duì)的匹配特征點(diǎn)計(jì)算八變量投影變換矩陣，使圖像按匹配位置拼合到同一圖像空間中；變換公式如下其中，H是投影變換矩陣，它是自相關(guān)的，力。。、力w、力。,、l、力"、力"、l、力力為八個(gè)所求變量，x="/,ir為圖像變換前原始輸入圖像的坐標(biāo)，i=C，;i]f為經(jīng)投影變換后圖像坐標(biāo)；變換結(jié)果的自相矢坐標(biāo)^必須歸一化以得到非相關(guān)的結(jié)果X'-[x'義《其中，i，y為原始圖像坐標(biāo)，x;/為變換后圖像坐標(biāo)；由此得出四對(duì)特征點(diǎn)對(duì)依據(jù)下公式可以求出變換矩陣H，但是在實(shí)際操作中利用所有匹配的特征點(diǎn)，使用L-M算法迭代求得精確的變換矩陣;2Nx88xl2Nxl。此實(shí)例中，以圖像的中心點(diǎn)作為坐標(biāo)原點(diǎn)進(jìn)行變換，且根據(jù)手持?jǐn)z像機(jī)通常的焦距值通過(guò)大量試驗(yàn)得到對(duì)應(yīng)的控制畸變系數(shù)A:/,&，如當(dāng)攝像機(jī)焦距戶(hù)35mm時(shí)，A:尸0.02，^=0.075。第三步利用平均法建立視頻的靜態(tài)背景。第四步根據(jù)靜態(tài)背景，利用自適應(yīng)雙閾值分別提取各個(gè)視頻流的動(dòng)態(tài)前景。設(shè)背景幀的平均灰度值^，設(shè)定兩個(gè)自適應(yīng)的閥值&，&:A:2=0.2*(7s-20)+10當(dāng)每幀圖像/,(x,力入系統(tǒng)中，求每個(gè)像素所對(duì)應(yīng)的差值^，&值，g2(X，力H/,(X，力-^(X,力I對(duì)于^>^或&>^者，在前景二值圖像中標(biāo)注為l，其他點(diǎn)為o，由此得到前景二值圖像。經(jīng)圖像的膨脹和腐蝕方法后，尋找連同區(qū)域并求取運(yùn)動(dòng)物體中心Ce"fr^:廣A/M、;=o,=o其中，M是前景目標(biāo)的像素個(gè)數(shù)，(x,，乂)是前景的坐標(biāo)。第五步對(duì)靜態(tài)背景進(jìn)行圖像配準(zhǔn)，求相鄰視頻流間的變換矩陣，并將靜態(tài)背景拼接為大幅面的靜態(tài)全景視頻。1)對(duì)兩視頻的靜態(tài)背景做Harris角點(diǎn)檢測(cè)，提取圖像中物體的角點(diǎn)作為特征點(diǎn)；其中，G(力設(shè)為5x5像素大小的高斯窗函數(shù)，角函數(shù)i的閾值取r=10000，系數(shù)a=0.06。2)對(duì)特征點(diǎn)進(jìn)行NCC相關(guān)性計(jì)算，得到相關(guān)的成對(duì)特征點(diǎn)。圖像窗大小W取11。3)使用RANSAC方法精確篩選出匹配的特征點(diǎn),門(mén)限值M=0.1，重復(fù)抽樣次數(shù)上線(xiàn)設(shè)為10000次。4)使用匹配的特征點(diǎn)求出圖像間的八變量投影變換矩陣，把圖像按照匹配位置變換到新開(kāi)辟的拼接結(jié)果圖像空間。5)背景圖像變換至同一平面，達(dá)到背景的拼接，并在重疊區(qū)域進(jìn)行亮度融合。第六步進(jìn)行前景的補(bǔ)回。由第五步所得到的變換矩陣確定重疊區(qū)域范圍，進(jìn)而根據(jù)前景的中心、左右極點(diǎn)判斷前景是否在重疊區(qū)域內(nèi)。若在重疊區(qū)域內(nèi)，則要判斷其與另一視頻中相關(guān)幀的運(yùn)動(dòng)前景是否為同一物體，取一而避免因拍攝角度不同所產(chǎn)生的鬼影現(xiàn)象。判斷依據(jù)如公式利用兩視頻間的變換關(guān)系，將兩運(yùn)動(dòng)前景變換至同一坐標(biāo)下，判斷其重疊面積大于較小目標(biāo)面積大小的A倍。滿(mǎn)足條件則確汄?yàn)橥荒繕?biāo)，保留面積較大者。判斷規(guī)則如下其中，&/與&2分別代表兩視頻中前景目標(biāo)的面積，S^是&"&2中較小的一個(gè)。第十一步顯示拼接結(jié)果，如圖10。為驗(yàn)證本發(fā)明方法的實(shí)用性和實(shí)時(shí)效果，拍攝了4組室內(nèi)室外視頻做拼接試驗(yàn)。表1為四個(gè)樣例視頻的實(shí)驗(yàn)統(tǒng)計(jì)數(shù)據(jù)，對(duì)不同場(chǎng)景的試驗(yàn)最終統(tǒng)計(jì)平均處理幀率在15.93化，方法經(jīng)進(jìn)一步優(yōu)化，基本能達(dá)到實(shí)時(shí)效果。表1視頻拼接的幀處理速度統(tǒng)計(jì)<table>tableseeoriginaldocumentpage16</column></row><table>權(quán)利要求1、動(dòng)態(tài)前景分離的大幅面視頻拼接方法，是采用多臺(tái)相同且拍攝角度固定的攝像機(jī)獲取視頻數(shù)據(jù)，再由計(jì)算機(jī)系統(tǒng)按順序讀入這些視頻序列，并對(duì)這些視頻序列依次進(jìn)行幾何校正、前景提取，然后分別對(duì)前景和背景視頻序列進(jìn)行匹配和變換，得到拼接后的前景和背景視頻，最后將拼接后的前景和背景視頻融合得到最終的視頻拼接結(jié)果，其特征在于具體包括如下步驟(1)采用多臺(tái)相同的攝像機(jī)拍攝獲取視頻數(shù)據(jù)，相鄰攝像機(jī)的拍攝區(qū)域相互重疊，且相對(duì)位置和拍攝角度保持不變；(2)計(jì)算機(jī)程序依自左到右的視場(chǎng)順序從攝像機(jī)讀入視頻序列；(3)依據(jù)攝像機(jī)的焦距對(duì)視頻進(jìn)行幾何校正；假設(shè)沒(méi)有畸變的圖像由函數(shù)fu(xu，yu)表示，有畸變的圖像由函數(shù)fd(xd，yd)表示；則兩函數(shù)之間的關(guān)系可以由以下兩式表示xd＝xu(1+k1r2)yd＝y(tǒng)u(1+k2r2)其中，r2＝xu2+yu2，k1，k2為控制圖像畸變程度的系數(shù)；(4)利用平均法建立視頻的靜態(tài)背景，其方法如下<mathsid="math0001"num="0001"><math><![CDATA[<mrow><msub><mover><mi>I</mi><mo>‾</mo></mover><mi>B</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><mi>N</mi></mfrac><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msub><mi>I</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow>]]></math></maths>其中，IB(x，y)為最終求得的背景圖像，Ii(x，y)為視頻幀圖像，N為視頻幀數(shù)；(5)利用背景減除法提取前景，依據(jù)背景幀的平均灰度值IB，設(shè)定兩個(gè)自適應(yīng)的閾值k1，k2k1＝k2/IBk2＝0.2*(IB-20)+10對(duì)視頻的每幀圖像Ii(x，y)求其中的每個(gè)像素所對(duì)應(yīng)的差值g1，g2值，<mathsid="math0002"num="0002"><math><![CDATA[<mrow><msub><mi>g</mi><mn>1</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mo>|</mo><mfrac><msub><mover><mi>I</mi><mo>‾</mo></mover><mi>B</mi></msub><msub><mover><mi>I</mi><mo>‾</mo></mover><mi>i</mi></msub></mfrac><mfrac><mrow><msub><mi>I</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>I</mi><mi>B</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow></mfrac><mo>-</mo><mn>1</mn><mo>|</mo></mrow>]]></math></maths>g2(x，y)＝|Ii(x，y)-IB(x，y)|對(duì)于g1＞k1或g2＞k2者，在前景二值圖像中標(biāo)注為1，其他點(diǎn)為0，由此得到前景二值圖像；經(jīng)圖像形態(tài)學(xué)方法處理后，尋找連通區(qū)域并求取運(yùn)動(dòng)物體中心Centre<mathsid="math0003"num="0003"><math><![CDATA[<mrow><mi>Centre</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mrow><mo>(</mo><mfrac><mrow><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>0</mn></mrow><mi>M</mi></munderover><msub><mi>x</mi><mi>i</mi></msub></mrow><mi>M</mi></mfrac><mo>,</mo><mfrac><mrow><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>0</mn></mrow><mi>M</mi></munderover><msub><mi>y</mi><mi>i</mi></msub></mrow><mi>M</mi></mfrac><mo>)</mo></mrow></mrow>]]></math></maths>其中，M是前景目標(biāo)的像素個(gè)數(shù)，(xi，yi)是前景的坐標(biāo)；(6)對(duì)背景視頻的配準(zhǔn)處理，又具體包括以下三個(gè)步驟(a)使用Harris角點(diǎn)檢測(cè)的方法提取圖像中物體的角點(diǎn)作為特征點(diǎn)首先把彩色圖像轉(zhuǎn)換為灰度圖像，在高斯窗內(nèi)計(jì)算圖像x軸方向和y軸方向的一階偏導(dǎo)數(shù)fx和fy，然后使用以下公式計(jì)算C矩陣<mathsid="math0004"num="0004"><math><![CDATA[<mrow><mi>C</mi><mo>=</mo><mi>G</mi><mrow><mo>(</mo><mi>σ</mi><mo>)</mo></mrow><mo>⊗</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msubsup><mi>f</mi><mi>x</mi><mn>2</mn></msubsup></mtd><mtd><msub><mi>f</mi><mi>x</mi></msub><msub><mi>f</mi><mi>y</mi></msub></mtd></mtr><mtr><mtd><msub><mi>f</mi><mi>x</mi></msub><msub><mi>f</mi><mi>y</mi></msub></mtd><mtd><msubsup><mi>f</mi><mi>y</mi><mn>2</mn></msubsup></mtd></mtr></mtable></mfenced></mrow>]]></math></maths>其中，G(σ)為高斯窗函數(shù)；然后利用“角”函數(shù)R來(lái)判定圖像中物體的特征點(diǎn)R＝Det(C)-αTr2(C)0.04≤α≤0.06其中，α為特征值修正系數(shù)，一般取0.04-0.06之間；當(dāng)某像素點(diǎn)的R值大于設(shè)定的某一閾值T(T＞0)時(shí)，該點(diǎn)就是檢測(cè)出的特征點(diǎn)；(b)NCC相關(guān)點(diǎn)匹配使用NCC相關(guān)性算法計(jì)算圖像間特征點(diǎn)的相關(guān)性，得到成對(duì)的相關(guān)特征點(diǎn)；NCC相關(guān)性計(jì)算公式如下<mathsid="math0005"num="0005"><math><![CDATA[<mrow><mi>NCC</mi><mrow><mo>(</mo><msub><mi>I</mi><mn>1</mn></msub><mo>,</mo><msub><mi>I</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>-</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><mrow><mo>(</mo><msub><mi>I</mi><mn>1</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>i</mi><mo>,</mo><mi>y</mi><mo>-</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><mover><msub><mi>I</mi><mn>1</mn></msub><mo>‾</mo></mover><mo>)</mo></mrow><mrow><mo>(</mo><msub><mi>I</mi><mn>2</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>i</mi><mo>,</mo><mi>y</mi><mo>-</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><mover><msub><mi>I</mi><mn>2</mn></msub><mo>‾</mo></mover><mo>)</mo></mrow></mrow><msqrt><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><msup><mrow><mo>(</mo><msub><mi>I</mi><mn>1</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>i</mi><mo>,</mo><mi>y</mi><mo>-</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><mover><msub><mi>I</mi><mn>1</mn></msub><mo>‾</mo></mover><mo>)</mo></mrow><mn>2</mn></msup><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><msup><mrow><mo>(</mo><msub><mi>I</mi><mn>2</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>i</mi><mo>,</mo><mi>y</mi><mo>-</mo><mi>j</mi><mo>)</mo></mrow><mover><msub><mi>I</mi><mn>2</mn></msub><mo>‾</mo></mover><mo>)</mo></mrow><mn>2</mn></msup></msqrt></mfrac></mrow>]]></math></maths>其中I1和I2為兩幅同時(shí)刻視頻幀的像素值；<mathsid="math0006"num="0006"><math><![CDATA[<mrow><mover><msub><mi>I</mi><mn>1</mn></msub><mo>‾</mo></mover><mo>=</mo><mfrac><mn>1</mn><mi>N</mi></mfrac><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><msub><mi>I</mi><mn>1</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>i</mi><mo>,</mo><mi>y</mi><mo>-</mo><mi>j</mi><mo>)</mo></mrow><mo>,</mo></mrow>]]></math>id="icf0006"file="A2009100898410004C2.tif"wi="50"he="12"top="70"left="133"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths><mathsid="math0007"num="0007"><math><![CDATA[<mrow><mover><msub><mi>I</mi><mn>2</mn></msub><mo>‾</mo></mover><mo>=</mo><mfrac><mn>1</mn><mi>N</mi></mfrac><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mo>-</mo><mi>N</mi></mrow><mi>N</mi></munderover><msub><mi>I</mi><mn>2</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>i</mi><mo>,</mo><mi>y</mi><mo>-</mo><mi>j</mi><mo>)</mo></mrow><mo>,</mo></mrow>]]></math>id="icf0007"file="A2009100898410004C3.tif"wi="49"he="10"top="87"left="23"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>分別為圖像I1和I2以(x，y)為中心的2N×2N圖像窗內(nèi)的像素均值，(x-i，y-j)為圖像I1和I2中像素坐標(biāo)，N∈(3，11)；將NCC的相似度值歸一化在[-1，1]范圍內(nèi)；(c)RANSAC提純處理使用RANSAC方法采用抽樣的方式提取四對(duì)相關(guān)的特征點(diǎn)計(jì)算圖像變換矩陣，然后把圖像I2的所有特征點(diǎn)坐標(biāo)變換到圖像I1的坐標(biāo)系中，計(jì)算其與圖像I1中對(duì)應(yīng)相關(guān)點(diǎn)的坐標(biāo)誤差值，即兩點(diǎn)間距離；如果小于門(mén)限值M，則認(rèn)為這一對(duì)相關(guān)點(diǎn)是匹配的特征點(diǎn)，即線(xiàn)內(nèi)點(diǎn)；按照如上方法繼續(xù)抽樣、計(jì)算線(xiàn)內(nèi)點(diǎn)，直到線(xiàn)內(nèi)點(diǎn)數(shù)量不再增加或者抽樣計(jì)算達(dá)到N次則終止抽樣；(7)利用圖像間成對(duì)的匹配特征點(diǎn)計(jì)算八變量投影變換矩陣，使圖像按匹配位置拼合到同一圖像空間中；變換公式如下<mathsid="math0008"num="0008"><math><![CDATA[<mrow><mover><mi>X</mi><mo>^</mo></mover><mo>=</mo><mi>HX</mi><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>h</mi><mn>00</mn></msub></mtd><mtd><msub><mi>h</mi><mn>01</mn></msub></mtd><mtd><msub><mi>h</mi><mn>02</mn></msub></mtd></mtr><mtr><mtd><msub><mi>h</mi><mn>10</mn></msub></mtd><mtd><msub><mi>h</mi><mn>11</mn></msub></mtd><mtd><msub><mi>h</mi><mn>12</mn></msub></mtd></mtr><mtr><mtd><msub><mi>h</mi><mn>20</mn></msub></mtd><mtd><msub><mi>h</mi><mn>21</mn></msub></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mi>X</mi></mrow>]]></math></maths>其中，H是投影變換矩陣，它是自相關(guān)的，h00、h01、h02、h10、h11、h12、h20、h21為八個(gè)所求變量，X＝[x，y，1]T為圖像變換前原始輸入圖像的坐標(biāo)，<mathsid="math0009"num="0009"><math><![CDATA[<mrow><mover><mi>X</mi><mo>^</mo></mover><mo>=</mo><msup><mrow><mo>[</mo><mover><mi>x</mi><mo>^</mo></mover><mo>,</mo><mover><mi>y</mi><mo>^</mo></mover><mo>,</mo><mn>1</mn><mo>]</mo></mrow><mi>T</mi></msup></mrow>]]></math>id="icf0009"file="A2009100898410004C5.tif"wi="12"he="7"top="235"left="175"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>為經(jīng)投影變換后圖像坐標(biāo)；變換結(jié)果的自相關(guān)坐標(biāo)id="icf0010"file="A2009100898410004C7.tif"wi="3"he="5"top="247"left="144"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>必須歸一化以得到非相關(guān)的結(jié)果X′＝[x′y′1]T<mathsid="math0010"num="0010"><math><![CDATA[<mrow><msup><mi>x</mi><mo>′</mo></msup><mo>=</mo><mfrac><mrow><msub><mi>h</mi><mn>00</mn></msub><mi>x</mi><mo>+</mo><msub><mi>h</mi><mn>01</mn></msub><mi>y</mi><mo>+</mo><msub><mi>h</mi><mn>02</mn></msub></mrow><mrow><msub><mi>h</mi><mn>20</mn></msub><mi>x</mi><mo>+</mo><msub><mi>h</mi><mn>21</mn></msub><mi>y</mi><mo>+</mo><mn>1</mn></mrow></mfrac><mo>,</mo></mrow>]]></math>id="icf0011"file="A2009100898410005C1.tif"wi="35"he="11"top="46"left="70"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths><mathsid="math0011"num="0011"><math><![CDATA[<mrow><msup><mi>y</mi><mo>′</mo></msup><mo>=</mo><mfrac><mrow><msub><mi>h</mi><mn>10</mn></msub><mi>x</mi><mo>+</mo><msub><mi>h</mi><mn>11</mn></msub><mi>y</mi><mo>+</mo><msub><mi>h</mi><mn>12</mn></msub></mrow><mrow><msub><mi>h</mi><mn>20</mn></msub><mi>x</mi><msub><mrow><mo>+</mo><mi>h</mi></mrow><mn>21</mn></msub><mi>y</mi><mo>+</mo><mn>1</mn></mrow></mfrac></mrow>]]></math>id="icf0012"file="A2009100898410005C2.tif"wi="33"he="10"top="46"left="111"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中，x，y為原始圖像坐標(biāo)，x′，y′為變換后圖像坐標(biāo)；由此得出四對(duì)特征點(diǎn)對(duì)依據(jù)下公式可以求出變換矩陣H，但是在實(shí)際操作中利用所有匹配的特征點(diǎn)，使用L-M算法迭代求得精確的變換矩陣；(8)背景圖像變換至同一平面，達(dá)到背景的拼接；并在重疊區(qū)域進(jìn)行亮度融合，其融合函數(shù)如下<mathsid="math0012"num="0012"><math><![CDATA[<mrow><mi>C</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>Σ</mi><mi>k</mi></msub><mi>w</mi><mrow><mo>(</mo><mi>d</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>)</mo></mrow><msub><mi>I</mi><mi>k</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>Σ</mi><mi>k</mi></msub><mi>w</mi><mrow><mo>(</mo><mi>d</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>)</mo></mrow></mrow></mfrac></mrow>]]></math></maths>其中，w是單調(diào)函數(shù)，一般取w(x)＝x，d(x)為圖像Ik(k＝1，2，3…)中融合點(diǎn)(x，y)與融合范圍邊界在x軸上的距離，Ik(x)為融合點(diǎn)的像素值，C(x)為融合后的像素值；最終得到靜態(tài)視頻幀序列；(9)利用步驟(7)中的投影變換矩陣H及步驟(5)的動(dòng)態(tài)前景特征，匹配識(shí)別重疊區(qū)域內(nèi)的動(dòng)態(tài)前景，確定動(dòng)態(tài)前景在相鄰視頻中的一致關(guān)系，將動(dòng)態(tài)前景補(bǔ)回到靜態(tài)背景視頻中；由前面所得到的變換矩陣確定重疊區(qū)域范圍，進(jìn)而根據(jù)前景的中心、左右極點(diǎn)判斷前景是否在重疊區(qū)域內(nèi)；若在重疊區(qū)域內(nèi)，則要判斷其與另一視頻中相關(guān)幀的運(yùn)動(dòng)前景是否為同一物體，取一而避免因拍攝角度不同所產(chǎn)生的鬼影現(xiàn)象；判斷依據(jù)如公式利用兩視頻間的變換關(guān)系，將兩運(yùn)動(dòng)前景變換至同一坐標(biāo)下，判斷其重疊面積大于較小目標(biāo)面積大小的k倍；滿(mǎn)足條件則確認(rèn)為同一目標(biāo)，保留面積較大者；判斷規(guī)則如下Sc1∩Sc2＞k*Smin其中，Sc1與Sc2分別代表兩視頻中前景目標(biāo)的面積，Smin是Sc1、Sc2中較小的一個(gè)；(10)融合前景和背景視頻，并輸出視頻拼接結(jié)果。2、根據(jù)權(quán)利要求1所述的動(dòng)態(tài)前景分離的大幅面視頻拼接方法，其特征在于，所使用的攝像機(jī)的擺放位置可根據(jù)拍攝環(huán)境而調(diào)整，對(duì)于室內(nèi)拍攝，攝像機(jī)的光心相距5-10cm;對(duì)于室外拍攝，攝像機(jī)的光心距離為5-100cm，相鄰攝像機(jī)拍攝區(qū)域的重疊面積在20%-50%;攝像機(jī)的數(shù)目為2個(gè)或2個(gè)以上。全文摘要?jiǎng)討B(tài)前景分離的大幅面視頻拼接方法，涉及視頻拼接、全景視頻領(lǐng)域。該方法是采用多臺(tái)位置和拍攝角相對(duì)固定且相同的攝像機(jī)拍攝獲取視頻數(shù)據(jù)，再由計(jì)算機(jī)系統(tǒng)按順序讀入這些視頻序列，并對(duì)這些視頻序列依次進(jìn)行幾何校正、前景提取，然后分別對(duì)前景和背景視頻序列進(jìn)行匹配和變換，得到拼接后的前景和背景視頻，最后將拼接后的前景和背景視頻融合得到最終的視頻拼接結(jié)果。在本發(fā)明中所使用的攝像機(jī)的擺放位置可根據(jù)拍攝環(huán)境而調(diào)整，攝像機(jī)的數(shù)目可為2個(gè)或2個(gè)以上。本發(fā)明所提供的方法通過(guò)分離前景并在重疊區(qū)域重新選擇將要保留的單方數(shù)據(jù)，從而避免了鬼影的產(chǎn)生。實(shí)驗(yàn)證明該方法既保證了視頻的質(zhì)量同時(shí)也提高了拼接算法的速度。文檔編號(hào)H04N5/262GK101621634SQ20091008984公開(kāi)日2010年1月6日申請(qǐng)日期2009年7月24日優(yōu)先權(quán)日2009年7月24日發(fā)明者媛張,賈克斌申請(qǐng)人:北京工業(yè)大學(xué)