一種無有效重疊變結(jié)構(gòu)的定點(diǎn)定向視頻實(shí)時(shí)拼接方法
【專利摘要】本發(fā)明公開了一種無有效重疊變結(jié)構(gòu)的定點(diǎn)定向視頻實(shí)時(shí)拼接方法，所述方法包括：分別采集不同位置的視頻流信息；將壓縮后的視頻流信息按照時(shí)間順序分為多個(gè)第一靜態(tài)視頻幀組；將所述第一靜態(tài)視頻幀組中每一路視頻流信息對(duì)應(yīng)的靜態(tài)圖像，轉(zhuǎn)換為被拍對(duì)象的俯視圖，形成第二靜態(tài)視頻幀組；對(duì)所述第二靜態(tài)視頻幀組中的每個(gè)視頻幀進(jìn)行定位、全景粗拼接、補(bǔ)償融合、全景精拼接得到實(shí)時(shí)全景視頻流。本發(fā)明針對(duì)不同視角、不同方向?qū)ν粓?chǎng)景采集的無有效重疊變結(jié)構(gòu)的圖像進(jìn)行拼接處理，再實(shí)時(shí)生成視頻流。本發(fā)明的拼接方法不但提高了圖像拼接精度，同時(shí)保證了圖像拼接效率，滿足了視頻流拼接的實(shí)時(shí)性要求。
【專利說明】一種無有效重疊變結(jié)構(gòu)的定點(diǎn)定向視頻實(shí)時(shí)拼接方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉實(shí)時(shí)視頻圖像拼接【技術(shù)領(lǐng)域】，更具體涉及一種無有效重疊變結(jié)構(gòu)的定點(diǎn) 定向視頻實(shí)時(shí)拼接方法。

【背景技術(shù)】
[0002] 近年來隨著視頻拼接技術(shù)的快速發(fā)展，其在建立大視角的高分辨率圖像領(lǐng)域、虛 擬現(xiàn)實(shí)領(lǐng)域、醫(yī)學(xué)圖像領(lǐng)域、遙感技術(shù)以及軍事領(lǐng)域中均有廣泛的應(yīng)用。視頻拼接技術(shù)主要 包含圖像拼接技術(shù)和視頻實(shí)時(shí)合成技術(shù)。其一，圖像拼接技術(shù)是實(shí)現(xiàn)視頻拼接技術(shù)的核心， 主要包括圖像配準(zhǔn)和圖像融合兩個(gè)關(guān)鍵環(huán)節(jié)：圖像配準(zhǔn)是實(shí)現(xiàn)圖像拼接的基礎(chǔ)，其目標(biāo)是 對(duì)在不同攝像位置和角度下的多幅圖像進(jìn)行匹配；圖像融合則是通過消除由于幾何校正、 動(dòng)態(tài)的場(chǎng)景或光照變化引起的相鄰圖像間的強(qiáng)度或顏色不連續(xù)現(xiàn)象，合成高質(zhì)量的圖像。 其二，視頻實(shí)時(shí)合成技術(shù)則是通過采用FPGA、英特爾的IPP、英偉達(dá)的CUDA等平行計(jì)算架 構(gòu)，提高圖像拼接算法的執(zhí)行效率來實(shí)現(xiàn)的。
[0003] 從圖像采集的角度來看，大致可以分為四類。1)單相機(jī)固定支點(diǎn)，鏡頭旋轉(zhuǎn)對(duì)同一 場(chǎng)景進(jìn)行圖像采集；2)單相機(jī)固定在一個(gè)滑軌上平行移動(dòng)對(duì)同一場(chǎng)景進(jìn)行圖像采集；3)多 相機(jī)在不同視向角，不同方向?qū)ν粓?chǎng)景進(jìn)行圖像采集，圖像間具有可用與圖像拼接的有 效重疊區(qū)域；4)多相機(jī)在不同視向角，不同方向?qū)ν粓?chǎng)景進(jìn)行圖像采集，圖像間無能用 于圖像拼接的有效重疊區(qū)域，甚至圖像間有較小的間隙和漏洞。根據(jù)本發(fā)明研宄的實(shí)際問 題，主要關(guān)注第四類情況，即利用多路攝像頭定點(diǎn)定向?qū)ν粓?chǎng)景進(jìn)行視頻采集和拼接。
[0004] 從圖像拼接的核心技術(shù)圖像配準(zhǔn)角度來看，目前圖像配準(zhǔn)技術(shù)有兩種，即相位相 關(guān)度法和幾何特征法。相位相關(guān)度法具有場(chǎng)景無關(guān)性，能夠?qū)⒓兇舛S平移的圖像精確地 對(duì)齊。但相位相關(guān)度法只適合解決存在純平移或旋轉(zhuǎn)的圖像配準(zhǔn)問題，在仿射和透視變換 模型中，該方法就無法配準(zhǔn)圖像，而在實(shí)際過程中不可能做到相機(jī)位置與成像平面的絕對(duì) 平行，故其實(shí)際使用價(jià)值低。幾何特征法是通過基于圖像中的低級(jí)幾何特征，例如邊模型、 角模型、頂點(diǎn)模型等，對(duì)圖像進(jìn)行拼接的方法。但基于幾何特征的圖像配準(zhǔn)方法的前提是兩 圖像必須要有一定量的重疊區(qū)域，并且匹配的圖像在時(shí)間上必須具有連貫的特征，對(duì)于多 相機(jī)在不同視角，不同方向?qū)ν粓?chǎng)景采集的無重疊區(qū)域的圖像拼接無能無力。
[0005] 從圖像融合的角度來看，其目的是從圖像顏色亮度和結(jié)構(gòu)上消除圖像間的拼接 縫。圖像融合的方法很多，對(duì)于圖像顏色和亮度的融合算法，簡(jiǎn)單的有光強(qiáng)加權(quán)平均和加權(quán) 平均融合，復(fù)雜的有圖像Voronoi權(quán)重法和高斯樣條插值法。其核心思想是先對(duì)圖像進(jìn)行 分割，利用重疊區(qū)域作為匹配的標(biāo)準(zhǔn)，再通過圖像校正、顏色變換和像素插值等手段來融合 圖像的拼接縫。而對(duì)于圖像結(jié)構(gòu)上的過度差異，一般都是采用簡(jiǎn)單的羽化的方法，根據(jù)歐氏 距離對(duì)權(quán)重進(jìn)行平均，再利用濾波技術(shù)消除由于羽化造成的圖像模糊現(xiàn)象和拼接視頻中的 鬼影現(xiàn)象。顯然，對(duì)于多相機(jī)在不同視角，不同方向?qū)ν粓?chǎng)景采集的無重疊區(qū)域的圖像拼 接縫的融合現(xiàn)有方法無法處理，并且對(duì)于實(shí)時(shí)的視頻流融合來說，現(xiàn)有技術(shù)也無法滿足實(shí) 時(shí)性的要求。
[0006] 專利
【發(fā)明者】蔣朝輝, 陳致蓬, 桂衛(wèi)華, 陽(yáng)春華, 鄧康 申請(qǐng)人:中南大學(xué)