基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法
【專利摘要】本發(fā)明屬于圖像信息處理領(lǐng)域，解決視頻拼接中由于相鄰幀之間縫合線變化導(dǎo)致視覺效果下降的問題，提供一種基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法。包括：將已有縫合線分割成等長的縫合線段，利用幀差法在每段縫合線所對應(yīng)的臨界區(qū)域進(jìn)行變化檢測；將臨界區(qū)域均分成若干個方格塊，計(jì)算每一個方格塊灰度變化，標(biāo)記目標(biāo)塊；對該段縫合線進(jìn)行局部調(diào)整。本發(fā)明能夠?qū)崟r(shí)對縫合線進(jìn)行局部調(diào)整，能夠使縫合線繞開運(yùn)動目標(biāo)，避免縫合線的全局跳變，達(dá)到更理想的視覺效果。
【專利說明】基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像信息處理領(lǐng)域，涉及多路高清視頻拼接過程中的縫合線調(diào)整方法。
【背景技術(shù)】
[0002]視頻拼接技術(shù)突破攝像機(jī)采集傳感器的物理限制，通過拼接多攝像機(jī)同一時(shí)刻下拍攝的視頻序列，得到高分辨的全景視頻，能夠大大提高人們對事物和場景的動態(tài)感知、辨別與監(jiān)控能力，技術(shù)要點(diǎn)涉及數(shù)據(jù)采集、圖像配準(zhǔn)、圖像拼接與融合等方面。
[0003]在圖像拼接與融合過程中，需要在相鄰圖像重疊區(qū)域內(nèi)尋找一條最優(yōu)縫合線，在縫合線的左側(cè)寫入源圖像一的相應(yīng)像素值，在縫合線另一側(cè)寫入源圖像二的相應(yīng)像素值。如果縫合線選取恰當(dāng)，不但能夠得到無錯位的融合圖像，而且可以從根本上消除“鬼影”現(xiàn)象。
[0004]求解縫合線的過程可以歸結(jié)為一個多階段決策問題，而動態(tài)規(guī)劃算法是一種解決多階段決策問題的高效優(yōu)化方法。從縫合線初始點(diǎn)到終點(diǎn)的搜索過程中，由當(dāng)前點(diǎn)尋找下一點(diǎn)的決策可以構(gòu)成一個決策序列，即一個策略。在所有可能策略中，按照上述準(zhǔn)則選取最優(yōu)解。具體來說，首先按照上述準(zhǔn)則構(gòu)建重疊區(qū)域的差值圖像，然后在差值圖像上用動態(tài)規(guī)劃算法求解縫合線，并選擇經(jīng)過像素值最小的縫合線作為最優(yōu)縫合線。
[0005]由于求得的縫合線可能穿過重疊區(qū)域中的運(yùn)動目標(biāo)，容易造成運(yùn)動目標(biāo)產(chǎn)生較明顯的形變和錯位。如果在每一幀中都重新求解縫合線，則會造成整條縫合線的全局調(diào)整，容易出現(xiàn)比較明顯的閃動的視覺效果。針對這些問題，對穿過運(yùn)動目標(biāo)的縫合線部分進(jìn)行局部調(diào)整，既可以繞開運(yùn)動目標(biāo)，又可以避免相鄰兩幀之間縫合線的全局調(diào)整，能夠取得更好的視覺效果。

【發(fā)明內(nèi)容】

[0006]本發(fā)明為解決由于相鄰幀之間縫合線發(fā)生全局變化和縫合線穿過運(yùn)動目標(biāo)而導(dǎo)致的視頻拼接視覺效果下降的技術(shù)問題，提供一種基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法。
[0007]本發(fā)明是采用以下技術(shù)方案實(shí)現(xiàn)的:
[0008]一種基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法，包括如下步驟:
[0009]S1、將已有縫合線分割成等長的縫合線段，利用幀差法在每段縫合線所對應(yīng)的臨界區(qū)域進(jìn)行變化檢測，得到相鄰兩幀在所述臨界區(qū)域內(nèi)的灰度變化，所述已有縫合線為上
一中貞縫合線；
[0010]S2、根據(jù)預(yù)先設(shè)定的方格塊區(qū)域總數(shù)將每段縫合線所對應(yīng)的臨界區(qū)域均分成若干個方格塊，計(jì)算每一個所述方格塊的灰度變化；當(dāng)方格塊的灰度變化大于預(yù)先設(shè)定的變化閾值時(shí)，將所述方格塊標(biāo)記為目標(biāo)塊；
[0011]S3、設(shè)定目標(biāo)塊數(shù)量閾值，當(dāng)某段縫合線所對應(yīng)的臨界區(qū)域內(nèi)的目標(biāo)塊數(shù)量大于所述目標(biāo)塊數(shù)量閾值時(shí)，對該段縫合線進(jìn)行局部調(diào)整。
[0012]進(jìn)一步地，在步驟S3中需要進(jìn)行局部調(diào)整的若干段縫合線中如果存在相鄰的縫合線段，則以相鄰的縫合線段構(gòu)成的整體縫合線段進(jìn)行局部調(diào)整。
[0013]進(jìn)一步地，所述步驟S3中對縫合線進(jìn)行局部調(diào)整所采用的方法包括但不限于動態(tài)規(guī)劃算法、圖割算法或貪婪搜索算法。
[0014]進(jìn)一步地，所述步驟S3中對縫合線進(jìn)行局部調(diào)整所采用的方法包括以下步驟:
[0015]S31、計(jì)算圖像重疊區(qū)域的差異圖像；
[0016]S32、采用動態(tài)規(guī)劃算法，在該段縫合線所在重疊區(qū)域內(nèi)從縫合線段的上端到下端進(jìn)行逐行搜索，尋找一條最優(yōu)路徑使得縫合線經(jīng)過位置的差異圖像像素值之和最小，所述最優(yōu)路徑即為局部調(diào)整后的縫合線。
[0017]進(jìn)一步地，所述步驟S31中計(jì)算圖像重疊區(qū)域的差異圖像的具體方法為:對兩幅源圖像在每一個像素點(diǎn)處的顏色差和梯度差，根據(jù)預(yù)先設(shè)定的對應(yīng)的加權(quán)系數(shù)進(jìn)行加權(quán)平均得到每個像素點(diǎn)對應(yīng)的差異值，進(jìn)而得到重疊區(qū)域的差異圖像。
[0018]進(jìn)一步地，所述步驟S32中的動態(tài)規(guī)劃算法為:首先從待局部調(diào)整的縫合線終點(diǎn)向起點(diǎn)方向分別按照從左向右和從右向左順序，在差異圖像內(nèi)進(jìn)行逐行計(jì)算，得到每行內(nèi)各個像素點(diǎn)到該縫合線終點(diǎn)的最小的差異圖像像素值之和；再按照相反方向從該縫合線起點(diǎn)到終點(diǎn)進(jìn)行搜索，根據(jù)當(dāng)前點(diǎn)和其相鄰點(diǎn)到該縫合線終點(diǎn)的最小的差異圖像像素值之和，依次從其相鄰點(diǎn)中確定下一個縫合線點(diǎn)，最終確定調(diào)整后的縫合線。
[0019]綜上所述，本發(fā)明所述方法首先將上一幀縫合線作為已有縫合線，并將縫合線分割成等長縫合線段，然后對于每段縫合線，在縫合線兩側(cè)的臨界區(qū)域利用幀差法進(jìn)行變化檢測。當(dāng)灰度變化大于變化閾值時(shí)，標(biāo)記目標(biāo)塊。最后利用改進(jìn)動態(tài)規(guī)劃算法更新該段縫合線。本發(fā)明能夠?qū)崟r(shí)對縫合線進(jìn)行局部調(diào)整，能夠使縫合線繞開運(yùn)動目標(biāo)，避免縫合線的全局跳變，達(dá)到更理想的視覺效果。
【專利附圖】

【附圖說明】
[0020]圖1是本發(fā)明所述方法的流程圖；
[0021]圖2是本發(fā)明實(shí)施例中兩幅有重疊區(qū)域的源圖像；
[0022]圖3是重疊區(qū)域圖像；
[0023]圖4是已有縫合線示意圖；
[0024]圖5是縫合線分割成等長縫合線段示意圖；
[0025]圖6是幀差法求得灰度變化結(jié)果示意圖；
[0026]圖7是目標(biāo)塊標(biāo)記示意圖；
[0027]圖8是差異值圖像不意圖；
[0028]圖9是改進(jìn)動態(tài)規(guī)劃算法求解過程示意圖；
[0029]圖10是局部調(diào)整后縫合線示意圖。
【具體實(shí)施方式】
[0030]下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明作進(jìn)一步說明。
[0031]本發(fā)明提供了一種基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法，如圖1所示，包括如下步驟:
[0032]S1、將已有縫合線分割成等長的縫合線段，利用幀差法在每段縫合線所對應(yīng)的臨界區(qū)域進(jìn)行變化檢測，得到相鄰兩幀在所述臨界區(qū)域內(nèi)的灰度變化，所述已有縫合線為上
一中貞縫合線。
[0033]縫合線段長度根據(jù)圖像尺寸具體確定，可以按照垂直距離將重疊區(qū)域等分為若干部分，每一部分中包含了一段垂直方向等長的縫合線。對于第一幀視頻圖像的重疊區(qū)域，該已有縫合線的初值為所述重疊區(qū)域垂直方向的中心線。一般來說，可以按照垂直距離將重疊區(qū)域等分為5至20個部分。
[0034]幀差法在運(yùn)動目標(biāo)檢測中使用較多，其基本原理是將連續(xù)的兩幀圖像對應(yīng)的像素值相減。在環(huán)境亮度變化不大的情況下，如果對應(yīng)像素值相差很小，可以認(rèn)為此處景物是靜止的，如果圖像區(qū)域某處的像素值變化很大，可認(rèn)為這是由于圖像中運(yùn)動物體引起的，將這些區(qū)域標(biāo)記下來，利用這些標(biāo)記的像素區(qū)域，可以求出運(yùn)動目標(biāo)在圖像中的位置。設(shè)&(/,./)，g,#，_/)分別為像素點(diǎn)(i, j)在相鄰兩幀的灰度值，則像素點(diǎn)(i, j)的灰度變化Δ g0(i, j)為:
[0035]
【權(quán)利要求】
1.一種基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法，其特征在于包括如下步驟: 51、將已有縫合線分割成等長的縫合線段，利用幀差法在每段縫合線所對應(yīng)的臨界區(qū)域進(jìn)行變化檢測，得到相鄰兩幀在所述臨界區(qū)域內(nèi)的灰度變化，所述已有縫合線為上一幀縫合線； 52、根據(jù)預(yù)先設(shè)定的方格塊區(qū)域總數(shù)將每段縫合線所對應(yīng)的臨界區(qū)域均分成若干個方格塊，計(jì)算每一個所述方格塊的灰度變化；當(dāng)方格塊的灰度變化大于預(yù)先設(shè)定的變化閾值時(shí)，將所述方格塊標(biāo)記為目標(biāo)塊； 53、設(shè)定目標(biāo)塊數(shù)量閾值，當(dāng)某段縫合線所對應(yīng)的臨界區(qū)域內(nèi)的目標(biāo)塊數(shù)量大于所述目標(biāo)塊數(shù)量閾值時(shí)，對該段縫合線進(jìn)行局部調(diào)整。
2.根據(jù)權(quán)利要求1所述的基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:在步驟S3中需要進(jìn)行局部調(diào)整的若干段縫合線中如果存在相鄰的縫合線段，則以相鄰的縫合線段構(gòu)成的整體縫合線段進(jìn)行局部調(diào)整。
3.根據(jù)權(quán)利要求1或2所述的基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:所述步驟S3中對縫合線進(jìn)行局部調(diào)整所采用的方法包括但不限于動態(tài)規(guī)劃算法、圖割算法或貪婪搜索算法。
4.根據(jù)權(quán)利要求1或2所述的基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:所述步驟S3中對縫合線進(jìn)行局部調(diào)整所采用的方法包括以下步驟: 531、計(jì)算圖像重疊區(qū)域的差異圖像； 532、采用動態(tài)規(guī)劃算法，在該段縫合線所在重疊區(qū)域內(nèi)從縫合線段的上端到下端進(jìn)行逐行搜索，尋找一條最優(yōu)路徑使得縫合線經(jīng)過位置的差異圖像像素值之和最小，所述最優(yōu)路徑即為局部調(diào)整后的縫合線。
5.根據(jù)權(quán)利要求4所述的基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:所述步驟S31中計(jì)算圖像重疊區(qū)域的差異圖像的具體方法為:對兩幅源圖像在每一個像素點(diǎn)處的顏色差和梯度差，根據(jù)預(yù)先設(shè)定的對應(yīng)的加權(quán)系數(shù)進(jìn)行加權(quán)平均得到每個像素點(diǎn)對應(yīng)的差異值，進(jìn)而得到重疊區(qū)域的差異圖像。
6.根據(jù)權(quán)利要求4所述的基于目標(biāo)塊檢測的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:所述步驟S32中的具體方法為:首先從待局部調(diào)整的縫合線終點(diǎn)向起點(diǎn)方向分別按照從左向右和從右向左順序，在差異圖像內(nèi)進(jìn)行逐行計(jì)算，得到每行內(nèi)各個像素點(diǎn)到該縫合線終點(diǎn)的最小的差異圖像像素值之和；再按照相反方向從該縫合線起點(diǎn)到終點(diǎn)進(jìn)行搜索，根據(jù)當(dāng)前點(diǎn)和其相鄰點(diǎn)到該縫合線終點(diǎn)的最小的差異圖像像素值之和，依次從其相鄰點(diǎn)中確定下一個縫合線點(diǎn)，最終確定調(diào)整后的縫合線。
【文檔編號】G06T3/40GK103489154SQ201310462090
【公開日】2014年1月1日 申請日期:2013年10月1日 優(yōu)先權(quán)日:2013年10月1日
【發(fā)明者】張茂軍, 熊志輝, 尹曉晴, 譚樹人, 徐瑋, 王煒, 劉煜, 張政, 李靖, 彭?xiàng)? 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué), 湖南源信光電科技有限公司