一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理與視頻處理技術(shù)領(lǐng)域，特別涉及一種用于視頻監(jiān)控的多尺 度柱面投影全景圖像生成方法。
【背景技術(shù)】
[0002] 圖像拼接的關(guān)鍵技術(shù)在于準(zhǔn)確找到圖像序列之間的重疊區(qū)域和范圍，并實(shí)現(xiàn)對應(yīng) 點(diǎn)之間的對應(yīng)關(guān)系模型，即圖像配準(zhǔn)。根據(jù)目前提出的圖像配準(zhǔn)算法，可以將圖像拼接技術(shù) 分為三大類：基于變換域的方法，基于圖像特征的方法和基于圖像灰度的方法。基于變換域 的方法很難處理鏡頭存在旋轉(zhuǎn)和縮放情況，要求待配準(zhǔn)圖像之間有較大重疊比例，同時搜 索整個圖像空間，計(jì)算代價高昂。而基于圖像灰度的方法要求兩幅圖的各項(xiàng)屬性變化不大， 否則會造成較大誤差。而且計(jì)算復(fù)雜，計(jì)算量大。基于圖像特征的方法對圖像變形和遮擋 等有良好的適應(yīng)能力，可以提高配準(zhǔn)的精確程度，因此有著大量的研究，例如Harris算法 和SURF算法。
[0003] 經(jīng)過多年的研究，國內(nèi)外許多學(xué)者提出了不同的圖像配準(zhǔn)方法，在圖像拼接技 術(shù)方面取得了很多研究成果。如：SzeliskiR在Proceedingsofthe24thannual conferenceonComputergraphicsandinteractivetechniques上發(fā)表的"Creating fullviewpanoramicimagemosaicsandenvironmentmaps" 以手動石角定至少 4 對特征 點(diǎn)，并以特征點(diǎn)像素的亮度誤差構(gòu)造優(yōu)化函數(shù)來估計(jì)圖像間的點(diǎn)變換關(guān)系，但是采用此方 法得到的特征點(diǎn)數(shù)過少，配準(zhǔn)效果并不理想。
[0004] 又經(jīng)檢索發(fā)現(xiàn)，姜代紅等人的專利"一種礦井監(jiān)控圖像快速拼接方法"中采用 Harris算法提取角點(diǎn)，并求角點(diǎn)的SIFT描述符，但是這種方法中求取SIFT描述符時，描述 符的維數(shù)較大，所需的計(jì)算時間和存儲空間均較大，且當(dāng)圖像邊緣因攝像頭角度問題產(chǎn)生 畸變時無法克服。
[0005] 上述的各方法并未考慮到對圖像因?yàn)榕臄z角度造成的邊緣的畸變進(jìn)行修正，同時 對圖像配準(zhǔn)和融合的精度以及計(jì)算速度需要綜合考慮。此外用于視頻監(jiān)控的圖像拼接方法 需要進(jìn)一步考慮實(shí)時性的問題，同時因?yàn)閿z像頭方向造成的圖像光照和色度的差異在拼接 之后的全景圖像之中應(yīng)該能夠消除。
[0006] 因此，圖像處理與視頻處理技術(shù)領(lǐng)域急需一種極大的消除因?yàn)閿z像頭拍攝角度引 起的圖像邊緣畸變，采用預(yù)設(shè)重疊區(qū)域的方式提高處理速度和算法穩(wěn)定性，對求得的匹配 點(diǎn)進(jìn)行過濾，采用漸進(jìn)調(diào)整系數(shù)的方式進(jìn)行圖像色差的調(diào)整，形成最終色度一致、無接縫全 景圖像的用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明為了解決如上問題，提供了一種用于視頻監(jiān)控的多尺度柱面投影全景圖像 生成方法，技術(shù)方案如下： 一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，包括如下步驟： 步驟一、截取待拼接圖像的預(yù)設(shè)重疊區(qū)域并投影到柱面，獲得柱面投影圖像； 步驟二、針對步驟一中得到的柱面投影，利用不同尺度的高斯濾波建立圖像在各尺度 下的子圖像，對各尺度的圖像采用改進(jìn)的Harris方法尋找特征點(diǎn)，并根據(jù)特征點(diǎn)所在的子 圖像尺度信息采用SURF算子求這些特征點(diǎn)在該尺度下的特征向量； 步驟三、針對步驟二中求出的特征點(diǎn)，求得各特征點(diǎn)的特征向量之間的歐氏距離，尋找 匹配的特征點(diǎn)對，并采用多次迭代求內(nèi)點(diǎn)數(shù)的方法對特征點(diǎn)對進(jìn)行過濾，求得最優(yōu)單應(yīng)性 矩陣； 步驟四、根據(jù)最優(yōu)單應(yīng)性矩陣及所述單應(yīng)性矩陣下的各內(nèi)點(diǎn)坐標(biāo)，求得拼接接縫的坐 標(biāo)以及待拼接圖像實(shí)際重疊區(qū)域； 步驟五，針對步驟四中拼接接縫左右實(shí)際重疊區(qū)域內(nèi)的待拼接圖像像素點(diǎn)進(jìn)行色度的 調(diào)整以消除待拼接圖像之間的接縫，求得待拼接圖像之間的相對位移并將各待拼接圖像拼 接在一起經(jīng)裁剪得到最終的全景圖像。
[0008] 優(yōu)選的，在一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法中，步驟一中 對柱面投影圖像的獲取過程，具體步驟如下： 首先，對于待拼接圖像上的一點(diǎn)假設(shè)其投影后在柱面圖像上的對應(yīng)點(diǎn)為 ，根據(jù)柱面投影算法，已知待拼接圖像的寬度和高度，求出投影后的圖像寬度和 高度，具體公式如下：
【主權(quán)項(xiàng)】
1. 一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，包括如下步驟： 步驟一、截取待拼接圖像的預(yù)設(shè)重疊區(qū)域，并投影到柱面，獲得柱面投影圖像； 步驟二、針對所述步驟一中得到的柱面投影，利用不同尺度的高斯濾波建立圖像在各 尺度下的子圖像，對各尺度的圖像采用改進(jìn)的Harris方法尋找特征點(diǎn)，并根據(jù)特征點(diǎn)所在 的子圖像尺度信息采用SURF算子求這些特征點(diǎn)在該尺度下的特征向量； 步驟三、針對所述步驟二中求出的特征點(diǎn)，求得各特征點(diǎn)的特征向量之間的歐氏距離， 尋找匹配的特征點(diǎn)對，并采用多次迭代求內(nèi)點(diǎn)數(shù)的方法對特征點(diǎn)對進(jìn)行過濾，求得最優(yōu)單 應(yīng)性矩陣； 步驟四、根據(jù)所述最優(yōu)單應(yīng)性矩陣及所述單應(yīng)性矩陣下的各內(nèi)點(diǎn)坐標(biāo)，求得拼接接縫 的坐標(biāo)以及待拼接圖像實(shí)際重疊區(qū)域； 步驟五，針對所述步驟四中拼接接縫左右實(shí)際重疊區(qū)域內(nèi)的待拼接圖像像素點(diǎn)進(jìn)行色 度的調(diào)整以消除待拼接圖像之間的接縫，求得待拼接圖像之間的相對位移并將各待拼接圖 像拼接在一起經(jīng)裁剪得到最終的全景圖像。
2. 根據(jù)權(quán)利要求1所述的一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，其 特征在于，所述步驟一中對柱面投影圖像的獲取過程，具體步驟如下： 首先，對于待拼接圖像上的一點(diǎn)假設(shè)其投影后在柱面圖像上的對應(yīng)點(diǎn)為 ，根據(jù)柱面投影算法，已知待拼接圖像的寬度和高度，求出投影后的圖像寬度和 高度，具體公式如下：
其中，/為拍攝焦距，r表示待拼接圖像的寬度，H表示待拼接圖像的高度； 將待投影圖像橫向邊緣坐標(biāo)即X= 0和z= 代入f的計(jì)算公式，求得投影圖像的橫 向邊緣坐標(biāo)，從而可以得到投影后的圖像寬度為
將待投影圖像橫向邊緣坐標(biāo)即
，縱向邊緣坐標(biāo)即或代入y的計(jì)算公式， 求得投影后的圖像高度為H; 進(jìn)一步地，對投影后圖像中的任意點(diǎn)P，采用投影逆變換公式求得其在待投影圖像中 對應(yīng)點(diǎn)p的坐標(biāo)為
J均為整數(shù)，K,v為〇和1之間的數(shù)；求點(diǎn)P處的像 素點(diǎn)值，即需要求得點(diǎn)P周圍的四個像素點(diǎn)的值，點(diǎn)f1周圍的四個像素點(diǎn)的坐標(biāo)為b ，
進(jìn)一步地，根據(jù)這四個點(diǎn)的像素值，采用雙線性插值的方式求得點(diǎn)P處像素點(diǎn)的值，雙 線性插值的公式為：
其中，表示待投影圖像中坐標(biāo)為處的像素點(diǎn)的坐標(biāo)值； 將得到的投影圖像作為待拼接圖像進(jìn)行步驟二的拼接操作。
3.根據(jù)權(quán)利要求1所述的一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，其 特征在于，所述步驟二中，利用不同尺度系數(shù)的高斯濾波器建立圖像在各尺度下的子圖像， 求取該尺度下的特征向量的具體步驟如下： 首先，利用不同尺度系數(shù)的高斯濾波器建立圖像在各尺度下的子圖像，首先構(gòu)建尺度 空間，不同尺度下各坐標(biāo)位置像素點(diǎn)的值的計(jì)算公式為：
其中，d表示不同尺度