下各坐標(biāo)位置像素點(diǎn)的值，表示像素點(diǎn)坐標(biāo)， A; .F)表示像素點(diǎn)灰度值，表示尺度可變高斯函數(shù)，表示尺度值，為常數(shù)； 進(jìn)一步地，Harris算子是一種基于信號(hào)的角點(diǎn)特征提取算子，Harris特征檢測(cè)算法 的基本原理為取以目標(biāo)像素點(diǎn)為中心的一個(gè)小窗口，計(jì)算窗口沿任何方向移動(dòng)后的灰度變 化，從而得到整幅圖像的特征點(diǎn)，具體處理過(guò)程為： 求得各像素點(diǎn)處的自相關(guān)矩陣：
其中，C表示自相關(guān)矩陣，e表示自然對(duì)數(shù)的底數(shù)，是一個(gè)無(wú)限不循環(huán)小數(shù)，取值為 2. 71828, &、心表示此處像素點(diǎn)在X方向及J方向上的梯度值； (2)根據(jù)求得的自相關(guān)矩陣C，求得各像素點(diǎn)處的改進(jìn)型Harris角點(diǎn)響應(yīng)函數(shù)：
其中，ZM(C)表示自相關(guān)矩陣的行列式值，2>a⑶(C)表示自相關(guān)矩陣的秩，e為一個(gè) 很小的值，用于避免當(dāng)rracAC 〇時(shí)出現(xiàn)計(jì)算錯(cuò)誤，取值為〇. 〇〇〇1，|?表示圖中相應(yīng)像素 點(diǎn)的興趣值，興趣閾值選為最大興趣值的〇. 001倍，如果一個(gè)點(diǎn)的i?值大于興趣閾值，則把 該點(diǎn)判定為特征點(diǎn)； 進(jìn)一步地，針對(duì)找到的特征點(diǎn)，采用SURF算子計(jì)算其特征向量，具體操作過(guò)程如下： 在每個(gè)特征點(diǎn)周?chē)x取一個(gè)正方形框，框的邊長(zhǎng)為20s，s指檢測(cè)到的該特征點(diǎn)所在的 子圖像的尺度，把該框分為16個(gè)子區(qū)域，每個(gè)子區(qū)域統(tǒng)計(jì)25個(gè)像素的水平方向和垂直方向 的Haar小波特征，此處的水平方向和垂直方向都是相對(duì)主方向而言的；該Haar小波特征值 分別為水平方向值之和X&，水平方向絕對(duì)值之和X|c&|,垂直方向之和X辦，垂直方 向絕對(duì)值之和;每個(gè)子區(qū)域都算出這4個(gè)Haar小波特征值，16個(gè)區(qū)域總共產(chǎn)生64 個(gè)特征參數(shù)，即總共64維的特征向量。
4. 根據(jù)權(quán)利要求1所述的一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，其 特征在于，所述步驟二中的高斯濾波子圖像為8層時(shí)，尺度值〇取從1. 2至6. 8均勻變化的 數(shù)值，代入上述公式計(jì)算出以七<j)。
5. 根據(jù)權(quán)利要求1所述的一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，其 特征在于，所述步驟三中，求得最優(yōu)單應(yīng)性矩陣的具體步驟如下： 首先，得到2幅子圖像的特征點(diǎn)以及每個(gè)特征點(diǎn)的64維特征向量之后，進(jìn)行特征點(diǎn)的 匹配； 取左側(cè)第一幅圖像的每一個(gè)特征點(diǎn)分別與右側(cè)第二幅圖像的所有特征點(diǎn)一一計(jì)算64 維特征向量的歐式距離，其中距離最小的特征點(diǎn)視為匹配的特征點(diǎn)，求歐氏距離的公式如 下：
其中，沿s表示歐式距離，為i代表左側(cè)待拼接圖像第*個(gè)特征點(diǎn)的第m個(gè)特征向量， 44代表右側(cè)待拼接圖像第J個(gè)特征點(diǎn)的第《個(gè)特征向量； 預(yù)先設(shè)定迭代次數(shù)閾值，對(duì)求得的匹配的特征點(diǎn)對(duì)多次迭代求內(nèi)點(diǎn)數(shù)，具體過(guò)程如 下： (1) 從匹配特征點(diǎn)中選擇一對(duì)特征點(diǎn)對(duì)，求得單應(yīng)性矩陣的計(jì)算公式為：
其中(X另和為兩個(gè)匹配特征點(diǎn)的坐標(biāo)； (2) 用上一步所計(jì)算出的單應(yīng)性矩陣去測(cè)試所有其它的匹配點(diǎn)對(duì)，根據(jù)此單應(yīng)性矩陣 求得左側(cè)待拼接圖像中被測(cè)試的點(diǎn)鞏&，心）在右側(cè)待拼接圖像中的映射點(diǎn)的 位置，其中
，若此映射點(diǎn)與右側(cè)待拼接圖像中對(duì)應(yīng)的匹配點(diǎn)5'的 距離小于預(yù)先設(shè)定的閾值，則認(rèn)為這一對(duì)特征點(diǎn)是內(nèi)點(diǎn)； (3) 記錄此時(shí)的內(nèi)點(diǎn)數(shù)和所有內(nèi)點(diǎn)的映射點(diǎn)與匹配點(diǎn)之間的距離之和； (4) 若此單應(yīng)性矩陣下內(nèi)點(diǎn)數(shù)最多，且此單應(yīng)性矩陣下所有內(nèi)點(diǎn)的映射點(diǎn)與匹配點(diǎn) 之間的距離之和最小，則認(rèn)為此單應(yīng)性矩陣為最優(yōu)單應(yīng)性矩陣，記錄下此時(shí)各內(nèi)點(diǎn)坐標(biāo)位 置； (5) 若未達(dá)到迭代次數(shù)閾值，則進(jìn)入步驟（1)，否則迭代結(jié)束，此時(shí)內(nèi)點(diǎn)數(shù)最多的單應(yīng) 性矩陣值為最優(yōu)單應(yīng)性矩陣，若有多個(gè)單應(yīng)性矩陣的內(nèi)點(diǎn)數(shù)量相同，則誤差和最小的一個(gè) 為最優(yōu)單應(yīng)性矩陣。
6. 根據(jù)權(quán)利要求1所述的一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，其 特征在于，所述步驟四中，根據(jù)最優(yōu)單應(yīng)性矩陣以及此最優(yōu)單應(yīng)性矩陣下的各內(nèi)點(diǎn)位置，求 得接縫坐標(biāo)，具體步驟如下： 首先，根據(jù)各內(nèi)點(diǎn)的水平坐標(biāo)，求出各坐標(biāo)的平均值，接縫是一條堅(jiān)直方向的直線，所 述各坐標(biāo)的平均值即為接縫的水平方向的坐標(biāo)； 進(jìn)一步的，所述步驟四中，根據(jù)最優(yōu)單應(yīng)性矩陣下的各內(nèi)點(diǎn)坐標(biāo)水平的平均值和堅(jiān)直 的平均值，計(jì)算對(duì)于左右兩側(cè)待拼接圖像來(lái)說(shuō)，若要使得圖像上相應(yīng)的此平均點(diǎn)重合，右側(cè) 圖像相對(duì)于左側(cè)圖像需要進(jìn)行的位移，根據(jù)此位移值即可計(jì)算最終的實(shí)際重合區(qū)域。
7. 根據(jù)權(quán)利要求1所述的一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，其 特征在于，所述步驟五中，對(duì)待拼接圖像進(jìn)行色度的調(diào)整以消除接縫，具體步驟為： 首先，在實(shí)際重疊區(qū)域內(nèi)，求得實(shí)際重疊區(qū)域中接縫左側(cè)各像素點(diǎn)與接縫右側(cè)各像素 點(diǎn)在RGB三通道上的平均值的比值為％、％\ ; 進(jìn)一步地，令左側(cè)待拼接圖像在實(shí)際重疊區(qū)域最左列的像素點(diǎn)RGB三通道的調(diào)整系數(shù) 均為1，左側(cè)待拼接圖像在接縫處的RGB三通道調(diào)整系數(shù)為
，中間各列 的調(diào)整系數(shù)胃呈等差數(shù)列均勻分布； 進(jìn)一步地，令右側(cè)待拼接圖像在重疊區(qū)域最右列的像素點(diǎn)RGB三通道的調(diào)整系數(shù)均為 1，右側(cè)待拼接圖像在接縫處的RGB三通道調(diào)整系數(shù)為，中間各列的調(diào)整 系數(shù)&，胃呈等差數(shù)列均勻分布；
進(jìn)一步地，對(duì)于待拼接圖像在重疊區(qū)域的各列圖像，各像素點(diǎn)均乘以相應(yīng)的調(diào)整系數(shù) ,各像素點(diǎn)調(diào)整系數(shù)計(jì)算的具體公式如下：
其中，設(shè)實(shí)際重疊區(qū)域左下角坐標(biāo)為（〇, 〇)，表示重疊區(qū)域最左側(cè)一列到接縫處的 列寬，&表示接縫處到重疊區(qū)域最右側(cè)一列的列寬，表示從重疊區(qū)域最左側(cè)一列 向右第J列的像素點(diǎn)的調(diào)整系數(shù)，J_表示第J列的像素點(diǎn)原始R通道的值， 表示第J列的像素點(diǎn)融合后的R通道的值，顯然A時(shí)求得的調(diào)整系數(shù)屬于左側(cè)待拼 接圖像的調(diào)整系數(shù)，而A<J<A+而時(shí)求得的調(diào)整系數(shù)屬于右側(cè)待拼接圖像的調(diào)整系數(shù)， G、5通道的處理方法與i?通道一致。
【專(zhuān)利摘要】本發(fā)明涉及圖像處理與視頻處理技術(shù)領(lǐng)域，提供了一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，包括：截取待拼接圖像的預(yù)設(shè)重疊區(qū)域，獲得柱面投影圖像；建立圖像在各尺度下的子圖像，采用改進(jìn)的Harris方法尋找特征點(diǎn)，求該尺度下的特征向量；尋找匹配的特征點(diǎn)對(duì)，并進(jìn)行過(guò)濾，求得最優(yōu)單應(yīng)性矩陣、拼接接縫的坐標(biāo)以及待拼接圖像實(shí)際重疊區(qū)域；進(jìn)行色度的調(diào)整以消除拼接接縫，得到最終的全景圖像。發(fā)明具有極大的消除因?yàn)閿z像頭拍攝角度引起的圖像邊緣畸變，采用預(yù)設(shè)重疊區(qū)域的方式提高處理速度和算法穩(wěn)定性，對(duì)求得的匹配點(diǎn)進(jìn)行過(guò)濾，采用漸進(jìn)調(diào)整系數(shù)的方式進(jìn)行圖像色差的調(diào)整，形成最終色度一致、無(wú)接縫全景圖像的優(yōu)點(diǎn)。
【IPC分類(lèi)】G06T3-40, G06T5-50
【公開(kāi)號(hào)】CN104574339
【申請(qǐng)?zhí)枴緾N201510066110
【發(fā)明人】仇成林, 錢(qián)玲玲
【申請(qǐng)人】上海安威士科技股份有限公司
【公開(kāi)日】2015年4月29日
【申請(qǐng)日】2015年2月9日