本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于圖像無標(biāo)記識別的現(xiàn)實增強方法。

背景技術(shù)：

作為新型的人機接口和仿真工具，現(xiàn)實增強[1](Augmented Reality，AR)應(yīng)用受到的關(guān)注日益廣泛，并且已經(jīng)發(fā)揮了重要作用，顯示出了巨大的潛力。增強現(xiàn)實技術(shù)將真實世界信息和虛擬世界信息“無縫”集成的新技術(shù)，是把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息(視覺信息，聲音，味道，觸覺等)，通過電腦等科學(xué)技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實世界，被人類感官所感知，從而達到超越現(xiàn)實的感官體驗。AR是充分發(fā)揮創(chuàng)造力的科學(xué)技術(shù)，為人類的智能擴展提供了強有力的手段，對生產(chǎn)方式和社會生活產(chǎn)生了巨大的深遠的影響。

現(xiàn)實增強的應(yīng)用十分的廣泛，其中包括有對視覺上增強的、聽覺上增強的、嗅覺上增強的、觸覺上增強的和聽覺上增強的等等。考慮到視覺是我們平時攝取信息最重要的途徑，所以此次是主要實現(xiàn)視覺上的增強現(xiàn)實，通過對于視頻流進行處理并疊加相應(yīng)的虛擬信息以實現(xiàn)現(xiàn)實增強。

結(jié)合相應(yīng)的需求，基于空間特征的算法就成了首選，它對在每一幀尋找匹配的特征屬性，通過對比和匹配兩個特征，從而進行匹配，得到匹配的結(jié)構(gòu)。在以往對于基于空間特征的算法的應(yīng)用大部分是對于有標(biāo)記的目標(biāo)進行匹配，實現(xiàn)現(xiàn)實增強的，再者有結(jié)合SIFT算子[2]與SURF算子[3]進行無標(biāo)記目標(biāo)匹配從而實現(xiàn)現(xiàn)實增強的，對于基于有標(biāo)記的目標(biāo)匹配與現(xiàn)實增強的應(yīng)用而言，由于其目標(biāo)的局限性，導(dǎo)致了應(yīng)用適用性的降低；而結(jié)合SIFT算子的無標(biāo)記目標(biāo)的匹配的現(xiàn)實增強的應(yīng)用，雖然可以進行無標(biāo)記目標(biāo)的匹配，但是受到匹配算法效率的影響，很難達到較好的效果，雖然SURF既保持了SIFT的良好性，也兼顧了不錯的效率，但是其效率對于視頻流的處理還是難以達到較好的效果。針對SURF算法在速度上的不足，此次使用基于優(yōu)化后的ORB特征算子來實現(xiàn)現(xiàn)實增強應(yīng)用，在保障了SURF的識別率的前提下，提高了匹配的速率，以對視頻流進行處理，達到更好的現(xiàn)實增強的效果。但是經(jīng)過實驗發(fā)現(xiàn)一般ORB特征算子[4]在提升了速率的同時也導(dǎo)致了對于一些特定的特征點較少的圖像的匹配效果不佳的可能。

技術(shù)實現(xiàn)要素：

發(fā)明目的：本發(fā)明針對當(dāng)前道路交通網(wǎng)絡(luò)最短路搜索技術(shù)缺乏對網(wǎng)絡(luò)動態(tài)性和交叉口轉(zhuǎn)向延誤的考慮，與實際情況有較大差異，本發(fā)明提出了一種考慮轉(zhuǎn)向延誤的城市路網(wǎng)時變K最短路徑搜索算法。

技術(shù)方案：本發(fā)明所述的基于圖像無標(biāo)記識別的現(xiàn)實增強方法包括以下步驟：

(1)對待識別圖像進行高斯濾波預(yù)處理；

(2)對預(yù)處理后的圖像f(i,j)計算二階偏導(dǎo)數(shù)▽f²(i,j)；其中，

▽f²(i,j)＝12f(i,j)-2f(i+1,j)-2f(i-1,j)-2f(i,j+1)-2f(i,j-1)

-f(i-1,j-1)-f(i+1,j+1)-f(i+1,j-1)-f(i+1,j+1)

(3)根據(jù)計算的▽f²(i,j)，對相應(yīng)的像素進行像素增強，增強后的圖像為：

式中，e＝ζ×grad(i,j)，ζ表示可調(diào)節(jié)參數(shù)，grad(i,j)表示相應(yīng)像素的梯度；

(4)對圖像g(i,j)提取ORB特征，并將提取的特征點進行轉(zhuǎn)化，組成一維點集P＝{p_k|k＝1,2,...,n}，其中：

p_k＝x_k+y_k(w-1)

式中，p_k表示第k個特征點轉(zhuǎn)化的一維點，(x_k,y_k)表示第k個特征點的坐標(biāo)，w表示圖像grad(i,j)的寬度，n表示提取的特征點的個數(shù)；

(5)通過對點集P的比較去除不需要的一維點，得到處理后的點集為：

P'＝{p'_k|k＝1,2,...,n}，

式中，ε表示設(shè)置的閾值；

(6)對處理后的點集P'還原得到二維點集其中：

(7)將二維點集A轉(zhuǎn)化為一維點集Q＝{q_k|k＝1,2,...,n}，其中：

式中，h表示圖像grad(i,j)的高度；

(8)通過對點集Q的比較去除不需要的一維點，得到處理后的點集為：

Q'＝{q'_k|k＝1,2,...,n}，

(9)對處理后的點集Q'還原得到二維點集其中：

(10)采用OpenMP對二維點集B進行匹配，從而得到匹配的目標(biāo)區(qū)域圖像；

(11)采用要進行圖像識別的攝像機拍攝不同樣的棋盤圖像，并通過對棋盤圖像角點的檢測，以及對于三維坐標(biāo)的模擬假設(shè)，從而求解出攝像機的內(nèi)參矩陣C；

(12)采用OpenCV中的solvePnP函數(shù)計算歐式變換矩陣[R|t]；

(13)根據(jù)以下公式依次求解目標(biāo)圖像的三維點坐標(biāo)：

G＝C*[R|t]*M

式中，G表示目標(biāo)圖像的二維的點坐標(biāo)向量，M表示目標(biāo)圖像的三維點坐標(biāo)向量；

(14)基于求解到的目標(biāo)圖像的三維點坐標(biāo)，采用OpenGL進行三維模型的渲染，完成三維上的現(xiàn)實增強效果。

其中，所述的采用ORB算子對增強后的圖像提取特征，具體包括：

通過FAST算子檢測不同于其它像素的像素點作為特征點；其中，將尋找特征點的數(shù)目閾值設(shè)置為大于預(yù)期值，再通過Harris角點檢測來排序確定出最終的結(jié)果，另外，通過構(gòu)建圖像尺度金字塔實現(xiàn)尺度不變性，在旋轉(zhuǎn)不變性上，采用灰度質(zhì)心法，將角點灰度和質(zhì)心之間的偏移來作為向量的方向；

根據(jù)檢測到的特征點，使用優(yōu)化之后擁有旋轉(zhuǎn)不變性的BRIEF描述子進行特征描述；其中，旋轉(zhuǎn)不變性是通過制定鄰域準(zhǔn)則，并將鄰域中的匹配點進行旋轉(zhuǎn)來實現(xiàn)的。

其中，所述攝像機的內(nèi)參矩陣式中，f_x、f_y為攝像機焦距的坐標(biāo)值，(c_x,c_y)為主光軸點。

有益效果：本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點是：本發(fā)明通過加入圖像的濾波處理從而最大限度的提高魯棒性，通過采用邊緣增強優(yōu)化過去識別算法匹配效果不佳的問題，用火采用優(yōu)化的ORB特征算法保證了目標(biāo)匹配的效率，通過在二維圖像中建立三維模型，在二維平面上進行模型的渲染從而進行現(xiàn)實增強。最后通過與以往的匹配算法進行效率與準(zhǔn)確性的比較，該方法有十分優(yōu)異的識別效果，在匹配效率上有著十分明顯的優(yōu)勢，而且在各個場景的魯棒性上也很好。

附圖說明

圖1為原始圖與邊緣增強后的效果對比圖，其中，(a)為增強后的，(b)為原始圖；

圖2為匹配的目標(biāo)圖；

圖3為攝像頭標(biāo)定示意圖；

圖4為AR三維模型構(gòu)建示意圖；

圖5是三維模型渲染后的效果圖；

圖6是采用本發(fā)明進行現(xiàn)實增強后的實驗效果圖；

圖7是準(zhǔn)確率柱狀圖

圖8是幀率柱狀圖。

具體實施方式

本實施例提供了一種基于圖像無標(biāo)記識別的現(xiàn)實增強方法，包括以下步驟：

S1、對待識別圖像進行高斯濾波預(yù)處理。

考慮到圖像的噪點一類的外部因素的影響，為了提高算法的自適應(yīng)性與增強的效果，首先通過高斯濾波[8]進行預(yù)處理，然后再進行上述的邊緣檢測算法，這樣既可以避免噪點的干擾，也可以突出關(guān)鍵的邊緣信息。

S2、對預(yù)處理后的圖像f(i,j)計算二階偏導(dǎo)數(shù)▽f²(i,j)；其中，

▽f²(i,j)＝12f(i,j)-2f(i+1,j)-2f(i-1,j)-2f(i,j+1)-2f(i,j-1)

-f(i-1,j-1)-f(i+1,j+1)-f(i+1,j-1)-f(i+1,j+1)

本步驟主要就是對于邊緣像素的進行檢測提取。此處應(yīng)用的是拉普拉斯邊緣檢測算子(Laplacian)[7]，這是一個在圖像邊緣檢測上十分重要的方法之一，處理效果也十分優(yōu)異。考慮到此處預(yù)處理的時效性，這里將鄰域系統(tǒng)設(shè)為4鄰域，根據(jù)多次的實驗結(jié)果的分析，這里將不采用傳統(tǒng)的Laplacian算子的模板，為了達到期望的匹配優(yōu)化效果將模板設(shè)定為：

從而計算得到▽f²(i,j)，當(dāng)▽f²(i,j)＞0時，就可以認(rèn)定此邊緣為正邊緣；當(dāng)f²(i,j)＜0時，就可以認(rèn)定此邊緣為負(fù)邊緣；當(dāng)f²(i,j)＝0時，就可以認(rèn)定此邊緣為零邊緣，這些零邊緣像素就可以忽略，后續(xù)不進行增強處理。

S3、根據(jù)計算的▽f²(i,j)，對相應(yīng)的像素進行像素增強，增強后的圖像為：

式中，e＝ζ×grad(i,j)，ζ表示可調(diào)節(jié)參數(shù)，grad(i,j)表示相應(yīng)像素的梯度。

經(jīng)過濾波和邊緣像素增強后的效果如圖1所示。

S4、對圖像g(i,j)提取ORB特征，并將提取的特征點進行轉(zhuǎn)化，組成一維點集P＝{p_k|k＝1,2,...,n}，其中：

p_k＝x_k+y_k(w-1)

式中，p_k表示第k個特征點轉(zhuǎn)化的一維點，(x_k,y_k)表示第k個特征點的坐標(biāo)，w表示圖像grad(i,j)的寬度，n表示提取的特征點的個數(shù)。

S5、通過對點集P的比較去除不需要的一維點，得到處理后的點集為：

P'＝{p'_k|k＝1,2,...,n}，

式中，ε表示設(shè)置的閾值。

S6、對處理后的點集P'還原得到二維點集其中：

S7、將二維點集A轉(zhuǎn)化為一維點集Q＝{q_k|k＝1,2,...,n}，其中：

式中，h表示圖像grad(i,j)的高度。

S8、通過對點集Q的比較去除不需要的一維點，得到處理后的點集為：

Q'＝{q'_k|k＝1,2,...,n}，

S9、對處理后的點集Q'還原得到二維點集其中：

S10、采用OpenMP對二維點集B進行匹配，從而得到匹配的目標(biāo)區(qū)域圖像。具體效果如圖2所示。

通過檢測確定了目標(biāo)區(qū)域圖像之后，就可以通過建立模型并對想要渲染的虛擬信息進行渲染，實現(xiàn)現(xiàn)實增強了。對于虛擬的二維的圖像的渲染，主要是涉及到二維的仿射變換[12]，比較容易實現(xiàn)。但對于實現(xiàn)三維模型的渲染，就需要進行比較繁瑣的工作才能完成。以下為三維渲染步驟。

S11、采用要進行圖像識別的攝像機拍攝不同樣的棋盤圖像，并通過對棋盤圖像角點的檢測，以及對于三維坐標(biāo)的模擬假設(shè)，從而求解出攝像機的內(nèi)參矩陣C。

攝像頭標(biāo)定的主要目的就是確定攝像機的內(nèi)參矩陣，這里通過現(xiàn)在較為普遍的棋盤標(biāo)定法。大致的原理就是通過拍攝不同樣張的棋盤圖像，由于棋盤是屬于十分規(guī)則的圖像，同過對于棋盤角點的檢測，以及對于三維坐標(biāo)的模擬假設(shè)，從而求解出攝像機的內(nèi)參矩陣。攝像機的內(nèi)參矩陣式中，f_x、f_y為攝像機焦距的坐標(biāo)值，(c_x,c_y)為主光軸點。具體效果如圖3所示。

S12、采用OpenCV中的solvePnP函數(shù)計算歐式變換矩陣[R|t]。

S13、根據(jù)以下公式依次求解目標(biāo)圖像的三維點坐標(biāo)：

G＝C*[R|t]*M

式中，G表示目標(biāo)圖像的二維的點坐標(biāo)向量，M表示目標(biāo)圖像的三維點坐標(biāo)向量。

其中，對于三維空間而言，通過標(biāo)記的角點的精準(zhǔn)位置坐標(biāo)，便可以來估計相機與標(biāo)記之間的變換關(guān)系。這里可以稱之為二維到三維的姿態(tài)估計。此過程可以理解成在二維圖像與相機之間確定其間的歐式空間變換。轉(zhuǎn)換關(guān)系為：

式中，(X,Y,Z)為三維點坐標(biāo)；(u,v)為二維點坐標(biāo)。

S14、基于求解到的目標(biāo)圖像的三維點坐標(biāo)，采用OpenGL進行三維模型的渲染，完成三維上的現(xiàn)實增強效果。

其中，三維模型構(gòu)建如圖4所示，三維渲染后的圖如圖5所示。

下面對本發(fā)明的方法進行實驗分析。

通過對于不同場景以及不同目標(biāo)的實驗記錄以及實驗效果的分析，可以得出以下的表1，圖6、柱狀圖圖7、8，結(jié)合表1以及兩個柱狀圖中的數(shù)據(jù)不難發(fā)現(xiàn)，傳統(tǒng)的SIFT算法有著非常好的準(zhǔn)確性，但是由于較大的特征處理的數(shù)據(jù)量，導(dǎo)致了其速率上的表現(xiàn)十分不理想；而改良后的SURF算法簡化了特征的提取，雖然精準(zhǔn)度不如SIFT算法，但是其速率上的表現(xiàn)有了很大的提升，但是考慮到是對于視頻流的現(xiàn)實增強處理，所以SURF也達不到很好的效果；ORB算法結(jié)合了FAST算子以及BRIEF描述子，在保留了極大部分的特征的情況下，大大縮減了特征描述的復(fù)雜度，使得其在速率上的表現(xiàn)十分優(yōu)異，但是也因為極大的縮減了描述復(fù)雜度，導(dǎo)致了在對于一些顯著性不強的圖像，ORB算法的效果就會大打折扣；本次為了算法彌補了ORB算法在對圖像顯著性上的短板，對圖像進行了顯著性增強，實驗證明在準(zhǔn)確度上的提升還是很明顯的，但是也因為添加了圖像的預(yù)處理操作，使得速率上比不上ORB算法本身，但是其效果以及可以滿足現(xiàn)實增強上匹配算法的需求，達到十分不錯的效果了。

表1算法檢測結(jié)果

參考文獻(References)

[1]Billinghurst M,Clark A,Lee G.A Survey of Augmented Reality[J].,2015,8(2-3):73-272.

[2]Zhang Ch,Gu Y Zh,Hu K L,et al.Face recognition using SIFT features under 3D meshes[J].Journal of Central South University,2015,22(5):1817-1825.

[3]Yu B,Li Z,Bo C,et al.Surf feature extraction in encrypted domain[C]//IEEE International Conference on Multimedia and Expo.IEEE,2014:1-6.

[4]Zhou K,Zheng L.Multi-pose face recognition based on improved ORB feature[J].Jisuanji Fuzhu Sheji Yu Tuxingxue Xuebao/Journal of Computer-Aided Design and Computer Graphics,2015,27(2):287-295.

[5]Miao S,Wang Z J,Liao R.A CNN Regression Approach for Real-time 2D/3D Registration.[J].IEEE Transactions on Medical Imaging,2016,35(5):1352-1363.

[6]Han H.Images Matching Based on Marked Edge Feature[J].Image Technology,2013.

[7]Hu S,Qi L.The Laplacian of a uniform hypergraph[J].Journal of Combinatorial Optimization,2015,29(2):331-366.

[8]Wang X,Raun Q,Jin Y,et al.Expression robust three-dimensional face recognition based on gaussian filter and dual-tree complex wavelet transform[J].Journal of Intelligent&Fuzzy Systems,2014,26(1):193-201.

[9]Edward Rosten,Reid Porter,and TomDrummond,“Faster and better:a machine learning approach to corner detection”in IEEE Trans.Pattern Analysis and Machine Intelligence,2010,vol 32,pp.105-119.

[10]Calonder M,Lepetit V,Strecha C,et al.BRIEF:Binary Robust Independent Elementary Features[C]//Computer Vision-ECCV 2010,European Conference on Computer Vision,Heraklion,Crete,Greece,September 5-11,2010,Proceedings.2010:778-792.

[11]Hsiao P Y,Lu C L,Fu L C.Multilayered Image Processing for Multiscale Harris Corner Detection in Digital Realization[J].IEEE Transactions on Industrial Electronics,2010,57(5):1799-1805.

[12]Yamashita Y,Wakahara T.Affine-transformation and 2D-projection invariant k-NN classification of handwritten characters via a new matching measure[J].Pattern Recognition,2016,52(C):459-470.

[13]Bok Y,Ha H,Kweon I S.Automated checkerboard detection and indexing using circular boundaries[J].Pattern Recognition Letters,2016,71(C):66–72.