一種融合傳感器信息的室外場景識別方法
【專利摘要】本發(fā)明提供了一種融合傳感器信息的室外場景識別方法，利用該方法可以快速對室外場景進(jìn)行識別，且識別正確率高。具體過程為：步驟1：移動(dòng)終端采集當(dāng)前場景的待識別圖像，獲取移動(dòng)終端采集圖像時(shí)的重力信息；步驟2：將待識別圖像和重力信息打包成一個(gè)壓縮文件并發(fā)送給服務(wù)器；步驟3：服務(wù)器根據(jù)壓縮文件中的重力信息計(jì)算待識別圖像的重力方向θg；步驟4：檢測待識別圖像中的直線；步驟5：剔除水平和豎直兩類直線中的錯(cuò)誤直線；步驟6：計(jì)算水平消隱點(diǎn)和豎直消隱點(diǎn)；步驟7：對待識別圖像進(jìn)行透視失真校正；步驟8：進(jìn)行圖像匹配，尋找最相近的樣本圖像，并將該樣本圖像對應(yīng)的場景信息返回給移動(dòng)終端，實(shí)現(xiàn)場景識別。
【專利說明】一種融合傳感器信息的室外場景識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于移動(dòng)增強(qiáng)現(xiàn)實(shí)【技術(shù)領(lǐng)域】，具體涉及一種融合傳感器信息的室外場景識別方法。
【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)(AR)也被稱為混合現(xiàn)實(shí)，是一種將虛擬物體呈現(xiàn)在真實(shí)世界的技術(shù)，包括基于位置和圖像識別兩大類，通過圖像識別實(shí)現(xiàn)信息的疊加和位置定位推送相關(guān)信息。圖像識別是基于內(nèi)容的信息檢索研究的熱門話題，在遙感圖像處理、醫(yī)學(xué)圖像處理和計(jì)算機(jī)視覺等領(lǐng)域有著廣泛的應(yīng)用。
[0003]隨著移動(dòng)終端設(shè)備(像PDA、智能手機(jī)等)的功能也越來越豐富，并且擁有了嵌入式操作系統(tǒng)、加速度傳感器、陀螺儀、GPS定位、視頻攝像頭等功能，同時(shí)也具備了較強(qiáng)的計(jì)算和處理能力。這些功能的集成為移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展奠定了基礎(chǔ)。LBS (基于位置的服務(wù))在移動(dòng)增強(qiáng)現(xiàn)實(shí)領(lǐng)域等許多領(lǐng)域均有應(yīng)用，能否準(zhǔn)確地獲得用戶的地理位置信息對LBS至關(guān)重要。目前，獲得地理位置信息的方法主要有GPS衛(wèi)星定位、Wifi定位、視覺識別等，但GPS衛(wèi)星定位技術(shù)尚無法實(shí)現(xiàn)全天候、高精度的定位功能，Wifi定位受制于Wifi熱點(diǎn)的分布，無法實(shí)現(xiàn)廣泛覆蓋，而視覺識別技術(shù)則沒有這些限制因素，因此只有將GPS定位、Wifi定位等傳統(tǒng)方法與新興的視覺識別技術(shù)結(jié)合起來才能實(shí)現(xiàn)全天候精確定位。近幾年，針對戶外建筑物的視覺識別技術(shù)越來越受到學(xué)術(shù)界的重視，國內(nèi)外許多大學(xué)與公司都在對戶外建筑物識別技術(shù)進(jìn)行深入研究。
[0004]谷歌于2009年提出地標(biāo)(landmark)識別技術(shù)，在互聯(lián)網(wǎng)上收集大量帶有GPS信息的著名建筑物的照片，當(dāng)用戶的檢索圖像被發(fā)送至服務(wù)器后，系統(tǒng)使用LoG檢測特征點(diǎn)與SIFT特征描述符，進(jìn)行主成分分析(PCA)以提高檢索速度，能在很短時(shí)間內(nèi)檢索出與用戶提交的照片最相符的建筑物目標(biāo)。
[0005]室外圖像往往含有大量前景干擾物，這些干擾物形態(tài)各異，如人、車、樹木、架空電線、馬路護(hù)欄、過街天橋、電線桿等，都會(huì)對直線檢測造成不同程度的影響。例如，樹木若在圖像中占據(jù)較大面積，就會(huì)在邊緣二值圖像(Edge Map)中形成大面積的邊緣點(diǎn)，嚴(yán)重影響直線檢測的結(jié)果；又如架空電線是很明顯的直線邊緣，對現(xiàn)有的任何一種直線檢測方法而言，都無法避免檢測到如此明顯的直線狀干擾物。另外由于檢索圖片是由用戶使用手機(jī)拍攝的，待校正的目標(biāo)建筑物在圖像中可能只占據(jù)很小的面積，而且圖像由手機(jī)上傳至服務(wù)器前，要被客戶端程序進(jìn)行數(shù)據(jù)壓縮，因此分辨率、顏色對比度等方面條件均較差，這些因素都加劇了校正的難度。而現(xiàn)有的許多利用消隱點(diǎn)進(jìn)行透視失真校正的方法大都針對文檔等人工圖像，這類圖像成分單一，畫面較清晰，少有前景干擾，因此很容易得到消隱點(diǎn)的坐標(biāo)，但由于室外圖像場景復(fù)雜、干擾物較多的情況，顯然不能簡單地利用已有方法直接進(jìn)行處理。

【發(fā)明內(nèi)容】
[0006]有鑒于此，本發(fā)明提供了一種融合傳感器信息的室外場景識別方法，利用該方法可以快速對室外場景進(jìn)行識別，且識別正確率高。
[0007]實(shí)現(xiàn)本發(fā)明的技術(shù)方案如下:
[0008]一種融合傳感器信息的室外場景識別方法，適用于該方法的樣本圖像庫中的每一樣本圖像皆為場景的正面圖像；該方法具體過程為:
[0009]步驟1:移動(dòng)終端采集當(dāng)前場景的待識別圖像，再調(diào)用移動(dòng)終端重力傳感器接口，獲取移動(dòng)終端采集圖像時(shí)的重力信息；
[0010]步驟2:將待識別圖像和重力信息打包成一個(gè)壓縮文件并發(fā)送給服務(wù)器；
[0011]步驟3:服務(wù)器根據(jù)壓縮文件中的重力信息計(jì)算待識別圖像的重力方向Θ g ；
[0012]步驟4:利用Canny邊緣檢測算法對待識別圖像進(jìn)行邊緣二值化處理，得到邊緣二值圖像，再利用Hough變換的方法檢測邊緣二值圖像中的直線；
[0013]步驟5:通過K-means聚類將直線分為水平與豎直兩類，并根據(jù)所述重力方向Θ g剔除水平和豎直兩類直線中的錯(cuò)誤直線；
[0014]步驟6:根據(jù)剔除后得到的水平類直線計(jì)算水平消隱點(diǎn)，根據(jù)剔除后得到的豎直類直線計(jì)算豎直消隱點(diǎn)；
[0015]步驟7:利用水平消隱點(diǎn)計(jì)算水平方向的單應(yīng)矩陣，利用垂直消隱點(diǎn)計(jì)算垂直方向的單應(yīng)矩陣，基于兩單應(yīng)矩陣對待識別圖像進(jìn)行透視失真校正；
[0016]步驟8:利用校正后的圖像與樣本圖像庫中的樣本圖像進(jìn)行匹配，尋找最相近的樣本圖像，并將該樣本圖像對應(yīng)的場景信息返回給移動(dòng)終端，實(shí)現(xiàn)場景識別。
[0017]進(jìn)一步地，本發(fā)明步驟2在打包成一個(gè)壓縮文件前，對所述待識別圖像進(jìn)行降采樣處理。
[0018]進(jìn)一步地，本發(fā)明利用Hough變換的方法檢測邊緣二值圖像中的直線為:利用Hough變換的方法分別檢測邊緣二值圖像中重力方向附近的直線和與重力方向相垂直的方向附近的直線。
[0019]進(jìn)一步地，本發(fā)明步驟5中剔除錯(cuò)誤直線的方法為:在豎直類直線中，剔除角度在[θ g_ θ error, θ g+ 0 error]之外的直線，再利用RANSAC剔除錯(cuò)誤直線。
[0020]進(jìn)一步地，本發(fā)明在執(zhí)行步驟8之前，對校正后的圖像進(jìn)行如下處理:遍歷校正后圖像上的每一像素點(diǎn)，利用兩單應(yīng)矩陣的逆矩陣需找其在待識別圖像中對應(yīng)的灰度值，并將尋找到的灰度值拷貝至校正后圖像相應(yīng)的像素點(diǎn)上。
[0021]進(jìn)一步地，本發(fā)明所述樣本圖像庫中的每一樣本圖像還包括GPS信息，所述GPS信息為樣本圖像上顯示的場景的GPS信息；步驟I在采集待識別圖像時(shí)，獲取當(dāng)前場景的GPS信息，并在步驟2中將所述GPS信息一起發(fā)送給服務(wù)器；在步驟8進(jìn)行樣本圖像匹配時(shí)，在樣本圖像庫中尋找與待識別圖像對應(yīng)的GPS信息最近的GPS信息對應(yīng)的樣本圖像，并將尋找到的圖像定義為查詢圖像，然后將查詢圖像與待識別圖像進(jìn)行匹配。
[0022]進(jìn)一步地，本發(fā)明所述樣本圖像庫的生成方法為:
[0023]SOl，獲取帶GPS信息的各場景正面樣本圖像；
[0024]S02，提取每幅正面樣本圖像的局部特征，并將局部特征轉(zhuǎn)換為描述符特征向量；
[0025]S03，利用所述描述符特征向量訓(xùn)練分層的單詞樹，再將描述符特征向量經(jīng)過單詞樹量化成統(tǒng)計(jì)向量，再將所述統(tǒng)計(jì)向量存儲到倒排文件系統(tǒng)中。[0026]有益效果:
[0027]第一，本發(fā)明使用智能設(shè)備的攝像頭對當(dāng)前場景進(jìn)行圖像采集，并利用傳感器信息對圖像校正，還原正面圖像，最后用計(jì)算機(jī)視覺技術(shù)(即圖像匹配)，對被采集室外場景進(jìn)行識別，提供被識別場景的各種信息，從而在移動(dòng)終端上實(shí)現(xiàn)了在線場景識別。
[0028]第二，本發(fā)明先將待識別圖像進(jìn)行透視失真校正，即借助移動(dòng)終端的重力感應(yīng)功能，檢測待識別圖像中場景(即建筑物)的消隱點(diǎn)，在根據(jù)消隱點(diǎn)的坐標(biāo)對檢索圖片進(jìn)行透視失真校正，恢復(fù)建筑物的仿射結(jié)構(gòu)，使其與樣本圖像更加接近，提高識別正確率；同時(shí)本發(fā)明針對戶外復(fù)雜環(huán)境的干擾情況，剔除檢測到的錯(cuò)誤的直線，使算法的魯棒性極大增強(qiáng)。
[0029]第三，本發(fā)明在獲取當(dāng)前場景的待識別圖像時(shí)進(jìn)一步獲取GPS信息，根據(jù)GPS信息，縮小查詢圖像的匹配范圍，只與位置較近的樣本圖像進(jìn)行匹配，減少識別時(shí)間。
[0030]第四，本發(fā)明可以擴(kuò)展智能終端的交互式應(yīng)用，滿足了旅游、導(dǎo)航、交通、酒店服務(wù)等在智能終端上的擴(kuò)展應(yīng)用，使網(wǎng)絡(luò)運(yùn)營商和內(nèi)容提供商能夠利用其豐富的服務(wù)器資源和優(yōu)越的服務(wù)器性能發(fā)展其業(yè)務(wù)。
【專利附圖】

【附圖說明】
[0031]圖1融合傳感器信息的室外海量物體識別原理圖。
[0032]圖2錯(cuò)誤直線剔除圖。
[0033]圖3室外場景圖像校正圖。
[0034]圖4為本發(fā)明融合傳感器信息的室外場景訓(xùn)練樣本倒排文件結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0035]下面將結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明。
[0036]如圖1所示，本發(fā)明融合傳感器信息的室外場景識別方法，適用于該方法的樣本圖像庫中的每一樣本圖像皆為場景的正面圖像；該方法具體過程為:
[0037]步驟1:用戶打開移動(dòng)終端的拍攝設(shè)備，采集當(dāng)前場景的待識別圖像，再調(diào)用移動(dòng)終端的GPS傳感器接口和重力傳感器接口，獲取當(dāng)前場景的GPS信息和移動(dòng)終端采集圖像時(shí)的重力信息。
[0038]步驟2:待識別圖像和重力信息打包成一個(gè)壓縮文件并發(fā)送給服務(wù)器。
[0039]為了降低運(yùn)算量，在打包成壓縮文件前，終端對采集到的待識別圖像進(jìn)行降采樣處理，以降低圖像分辨率，并將降采用處理后的圖像壓縮為JPEG格式；同時(shí)本步驟中可通過無線網(wǎng)絡(luò)的形式發(fā)送給遠(yuǎn)端的圖像識別服務(wù)器。
[0040]步驟3:服務(wù)器接收壓縮文件，提取重力信息，并根據(jù)所述重力信息計(jì)算圖像的重力方向Θ g。
[0041]針對每一帶有重力感應(yīng)的移動(dòng)終端，其對應(yīng)的重力方向計(jì)算方法都是確定的，下面以某一款手機(jī)為例對重力方向的獲取方法進(jìn)行說明:
[0042]例如:圖像中點(diǎn)P = [U，V, 1]τ處的重力方向向量為d = p' -p
[0043]其中d = [du, dv, 0]τ為點(diǎn)ρ處的重力方向，P'由下式計(jì)算得出:
[0044]ρ' = [wu'，wv' , w]T = p+Kg
[0045]其中g(shù) = [gx, gy, gz]T即為手機(jī)中重力加速度感應(yīng)器獲得的三個(gè)坐標(biāo)軸方向的加速度矢量即重力信息，K為手機(jī)上相機(jī)的內(nèi)參矩陣。
[0046]由d可計(jì)算出圖像中重力方向的角度為
[0047]Θ g = arctan (dv/du)
[0048]步驟4:服務(wù)器提取待識別圖像，利用Canny邊緣檢測算法對待識別圖像進(jìn)行邊緣二值化處理，得到邊緣二值圖像，再使用Hough變換的方法檢測邊緣二值圖像中的直線。
[0049]Canny邊緣檢測算法是一種常用的邊緣檢測算法，考慮到原圖像的分辨率未知，本發(fā)明使用自適應(yīng)閾值的Canny邊緣檢測算法，該方法會(huì)根據(jù)圖像分辨率大小自動(dòng)設(shè)置門限值，輸出邊緣二值圖像(Edge Map)。
[0050]在Hough變換方法中，用極坐標(biāo)(P，Θ )描述邊緣二值圖像中的直線；
【權(quán)利要求】
1.一種融合傳感器信息的室外場景識別方法，適用于該方法的樣本圖像庫中的每一樣本圖像皆為場景的正面圖像；其特征在于，該方法具體過程為: 步驟1:移動(dòng)終端采集當(dāng)前場景的待識別圖像，再調(diào)用移動(dòng)終端重力傳感器接口，獲取移動(dòng)終端采集圖像時(shí)的重力信息； 步驟2:將待識別圖像和重力信息打包成一個(gè)壓縮文件并發(fā)送給服務(wù)器； 步驟3:服務(wù)器根據(jù)壓縮文件中的重力信息計(jì)算待識別圖像的重力方向Θ g ； 步驟4:利用Canny邊緣檢測算法對待識別圖像進(jìn)行邊緣二值化處理，得到邊緣二值圖像，再利用Hough變換的方法檢測邊緣二值圖像中的直線； 步驟5:通過K-means聚類將直線分為水平與豎直兩類，并根據(jù)所述重力方向Θ g剔除水平和豎直兩類直線中的錯(cuò)誤直線； 步驟6:根據(jù)剔除后得到的水平類直線計(jì)算水平消隱點(diǎn)，根據(jù)剔除后得到的豎直類直線計(jì)算豎直消隱點(diǎn)； 步驟7:利用水平消隱點(diǎn)計(jì)算水平方向的單應(yīng)矩陣，利用垂直消隱點(diǎn)計(jì)算垂直方向的單應(yīng)矩陣，基于兩單應(yīng)矩陣對待識別圖像進(jìn)行透視失真校正； 步驟8:利用校正后的圖像與樣本圖像庫中的樣本圖像進(jìn)行匹配，尋找最相近的樣本圖像，并將該樣本圖像對應(yīng)的場景信息返回給移動(dòng)終端，實(shí)現(xiàn)場景識別。
2.根據(jù)權(quán)利要求1所述融合傳感器信息的室外場景識別方法，其特征在于，所述步驟2在打包成一個(gè)壓縮文件前，對所述待識別圖像進(jìn)行降采樣處理。
3.根據(jù)權(quán)利要求1所述融合傳感器信息的室外場景識別方法，其特征在于，所述利用Hough變換的方法檢測邊緣二值圖像中的直線為:利用Hough變換的方法分別檢測邊緣二值圖像中重力方向附近的直線和與重力方向相垂直的方向附近的直線。
4.根據(jù)權(quán)利要求3所述融合傳感器信息的室外場景識別方法，其特征在于，所述步驟5中剔除錯(cuò)誤直線的方法為:在豎直類直線中，剔除角度在的-4,.,.0 J之外的直線，再利用RANSAC剔除錯(cuò)誤直線。
5.根據(jù)權(quán)利要求1所述融合傳感器信息的室外場景識別方法，其特征在于，在執(zhí)行步驟8之前，對校正后的圖像進(jìn)行如下處理:遍歷校正后圖像上的每一像素點(diǎn)，利用兩單應(yīng)矩陣的逆矩陣需找其在待識別圖像中對應(yīng)的灰度值，并將尋找到的灰度值拷貝至校正后圖像相應(yīng)的像素點(diǎn)上。
6.根據(jù)權(quán)利要求1所述融合傳感器信息的室外場景識別方法，其特征在于，所述樣本圖像庫中的每一樣本圖像還包括GPS信息，所述GPS信息為樣本圖像上顯示的場景的GPS信息；步驟I在采集待識別圖像時(shí)，獲取當(dāng)前場景的GPS信息，并在步驟2中將所述GPS信息一起發(fā)送給服務(wù)器；在步驟8進(jìn)行樣本圖像匹配時(shí)，在樣本圖像庫中尋找與待識別圖像對應(yīng)的GPS信息最近的GPS信息對應(yīng)的樣本圖像，并將尋找到的圖像定義為查詢圖像，然后將查詢圖像與待識別圖像進(jìn)行匹配。
7.根據(jù)權(quán)利要求1-6中的任一個(gè)所述融合傳感器信息的室外場景識別方法，其特征在于，所述樣本圖像庫的生成方法為: SOl，獲取帶GPS信息的各場景正面樣本圖像； S02，提取每幅正面樣本圖像的局部特征，并將局部特征轉(zhuǎn)換為描述符特征向量；S03，利用所述描述符特征向量訓(xùn)練分層的單詞樹，再將描述符特征向量經(jīng)過單詞樹量化成統(tǒng)計(jì)向量，再將所述`統(tǒng)計(jì)向量存儲到倒排文件系統(tǒng)中。
【文檔編號】G06T7/00GK103514446SQ201310483335
【公開日】2014年1月15日 申請日期:2013年10月16日 優(yōu)先權(quán)日:2013年10月16日
【發(fā)明者】桂振文, 劉越, 王涌天 申請人:北京理工大學(xué)