本發(fā)明涉及圖像處理領域，具體而言，涉及一種目標跟蹤方法及其裝置和一種增強現(xiàn)實方法及其裝置。

背景技術：

增強現(xiàn)實(Augmented Reality，簡稱AR)，是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術。它把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學技術，模擬仿真后再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現(xiàn)實的感官體驗。而要實現(xiàn)此技術，需要獲取實體的在真實世界中的信息，確定被尋找的目標，確定目標的位置，實現(xiàn)對目標的跟蹤，現(xiàn)有的跟蹤方法，需要昂貴的跟蹤設備，使用的便攜性差，不能廣泛地應用在智能終端上；或者計算復雜，耗時長，誤差率較大，難以達到實時性的要求。

技術實現(xiàn)要素：

本發(fā)明為了解決上述問題中的至少一個提供了目標跟蹤方法及裝置、增強現(xiàn)實方法及裝置和終端，其帶來了簡單快速穩(wěn)定，對硬件要求低中的至少一個技術效果。

本發(fā)明的第一方面，提供了一種目標跟蹤方法，其特征在于，包括：a)獲取跟蹤模板數(shù)據(jù)；b)獲取圖像數(shù)據(jù)；c)根據(jù)當前時刻的所述圖像數(shù)據(jù)和所述跟蹤模版數(shù)據(jù)進行特征匹配獲取匹配結果；對所述匹配結果進行篩選選取篩選后匹配結果；根據(jù)所述篩選后匹配結果確定所述圖像數(shù)據(jù)中的目標的位置信息。

可選地，還包括：d)確定當前時刻的所述目標的位置信息與所述跟蹤模版的位置信息的差異值，當所述差異值大于閾值、所述目標不被遮擋且跟蹤精度大于閾值時，將當前時刻的所述目標確定為跟蹤模版；e)重復步驟b)至步驟d)獲取不同時刻所述圖像數(shù)據(jù)中所述目標的位置信息。

可選地，所述步驟c)包括對當前時刻之前的時間段內(nèi)的所述目標的位置信息進行分析獲取軌跡信息，根據(jù)所述軌跡信息在當前時刻的所述圖像數(shù)據(jù)中獲取特征提取區(qū)域，在所述特征提取區(qū)域中提取ORB特征，將所述ORB特征與所述跟蹤模板中的ORB特征進行匹配獲取匹配點對，對所述匹配點對進行篩選，判定篩選后的所述匹配點對的個數(shù)大于閾值時，基于篩選后的所述匹配點對計算出所述目標的位置信息。

可選地，所述對所述匹配點對進行篩選，判定篩選后的所述匹配點對的個數(shù)大于閾值時，基于篩選后的所述匹配點對計算出所述目標的位置信息的步驟包括：對所述匹配點對中的特征點對進行反向檢查,去除反向匹配失敗的所述匹配點對；去除所述匹配點對中點對距離大于閾值的所述匹配點對；判定所述匹配點對的最近鄰和次近鄰的匹配點對的距離的比值大于閾值時，去除所述匹配點對；判定剩余的所述匹配點對的數(shù)量大于閾值時，利用去除誤匹配算法對剩余的所述匹配點對進行篩選，確定用去除誤匹配算法篩選后剩余的所述匹配點對的個數(shù)大于閾值時，根據(jù)用去除誤匹配算法篩選后剩余的所述匹配點對計算出所述目標為位置信息。

本發(fā)明的第二方面，提供了一種增強現(xiàn)實方法，上述的目標跟蹤方法，在獲取了所述目標的位置信息后，根據(jù)所述目標的位置信息在所述目標所在的位置區(qū)域顯示與所述目標相關的虛擬信息。

本發(fā)明的第三方面，提供了一種目標跟蹤裝置，包括：跟蹤模板獲取模塊，用于獲取跟蹤模版數(shù)據(jù)；圖像數(shù)據(jù)獲取模塊，用于獲取圖像數(shù)據(jù)；目標位置信息獲取模塊，用于根據(jù)當前時刻的所述圖像數(shù)據(jù)和所述跟蹤模版數(shù)據(jù)進行特征匹配獲取匹配結果；對所述匹配結果進行篩選選取篩選后匹配結果；根據(jù)所述篩選后匹配結果確定所述圖像數(shù)據(jù)中的目標的位置信息。

本發(fā)明的第四方面，提供了一種增強現(xiàn)實系統(tǒng)，上述的目標跟蹤裝置，還包括虛擬信息獲取裝置，所述虛擬信息獲取裝置用于獲取與目標相關的虛擬信息；渲染顯示裝置，用于根據(jù)所述目標跟蹤裝置提供的目標的位置信息，在與所述目標對應的位置區(qū)域顯示與所述目標相關的虛擬信息。

本發(fā)明的第五方面，提供了一種終端，其特征在于，包括了上述的增強現(xiàn)實系統(tǒng)或上述的目標跟蹤裝置，所述終端為手機或平板電腦。

本發(fā)明提供的目標跟蹤方法及裝置、增強現(xiàn)實方法及裝置和終端，能夠有效去除誤匹配，保證精確性，跟蹤時計算量少，實時性好。

附圖說明

通過參考附圖會更加清楚的理解本發(fā)明的特征和優(yōu)點，附圖是示意性的而不應理解為對本發(fā)明進行任何限制，在附圖中：

圖1示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法的方法流程示意圖；

圖2示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法的方法流程示意圖；

圖3示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法中的S101步驟的方法流程示意圖；

圖4示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法的方法流程示意圖；

圖5示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法中的S201步驟的方法流程示意圖；

圖6示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法中的S202步驟的方法流程示意圖；

圖7示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法中的S203步驟的方法流程示意圖；

圖8示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法中的S204和S205步驟的方法流程示意圖；

圖9示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法的方法流程示意圖；

圖10示出了根據(jù)本發(fā)明一個實施例的增強現(xiàn)實方法的方法流程示意圖；

圖11示出了根據(jù)本發(fā)明一個實施例的增強現(xiàn)實方法的方法流程示意圖；

圖12示出了根據(jù)本發(fā)明一個實施例的目標跟蹤裝置的結構組成示意圖；

圖13示出了根據(jù)本發(fā)明一個實施例的增強現(xiàn)實系統(tǒng)的結構組成示意圖；

圖14示出了根據(jù)本發(fā)明一個實施例的目標跟蹤方法的方法流程示意圖；

附圖標記：

100目標跟蹤裝置；101跟蹤模板獲取模塊；102圖像數(shù)據(jù)獲取模塊；103目標位置信息獲取模塊；104跟蹤模板更新模塊；200增強現(xiàn)實系統(tǒng)；201虛擬信息獲取裝置；202渲染顯示裝置。

具體實施方式

為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點，下面結合附圖和具體實施方式對本發(fā)明進行進一步的詳細描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的其他方式來實施，因此，本發(fā)明的保護范圍并不受下面公開的具體實施例的限制。

增強現(xiàn)實技術將真實世界中的信息與虛擬世界中信息融合呈現(xiàn)，具有很大的運用前景，隨著智能終端的普及，增強現(xiàn)實技術的應用愈加廣泛，可以通過在智能終端上安裝增強現(xiàn)實應用進行體驗。具體的，本發(fā)明提供的增強現(xiàn)實應用實施例的工作流程如下：終端通過攝像頭拍攝圖像幀；對圖像幀進行識別，確定目標；跟蹤目標，確定目標位置；獲取與所述目標相關聯(lián)的虛擬信息，對圖像幀進行渲染，將所述虛擬信息疊加在目標上；在終端屏幕上同時顯示目標和虛擬內(nèi)容以供用戶進行交互。

在本發(fā)明實施例提供的增強現(xiàn)實系統(tǒng)中，目標的跟蹤，即如何快速直接使虛擬場景與真實世界精確對齊，對于增強現(xiàn)實系統(tǒng)實時性很重要。一般地，增強現(xiàn)實系統(tǒng)主要采用基于硬件設備的跟蹤定位和基于計算機視覺的跟蹤定位?；谟布O備的跟蹤方式有很多，比如在基準物上安裝LED燈發(fā)光，通過CCD傳感器，接收發(fā)出的光線來測量目標距離和方位；或者利用機械裝置、陀螺儀、慣性裝置等設備測量觀察者位置信息等方式。該類方法一般定位速度快，實時性好，測量范圍大；但是需要昂貴的跟蹤設備，使用的便攜性差，應用范圍有限制?；谟嬎銠C視覺的跟蹤定位技術通過圖像處理和計算機視覺等技術獲取觀察者的位置信息，是室內(nèi)增強現(xiàn)實系統(tǒng)中常用的跟蹤定位技術，具體可分為基于標識物的跟蹤方法和基于自然特征的跟蹤方法?；跇俗R物的方法通過事先定義好的各種平板標識物來標記基準位置和各個物體，系統(tǒng)通過模板匹配來找到視頻中的對應標識物來準確定位目標。該方法不需要復雜的硬件設備，而且能達到實時性的要求。然而，在實際應用中必須事先準備標識物，并將標識物存儲于數(shù)據(jù)庫中，因此，這一前提條件使得其應用場景和時間存在限制?；谧匀惶卣鞯姆椒?，通過分析視頻圖像，獲取匹配的自然特征點，經(jīng)過計算推出目標位置。由于不依賴于特殊標識物，而且一般場景特征點數(shù)量較多，不容易出現(xiàn)部分遮擋后跟蹤失敗的情況，所以，目前基于移動手持設備的增強現(xiàn)實系統(tǒng)多采用這種自然特征檢測方法。然而，基于自然特征的跟蹤方法缺點也十分明顯：a)系統(tǒng)提取特征點并描述特征點的過程耗時；b)成對圖像的特征點的匹配過程耗時，難以達到實時性的要求；c)當特征點匹配過程出現(xiàn)錯誤時導致跟蹤不準確甚至跟蹤失敗，這使得實時的高精度的跟蹤，面臨很大的挑戰(zhàn)。

綜上，目前的增強現(xiàn)實算法由于其本身的復雜性以及所需的大量的視頻處理，在現(xiàn)有的智能終端嵌入式平臺上很難得到流暢的運行。

本發(fā)明提供了一種開發(fā)簡單快速而穩(wěn)定的目標跟蹤方法，使其可以在低運算能力的嵌入式平臺上得以應用，繼而實現(xiàn)增強現(xiàn)實系統(tǒng)。使所述增強現(xiàn)實系統(tǒng)高效，實時性好，對硬件要求低，能夠廣泛運用智能終端上。

實施例一

如圖1所示，本發(fā)明提供了一種目標跟蹤方法，其特征在于，包括：

S101獲取跟蹤模板數(shù)據(jù)，本發(fā)明實施例采用跟蹤模板來作為識別依據(jù)，不需要標識物，實現(xiàn)方法簡單，所采用的跟蹤模板可以為固定的模板，這時計算簡化，也可為動態(tài)的模板，根據(jù)獲取到的目標的實時圖像做處理后更新為跟蹤模板，有效減少誤判率，利于之后的識別匹配過程。

S102獲取圖像數(shù)據(jù)，攝像頭采集到真實世界的圖像資料，對圖像資料提取出特征數(shù)據(jù)，如提取ORB特征或SURF特征作為圖像數(shù)據(jù)，為匹配識別做好準備。

S103根據(jù)當前時刻的所述圖像數(shù)據(jù)和所述跟蹤模版數(shù)據(jù)進行特征匹配獲取匹配結果；對所述匹配結果進行篩選選取篩選后匹配結果；根據(jù)所述篩選后匹配結果確定所述圖像數(shù)據(jù)中的目標的位置信息。本發(fā)明的本實施例通過對跟蹤模板和圖像數(shù)據(jù)進行匹配獲取匹配結果，之后進行篩選，有效減少誤匹配的結果出現(xiàn)，提高了跟蹤方法的精確度，防止跟蹤過程隨著時間推移跟丟目標的情況出現(xiàn)。

為了進一步提高跟蹤方法的精確度，也為了減少跟蹤過程中的時間成本，如圖2或圖14所示，本發(fā)明的本實施例還包括：

S104確定當前時刻的所述目標的位置信息與所述跟蹤模版的位置信息的差異值，當所述差異值大于閾值、所述目標不被遮擋且跟蹤精度大于閾值時，將當前時刻的所述目標確定為跟蹤模版。

S105重復步驟S102至步驟S104獲取不同時刻所述圖像數(shù)據(jù)中所述目標的位置信息。在跟蹤過程，目標常常在變化，如跟蹤的是人體目標，人在不同時刻姿態(tài)動作在變化，這時采用更新的跟蹤模板能夠確保當前采用的跟蹤模板與當前采集到的真實世界中的目標的圖像差異較小，這時，由于差異性較小，易于實現(xiàn)跟蹤，有效減少誤判率，保證連續(xù)圖像的跟蹤，在確定更新的跟蹤模板時通過設定位置變化閾值可有效防止目標運動小時，不斷更新模板的過程，從而造成時間浪費，當位置差異大于閾值時，可將采集到的目標圖像作為更新的模板，當然在判定作為更新模板時，還可考慮，目標圖像是否被遮擋，保證目標圖像的完整性，同時，還可考慮跟蹤精度，在保證具有跟蹤精度大于閾值時，將當前目標的圖像數(shù)據(jù)作為跟蹤模板。

為了快速實現(xiàn)跟蹤目標，S103步驟中包括對當前時刻之前的時間段內(nèi)的所述目標的位置信息進行分析獲取軌跡信息，根據(jù)所述軌跡信息在當前時刻的所述圖像數(shù)據(jù)中獲取特征提取區(qū)域，在所述特征提取區(qū)域中提取ORB特征，將所述ORB特征與所述跟蹤模板中的ORB特征進行匹配獲取匹配點對，對所述匹配點對進行篩選，判定篩選后的所述匹配點對的個數(shù)大于閾值時，基于篩選后的所述匹配點對計算出所述目標的位置信息?；诤Y選后的所述匹配點對計算出所述目標的位置信息的步驟例如包括，首先，根據(jù)匹配點對求出兩匹配圖像間的仿射變換矩陣；然后對目標樣圖的四個角點進行仿射變換，得到其在實時圖像中的四個角點，即目標的位置。

上述匹配過程采用ORB特征進行匹配，由于其計算量少，能夠?qū)崿F(xiàn)快速跟蹤的效果，且其是在獲取當前時刻之前時間段所述目標的軌跡后，在預定的區(qū)域去匹配識別目標，有效減少計算量，由于對位置有一個預判，能夠保證采用ORB特征進行識別的準確度。本發(fā)明的本實施例對ORB特征進行匹配的算法例如可采用Brute Force簡單匹配算法，實現(xiàn)高效快速匹配。當然，ORB特征匹配也可以使用FLANN算法。但由于ORB特征是二進制特征，F(xiàn)LANN算法只有在海量數(shù)據(jù)匹配才會有明顯的速度優(yōu)勢。本發(fā)明的實施例采用ORB特征匹配只是用于目標跟蹤，提取的特征點比較少(小于300)，所以這種情況下Brute Force匹配算法更加經(jīng)濟合適。

本發(fā)明的本實施例在匹配過程之后對匹配結果進行篩選，篩選過程包括：對所述匹配點對中的特征點對進行反向檢查,去除反向匹配失敗的所述匹配點對；去除所述匹配點對中點對距離大于閾值的所述匹配點對；判定所述匹配點對的最近鄰和次近鄰的匹配點對的距離的比值大于閾值時，去除所述匹配點對；判定剩余的所述匹配點對的數(shù)量大于閾值時，利用去除誤匹配算法對剩余的所述匹配點對進行篩選，確定用去除誤匹配算法篩選后剩余的所述匹配點對的個數(shù)大于閾值時，根據(jù)用去除誤匹配算法篩選后剩余的所述匹配點對計算出所述目標為位置信息。上述匹配點對的距離的獲取方法包括：漢明距離獲取方法、歐式距離獲取方法和馬氏距離獲取方法中的一種或多種；本發(fā)明一些實施例中匹配點對間的距離是指漢明距離，關于漢明距離解釋如下：兩個等長字符串之間的漢明距離是兩個字符串對應位置的不同字符的個數(shù)，就是將一個字符串變換成另外一個所需要做的最小替換次數(shù)。例如字符串“1111”與“1001”之間的漢明距離為2。當然本發(fā)明實施例采用的距離可為單一一種，也可根據(jù)情況運用多種。本發(fā)明的實施例中所述去除誤匹配算法包括RANSAC算法、PROSAC算法、MLESAC算法、LO-RANSAC算法中的一種或多種，如此，對匹配結果進行高效快速地篩選，保證了準確性和實時性。上述對匹配點對的反向檢查的過程如下：將跟蹤模板中的特征點A作為待匹配點，在圖像數(shù)據(jù)中尋找到匹配點A’，則兩圖的匹配點對為(A,A’)。此時，若將圖像數(shù)據(jù)中A’作為待匹配點，在跟蹤模板中尋找匹配點,該過程即為反向檢查。如果A’在跟蹤模板中匹配點為A，則表示匹配點對(A,A’)正確。經(jīng)過上述篩選有效保證了結果的正確性，為快速跟蹤提供了保障。

為了保證匹配過程滿足多種要求，所述匹配算法包括Brute Force匹配算法和\或FLANN匹配算法。對于粗匹配例如可采用Brute Force匹配算法，對于精確匹配例如可采用FLANN匹配算法。

本發(fā)明實施例中首次獲取跟蹤目標可通過人為設定的目標作為模板，還可通過人為設定目標后，對目標進行一次或者多次識別后，根據(jù)識別的結果作為設定跟蹤模板，提高了跟蹤方法的精確性，具體地，如圖3所示，所述步驟S101包括：

S1011獲取目標樣圖數(shù)據(jù)，通過獲取目標樣圖數(shù)據(jù)集，提取每張樣圖的ORB特征和SURF特征，建立目標特征數(shù)據(jù)庫，這樣保證了匹配時可直接從目標特征數(shù)據(jù)庫中提取ORB特征和SURF特征，不用每次匹配重新計算ORB和SURF特征。另外，用戶也可以自定義目標，將樣圖加入目標數(shù)據(jù)集。

S1012獲取圖像數(shù)據(jù)，將當前時刻的所述圖像數(shù)據(jù)與所述目標樣圖數(shù)據(jù)進行特征匹配確定目標，根據(jù)確定的所述目標計算所述目標的位置信息，為了兼顧確定目標過程中精確度和實時性，特征匹配的過程包括粗匹配和精確匹配。粗匹配過程為：獲取所述圖像數(shù)據(jù)的ORB特征，將所述圖像數(shù)據(jù)的ORB特征與所述目標樣本的ORB特征進行匹配獲取第一匹配點對，根據(jù)所述第一匹配點對獲取初步確定目標和所述初步確定目標的位置信息；精確匹配過程為：根據(jù)所述初步確定目標的位置信息對所述初步確定目標提取SURF特征，將所述初步確定目標的SURF特征與所述目標樣圖的SURF特征進行匹配獲取第二匹配點對，根據(jù)所述第二匹配點對計算出所述初步確定目標的位置信息，所述初步確定目標的位置信息為所述目標的位置信息。對于ORB特征，進行粗匹配，采用Brute Force匹配算法；對于SURF特征，進行精確匹配，采用FLANN匹配算法，保證了結果精確度，又提高了執(zhí)行效率。

S1013重復步驟S1012獲取T時間段內(nèi)不同時刻的所述目標和所述目標的位置信息，一般地，可采集5幀圖像中目標和目標的位置信息；優(yōu)選地，重復步驟S1012中的精確匹配過程即可，獲取T時間段內(nèi)不同時刻的所述目標和所述目標的位置信息，這樣減少了計算量，使得匹配過程優(yōu)化。

S1014根據(jù)不同時刻的所述目標的位置準確性和所述目標的圖像質(zhì)量選取跟蹤模版，確定所述跟蹤模版的位置信息。

對圖像提取SURF特征，如果提取到的SURF特征點越多代表圖像的細節(jié)越豐富，圖像質(zhì)量越好。匹配實時圖像與目標樣圖的SURF特征，如果經(jīng)過初步篩選去除誤匹配后，剩余的匹配點對數(shù)量大于閾值，則認為目標定位正確。所以，在確定目標以及目標的位置后，首先于后續(xù)的一段時間(比如后續(xù)5幀)內(nèi)計算出目標定位正確的幀，然后在目標定位正確的所有幀中選取SURF特征點最多的幀，作為跟蹤模板。

本發(fā)明的一些實施例中，在目標粗匹配時，使用ORB特征，快速初步篩選非目標；對于疑似目標，進一步用SURF特征匹配，若確定目標則精確定位目標位置；一旦識別到目標后，用ORB特征快速跟蹤目標。ORB特征相比SURF特征最大的優(yōu)勢在于速度快，而SURF特征則相對更準確。所以在粗匹配和跟蹤這兩個對實時性要求高的步驟使用ORB特征，而在目標精確定位時使用SURF特征。這樣本發(fā)明既能實現(xiàn)高精確度，又能實現(xiàn)高實時性。

本發(fā)明的實施例中步驟S1012中，所述根據(jù)所述第一匹配點對獲取初步確定目標和所述初步確定目標的位置信息的步驟包括：對第一匹配點對中的特征點對進行反向檢查,去除反向匹配失敗的所述第一匹配點對；去除所述第一匹配點對中點對距離大于閾值的所述第一匹配點對；去除最近鄰和次近鄰的所述第一匹配點對的距離的比值小于閾值的所述第一匹配點對；判定剩余的所述第一匹配點對的數(shù)量大于閾值時，則確定初步確定目標，并根據(jù)剩余的所述第一匹配點對計算所述初步確定目標的位置信息。

本發(fā)明的本實施例中步驟S1012中，所述根據(jù)所述第二匹配點對計算出所述初步確定目標的位置信息的步驟包括：對所述第二匹配點對中的特征點對進行反向檢查,去除反向匹配失敗的所述第二匹配點對；去除所述第二匹配點對中點對距離大于閾值的所述第二匹配點對；判定所述第二匹配點對的最近鄰和次近鄰的匹配點對的距離的比值大于閾值時，去除所述第二匹配點對；判定剩余的所述第二匹配點對的數(shù)量大于閾值時，利用去除誤匹配算法對剩余的所述第二匹配點對進行篩選，確定用去除誤匹配算法篩選后剩余的所述第二匹配點對的個數(shù)大于閾值時，根據(jù)用去除誤匹配算法篩選后剩余的所述第二匹配點對計算出所述目標的位置信息。

本發(fā)明的本實施例步驟S1011中，所述獲取目標樣圖ORB特征和SURF特征的步驟包括對所述目標樣圖進行ORB特征提取，判定ORB特征點個數(shù)大于閾值時對所述目標樣圖進行SURF特征提取，判定SURF特征點個數(shù)大于閾值時，確定所述ORB特征點和所述SURF特征點為所述目標樣圖的ORB特征和SURF特征。

實施例二

圖4示出了依照本發(fā)明實施例的一種實時目標跟蹤方法的流程，其具體步驟如下：

S201：開始識別前，先建立目標特征數(shù)據(jù)庫，通過獲取目標樣圖數(shù)據(jù)集，對每一張目標樣圖提取ORB特征和SURF特征，建立目標特征數(shù)據(jù)庫，如圖5所示，獲取目標樣圖數(shù)據(jù)集后，采集ORB特征，判斷獲取的特征點數(shù)是否大于閾值，如果小于閾值，則不加入目標特征數(shù)據(jù)庫，如果大于閾值，則進行SURF特征提取，之后判斷提取的SURF特征點數(shù)是否大于閾值，如果小于閾值，則不加入目標特征數(shù)據(jù)庫，如果大于，則將獲取到的ORB特征和SURF特征加入目標特征數(shù)據(jù)庫。此步驟的提取ORB特征和提取SURF特征可運用到本發(fā)明中其他需要提取ORB特征和SURF特征的場合中。

S202：獲取實時圖像數(shù)據(jù)幀，開始圖像粗匹配，初步識別目標。基于Brute Force匹配算法，匹配實時圖像與目標樣圖數(shù)據(jù)集的ORB特征，并基于匹配點對的距離初步篩選匹配點對，去除誤匹配，快速初步確定目標。如圖6所示，本發(fā)明本實施例的流程如下：獲取圖像幀序列數(shù)據(jù)，對各幀圖像數(shù)據(jù)提取出ORB特征，將獲取的圖像中的ORB特征與從目標特征數(shù)據(jù)庫中獲取到的目標的ORB特征進行特征匹配，對匹配的結果進行篩選去除誤匹配，對去除誤匹配后的匹配結果，即匹配點對進行判定，如果剩余的匹配點對數(shù)小于閾值時，則判定沒有找到目標；如果剩余匹配點對數(shù)大于閾值時，則初步確定目標，根據(jù)匹配點對計算出目標的位置。ORB特征匹配也可以使用FLANN算法。但由于ORB特征是二進制特征，F(xiàn)LANN算法只有在海量數(shù)據(jù)匹配才會有明顯的速度優(yōu)勢。而在我們的發(fā)明中，ORB特征匹配只是用于目標粗匹配和目標跟蹤，提取的特征點比較少(小于300)，所以這種情況下Brute Force匹配算法更加合適。本發(fā)明中本實施例中匹配點對間的距離例如為漢明距離。在信息論中，兩個等長字符串之間的漢明距離是兩個字符串對應位置的不同字符的個數(shù)。換句話說，它就是將一個字符串變換成另外一個所需要做的最小替換次數(shù)。例如字符串“1111”與“1001”之間的漢明距離為2。

基于匹配點對的距離的初篩選策略為：⑴對匹配的特征點對進行反向檢查,如果反向匹配失敗的去除；(2)匹配的特征點對的漢明距離大于一定閾值的去除；(3)最近鄰和次近鄰的匹配的特征點對的漢明距離的比值小于一定閾值的去除；如果篩選后的匹配點對的個數(shù)大于一定閾值，則初步確定目標。

本發(fā)明本實施例中的反向檢查的原理如下：假設兩幅圖像，如果將圖M中的特征點A作為待匹配點，在圖N中尋找到匹配點A’，則兩圖的匹配點對為(A,A’)。此時，若將圖N中A’作為待匹配點，在圖M中尋找匹配點,該過程即為反向檢查。如果A’在圖M中匹配點為A，則表示匹配點對(A,A’)正確。

S203：當初步確定目標后，對目標進行精確識別和定位。精確識別采用SURF特征，基于快速最近鄰逼近搜索(簡稱FLANN)匹配算法，匹配實時圖像與初步確定的目標樣圖。在基于匹配點對的距離初步篩選匹配點對后，對經(jīng)過篩選后的匹配點對運用隨即抽樣一致性(簡稱RANSAC)算法進一步去除誤匹配。若兩次篩選后的匹配對大于一定閾值，則確定目標，并基于匹配點對推算出目標位置。如圖7所示，本發(fā)明本實施例的本步驟的流程如下，在獲取了初步確定的目標和目標位置后，在圖像中目標所在位置區(qū)域提取SURF特征，將此SURF特征與目標特征數(shù)據(jù)庫中對應初步確定的目標的SURF特征進行特征匹配，對匹配后的結果，即匹配點對進行出去誤匹配的操作，去除誤匹配后，對去除誤匹配后的匹配點對進行判定，當剩余的匹配點對數(shù)小于閾值時，則判定沒有找到目標，當匹配點對數(shù)大于閾值時，則確定找到目標，這時確定目標的位置。

本發(fā)明本實施例總基于匹配點對推算目標位置技術流程如下：首先，根據(jù)匹配點對求出兩匹配圖像間的仿射變換矩陣；然后對目標樣圖的四個角點進行仿射變換，得到其在實時圖像中的四個角點，即目標的位置。

S204：精確定位目標后，對目標進行跟蹤。跟蹤前，先確定目標跟蹤的模板。如圖8所示，確定目標及目標的準確位置后，在后續(xù)一段時間內(nèi)選取質(zhì)量最好且目標定位正確的幀作為跟蹤模板。

對圖像提取SURF特征，如果提取到的SURF特征點越多代表圖像的細節(jié)越豐富，圖像質(zhì)量越好。匹配實時圖像與目標樣圖的SURF特征，如果經(jīng)過初步篩選去除誤匹配后，剩余的匹配點對數(shù)量大于閾值，則認為目標定位正確。所以，在確定目標以及目標的位置后，首先于后續(xù)的一段時間(比如后續(xù)5幀)內(nèi)計算出目標定位正確的幀，然后在目標定位正確的所有幀中選取SURF特征點最多的幀，作為跟蹤模板。

S205：跟蹤模板確定后，基于ORB特征匹配對目標進行跟蹤。首先，通過對前段時間目標的運動軌跡分析，預測目標的可能位置；其次，在該位置區(qū)域內(nèi)提取ORB特征，并與模板匹配；然后，進行兩次篩選去除誤匹配，如果匹配點對的個數(shù)大于一定的閾值則跟蹤成功，并計算目標精確位置；最后，分析當前幀的跟蹤結果，如果當前幀相對模板運動差異大，而且目標無遮擋，跟蹤精度高，則更新當前幀為跟蹤模板，并緩存當前目標位置。如圖8所示，將獲取到的圖像序列，提取ORB特征，然后將當前跟蹤模版中的ORB特征與圖像序列對應的ORB特征進行特征匹配，獲取匹配結果，即匹配點對，與步驟S202類似，基于反向檢查的原理初篩選去除誤匹配，當篩選后后匹配點對數(shù)小于閾值時，判定跟蹤失敗，當篩選后的匹配點對數(shù)大于閾值時，利用RANSAC算法去除誤匹配，判定剩余的匹配點對數(shù)小于閾值時則跟蹤失敗，當剩余的匹配點對數(shù)大于閾值時，則判定跟蹤成功，繼而判定當前幀圖像相對模版運動差異是否大，判定目標是否被遮擋，跟蹤精度是否夠高，如果判定結果為差異足夠大，目標沒有被遮擋，跟蹤精度足夠高，則將當前圖像中的目標更新為跟蹤模版，并緩存當前目標的位置。

本發(fā)明中涉及到的ORB特征相比SURF特征最大的優(yōu)勢在于匹配速度快，而SURF特征則相對更準確。所以在粗匹配和跟蹤這兩個對實時性要求高的步驟使用ORB特征，而在目標精確定位時使用SURF特征。本發(fā)明實施例中的目標跟蹤方法大致步驟如下：在目標粗匹配時，使用ORB特征，快速初步篩選非目標；對于疑似目標，進一步用SURF特征匹配，若確定目標則精確定位目標位置；一旦識別到目標后，用ORB特征快速跟蹤目標。如此，保證了跟蹤的準確性和實時性。

本發(fā)明實施例中成對圖像的特征點匹配方式不限于Brute Force簡單匹配,快速最近鄰逼近搜索匹配等匹配方式，還可是其他匹配方式。特征點對間的距離不限于漢明距離，歐式距離，馬氏距離等距離計算方式。去除誤匹配方式，不限于RANSAC,基于RANSCA的改進算法比如PROSAC，MLESAC，LO-RANSAC等方式。

本發(fā)明提供的目標跟蹤方法，包括目標特征庫建立，目標初識別，目標精確識別與定位，目標跟蹤等步驟，其具有的有益效果如下：

無標識物的目標識別與跟蹤，本發(fā)明不需單獨設置標識物，系統(tǒng)實現(xiàn)簡單可靠；可自定義目標的識別，例如：用戶用手機拍攝目標形成目標樣圖，運用場景廣泛，利于個性化定制；適應360全角度平面旋轉(zhuǎn)的目標的識別與跟蹤，跟蹤范圍廣；跟蹤模板更新策略，增大了跟蹤的穩(wěn)定性，提高了跟蹤精度。本發(fā)明實施例提供的目標跟蹤算法還有利于實現(xiàn)實時渲染效果，由于算法簡單可靠，可適用于各種移動終端，例如智能手機，平板電腦上。

實施例三

本發(fā)明實施例提供了一種目標跟蹤方法，如圖9所示，包括：

S301獲取目標樣圖數(shù)據(jù)集中的所有圖像。

S302通過提取每一張目標樣圖的ORB特征和SURF特征，建立目標特征數(shù)據(jù)庫。通過獲取目標樣圖數(shù)據(jù)集，提取每張樣圖的ORB特征和SURF特征，建立目標特征數(shù)據(jù)庫。另外，用戶也可以自定義目標，將樣圖加入目標數(shù)據(jù)集。

S303獲取實時圖像數(shù)據(jù)，并提取ORB特征。獲取實時圖像數(shù)據(jù)，并提取實時圖像的ORB特征。

S304基于Brute Force匹配算法，匹配實時圖像與目標樣圖數(shù)據(jù)集的ORB特征。基于ORB特征匹配，對實時圖像與目標樣圖逐一匹配，若與某一樣圖匹配上，則初步確定目標，否則場景中不存在目標。其特征在于匹配算法采用Brute Force簡單匹配法，計算匹配點對間的漢明距離。

S305對匹配的特征點對進行初篩選，去除誤匹配，快速初步確定目標。通過初篩選去除誤匹配的特征點對。其特征在于對匹配的特征點對進行反向檢查,將反向匹配失敗的去除；匹配的特征點對的漢明距離大于一定閾值的去除；最近鄰和次近鄰的匹配的特征點對的距離的比值小于一定閾值的去除。如果篩選后的匹配點對的個數(shù)大于一定閾值，則匹配成功。

S306利用SURF特征匹配，基于快速最近鄰逼近搜索(簡稱FLANN)匹配算法，匹配實時圖像與初步確定的目標樣圖。利用SURF特征匹配，基于快速最近鄰逼近搜索(簡稱FLANN)匹配算法，匹配實時圖像與初步確定的目標樣圖，若匹配上則確定目標位置，否則場景中不存在該目標。

S307在基于匹配點對的距離初步篩選匹配點對后，運用隨即抽樣一致性(簡稱RANSAC)算法進一步去除誤匹配。在基于匹配點對的距離初步篩選匹配點對后，對經(jīng)過篩選后的匹配點對運用隨即抽樣一致性(簡稱RANSAC)算法進一步去除誤匹配，若經(jīng)過兩次篩選后匹配點對的個數(shù)大于一定閾值，則匹配成功。

S308在確定目標及位置后，在后續(xù)一段時間內(nèi)選取質(zhì)量最好且目標定位準確的幀作為跟蹤模板。在精確識別與定位目標后，在后續(xù)一段時間內(nèi)選取質(zhì)量最好且目標定位準確的幀作為跟蹤模板，通過匹配跟蹤模板和實時圖像的ORB特征來跟蹤目標。

對圖像提取SURF特征，如果提取到的SURF特征點越多代表圖像的細節(jié)越豐富，圖像質(zhì)量越好。

匹配實時圖像與目標樣圖的SURF特征，如果經(jīng)過初步篩選去除誤匹配后，剩余的匹配點對數(shù)量大于閾值，則認為目標定位正確。

所以，在確定目標以及目標的位置后，首先于后續(xù)的一段時間(比如后續(xù)5幀)內(nèi)計算出目標定位正確的幀，然后在目標定位正確的所有幀中選取SURF特征點最多的幀，作為跟蹤模板。

S309通過匹配跟蹤模板和實時圖像的ORB特征，并兩次篩選去除誤匹配，跟蹤目標位置?；贐rute Force匹配算法，匹配跟蹤模板和實時圖像的ORB特征，并經(jīng)過初篩選和隨即抽樣一致性算法兩次篩選匹配點對，若兩次篩選后的匹配對大于一定閾值，則跟蹤成功，并基于匹配點對推算出目標位置。

S310通過跟蹤模板的更新策略提升跟蹤的穩(wěn)定性和精度。通過跟蹤模板更新策略提升跟蹤的穩(wěn)定性和精度。目標跟蹤成功后，分析當前幀的跟蹤結果，如果當前幀相對模板運動差異大，而且目標無遮擋，跟蹤精度高，則更新當前幀為跟蹤模板，并緩存當前目標位置。

步驟S309中還包括，通過對目標進行位置預測，在預測區(qū)域附近提取ORB特征，加速跟蹤。通過對目標前一段時間的運動參數(shù)(包括平移、旋轉(zhuǎn)、縮放)的分析，預測目標在當前幀的位置，并在預測區(qū)域內(nèi)提取特征。

本發(fā)明的本實施例提供的目標跟蹤方法，經(jīng)過粗匹配和精確匹配獲取目標和目標的位置后，經(jīng)過預判，在預測區(qū)域提取特征，保證了精確性和實時性。

實施例四

本發(fā)明還提供了一種增強現(xiàn)實方法，包含了實施例一、實施例二和實施例三中的目標跟蹤算法。

如圖10所示，本發(fā)明實施例提供的一種增強現(xiàn)實方法，包括了實施例一、實施例二和實施例三中的目標跟蹤算法，在獲取了所述目標的位置信息后，根據(jù)所述目標的位置信息在所述目標所在的位置區(qū)域顯示與所述目標相關的虛擬信息。對圖像幀進行渲染，將所述虛擬信息疊加在目標上；在終端屏幕上同時顯示目標和虛擬內(nèi)容以供用戶進行交互。

如圖11所示，本發(fā)明的本實施例提供的增強現(xiàn)實方法包括，獲取目標樣圖數(shù)據(jù)集，根據(jù)目標樣圖數(shù)據(jù)集構建目標特征數(shù)據(jù)庫，將圖像數(shù)據(jù)與目標特征進行粗匹配，如利用ORB特征進行匹配，然后匹配結果進行篩選；然后進行精確識別目標獲取，如利用SURF特征進行匹配，對匹配結果進行篩選，確保識別目標精確度較高；獲取了目標的較精確的位置后，對目標進行跟蹤，如在預判區(qū)域采用ORB特征進行跟蹤，確保了跟蹤方法的計算量少，同時保證了精確性；然后在跟蹤到的目標的位置信息對應的圖像位置上顯示與所述目標相關的虛擬信息，進行實時渲染。

本發(fā)明實施例提供的增強顯示方法，保證了結果的可靠性，同時執(zhí)行效率高，實時性好，延遲小。

實施例五

如圖12所示，本發(fā)明還提供了一種目標跟蹤裝置100，包括：

跟蹤模板獲取模塊101，用于獲取跟蹤模版數(shù)據(jù)；

圖像數(shù)據(jù)獲取模塊102，用于獲取圖像數(shù)據(jù)；

目標位置信息獲取模塊103，用于根據(jù)當前時刻的所述圖像數(shù)據(jù)和所述跟蹤模版數(shù)據(jù)進行特征匹配獲取匹配結果；對所述匹配結果進行篩選選取篩選后匹配結果；根據(jù)所述篩選后匹配結果確定所述圖像數(shù)據(jù)中的目標的位置信息。

本發(fā)明實施例中的目標跟蹤裝置，還包括跟蹤模板更新模塊104，所述跟蹤模板更新模塊104用于確定當前時刻的所述目標的位置信息與所述跟蹤模版的位置信息的差異值，當所述差異值大于閾值、所述目標不被遮擋且跟蹤精度大于閾值時，將當前時刻的所述目標確定為跟蹤模版，并將所述跟蹤模版?zhèn)鬟f給所述跟蹤模板獲取模塊101。

所述跟蹤模板獲取模塊101獲取跟蹤模版數(shù)據(jù)，可通過人為輸入，也可通過如下方式，獲取目標樣圖數(shù)據(jù)集中的所有圖像；通過提取每一張目標樣圖的ORB特征和SURF特征，建立目標特征數(shù)據(jù)庫。通過獲取目標樣圖數(shù)據(jù)集，提取每張樣圖的ORB特征和SURF特征，建立目標特征數(shù)據(jù)庫。另外，用戶也可以自定義目標，將樣圖加入目標數(shù)據(jù)集；獲取實時圖像數(shù)據(jù)，并提取ORB特征。獲取實時圖像數(shù)據(jù)，并提取實時圖像的ORB特征；基于Brute Force匹配算法，匹配實時圖像與目標樣圖數(shù)據(jù)集的ORB特征?；贠RB特征匹配，對實時圖與目標樣圖逐一匹配，若與某一樣圖匹配上，則初步確定目標，否則場景中不存在目標。其特征在于匹配算法采用Brute Force簡單匹配法，計算匹配點對間的漢明距離；對匹配的特征點對進行初篩選，去除誤匹配，快速初步確定目標。通過初篩選去除誤匹配的特征點對。其特征在于對匹配的特征點對進行反向檢查,將反向匹配失敗的去除；匹配的特征點對的漢明距離大于一定閾值的去除；最近鄰和次近鄰的匹配的特征點對的距離的比值小于一定閾值的去除。如果篩選后的匹配點對的個數(shù)大于一定閾值，則匹配成功；利用SURF特征匹配，基于快速最近鄰逼近搜索(簡稱FLANN)匹配算法，匹配實時圖像與初步確定的目標樣圖。利用SURF特征匹配，基于快速最近鄰逼近搜索(簡稱FLANN)匹配算法，匹配實時圖像與初步確定的目標樣圖，若匹配上則確定目標位置，否則場景中不存在該目標。在基于匹配點對的距離初步篩選匹配點對后，運用隨即抽樣一致性(簡稱RANSAC)算法進一步去除誤匹配。在基于匹配點對的距離初步篩選匹配點對后，對經(jīng)過篩選后的匹配點對運用隨即抽樣一致性(簡稱RANSAC)算法進一步去除誤匹配，若經(jīng)過兩次篩選后匹配點對的個數(shù)大于一定閾值，則匹配成功；在確定目標及位置后，在后續(xù)一段時間內(nèi)選取質(zhì)量最好且目標定位準確的幀作為跟蹤模板。

所述圖像數(shù)據(jù)獲取模塊102獲取圖像數(shù)據(jù)的ORB特征、SURF特征。

所述目標位置信息獲取模塊103，還用于通過匹配跟蹤模板和實時圖像的ORB特征，并兩次篩選去除誤匹配，跟蹤目標位置?；贐rute Force匹配算法，匹配跟蹤模板和實時圖像的ORB特征，并經(jīng)過初篩選和隨即抽樣一致性算法兩次篩選匹配點對，若兩次篩選后的匹配對大于一定閾值，則跟蹤成功，并基于匹配點對推算出目標位置。通過對目標進行位置預測，在預測區(qū)域附近提取ORB特征，加速跟蹤。在提取實時圖像的ORB特征時，通過對目標前一段時間的運動參數(shù)(包括平移、旋轉(zhuǎn)、縮放)的分析，預測目標在當前幀的位置，并在預測區(qū)域內(nèi)提取特征。

所述跟蹤模板更新模塊104，還用于通過跟蹤模板的更新策略提升跟蹤的穩(wěn)定性和精度。通過跟蹤模板更新策略提升跟蹤的穩(wěn)定性和精度。目標跟蹤成功后，分析當前幀的跟蹤結果，如果當前幀相對模板運動差異大，而且目標無遮擋，跟蹤精度高，則更新當前幀為跟蹤模板，并緩存當前目標位置。

本發(fā)明本實施例提供的目標跟蹤裝置還包括存儲器，存儲有能夠?qū)嵤┍景l(fā)明的實施例一至實施例三中其中任何一個或多個的程序代碼，當發(fā)明的存儲器連接可執(zhí)行代碼的處理器時，所述處理器能夠讀取所述存儲器中的代碼，實現(xiàn)本發(fā)明的目的。

本發(fā)明實施例中提供的目標跟蹤裝置跟蹤目標準確，跟蹤效率高，實時性好。

實施例六

如圖13所示，本發(fā)明還提供了一種增強現(xiàn)實系統(tǒng)200，其特征在于，包括本發(fā)明實施例五中的目標跟蹤裝置100，還包括虛擬信息獲取裝置201，所述虛擬信息獲取裝置用于獲取與目標相關的虛擬信息；渲染顯示裝置，用于根據(jù)所述目標跟蹤裝置提供的目標的位置信息，在與所述目標對應的位置區(qū)域顯示與所述目標相關的虛擬信息。

本發(fā)明實施例中的增強顯示系統(tǒng)保證了顯示結果的可靠性，同時執(zhí)行效率高，實時性好，延遲小。

實施例七

本發(fā)明還提供了一種終端，包括了本發(fā)明實施六中所述的增強現(xiàn)系統(tǒng)，所述終端為手機或平板電腦；所述終端也可僅包括實施例五中目標跟蹤裝置。本發(fā)明實施例提供的終端能夠以很小的運行成本(存儲空間成本和時間成本)來跟蹤目標或者基于跟蹤到的目標增強顯示，對終端的硬件要求低，運用范圍廣。

在本發(fā)明中，術語“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對重要性。術語“多個”指兩個或兩個以上，除非另有明確的限定。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。