無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)及無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法
【專利摘要】本發(fā)明公開一種無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其包括：特征點(diǎn)提取單元，用于從拍攝設(shè)備生成的圖像的第一幀中提取多個特征點(diǎn)；跟蹤點(diǎn)提取單元，利用提取的所述多個特征點(diǎn)來從所述拍攝設(shè)備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點(diǎn)；映射點(diǎn)生成單元，用于將所述多個特征點(diǎn)映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點(diǎn)；跟蹤點(diǎn)篩選單元，用于將所述除第一幀外的每一幀的每個跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離和一預(yù)設(shè)距離閾值進(jìn)行比較，且所述跟蹤點(diǎn)篩選單元基于所述比較結(jié)果來判斷是否將所述跟蹤點(diǎn)排除。本發(fā)明還公開一種無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法。
【專利說明】無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)及無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種對拍攝設(shè)備生成的圖像進(jìn)行特征提取并跟蹤的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)及無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法。
【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality, AR)是在虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上發(fā)展起來的新技術(shù)，其通過計(jì)算機(jī)系統(tǒng)將虛擬客體疊加到實(shí)際圖像中以增強(qiáng)用戶感官體驗(yàn)，從而實(shí)現(xiàn)對現(xiàn)實(shí)的增強(qiáng)。
[0003]目前，很多增強(qiáng)現(xiàn)實(shí)系統(tǒng)是基于預(yù)先準(zhǔn)備的標(biāo)記(如二維碼)等來獲取包含實(shí)際圖像的真實(shí)物體的特征信息，從而得到照相機(jī)與真實(shí)物體的位置關(guān)系。然而這種基于標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)在實(shí)際應(yīng)用中必須事先準(zhǔn)備標(biāo)記，并將標(biāo)記存儲于數(shù)據(jù)庫中，因此，這一前提條件使得其應(yīng)用場景和時間存在限制。
[0004]然而，無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以通過對實(shí)際圖像的特征點(diǎn)檢測并通過跟蹤特征點(diǎn)來掌握照相機(jī)和真實(shí)物體的位置關(guān)系，可在任何場所即時使用。要掌握好照相機(jī)和真實(shí)物體位置關(guān)系的首要條件是要對實(shí)際圖像的特征點(diǎn)檢測并準(zhǔn)確跟蹤。

【發(fā)明內(nèi)容】

[0005]為了解決上述現(xiàn)有技術(shù)存在的問題，本發(fā)明的目的在于提供一種無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其包括:特征點(diǎn)提取單元，用于從拍攝設(shè)備生成的圖像的第一幀中提取多個特征點(diǎn)；跟蹤點(diǎn)提取單元，利用提取的所述多個特征點(diǎn)來從所述拍攝設(shè)備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點(diǎn)；映射點(diǎn)生成單元，用于將所述多個特征點(diǎn)映射到所述除第一中貞外的每一巾貞中，以生成所述除第一巾貞外的每一巾貞的多個映射點(diǎn)；跟蹤點(diǎn)篩選單兀，用于將所述除第一幀外的每一幀的每個跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離和一預(yù)設(shè)距離閾值進(jìn)行比較，且所述跟蹤點(diǎn)篩選單元基于所述比較結(jié)果來判斷是否將所述跟蹤點(diǎn)排除。
[0006]進(jìn)一步地，當(dāng)所述除第一幀外的每一幀的某一跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離大于所述預(yù)設(shè)距離閾值時，所述跟蹤點(diǎn)篩選單元將該某一跟蹤點(diǎn)排除。
[0007]進(jìn)一步地，所述跟蹤點(diǎn)提取單元包括:空間模型建立單元，用于將所述除第一幀外的每一幀建立為多個具有不同分辨率和不同尺寸大小的空間模型；空間模型搜索單元，利用提取的所述第一幀的多個特征點(diǎn)來從每個所述空間模型中提取多個子跟蹤點(diǎn)；子跟蹤點(diǎn)融合單元，用于將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點(diǎn)融合為所述除第一幀外的每一幀的多個所述跟蹤點(diǎn)。
[0008]進(jìn)一步地，所述空間模型搜索單元在建立的每個所述空間模型中搜索所述第一幀的每個特征點(diǎn)的偏移向量，且所述空間模型搜索單元基于在建立的每個所述空間模型中搜索的所述第一幀的每個特征點(diǎn)的偏移向量來從每個所述空間模型中提取多個子跟蹤點(diǎn)。
[0009]進(jìn)一步地，所述無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)還包括:單應(yīng)性矩陣生成單元，利用提取的所述除第一幀之外的每一幀的多個跟蹤點(diǎn)和所述第一幀的多個特征點(diǎn)來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應(yīng)性矩陣；其中，所述映射點(diǎn)生成單元利用所述單應(yīng)性矩陣將所述第一幀的多個特征點(diǎn)映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點(diǎn)。
[0010]進(jìn)一步地，所述無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)還包括:異常點(diǎn)剔除單元，用于將所述除第一幀外的每一幀的多個跟蹤點(diǎn)中的位于置信域范圍外的跟蹤點(diǎn)剔除。
[0011]本發(fā)明的另一目的還在于提供一種無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，其包括步驟:A)從拍攝設(shè)備生成的圖像的第一幀中提取多個特征點(diǎn)；B)利用提取的所述多個特征點(diǎn)來從所述拍攝設(shè)備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點(diǎn)；C)將所述多個特征點(diǎn)映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點(diǎn)；
D)將所述除第一幀外的每一幀的每個跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離和一預(yù)設(shè)距離閾值進(jìn)行比較，且基于所述比較結(jié)果來判斷是否將所述跟蹤點(diǎn)排除。
[0012]進(jìn)一步地，當(dāng)所述除第一幀外的每一幀的某一跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離大于所述預(yù)設(shè)距離閾值時，所述跟蹤點(diǎn)篩選單元將該某一跟蹤點(diǎn)排除。
[0013]進(jìn)一步地，所述步驟B)的具體實(shí)現(xiàn)方式包括步驟:B1)將所述除第一幀外的每一幀建立為多個具有不同分辨率和不同尺寸大小的空間模型；B2)利用提取的所述第一幀的多個特征點(diǎn)來從每個所述空間模型中提取多個子跟蹤點(diǎn)；B3)將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點(diǎn)融合為所述除第一幀外的每一幀的多個所述跟蹤點(diǎn)。
[0014]進(jìn)一步地，所述步驟B2)的具體實(shí)現(xiàn)方式是:在建立的每個所述空間模型中搜索所述第一幀的每個特征點(diǎn)的偏移向量，且基于在建立的每個所述空間模型中搜索的所述第一幀的每個特征點(diǎn)的偏移向量來從每個所述空間模型中提取多個子跟蹤點(diǎn)。
[0015]進(jìn)一步地，所述步驟C)的具體實(shí)現(xiàn)方式包括步驟:C1)利用提取的所述除第一幀之外的每一幀的多個跟蹤點(diǎn)和所述第一幀的多個特征點(diǎn)來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應(yīng)性矩陣；C2)利用所述單應(yīng)性矩陣將所述第一幀的多個特征點(diǎn)映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點(diǎn)。
[0016]進(jìn)一步地，在執(zhí)行步驟C)之前，將所述除第一幀外的每一幀的多個跟蹤點(diǎn)中的位于置信域范圍外的跟蹤點(diǎn)剔除。
[0017]本發(fā)明的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)及無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，通過對拍攝設(shè)備生成的圖像進(jìn)行特征檢測和跟蹤，無需事先準(zhǔn)備標(biāo)記，比以往的基于標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)有更廣泛的適應(yīng)場景。此外，本發(fā)明的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)及無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，在圖像的每一幀的具有不同分辨率和不同尺寸大小的空間模型中進(jìn)行特征點(diǎn)搜索，使之可適用于本身具備多尺度變化的視頻跟蹤中，并且在變化過程中能夠保持較好的跟蹤效果。
【專利附圖】

【附圖說明】
[0018]通過下面結(jié)合附圖進(jìn)行的描述，本發(fā)明的上述和其他目的和特點(diǎn)將會變得更加清楚，附圖中:
[0019]圖1是示出根據(jù)本發(fā)明的實(shí)施例的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)的框圖。
[0020]圖2是示出根據(jù)本發(fā)明的實(shí)施例的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法的流程圖?！揪唧w實(shí)施方式】
[0021]以下，通過參照附圖對實(shí)施例進(jìn)行描述來解釋本發(fā)明，但本發(fā)明并不限制或者局限于實(shí)施例。
[0022]圖1是示出根據(jù)本發(fā)明的實(shí)施例的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)的框圖。
[0023]參照圖1，根據(jù)本發(fā)明的實(shí)施例的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)可包括特征點(diǎn)提取單元110、跟蹤點(diǎn)提取單元120、映射點(diǎn)生成單元130和跟蹤點(diǎn)篩選單元140。
[0024]無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)對圖像進(jìn)行特征點(diǎn)檢測和跟蹤，無需事先準(zhǔn)備標(biāo)記并將標(biāo)記存儲在數(shù)據(jù)庫等工作，可構(gòu)建無標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。
[0025]首先，需要對圖像進(jìn)行特征點(diǎn)檢測并將檢測到的特征點(diǎn)進(jìn)行提取。
[0026]為此，特征點(diǎn)提取單元110可從拍攝設(shè)備(例如照相機(jī)、視頻照相機(jī)、視頻攝像機(jī)等)生成的圖像的第一幀中提取易于跟蹤的多個特征點(diǎn)。該多個特征點(diǎn)作為后續(xù)跟蹤的基準(zhǔn)信息。具體而言，在本實(shí)施例中，特征點(diǎn)提取單元110可采用角點(diǎn)檢測方法對拍攝設(shè)備生成的圖像的第一幀中的某一點(diǎn)進(jìn)行移動；其中，如果該某一點(diǎn)被移動后的亮度發(fā)生較大變化，則該某一點(diǎn)為易于跟蹤的特征點(diǎn)。該某一點(diǎn)被移動后的亮度發(fā)生的變化量E (U，V)滿足下面的式子。
【權(quán)利要求】
1.一種無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，包括: 特征點(diǎn)提取單元，用于從拍攝設(shè)備生成的圖像的第一幀中提取多個特征點(diǎn)； 跟蹤點(diǎn)提取單元，利用提取的所述多個特征點(diǎn)來從所述拍攝設(shè)備生成的圖像的除第一中貞外的每一幀中提取多個跟蹤點(diǎn)； 映射點(diǎn)生成單元，用于將所述多個特征點(diǎn)映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點(diǎn)； 跟蹤點(diǎn)篩選單元，用于將所述除第一幀外的每一幀的每個跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離和一預(yù)設(shè)距離閾值進(jìn)行比較，且所述跟蹤點(diǎn)篩選單元基于所述比較結(jié)果來判斷是否將所述跟蹤點(diǎn)排除。
2.根據(jù)權(quán)利要求1所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，當(dāng)所述除第一幀外的每一幀的某一跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離大于所述預(yù)設(shè)距離閾值時，所述跟蹤點(diǎn)篩選單元將該某一跟蹤點(diǎn)排除。
3.根據(jù)權(quán)利要求1或2所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，所述跟蹤點(diǎn)提取單元包括: 空間模型建立單元，用于將所述除第一幀外的每一幀建立為多個具有不同分辨率和不同尺寸大小的空間模型； 空間模型搜索單元，利用提取的所述第一幀的多個特征點(diǎn)來從每個所述空間模型中提取多個子跟蹤點(diǎn)； 子跟蹤點(diǎn)融合單元，用于將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點(diǎn)融合為所述除第一幀外的每一幀的多個所述跟蹤點(diǎn)。
4.根據(jù)權(quán)利要求3所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，所述空間模型搜索單元在建立的每個所述空間模型中搜索所述第一幀的每個特征點(diǎn)的偏移向量，且所述空間模型搜索單元基于在建立的每個所述空間模型中搜索的所述第一幀的每個特征點(diǎn)的偏移向量來從每個所述空間模型中提取多個子跟蹤點(diǎn)。
5.根據(jù)權(quán)利要求1或2所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，所述無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)還包括: 單應(yīng)性矩陣生成單元，利用提取的所述除第一幀之外的每一幀的多個跟蹤點(diǎn)和所述第一幀的多個特征點(diǎn)來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應(yīng)性矩陣； 其中，所述映射點(diǎn)生成單元利用所述單應(yīng)性矩陣將所述第一幀的多個特征點(diǎn)映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點(diǎn)。
6.根據(jù)權(quán)利要求1或2所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其特征在于，所述無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)還包括:異常點(diǎn)剔除單元，用于將所述除第一幀外的每一幀的多個跟蹤點(diǎn)中的位于置信域范圍外的跟蹤點(diǎn)剔除。
7.一種無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，其特征在于，包括以下步驟: A)從拍攝設(shè)備生成的圖像的第一幀中提取多個特征點(diǎn)； B)利用提取的所述多個特征點(diǎn)來從所述拍攝設(shè)備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點(diǎn)； C)將所述多個特征點(diǎn)映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點(diǎn)； D)將所述除第一幀外的每一幀的每個跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離和一預(yù)設(shè)距離閾值進(jìn)行比較，且基于所述比較結(jié)果來判斷是否將所述跟蹤點(diǎn)排除。
8.根據(jù)權(quán)利要求7所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，其特征在于，當(dāng)所述除第一幀外的每一幀的某一跟蹤點(diǎn)與其對應(yīng)的映射點(diǎn)之間的距離大于所述預(yù)設(shè)距離閾值時，所述跟蹤點(diǎn)篩選單元將該某一跟蹤點(diǎn)排除。
9.根據(jù)權(quán)利要求7或8所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，其特征在于，所述步驟B)的具體實(shí)現(xiàn)方式包括以下步驟: BI)將所述除第一幀外的每一幀建立為多個具有不同分辨率和不同尺寸大小的空間模型； B2)利用提取的所述第一幀的多個特征點(diǎn)來從每個所述空間模型中提取多個子跟蹤占.B3)將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點(diǎn)融合為所述除第一幀外的每一幀的多個所述跟蹤點(diǎn)。
10.根據(jù)權(quán)利要求9所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，其特征在于，所述步驟B2)的具體實(shí)現(xiàn)方式是:在建立的每個所述空間模型中搜索所述第一幀的每個特征點(diǎn)的偏移向量，且基于在建立的每個所述空間模型中搜索的所述第一幀的每個特征點(diǎn)的偏移向量來從每個所述空間模型中提取多個子跟蹤點(diǎn)。
11.根據(jù)權(quán)利要求7或8所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，其特征在于，所述步驟C)的具體實(shí)現(xiàn)方式包括以下步驟: Cl)利用提取的所述除第一幀之外的每一幀的多個跟蹤點(diǎn)和所述第一幀的多個特征點(diǎn)來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應(yīng)性矩陣； C2)利用所述單應(yīng)性矩陣將所述第一幀的多個特征點(diǎn)映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點(diǎn)。
12.根據(jù)權(quán)利要求7或8所述的無標(biāo)記增強(qiáng)現(xiàn)實(shí)系統(tǒng)目標(biāo)跟蹤方法，其特征在于，在執(zhí)行步驟C)之前，將所述除第一幀外的每一幀的多個跟蹤點(diǎn)中的位于置信域范圍外的跟蹤點(diǎn)剔除。
【文檔編號】G06T7/00GK103632374SQ201310666494
【公開日】2014年3月12日 申請日期:2013年12月10日 優(yōu)先權(quán)日:2013年12月10日
【發(fā)明者】樊春玲, 鄧亮, 馮良炳 申請人:深圳先進(jìn)技術(shù)研究院