基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和方法
【專利摘要】本發(fā)明涉及一種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和方法。其利用圖像的自然特征信息處理圖像的匹配技術，實現(xiàn)多模板的無標識增強現(xiàn)實技術。在特征點匹配過程中使用了去誤匹配算法，提高了圖像匹配的準確性；利用corse-to-fine策略，兩次提取特征參數(shù)的方法；匹配失敗或者跟蹤失敗時，系統(tǒng)只需執(zhí)行粗特征提取，提高了系統(tǒng)的執(zhí)行速度；在目標圖像與標識圖像特征點匹配過程中，利用跟蹤算法由當前匹配的特征點估計下一幀的匹配特征點位置，得到變化穩(wěn)定的特征點對，保證模型顯示的穩(wěn)定性，提高了用戶體驗感。
【專利說明】基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和方法

【技術領域】
[0001] 本發(fā)明涉及增強現(xiàn)實的系統(tǒng)和方法，尤其涉及一種基于圖像特征匹配的增強現(xiàn)實 的系統(tǒng)和方法。

【背景技術】
[0002] 增強現(xiàn)實借助計算機圖形技術和可視化技術生成現(xiàn)實環(huán)境中不存在的虛擬對象， 并通過圖像識別定位技術將虛擬對象準確"放置"在真實環(huán)境中，借助顯示設備將虛擬對象 與真實環(huán)境融為一體，并呈現(xiàn)給使用者一個真實的視覺感受。增強現(xiàn)實技術利用標識物建 立虛擬三維空間，標識物在虛擬空間與現(xiàn)實空間之間起到連接的作用。根據(jù)標識物類別目 前分為有標識（Marker)增強現(xiàn)實技術和無標識（Markless)增強現(xiàn)實技術兩類。相比于 有標識的增強現(xiàn)實技術，無標識的增強現(xiàn)實技術利用識別模板圖像本身的內容進行識別， 這樣可以避免人為的標記對真實感的破壞，并且識別準確性會更好。缺點則是，目標的跟 蹤與識別的技術變得復雜，穩(wěn)定性降低。在無標識增強現(xiàn)實技術中，利用圖像的隨機厥特 征（RandomFern)進行圖像識別與姿態(tài)估計，可以得到較好的跟蹤與識別效果。然而，由于 隨機厥特征計算復雜，特征數(shù)據(jù)量很大，在多個模板的無標識的AR應用中具有很大的局限 性，尤其是當標識數(shù)量達到幾十甚至上百數(shù)目時候。圖像的0RB特征相較于隨機厥特征，在 圖像特征表示方面具有同樣的理想效果，0RB特征具有尺度不變性與旋轉不變性，并且比隨 機厥特征計算簡單，數(shù)據(jù)量小。然而，圖像的0RB特征計算具有一定的隨機性，就是說，對相 同圖像計算0RB特征，得到的特征在圖像上位置分布具有隨機性，這種差異使得0RB特征在 圖像識別方面穩(wěn)定性較差。201310208905. 3涉及利用圖像捕獲和識別技術實現(xiàn)增強現(xiàn)實的 方法，其公開了可行的圖像捕獲與匹配方案，但是直接進行特征匹配，數(shù)據(jù)處理量大，系統(tǒng) 響應慢。


【發(fā)明內容】

[0003] 本發(fā)明要解決的技術問題在于提出一種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和 方法，有效地解決大量圖像標識識別和疊加三維模型的穩(wěn)定性等問題。
[0004] 本發(fā)明的技術方案是這樣實現(xiàn)的：
[0005] -種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)，其特征在于包括：
[0006] 圖像捕獲單元，用于捕獲目標物的目標圖像；
[0007] 特征存儲單元，用于存儲多個特征文件的多尺度特征；
[0008] 模型存儲單元，用于存儲至少一個的與特征文件對應的模型；
[0009] 第一特征提取單元，用于提取目標圖像的自然特征；
[0010] 第一特征匹配單元，用于分別匹配多個特征文件的特征與目標圖像的特征，并查 找與目標圖像最優(yōu)匹配的特征文件；
[0011] 第二特征提取單元，用于進一步提取目標圖像的自然特征；
[0012] 第二特征匹配單元，用于匹配最優(yōu)特征文件的特征與目標圖像的特征，并剔除所 述第二特征匹配單元的誤匹配；
[0013] 位置標定單元，用于根據(jù)目標圖像的特征匹配結果計算目標圖像中目標平面與相 機平面的單應性矩陣，再利用相機標定算法計算相機內參數(shù)，由單應性矩陣以及相機內參 數(shù)，計算出目標物相對相機平面的位移與旋轉；
[0014] 圖像處理單元，用于根據(jù)目標物相對相機平面的旋轉參數(shù)確定對應模型的對應視 角的模型；
[0015] 圖像顯示單元，用于根據(jù)目標物相對相機平面的平移參數(shù)在特定顯示區(qū)域顯示該 視角；
[0016] 特征跟蹤單元，用于跟蹤目標圖像的特征并將該圖像特征的狀態(tài)反饋至第二特征 匹配單元；
[0017] 在本發(fā)明增強現(xiàn)實的系統(tǒng)中，所述特征跟蹤單元根據(jù)光流法跟蹤目標圖像的特 征；
[0018] 在本發(fā)明增強現(xiàn)實的系統(tǒng)中，所述模型為三維模型、三維動畫、二維圖片或視頻；
[0019] 在本發(fā)明增強現(xiàn)實的系統(tǒng)中，所述目標物為載有圖像數(shù)據(jù)的二維模板。
[0020] -種基于圖像特征匹配的增強現(xiàn)實的方法，其特征在于，包括以下步驟：
[0021] 捕獲目標物的目標圖像；
[0022] 提取目標圖像的自然特征；
[0023] 比較已存儲的多個特征文件的特征與該目標圖像的特征，查找與目標圖像最優(yōu)匹 配的特征文件；
[0024] 進一步提取目標圖像的自然特征；
[0025] 匹配最優(yōu)匹配的特征文件的特征與該目標圖像的特征，剔除誤匹配；
[0026] 根據(jù)特征匹配結果計算目標圖像中目標與相機平面的單應性矩陣，再利用相機標 定算法計算相機內參數(shù)，由單應性矩陣以及相機內參數(shù)，計算出目標物相對相機平面的位 移與旋轉；
[0027] 根據(jù)目標物相對相機平面的旋轉參數(shù)確定在最優(yōu)特征文件對應的模型的對應視 角；
[0028] 根據(jù)目標物相對相機平面的位移參數(shù)在特定顯示區(qū)域顯示模型該視角；
[0029] 跟蹤上述進一步提取的目標圖像的特征，跟蹤成功后，則對最優(yōu)匹配的特征文件 的特征與特征跟蹤結果的特征進行匹配，繼續(xù)計算目標物的位移與旋轉參數(shù)；跟蹤失敗則 反饋捕獲目標物的目標圖像。
[0030] 在本發(fā)明增強現(xiàn)實的方法中，根據(jù)捕獲目標圖像并進行跟蹤目標圖像特征，不斷 地識別目標物的位置與三維姿態(tài)，使得模型隨目標物同步運動。
[0031] 在本發(fā)明增強現(xiàn)實的方法中，由多個預存圖像提取特征文件。
[0032] 在本發(fā)明增強現(xiàn)實的方法中，捕獲目標物的目標圖像后進行降噪、增強處理。
[0033] 實施本發(fā)明的基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)和方法，具有以下有益效果： 利用圖像的自然特征信息處理圖像的匹配問題，在特征點匹配過程中使用了去誤匹配算 法，提高了圖像匹配的準確性；采用兩次提取特征參數(shù)的方法，匹配失敗或者跟蹤失敗時， 系統(tǒng)只需執(zhí)行粗特征提取，提高了系統(tǒng)的執(zhí)行速度；在目標圖像與標識圖像特征點匹配過 程中，利用跟蹤算法由當前匹配的特征點估計下一幀的匹配特征點位置，得到變化穩(wěn)定的 特征點對，保證模型顯示的穩(wěn)定性，提高了用戶體驗感。

【專利附圖】

【附圖說明】
[0034] 圖1為本發(fā)明的基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)的示意圖；
[0035] 圖2為本發(fā)明的基于圖像特征匹配的增強現(xiàn)實的方法的流程圖；
[0036] 圖3為在剔除誤匹配之前，最優(yōu)匹配的特征文件與該目標圖像的匹配結果；
[0037] 圖4為在剔除誤匹配之后，最優(yōu)匹配的特征文件與該目標圖像的匹配結果；
[0038] 圖5為模板對應于注冊三維模型的顯示圖像的一種視角；
[0039] 圖6為圖5的三維顯示圖像的另一視角。

【具體實施方式】
[0040] 下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完 整地描述。
[0041] 如圖1、2所示的本發(fā)明的這種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)，包括：圖像 捕獲單元、特征存儲單元、模型存儲單元、第一特征提取單元、第一特征匹配單元、第二特征 提取單元、第二特征匹配單元、位置標定單元、圖像處理單元、圖像顯示單元、特征跟蹤單 J Li 〇
[0042] 圖像捕獲單元捕獲目標物的目標圖像，第一特征提取單元提取目標圖像的自然特 征。特征存儲單元存儲多個特征文件的多尺度特征，模型存儲單元存儲至少一個的與特征 文件對應的模型。多尺度特征包括不同參數(shù)下的粗略的特征和精細的特征，多尺度特征的 提取方法與目標圖像的自然特征的提取方法相同。第一特征匹配單元分別匹配多個特征文 件的特征與目標圖像的特征，并查找與目標圖像最優(yōu)匹配的特征文件。第二特征提取單元 進一步提取目標圖像的自然特征，該自然特征為更為精細的自然特征。第二特征匹配單元 匹配最優(yōu)匹配特征文件的特征與目標圖像的特征，并查找某些誤匹配，剔除誤匹配。位置標 定單元根據(jù)第二特征匹配單元的特征匹配結果，計算目標圖像中目標平面與相機平面的單 應性矩陣，再利用相機標定算法計算相機內參數(shù)，由單應性矩陣以及相機內參數(shù)，計算出目 標物相對相機平面的位移與旋轉。圖像處理單元根據(jù)目標物相對相機平面的旋轉參數(shù)確定 對應模型的對應視角的模型，該模型為模型存儲單元存儲的與最優(yōu)匹配的特征文件對應的 模型。圖像顯示單元根據(jù)目標物相對相機平面的位移在特定顯示區(qū)域顯示該視角。至此完 成模型注冊。
[0043] 為了提高人機交互能力，要求目標物的運動，模型的視角也應發(fā)生變化。特征跟蹤 單元根據(jù)光流法跟蹤目標圖像的特征，并將該圖像特征的狀態(tài)反饋至第二特征匹配單元。 特征跟蹤單元在跟蹤過程中判斷目標圖像的特征下一幀狀態(tài)。不需要重新計算各個特征點 的位置，提高了特征匹配速度和模型注冊速度。
[0044] 所述模型為三維模型、三維動畫、二維圖片或視頻。所述目標物為載有圖像數(shù)據(jù)的 二維模板。
[0045] 一種基于圖像特征匹配的增強現(xiàn)實的方法，包括以下步驟：捕獲目標物的目標圖 像，降噪、增強處理；提取目標圖像的自然特征；比較已存儲的多個特征文件的特征與該目 標圖像的特征，查找與目標圖像最優(yōu)匹配的特征文件；進一步提取目標圖像的自然特征； 比較最優(yōu)匹配的特征文件的特征與該目標圖像的特征，剔除誤匹配；根據(jù)第二特征匹配單 元的特征匹配結果，計算目標圖像中目標平面與相機平面的單應性矩陣，再利用相機標定 算法計算相機內參數(shù)，由單應性矩陣以及相機內參數(shù)，計算出目標物相對相機平面的位移 與旋轉；根據(jù)目標物相對相機平面的旋轉參數(shù)確定在最優(yōu)特征文件對應的模型的對應視 角；根據(jù)目標物相對相機平面的位移參數(shù)在特定顯示區(qū)域顯示模型該視角；跟蹤上述進一 步提取的目標圖像的特征，跟蹤成功則匹配最優(yōu)匹配的特征文件的特征與特征跟蹤的結果 的預測特征，繼續(xù)計算目標物的位移與旋轉參數(shù)；跟蹤失敗則反饋捕獲目標物的目標圖像； 根據(jù)捕獲目標圖像并進行跟蹤目標圖像特征，不斷地識別目標物的位置與三維姿態(tài)，使得 模型隨目標物同步運動。
[0046] 特征文件由多個預存圖像提取出來，特征文件中含有預存圖像不同尺度下的多尺 度特征。如果尋找到的最優(yōu)匹配模板與目標圖像匹配的特征點數(shù)目小于預設的閾值，可以 認為匹配失敗，重新捕獲目標圖像。如果跟蹤失敗，即追蹤到的特征數(shù)量小于閾值，可以認 為跟蹤失敗，重新捕獲目標圖像。利用多線程處理技術，最優(yōu)匹配特征搜索與目標物位移旋 轉參數(shù)計算分開處理，采用coarse-to-fine策略解決了算法實時性與算法有效性的平衡問 題。在第一次匹配失敗時，不進行第二次匹配，降低了系統(tǒng)運行負荷。
[0047] 圖3和圖4顯示了剔除誤匹配前后的特征匹配圖。模板1上的特征通過人為連線 的方式對應至顯示界面2上的特征，圖3存在不正確匹配的特征，圖4剔除不正確匹配關 系。圖5、6顯示了注冊三維模型后的增強現(xiàn)實，顯示界面在模板上注冊三維模型，并隨模板 的運動而顯示模型的不同視角。
[0048] 本發(fā)明具體可以采下述步驟實施。
[0049] 步驟1，獲取目標圖像T，計算其自然特征。
[0050] 對目標圖像T，計算其角點特征，特征包括特征點Κτ以及特征描述算子DT。
[0051] 步驟2,計算每個模板圖像Mk, k e {1，2, · · ·，η}的多尺度自然特征。
[0052] 計算每個模板圖像Mk，k e {1，2, . . .，η}的特征點和特征描述子，其中，η 是模板圖像的個數(shù)。
[0053] 步驟3,求解出模板圖像％，其中模板圖像吣與目標圖像Τ的特征匹配最優(yōu)。
[0054] 利用特征匹配算法，對每個模板圖像Mk，k e {l，2，...，n}特征與目標圖像T進行 特征點匹配，得到匹配的特征點數(shù)目最多時對應的模板圖像％，即模板圖像％包含在目標 圖像T中，此時得到模板％對應的虛擬對象Models
[0055] 步驟4,計算模板圖像吣與目標圖像T的精確匹配特征點。
[0056] 修改參數(shù)，計算模板圖像吣的特征點Γ Mi和特征描述子D' Mi，并與目標圖像T 進行特征匹配，得到精確匹配的特征點對，并對所得的匹配特征點，濾除誤匹配點。
[0057] 步驟5,特征點跟蹤。
[0058] 對目標圖像匹配的特征點進行跟蹤，下一幀利用跟蹤的特征點進行特征點匹配；
[0059] 步驟6,計算模板圖像吣相對相機的位移參數(shù)S和旋轉參數(shù)R。
[0060] 利用新的匹配特征點計算模板圖像Mi相對相機平面的單應性矩陣H，由相機標定 算法計算相機內參和外參，根據(jù)單應性矩陣Η以及相機內參數(shù)估計模板圖像Mi相對相機的 位移參數(shù)S和旋轉參數(shù)R。
[0061] 步驟7,注冊虛擬三維模型。
[0062] 利用相機外部參數(shù)，以及模板圖像％相對相機的位移參數(shù)S和旋轉參數(shù)R，在目標 圖像T中繪制出與模板圖像吣對應的三維模型Models
[0063] 算法實際樣例
[0064] 目標圖像與標識圖像使用StefanLeutenegger等人提出的算法計算BRISK特征， 該算法用AGAST算法進行角點檢測，用BRIEF算法生成特征描述符。標識圖像在3層金字 塔結構上提取特征點，特征點計算的距離閾值設為90,檢測圖像在原尺度上提取特征點，閾 值設置相同為90。特征點匹配時使用Hamming距離。
[0065] 表1是利用隨機厥特征、0RB特征以及BRISK特征對模板圖像進行特征提取和匹 配時間比較。單位為毫秒（ms)。
[0066]

【權利要求】
1. 一種基于圖像特征匹配的增強現(xiàn)實的系統(tǒng)，其特征在于包括： 圖像捕獲單元，用于捕獲目標物的目標圖像； 特征存儲單元，用于存儲多個特征文件的多尺度特征； 模型存儲單元，用于存儲至少一個的與特征文件對應的模型； 第一特征提取單元，用于提取目標圖像的自然特征； 第一特征匹配單元，用于分別匹配多個特征文件的特征與目標圖像的特征，并查找與 目標圖像最優(yōu)匹配的特征文件； 第二特征提取單元，用于進一步提取目標圖像的自然特征； 第二特征匹配單元，用于匹配最優(yōu)特征文件的特征與目標圖像的特征，并剔除所述第 二特征匹配單元的誤匹配； 位置標定單元，用于根據(jù)目標圖像的特征匹配結果計算目標圖像中目標平面與相機平 面的單應性矩陣，再利用相機標定算法計算相機內參數(shù)，由單應性矩陣以及相機內參數(shù)，計 算出目標物相對相機平面的位移與旋轉； 圖像處理單元，用于根據(jù)目標物相對相機平面的旋轉參數(shù)確定對應模型的對應視角的 模型； 圖像顯示單元，用于根據(jù)目標物相對相機平面的平移參數(shù)在特定顯示區(qū)域顯示該視 角； 特征跟蹤單元，用于跟蹤目標圖像的特征并將該圖像特征的狀態(tài)反饋至第二特征匹配 單元。
2. 根據(jù)權利要求1所述的增強現(xiàn)實的系統(tǒng)，其特征在于，所述特征跟蹤單元根據(jù)光流 法跟蹤目標圖像的特征。
3. 根據(jù)權利要求1所述的增強現(xiàn)實的系統(tǒng)，其特征在于，所述特征跟蹤單元跟蹤目標 圖像特征的過程中，進行特征匹配并剔除誤匹配，同時估計下一幀目標圖像特征的位置。
4. 根據(jù)權利要求1所述的增強現(xiàn)實的系統(tǒng)，其特征在于，所述模型為三維模型、三維動 畫、二維圖片或視頻。
5. -種基于圖像特征匹配的增強現(xiàn)實的方法，其特征在于，包括以下步驟： 捕獲目標物的目標圖像； 提取目標圖像的自然特征； 比較已存儲的多個特征文件的特征與該目標圖像的特征，查找與目標圖像最優(yōu)匹配的 特征文件； 進一步提取目標圖像的自然特征； 匹配最優(yōu)匹配的特征文件的特征與該目標圖像的特征，剔除誤匹配； 根據(jù)特征匹配結果計算目標圖像中目標與相機平面的單應性矩陣，再利用相機標定算 法計算相機內參數(shù)，由單應性矩陣以及相機內參數(shù)，計算出目標物相對相機平面的位移與 旋轉； 根據(jù)目標物相對相機平面的旋轉參數(shù)確定在最優(yōu)特征文件對應的模型的對應視角； 根據(jù)目標物相對相機平面的位移參數(shù)在特定顯示區(qū)域顯示模型該視角； 跟蹤上述進一步提取的目標圖像的特征，跟蹤成功則匹配最優(yōu)匹配的特征文件的特征 與特征跟蹤的結果的預測特征，繼續(xù)計算目標物的位移與旋轉參數(shù)；跟蹤失敗則反饋捕獲 目標物的目標圖像。
6. 根據(jù)權利要求5所述的增強現(xiàn)實的方法，其特征在于，根據(jù)目標圖像的跟蹤結果，不 斷更新目標物的位置，使得模型隨目標物同步運動。
7. 根據(jù)權利要求5或6所述的增強現(xiàn)實的方法，其特征在于，由多個預存圖像提取特征 文件。
8. 根據(jù)權利要求5或6所述的增強現(xiàn)實的方法，其特征在于，捕獲目標物的目標圖像后 降噪、增強處理。
【文檔編號】G06T7/00GK104050475SQ201410275712
【公開日】2014年9月17日 申請日期:2014年6月19日 優(yōu)先權日:2014年6月19日
【發(fā)明者】樊曉東, 孟俊華, 唐文平, 劉家賓, 樊曉莉, 惠艷萍, 馮欣, 馮賓, 田明 申請人:樊曉東