合并多個地圖以用于基于計算機視覺的跟蹤的系統(tǒng)及方法
【專利說明】合并多個地圖以用于基于計算機視覺的跟蹤的系統(tǒng)及方法
[0001]相關(guān)申請案的交叉參考
[0002]本申請案主張2013年3月14日申請的標(biāo)題為“合并多個地圖以用于基于計算機視覺的移動裝置跟蹤的系統(tǒng)及方法(Systems and Methods of Merging Multiple Mapsfor Computer Vis1n Based Mobile Device Tracking) ” 的第 13/830，664 號美國申請案的權(quán)益，所述美國申請案又主張2012年10月31日申請的標(biāo)題為“合并多個地圖以用于基于計算機視覺的移動裝置跟蹤的系統(tǒng)及方法(Systems and Methods of Merging MultipleMaps for Computer Vis1n Based Mobile Device Tracking)，，第61/720，804號美國臨時申請案的權(quán)益。前述美國申請案的全文特此以引用的方式并入。
技術(shù)領(lǐng)域
[0003]本發(fā)明涉及無線通信、計算機視覺及擴增實境的領(lǐng)域。明確地說，本發(fā)明涉及合并多個地圖以用于基于計算機視覺的跟蹤的系統(tǒng)及方法。
【背景技術(shù)】
[0004]眾多常規(guī)方法可用于從多個子地圖產(chǎn)生總地圖。這些常規(guī)方法將冗余子地圖存儲在存儲器中以支持合并所述多個子地圖。此類冗余子地圖對于總地圖的質(zhì)量可能貢獻(xiàn)不大。然而，其可消耗大量存儲空間。此外，可能浪費寶貴的計算資源及時間來處理此類冗余子地圖。

【發(fā)明內(nèi)容】

[0005]本發(fā)明涉及合并多個地圖以用于基于計算機視覺的跟蹤的系統(tǒng)及方法。在一個實施例中，一種合并多個地圖以用于基于計算機視覺的跟蹤的方法包括:從至少一個移動裝置接收場館中的場景的多個地圖；識別所述場景的所述多個地圖的多個關(guān)鍵幀；以及合并所述多個關(guān)鍵幀以產(chǎn)生所述場景的全局地圖。所述方法進(jìn)一步包括跟蹤所述至少一個移動裝置在所述場館中的地點。
[0006]接收場館中的場景的多個地圖的方法包括從多個移動裝置接收所述場景的所述多個地圖。所述方法進(jìn)一步包括:評估來自多個移動裝置的所述場景的所述多個地圖的所述多個關(guān)鍵幀的冗余；以及去除冗余關(guān)鍵幀。所述方法進(jìn)一步包括:使用來自多個移動裝置的所述場景的所述多個地圖產(chǎn)生同時定位與制圖(SLAM)地圖；以及在所述多個移動裝置之間共享所述SLAM地圖。
[0007]識別所述場景的所述多個地圖的多個關(guān)鍵幀的方法包括以下各者中的至少一者:識別表示從多個角度看所述場景的多個視點的所述多個關(guān)鍵幀；以及識別表示用多個比例看所述場景的多個視點的所述多個關(guān)鍵幀，其中所述多個關(guān)鍵幀包含所述多個地圖的共同特征、地點坐標(biāo)及外觀。所述多個比例包括以下各者中的至少一者:所述至少一個移動裝置與所述場景之間的多個距離；以及來自所述至少一個移動裝置的所述場景的多個縱橫比。
[0008]合并所述多個關(guān)鍵幀以產(chǎn)生所述場景的全局地圖的方法包括:對于所述多個關(guān)鍵幀中的每一關(guān)鍵幀，至少部分基于所述關(guān)鍵幀的角度分集及所述關(guān)鍵幀的比例分集來確定貢獻(xiàn)分?jǐn)?shù)；以及響應(yīng)于所述貢獻(xiàn)分?jǐn)?shù)低于預(yù)定閾值而去除所述關(guān)鍵幀。至少部分基于所述關(guān)鍵幀的角度分集及比例分集確定貢獻(xiàn)分?jǐn)?shù)的方法包括:通過將第一權(quán)重因子應(yīng)用于所述關(guān)鍵幀的所述角度分集而計算角度分集評分度量；通過將第二權(quán)重因子應(yīng)用于所述關(guān)鍵幀的所述比例分集而計算比例分集評分度量；以及組合所述角度分集評分度量與所述比例分集評分度量以產(chǎn)生所述貢獻(xiàn)分?jǐn)?shù)。
[0009]合并所述多個關(guān)鍵幀以產(chǎn)生所述場景的全局地圖的方法進(jìn)一步包括:對于所述多個關(guān)鍵幀中的每一關(guān)鍵幀，至少部分基于所述關(guān)鍵幀的角度分集確定貢獻(xiàn)分?jǐn)?shù)；以及響應(yīng)于所述貢獻(xiàn)分?jǐn)?shù)低于預(yù)定閾值而去除所述關(guān)鍵幀。合并所述多個關(guān)鍵幀以產(chǎn)生所述場景的全局地圖的方法進(jìn)一步包括:對于所述多個關(guān)鍵幀中的每一關(guān)鍵幀，至少部分基于所述關(guān)鍵幀的比例分集確定貢獻(xiàn)分?jǐn)?shù)；以及響應(yīng)于所述貢獻(xiàn)分?jǐn)?shù)低于預(yù)定閾值而去除所述關(guān)鍵幀。
[0010]合并所述多個關(guān)鍵幀以產(chǎn)生所述場景的全局地圖的方法進(jìn)一步包括:在角度直方圖中記錄所述多個關(guān)鍵幀，其中所述角度直方圖包含表示所述場景的不同觀看角度的多個區(qū)間(bin)，且所述多個區(qū)間中的每一區(qū)間包含表示所述場景的不同觀看比例的多個區(qū)段。所述方法進(jìn)一步包含:對于所述角度直方圖中的所述多個關(guān)鍵幀中的每一關(guān)鍵幀，至少部分基于所述關(guān)鍵幀的角度分集及所述關(guān)鍵幀的比例分集確定貢獻(xiàn)分?jǐn)?shù)；以及響應(yīng)于所述貢獻(xiàn)分?jǐn)?shù)低于預(yù)定閾值而去除所述關(guān)鍵幀。
[0011]至少部分基于所述關(guān)鍵幀的角度分集及比例分集確定貢獻(xiàn)分?jǐn)?shù)的方法包括:通過將第一權(quán)重因子應(yīng)用于所述關(guān)鍵幀的所述角度分集而計算角度分集評分度量，其中所述第一權(quán)重因子是至少部分基于所述關(guān)鍵幀所處于的區(qū)間中的關(guān)鍵幀的數(shù)目；通過將第二權(quán)重因子應(yīng)用于所述關(guān)鍵幀的所述比例分集而計算比例分集評分度量，其中所述第二權(quán)重因子是至少部分基于所述關(guān)鍵幀所處于的區(qū)段中的關(guān)鍵幀的數(shù)目；以及組合所述角度分集評分度量與所述比例分集評分度量以產(chǎn)生所述貢獻(xiàn)分?jǐn)?shù)。
[0012]在另一實施例中，一種設(shè)備包括:經(jīng)配置以從至少一個移動裝置接收場館中的場景的多個地圖的邏輯；經(jīng)配置以識別所述場景的所述多個地圖的多個關(guān)鍵幀的邏輯；以及經(jīng)配置以合并所述多個關(guān)鍵幀以產(chǎn)生所述場景的全局地圖的邏輯。
[0013]在又一實施例中，一種計算機程序產(chǎn)品包括非暫時性媒體，其存儲指令以供一或多個計算機系統(tǒng)執(zhí)行。所述指令包括:用于從至少一個移動裝置接收場館中的場景的多個地圖的指令；用于識別所述場景的所述多個地圖的多個關(guān)鍵幀的指令；以及用于合并所述多個關(guān)鍵幀以產(chǎn)生所述場景的全局地圖的指令。
[0014]在又一實施例中，一種系統(tǒng)包括:用于從至少一個移動裝置接收場館中的場景的多個地圖的裝置；用于識別所述場景的所述多個地圖的多個關(guān)鍵幀的裝置；以及用于合并所述多個關(guān)鍵幀以產(chǎn)生所述場景的全局地圖的裝置。
【附圖說明】
[0015]在結(jié)合以下圖式閱讀本發(fā)明的實施例的詳細(xì)描述之后，本發(fā)明的前述特征及優(yōu)點以及其額外特征及優(yōu)點將更明顯地可理解。
[0016]圖1說明根據(jù)本發(fā)明的一些方面的示范性場館。
[0017]圖2說明根據(jù)本發(fā)明的一些方面的從多個角度俘獲場景的多個視點的方法。
[0018]圖3說明根據(jù)本發(fā)明的一些方面的從多個距離俘獲場景的多個視點的方法。
[0019]圖4說明根據(jù)本發(fā)明的一些方面的以多個縱橫比俘獲場景的多個視點的方法。
[0020]圖5說明根據(jù)本發(fā)明的一些方面的用于實施合并多個地圖以用于基于計算機視覺的跟蹤的方法的示范性設(shè)備。
[0021]圖6說明根據(jù)本發(fā)明的一些方面的用于實施合并多個地圖以用于基于計算機視覺的跟蹤的方法的示范性流程圖。
[0022]圖7說明根據(jù)本發(fā)明的一些方面的移動裝置的示范性框圖。
[0023]圖8說明根據(jù)本發(fā)明的一些方面的用于確定關(guān)鍵幀的角度及比例分集的示范性方法。
[0024]圖9說明根據(jù)本發(fā)明的一些方面的用于確定關(guān)鍵幀的角度及比例分集的另一示范性方法。
[0025]貫穿各圖使用相同數(shù)字。
【具體實施方式】
[0026]揭示合并多個地圖以用于基于計算機視覺的跟蹤的實施例。呈現(xiàn)以下描述以便使得所屬領(lǐng)域的技術(shù)人員能夠進(jìn)行并使用本發(fā)明。特定實施例及應(yīng)用的描述僅是作為實例提供。所屬領(lǐng)域的技術(shù)人員將容易明白本文所述的實例的各種修改及組合，且在不脫離本發(fā)明的范圍的情況下，本文中所界定的一般原理可應(yīng)用于其它實例及應(yīng)用。因此，本發(fā)明并不希望限于所描述及展示的實例，而是應(yīng)符合與本文中揭示的原理及特征一致的最寬范圍。
[0027]根據(jù)本發(fā)明的一些方面，基于同時定位與制圖(SLAM)的應(yīng)用建立且維持關(guān)于通過至少一個移動裝置觀測的環(huán)境或場館的信息以跟蹤所述至少一個移動裝置在所述環(huán)境或場館中的地點。此信息包含但不限于特征的結(jié)構(gòu)(3D地點)及外觀，其也可稱為環(huán)境地圖。用于為建筑物制圖的技術(shù)可有益于支持不同環(huán)境或場館中的各種使用情況。舉例來說，使用多個移動裝置建立大地點的全局地圖可用于跟蹤多個移動裝置在環(huán)境中的地點。注意，相較于使用單個移動裝置建立全局地圖，使用多個移動裝置建立全局地圖可為優(yōu)選的。
[0028]在一些實施方案中，這些全局地圖可由環(huán)境中的多個移動裝置在實施定位時共享。在具有來自不同移動裝置的場景的多個地圖的情況下，一個方法是合并這些地圖以獲得全局地圖。根據(jù)本發(fā)明的方面，可實時地產(chǎn)生全局地圖，或可在服務(wù)器中離線產(chǎn)生全局地圖。另一方法是移除冗余，而合并多個地圖可導(dǎo)致較小的全局地圖大小及使用全局地圖的較低跟蹤時間。在以下部分中描述以有效方式產(chǎn)生表示關(guān)于環(huán)境或場館的信息的合并地圖的方法。
[0029]根據(jù)本發(fā)明的一些方面，場景的地圖可表示為關(guān)鍵幀，關(guān)鍵幀為從各種視點俘獲的圖像。每一關(guān)鍵幀可包含場景中的3D特征(點、線，等)中的特征的一組圖像及觀測結(jié)果(點/線的地點坐標(biāo)及外觀)。在一些實施方案中，過去的觀測結(jié)果及關(guān)鍵幀經(jīng)存儲且用以用新傳入的觀測結(jié)果或約束改進(jìn)幾何結(jié)構(gòu)。一個方法是將特征觀測結(jié)果存儲在關(guān)鍵幀中。地圖中的關(guān)鍵幀可以不同視點俘獲場景特征的觀測結(jié)果。此外，關(guān)鍵幀可提供場景的不同部分的觀測結(jié)果，且在所存儲信息中具有最少冗余。對于使用外觀進(jìn)行特征跟蹤，具有來自多個視點(如結(jié)合圖2所描述)及多個比例(如結(jié)合圖3及圖4所描述)的特征的觀測結(jié)果是有用的。此類特征跟蹤方法可用于改善跟蹤質(zhì)量及穩(wěn)健性。
[0030]注意，在合并地圖之間的信息時，保留所有關(guān)鍵幀在存在冗余信息的情況下可能增大聯(lián)合地圖大小。此外，需要精簡(舍棄)關(guān)鍵幀不會影響跟蹤質(zhì)量，因為關(guān)鍵幀對于跟蹤性能是至關(guān)重要的。在一個方法中，可保留以不同角度觀看特征的關(guān)鍵幀，但可舍棄以不同比例觀看特征的關(guān)鍵幀。然而，此方法不保留用于在不同距離連續(xù)地跟蹤特征的信息。其僅保留對于對結(jié)構(gòu)執(zhí)行三角測量或解算所必要的信息。在另一方法中，觀測較近特征的關(guān)鍵幀可