110。用戶接口 110還可包含小鍵盤114或用戶可經(jīng)由其將信息輸入到移動(dòng)裝置201中的其它輸入裝置。如果需要，則可通過(guò)將虛擬小鍵盤集成到具有觸摸傳感器的顯示器112中而排除小鍵盤114。用戶接口 110還可包含麥克風(fēng)117及一或多個(gè)揚(yáng)聲器118 (例如，如果移動(dòng)平臺(tái)是蜂窩式電話）。當(dāng)然，移動(dòng)裝置201可包含與本發(fā)明不相關(guān)的其它組件。
[0047]移動(dòng)裝置201進(jìn)一步包含連接到相機(jī)108及傳感器116且與之通信的控制單元120，以及用戶接口 110連同任何其它所需特征?？刂茊卧?20可由一或多個(gè)處理器122及相關(guān)聯(lián)存儲(chǔ)器/存儲(chǔ)裝置124提供。控制單元120還可包含軟件126，以及硬件128及固件130?？刂茊卧?20包含經(jīng)配置以基于移動(dòng)裝置201所俘獲的觀測(cè)結(jié)果來(lái)處理關(guān)鍵幀的關(guān)鍵幀處理模塊132?？刂茊卧?20進(jìn)一步包含經(jīng)配置以基于多個(gè)子地圖產(chǎn)生地圖的地圖產(chǎn)生模塊134。關(guān)鍵幀處理模塊132及地圖產(chǎn)生模塊134為了清楚起見而說(shuō)明為與處理器122及/或硬件128分開，但可基于軟件126及固件130中的指令而組合及/或?qū)嵤┯谔幚砥?22及/或硬件128中。注意，控制單元120可經(jīng)配置以實(shí)施關(guān)鍵幀處理及地圖產(chǎn)生的方法。舉例來(lái)說(shuō)，控制單元120可經(jīng)配置以實(shí)施圖2、圖3及圖4中描述的移動(dòng)裝置201的功能。
[0048]圖8說(shuō)明根據(jù)本發(fā)明的一些方面的用于確定關(guān)鍵幀的角度及比例分集的示范性方法。如圖8中所示，展示為黑色正方形的對(duì)象802可從不同角度、不同距離且以不同比例來(lái)觀測(cè)。在一個(gè)方法中，可能方向可離散成球體800的區(qū)間，例如圖8中所示的804及806。根據(jù)本發(fā)明的方面，區(qū)間可表示球體800的扇區(qū)（大致展示為角錐）。區(qū)間還可視為記錄包含觀測(cè)結(jié)果的關(guān)鍵幀（其由區(qū)間中的一或多個(gè)星形表示）的角度直方圖。出于說(shuō)明的目的，區(qū)間804分開地展示于球體800的右側(cè)上。在此實(shí)例中，區(qū)間804可包含觀測(cè)結(jié)果810a、810b、810c、810d、810e及810f。在一些實(shí)施方案中，區(qū)間可進(jìn)一步分割成多個(gè)區(qū)段，例如圖8中所示的區(qū)段I及區(qū)段2?？蓪?duì)照扇區(qū)內(nèi)的其它觀測(cè)結(jié)果評(píng)估區(qū)間內(nèi)的每一觀測(cè)結(jié)果，或可對(duì)照來(lái)自其它區(qū)間的其它觀測(cè)結(jié)果來(lái)評(píng)估區(qū)間內(nèi)的每一觀測(cè)結(jié)果。
[0049]在一些實(shí)施方案中，如果區(qū)間中觀測(cè)結(jié)果（地圖點(diǎn)）的數(shù)目小于預(yù)定數(shù)目（例如3)，則可認(rèn)為觀測(cè)結(jié)果具有高角度重要性，且可保留所述觀測(cè)結(jié)果。另一方面，如果觀測(cè)結(jié)果的數(shù)目大于預(yù)定數(shù)目，則可認(rèn)為額外觀測(cè)結(jié)果具有低角度重要性，且可舍棄所述額外觀測(cè)結(jié)果。
[0050]根據(jù)本發(fā)明的方面，給定地圖點(diǎn)從一視角的觀測(cè)結(jié)果，可預(yù)期在相機(jī)到所述地圖點(diǎn)的距離的Ι/f到f倍內(nèi)準(zhǔn)確地產(chǎn)生其從不同視角及類似觀看角度的外觀。在一些實(shí)施方案中，f可等于2 ;且在其它實(shí)施方案中，f的值可取決于需要多大比例覆蓋范圍而較小。對(duì)于每一觀測(cè)結(jié)果的相機(jī)到地圖點(diǎn)的距離的對(duì)數(shù)可指派給區(qū)間，其表示觀測(cè)結(jié)果的角度直方圖。距離可以線性比例或?qū)?shù)比例來(lái)記錄。
[0051]在一些實(shí)施方案中，如果區(qū)間中的觀測(cè)結(jié)果的數(shù)目小于預(yù)定數(shù)目（例如2)，則可認(rèn)為所述觀測(cè)結(jié)果具有高比例重要性，且可保留此類觀測(cè)結(jié)果。另一方面，如果區(qū)間中的觀測(cè)結(jié)果的數(shù)目大于預(yù)定數(shù)目，則可認(rèn)為區(qū)間中的額外觀測(cè)結(jié)果具有低比例重要性，且可舍棄額外觀測(cè)結(jié)果。
[0052]根據(jù)本發(fā)明的方面，如果觀測(cè)結(jié)果具有高角度或比例重要性，則其可標(biāo)記為重要。如果觀測(cè)結(jié)果具有低角度及低比例重要性，則其可標(biāo)記為不重要，且其可移除。如果關(guān)鍵幀具有大于可移除觀測(cè)結(jié)果的預(yù)定分?jǐn)?shù)（例如O. 8)及小于重要觀測(cè)結(jié)果的預(yù)定分?jǐn)?shù)（例如O. I)，則其可經(jīng)標(biāo)記以移除。
[0053]圖9說(shuō)明根據(jù)本發(fā)明的一些方面的用于確定關(guān)鍵幀的角度及比例分集的另一示范性方法。在圖9中所示的實(shí)例中，展示為黑色正方形的對(duì)象902可從不同角度、不同距離且以不同比例來(lái)觀測(cè)。在一個(gè)方法中，可能方向可離散成球體900的區(qū)間，例如圖9中所示的904及906。類似于圖8中所示的實(shí)例，區(qū)間可表示球體900的扇區(qū)（展示為錐形）。區(qū)間還可視為記錄包含觀測(cè)結(jié)果的關(guān)鍵幀（其由區(qū)間中的一或多個(gè)星形表示）的角度直方圖。出于說(shuō)明的目的，區(qū)間904分開地展示于球體900的右側(cè)上。在此實(shí)例中，區(qū)間904可包含觀測(cè)結(jié)果910a、910b、910c、910d、910e、910f及910g。在一些實(shí)施方案中，區(qū)間可進(jìn)一步分割成多個(gè)剖面，例如圖9中所示的剖面I及剖面2。可對(duì)照扇區(qū)內(nèi)的其它觀測(cè)結(jié)果評(píng)估區(qū)間內(nèi)的每一觀測(cè)結(jié)果，或可對(duì)照來(lái)自其它區(qū)間的其它觀測(cè)結(jié)果來(lái)評(píng)估區(qū)間內(nèi)的每一觀測(cè)結(jié)果。
[0054]根據(jù)本發(fā)明的方面，假定第一觀測(cè)結(jié)果已經(jīng)存在于第一區(qū)間中，則在第二區(qū)間中具有第二觀測(cè)結(jié)果將比在第一區(qū)間中具有第二觀測(cè)結(jié)果貢獻(xiàn)于更高角度分集（即重要性）。舉例來(lái)說(shuō)，如果觀測(cè)結(jié)果910a已經(jīng)存在于區(qū)間904中，則在區(qū)間906中具有觀測(cè)結(jié)果912a將比在區(qū)間904中具有觀測(cè)結(jié)果910b貢獻(xiàn)于更高角度分集。在一些實(shí)施方案中，額外觀測(cè)結(jié)果對(duì)區(qū)間的角度分集的貢獻(xiàn)可與區(qū)間中觀測(cè)結(jié)果的數(shù)目成反比。
[0055]根據(jù)本發(fā)明的方面，假定觀測(cè)結(jié)果已經(jīng)存在于區(qū)間的第一區(qū)段中，則在區(qū)間的第二區(qū)段中具有額外觀測(cè)結(jié)果將比在第一區(qū)段中具有額外觀測(cè)結(jié)果貢獻(xiàn)于更高比例分集(即重要性）。舉例來(lái)說(shuō)，如果觀測(cè)結(jié)果910a已經(jīng)存在于區(qū)間904的區(qū)段I中，則在區(qū)間904的區(qū)段2中具有額外觀測(cè)結(jié)果910f將比在區(qū)間904的區(qū)段I中具有觀測(cè)結(jié)果910b貢獻(xiàn)于更高比例分集。在一些實(shí)施方案中，區(qū)間的區(qū)段中的額外觀測(cè)結(jié)果對(duì)比例分集的貢獻(xiàn)可與區(qū)間的區(qū)段中的觀測(cè)結(jié)果的數(shù)目成反比。
[0056]根據(jù)本發(fā)明的方面，可使用數(shù)種技術(shù)執(zhí)行識(shí)別及跟蹤圖像幀中的特征。在一個(gè)方法中，可通過(guò)檢查每一 2乘2梯度矩陣的最小特征值來(lái)執(zhí)行識(shí)別特征的方法。接著，使用最小化兩個(gè)窗之間的差的牛頓-拉普森方法（Newton-Raphson method)來(lái)跟蹤所述特征。多分辨率跟蹤方法允許圖像之間的相對(duì)較大位移。注意，在從一個(gè)幀到下一幀跟蹤特征期間，錯(cuò)誤可能累積。為檢測(cè)潛在不良的特征，移動(dòng)裝置可經(jīng)配置以監(jiān)視當(dāng)前幀中圍繞所述特征的窗中的圖像信號(hào)是否仍類似于先前幀中圍繞所述特征的圖像信號(hào)。因?yàn)榭赡茉谠S多幀上跟蹤特征，因此圖像內(nèi)容可能變形。為解決此問(wèn)題，可用相似度或仿射制圖執(zhí)行一致性檢查。
[0057]根據(jù)本發(fā)明的方面，為識(shí)別圖像中的對(duì)象，可提取對(duì)象上的點(diǎn)以提供對(duì)象的特征描述（也稱為關(guān)鍵點(diǎn)、特征點(diǎn)或簡(jiǎn)稱為特征）。從訓(xùn)練圖像提取的此描述可接著用以在嘗試在含有許多其它對(duì)象的測(cè)試圖像中定位所述對(duì)象時(shí)識(shí)別所述對(duì)象。為執(zhí)行可靠辨識(shí)，從訓(xùn)練圖像提取的特征可為可檢測(cè)的，即使在圖像比例、噪聲及照明改變時(shí)也是如此。此些點(diǎn)通常位于圖像的高對(duì)比度區(qū)域中，例如對(duì)象邊緣。
[0058]這些特征的另一特性為其間的在原始場(chǎng)景中的相對(duì)位置可能不從一個(gè)圖像到另一圖像而改變。舉例來(lái)說(shuō)，如果僅將門的四個(gè)拐角用作特征，則其可有效而不管門的位置如何；但如果使用幀中的若干點(diǎn)，則如果門打開或關(guān)閉，辨識(shí)可能失敗。類似地，如果在所處理的組中的兩個(gè)圖像之間發(fā)生其內(nèi)部幾何布置的任何改變，則位于鉸接或柔性對(duì)象中的特征通?？赡軣o(wú)效。在一些實(shí)施方案中，SIFT檢測(cè)且使用來(lái)自圖像的大量特征，其可減少由所有特征匹配錯(cuò)誤的平均錯(cuò)誤的局部變化引起的錯(cuò)誤的貢獻(xiàn)。因此，所揭示方法可識(shí)別甚至處于混亂且部分被遮擋的對(duì)象；因?yàn)镾IFT特征描述符對(duì)于均勻縮放、定向可不變，且對(duì)于仿射失真及照明改變部分地不變。
[0059]舉例來(lái)說(shuō)，可首先從一組參考圖像提取對(duì)象的關(guān)鍵點(diǎn)且將其存儲(chǔ)于數(shù)據(jù)庫(kù)中。通過(guò)比較來(lái)自新圖像的每一特征與此數(shù)據(jù)庫(kù)且基于其特征向量的歐幾里得距離找出候選匹配特征來(lái)在新圖像中辨識(shí)對(duì)象。從整組匹配項(xiàng)，可識(shí)別在對(duì)象及其在新圖像中的位置、縮放及定向上一致的關(guān)鍵點(diǎn)的子組以濾出良好匹配項(xiàng)?？赏ㄟ^(guò)使用一般化的霍夫(Hough)變換的雜湊表實(shí)施方案來(lái)執(zhí)行一致群集的確定。在對(duì)象及其姿勢(shì)上一致的3個(gè)或3個(gè)以上特征的每一群集可接著經(jīng)受進(jìn)一步詳述的模型驗(yàn)證，且隨后可舍棄離群值?？山又跀M合準(zhǔn)確度及可能的錯(cuò)誤匹配項(xiàng)的數(shù)目來(lái)計(jì)算一組特定特征指示存在對(duì)象的概率。通過(guò)測(cè)試的對(duì)象匹配項(xiàng)可以高置信度識(shí)別為正確的。
[0060]根據(jù)本發(fā)明的方面，圖像特征產(chǎn)生將圖像變換成大的特征向量集合，所述特征向量中的每一者對(duì)于圖像平移、縮放及旋轉(zhuǎn)可為不變的，且對(duì)于照明改變?yōu)椴蛔兊牟⑶覍?duì)于局部幾何失真是穩(wěn)健的。這些特征與靈長(zhǎng)類動(dòng)物視覺(jué)中用于對(duì)象辨識(shí)的下顳葉皮層中的神經(jīng)元具有類似特性。關(guān)鍵地點(diǎn)可被定義為在尺度空間(scale space)中應(yīng)用于一系列經(jīng)平滑化且重新取樣的圖像的高斯功能的差異結(jié)果的最大值及最小值?？缮釛壍蛯?duì)比度候選點(diǎn)及沿著邊緣的邊緣響應(yīng)點(diǎn)。優(yōu)勢(shì)定向指派給局部化的關(guān)鍵點(diǎn)。此方法確保關(guān)鍵點(diǎn)對(duì)于匹配及辨識(shí)更為穩(wěn)定。可接著通過(guò)考慮圍繞所述關(guān)鍵地點(diǎn)的半徑的像素、模糊化且重新取樣局部圖像定向平面來(lái)獲得對(duì)局部仿射失真穩(wěn)健的SIFT描述符。
[0061]特征匹配及編索引可包含存儲(chǔ)SIFT關(guān)鍵點(diǎn)及從新圖像識(shí)別匹配的關(guān)鍵點(diǎn)。在一種方法中，也稱為最佳區(qū)間優(yōu)先搜索方法(best-bin-first search method)的k_d樹算法的修改可用以使用有限量的計(jì)算來(lái)以高概率識(shí)別最接近的相鄰者。最佳區(qū)間優(yōu)先算法使用k-d樹算法的經(jīng)修改搜索次序以使得可按距查詢地點(diǎn)最近的距離的次序搜索特征空間中的區(qū)間。此搜索次序需要使用基于堆棧的優(yōu)先級(jí)隊(duì)列來(lái)有效地確定搜索次序?？赏ㄟ^(guò)從訓(xùn)練圖像識(shí)別每一關(guān)鍵點(diǎn)在關(guān)鍵點(diǎn)數(shù)據(jù)庫(kù)中的最接近的相鄰者來(lái)找出每一關(guān)鍵點(diǎn)的最佳候選匹配。最接近的相鄰者可被定義為距給定描述符向量具有最小歐幾里得距離的關(guān)鍵點(diǎn)。可通過(guò)取距最近相鄰者的距離與次近者的距離的比率來(lái)確定匹配是正確的概率。
[0062]在一個(gè)示范性實(shí)施方案中，可拒絕距離比率大于0.8的匹配，此舉消除90 %的錯(cuò)誤匹配，同時(shí)舍棄小于5%的正確匹配。為進(jìn)一步改進(jìn)最佳區(qū)間優(yōu)先算法的效率，可在檢查預(yù)定數(shù)目個(gè)(例如100個(gè))最接近的相鄰候選者之后停止搜索。對(duì)于具有100，000個(gè)關(guān)鍵點(diǎn)的數(shù)據(jù)庫(kù)，此可提供較之確切的最接近相鄰者搜索加速約2個(gè)數(shù)量級(jí)，而又導(dǎo)