自適應(yīng)尺度及/或重力估計(jì)的制作方法
【專利說明】自適應(yīng)尺度及/或重力估計(jì)
[0001]相關(guān)申請(qǐng)案的交叉參考
[0002]本申請(qǐng)案主張2013年8月29日申請(qǐng)的標(biāo)題為“自適應(yīng)尺度及/或重力估計(jì)(Adaptive Scale and/or Gravity Estimat1n) ”的第 14/014，174號(hào)美國申請(qǐng)案的權(quán)益及優(yōu)先權(quán)，所述申請(qǐng)案又根據(jù)35U.S.C.§ 119(e)主張2013年3月15日申請(qǐng)的第61/801，741號(hào)美國臨時(shí)申請(qǐng)案及2012年11月5日申請(qǐng)的第61/722，601號(hào)美國臨時(shí)申請(qǐng)案的權(quán)益及優(yōu)先權(quán)，所述兩個(gè)申請(qǐng)案標(biāo)題為“自適應(yīng)尺度及/或重力估計(jì)(Adaptive Scale and/orGravity Estimat1n)”。前述美國申請(qǐng)案的全文特此以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本發(fā)明大體上涉及尺度及/或重力估計(jì)領(lǐng)域中的系統(tǒng)、設(shè)備和方法，且更確切地說，涉及通過將由重力的早先估計(jì)形成的基于慣性的姿勢(shì)與由尺度的早先估計(jì)形成的基于圖像的姿勢(shì)進(jìn)行比較而估計(jì)尺度及/或重力。
【背景技術(shù)】
[0004]一些系統(tǒng)對(duì)圖像使用計(jì)算機(jī)視覺算法以用于擴(kuò)增實(shí)境(AR)應(yīng)用并確定尺度的估計(jì)。尺度的估計(jì)乘以姿勢(shì)以確定物體與相機(jī)有多遠(yuǎn)。其它系統(tǒng)使用慣性傳感器通過確定重力的估計(jì)而確定移動(dòng)(例如，經(jīng)由航跡推測(cè))。由重力的估計(jì)調(diào)整加速度計(jì)測(cè)量值以確定線性加速度。需要用以協(xié)調(diào)使用相機(jī)及慣性傳感器兩者確定系統(tǒng)的尺度及重力兩者的裝置。

【發(fā)明內(nèi)容】

[0005]所揭示的是用于估計(jì)移動(dòng)裝置中的姿勢(shì)的系統(tǒng)、設(shè)備和方法。
[0006]根據(jù)一些方面，所揭示的是用于在移動(dòng)裝置中進(jìn)行估計(jì)的方法，所述方法包括:從在第一時(shí)間在目標(biāo)與所述移動(dòng)裝置的相機(jī)的第一位置之間俘獲的第一圖像確定第一姿勢(shì)，其中所述第一圖像含有所述目標(biāo)；從在第二時(shí)間在所述目標(biāo)與所述相機(jī)的第二位置之間俘獲的第二圖像確定第二姿勢(shì)，其中所述第二圖像含有所述目標(biāo)；使用縮放因數(shù)的第一估計(jì)而計(jì)算所述第一姿勢(shì)與所述第二姿勢(shì)之間的基于圖像的姿勢(shì)；從所述移動(dòng)裝置的加速度計(jì)接收從所述第一時(shí)間到所述第二時(shí)間的測(cè)量；基于來自所述加速度計(jì)的所述測(cè)量及重力向量的第一估計(jì)而形成基于慣性的姿勢(shì)；計(jì)算所述基于圖像的姿勢(shì)與所述基于慣性的姿勢(shì)之間的差異；及基于所述差異而形成所述重力向量的第二估計(jì)或所述縮放因數(shù)的第二估計(jì)中的至少一者。
[0007]根據(jù)一些方面，所揭示的是用于在移動(dòng)裝置中進(jìn)行估計(jì)的所述移動(dòng)裝置，所述移動(dòng)裝置包括:相機(jī)，其經(jīng)配置以:在第一時(shí)間且在所述相機(jī)的第一位置處俘獲含有目標(biāo)的第一圖像；及在第二時(shí)間且在所述相機(jī)的第二位置處俘獲含有所述目標(biāo)的第二圖像；加速度計(jì)，其經(jīng)配置以提供從所述第一時(shí)間到所述第二時(shí)間的測(cè)量；及處理器，其耦合到所述相機(jī)及所述加速度計(jì)且經(jīng)配置以:從所述第一圖像確定所述移動(dòng)裝置的所述目標(biāo)之間的第一姿勢(shì)；從所述第二圖像確定所述移動(dòng)裝置的所述目標(biāo)之間的第二姿勢(shì)；使用縮放因數(shù)的第一估計(jì)計(jì)算所述第一姿勢(shì)與所述第二姿勢(shì)之間的基于圖像的姿勢(shì)；基于所述測(cè)量及重力向量的第一估計(jì)而形成基于慣性的姿勢(shì)；計(jì)算所述基于圖像的姿勢(shì)與所述基于慣性的姿勢(shì)之間的差異；及基于所述差異而形成所述重力向量的第二估計(jì)或所述縮放因數(shù)的第二估計(jì)中的至少一者。
[0008]根據(jù)一些方面，所揭示的是用于在移動(dòng)裝置中進(jìn)行估計(jì)的所述移動(dòng)裝置，所述移動(dòng)裝置包括:用于從在第一時(shí)間在目標(biāo)與所述移動(dòng)裝置的相機(jī)的第一位置之間俘獲的第一圖像確定第一姿勢(shì)的裝置，其中所述第一圖像含有所述目標(biāo)；用于從在第二時(shí)間在所述目標(biāo)與所述相機(jī)的第二位置之間俘獲的第二圖像確定第二姿勢(shì)的裝置，其中所述第二圖像含有所述目標(biāo)；用于使用縮放因數(shù)的第一估計(jì)而計(jì)算所述第一姿勢(shì)與所述第二姿勢(shì)之間的基于圖像的姿勢(shì)的裝置；用于從所述移動(dòng)裝置的加速度計(jì)接收從所述第一時(shí)間到所述第二時(shí)間的測(cè)量的裝置；用于基于來自所述加速度計(jì)的所述測(cè)量及重力向量的第一估計(jì)而形成基于慣性的姿勢(shì)的裝置；用于計(jì)算所述基于圖像的姿勢(shì)與所述基于慣性的姿勢(shì)之間的差異的裝置；及用于基于所述差異而形成所述重力向量的第二估計(jì)或所述縮放因數(shù)的第二估計(jì)中的至少一者的裝置。
[0009]根據(jù)一些方面，所揭示的是一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，其包含存儲(chǔ)在其上的用于供移動(dòng)裝置在所述移動(dòng)裝置中進(jìn)行估計(jì)的程序代碼，所述程序代碼包括用以進(jìn)行以下操作的程序代碼:從在第一時(shí)間在目標(biāo)與所述移動(dòng)裝置的相機(jī)的第一位置之間俘獲的第一圖像確定第一姿勢(shì)，其中所述第一圖像含有所述目標(biāo)；從在第二時(shí)間在所述目標(biāo)與所述相機(jī)的第二位置之間俘獲的第二圖像確定第二姿勢(shì)，其中所述第二圖像含有所述目標(biāo)；使用縮放因數(shù)的第一估計(jì)而計(jì)算所述第一姿勢(shì)與所述第二姿勢(shì)之間的基于圖像的姿勢(shì)；從所述移動(dòng)裝置的加速度計(jì)接收從所述第一時(shí)間到所述第二時(shí)間的測(cè)量；基于來自所述加速度計(jì)的所述測(cè)量及重力向量的第一估計(jì)而形成基于慣性的姿勢(shì)；計(jì)算所述基于圖像的姿勢(shì)與所述基于慣性的姿勢(shì)之間的差異；及基于所述差異而形成所述重力向量的第二估計(jì)或所述縮放因數(shù)的第二估計(jì)中的至少一者。
[0010]應(yīng)理解，所屬領(lǐng)域的技術(shù)人員將從以下詳細(xì)描述而容易地明了其它方面，其中借助于說明展示且描述各種方面。圖式和詳細(xì)描述將被視為本質(zhì)上是說明性的而非限制性的。
【附圖說明】
[0011]將參看圖式僅通過實(shí)例方式來描述本發(fā)明的實(shí)施例。
[0012]圖1說明根據(jù)本發(fā)明的一些實(shí)施例的實(shí)例裝置。
[0013]圖2說明根據(jù)本發(fā)明的一些實(shí)施例的圖1中說明的裝置的實(shí)例框圖。
[0014]圖3說明根據(jù)本發(fā)明的一些實(shí)施例的圖1中說明的裝置的實(shí)例框圖。
[0015]圖4說明根據(jù)本發(fā)明的一些實(shí)施例的估計(jì)姿勢(shì)、慣性導(dǎo)航系統(tǒng)的狀態(tài)、尺度及/或重力的方法的實(shí)例。
[0016]圖5到7展示根據(jù)本發(fā)明的一些實(shí)施例的固定平面目標(biāo)及垂直重力向量。
[0017]圖8展示根據(jù)本發(fā)明的一些實(shí)施例的移動(dòng)裝置及固定平面目標(biāo)。
[0018]圖9涉及各種參考系統(tǒng)。
[0019]圖10展示兩個(gè)姿勢(shì)測(cè)量。
[0020]圖11說明縮放模糊性。
[0021]圖12及13展示根據(jù)本發(fā)明的一些實(shí)施例的用以校正基于慣性的姿勢(shì)與基于圖像的姿勢(shì)之間的誤差的模塊。
[0022]圖14展示根據(jù)本發(fā)明的一些實(shí)施例的用于改進(jìn)重力向量及尺度的方法。
【具體實(shí)施方式】
[0023]以下結(jié)合附圖而陳述的詳細(xì)描述希望作為對(duì)本發(fā)明的各個(gè)方面的描述，而不希望表示其中可實(shí)踐本發(fā)明的僅有方面。提供本發(fā)明中所描述的每一方面僅作為本發(fā)明的實(shí)例或說明，且其不應(yīng)必然地解釋為比其它方面優(yōu)選或有利。詳細(xì)描述包含用于提供對(duì)本發(fā)明的徹底理解的目的的特定細(xì)節(jié)。然而，所屬領(lǐng)域的技術(shù)人員將明白，可在沒有這些特定細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在一些情況下，以框圖的形式展示眾所周知的結(jié)構(gòu)及裝置以便避免混淆本發(fā)明的概念。首字母縮寫詞及其它描述性術(shù)語可僅出于便利及清晰的目的而使用，且不希望限制本發(fā)明的范圍。
[0024]如本文所使用，移動(dòng)裝置有時(shí)被稱作移動(dòng)站(MS)或用戶裝備(UE)，例如蜂窩式電話、移動(dòng)電話或其它無線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)或能夠接收無線通信及/或?qū)Ш叫盘?hào)的其它合適的移動(dòng)裝置。術(shù)語“移動(dòng)裝置”也希望包含(例如)通過短程無線、紅外線、纜線連接或其它連接與個(gè)人導(dǎo)航裝置(PND)通信的裝置，而不管在裝置處或在PND處是否發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收和/或位置相關(guān)處理。而且，“移動(dòng)站”既定包含所有裝置，包含無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)等，其能夠(例如)經(jīng)由因特網(wǎng)、WiFi或其它網(wǎng)絡(luò)與服務(wù)器通信，并且不管是在裝置處、服務(wù)器處還是在與網(wǎng)絡(luò)相關(guān)聯(lián)的另一裝置處發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收及/或位置相關(guān)處理。上述各者的任何可操作組合也被視為“移動(dòng)裝置”。
[0025]本文中描述了至少尺度及/或重力估計(jì)的實(shí)施例。在一些實(shí)施例中，所述尺度及/或重力估計(jì)是基于來自一或多個(gè)慣性傳感器的一或多個(gè)圖像及/或輸入。在一些實(shí)施例中，所述尺度及/或重力估計(jì)可與圖像處理、計(jì)算機(jī)視覺、物體及/或移動(dòng)跟蹤及/或擴(kuò)增實(shí)境一起使用。下文關(guān)于擴(kuò)增實(shí)境應(yīng)用、裝置及/或情形描述一或多個(gè)實(shí)施例，但實(shí)施例不限于所描述的內(nèi)容。例如，本文中的實(shí)施例可以用于其中例如基于來自一或多個(gè)慣性傳感器的一或多個(gè)圖像及/或輸入來估計(jì)尺度及/或重力的任何情形或功能中。
[0026]在一些實(shí)施例中，大體上實(shí)時(shí)地執(zhí)行如本文所描述的功能。在其它實(shí)施例中，存儲(chǔ)圖像及/或傳感器測(cè)量值以供稍后處理，或處理是基于所存儲(chǔ)及/或所接收的圖像及/或傳感器測(cè)量值。在一些實(shí)施例中，可在移動(dòng)裝置(例如智能電話或平板計(jì)算機(jī)或其它裝置)處執(zhí)行本文中描述的所述功能中的一者或全部。在一些實(shí)施例中，可至少部分基于從移動(dòng)裝置接收的信息在服務(wù)器或其它計(jì)算裝置處執(zhí)行本文中描述的功能中的一或多者。在一些實(shí)施例中，可在移動(dòng)裝置與服務(wù)器或與所述移動(dòng)裝置通信的其它計(jì)算裝置之間拆分本文中描述的功能中的一或多者的性能。
[0027]某些實(shí)施例可包含處理圖像或其它視覺輸入(例如)以便識(shí)別更多目的或目標(biāo)及/或跟蹤元件及/或裝置的移動(dòng)，例如俘獲圖像或其它視覺輸入的裝置。在一些情況及/或應(yīng)用中，例如擴(kuò)增實(shí)境(AR)應(yīng)用中，使用視覺輔助慣性導(dǎo)航系統(tǒng)(INS)可提供比僅視覺方法大體上改進(jìn)的性能。例如，使用視覺輔助I