專利名稱：使用物體來對準(zhǔn)和校準(zhǔn)慣性導(dǎo)航系統(tǒng)的制作方法
使用物體來對準(zhǔn)和校準(zhǔn)慣性導(dǎo)航系統(tǒng)背景在通信行業(yè)中，關(guān)于諸如蜂窩或其他無線通信設(shè)備之類的移動站的準(zhǔn)確的位置信息正日漸盛行。全球定位系統(tǒng)(GPS)給出一種用來提供無線移動站位置確定的辦法。GPS用戶可通過從環(huán)地軌道中的衛(wèi)星飛行器(SV)得到的信息來推導(dǎo)包括三維位置、速度和時(shí)間在內(nèi)的精確導(dǎo)航信息。從這些SV接收到的信號通常是相當(dāng)微弱的。因此，為了確定接收機(jī)的位置，該接收機(jī)必須充分靈敏才能捕獲這些微弱信號并解讀它們所代表的信息。目前的GPS接收機(jī)的一個限制在于，它們的操作局限于其中有多顆衛(wèi)星清楚地在視野中而無障礙物并且良好質(zhì)量的天線被正確地放置以接收此類信號的境況。由此，這些GPS接收機(jī)在具有阻擋條件的區(qū)域中通常是不可使用的，諸如在有顯著的植物或建筑物阻擋(例如，城市峽谷)的區(qū)域中并且尤其是在建筑物內(nèi)。概述 移動平臺上的慣性導(dǎo)航系統(tǒng)(INS)通過整合加速計(jì)和陀螺儀的測量來持續(xù)地計(jì)算移動平臺的位置、取向和速度。在INS能被用于計(jì)算該位置、取向和速度之前，該INS的位置、取向和速度必須被初始化。使用從物體的圖像獲得的信息來執(zhí)行INS初始化。從該物體的圖像獲得關(guān)于該物體相對于全局參考系或局部坐標(biāo)系的位置和取向信息、以及關(guān)于相機(jī)相對于該物體的位置和取向信息。隨后可確定相機(jī)在全局參考系中的位置和取向信息。隨后可從全局參考系中的相機(jī)位置和取向以及慣性傳感器與相機(jī)之間的已知相對取向確定慣性傳感器參考系與全局參考系之間的變換矩陣或方向余弦矩陣。隨后可從慣性傳感器參考系與全局參考系之間的變換矩陣、以及全局參考系與導(dǎo)航坐標(biāo)系之間的變換矩陣確定慣性傳感器參考系與導(dǎo)航坐標(biāo)系之間的變換矩陣。隨后可從慣性傳感器參考系與導(dǎo)航坐標(biāo)系之間的變換矩陣演算出慣性傳感器的取向。使用關(guān)于相機(jī)在全局參考系中的位置信息、慣性傳感器參考系與導(dǎo)航坐標(biāo)系之間的變換矩陣、以及相機(jī)在該物體被成像時(shí)的速度(即O)來初始化慣性導(dǎo)航系統(tǒng)。使用初始化的數(shù)據(jù)連同來自慣性傳感器的測量，可在導(dǎo)航期間更新移動平臺的位置并在例如數(shù)字地圖上提供該位置。可使用從不同物體的圖像獲得的信息來估計(jì)和校正慣性導(dǎo)航誤差以及慣性傳感器誤差。附圖簡述圖I解說了包括移動平臺的系統(tǒng)的框圖，該移動平臺使用從物體的圖像獲得的信息來執(zhí)行慣性導(dǎo)航系統(tǒng)初始化和校準(zhǔn)。圖2是數(shù)據(jù)碼標(biāo)記(諸如快速響應(yīng)碼)形式的物體的示例。圖3是能夠使用從物體的圖像獲得的信息進(jìn)行導(dǎo)航的移動平臺的框圖。圖4是示出使用從物體的圖像獲得的信息進(jìn)行慣性導(dǎo)航的方法的流程圖。圖5解說了移動平臺中的相機(jī)相對于物體的透視圖。圖6解說了移動平臺中的相機(jī)相對于位于建筑物的入口處的物體的透視圖。圖7解說了移動平臺中的相機(jī)連同慣性傳感器的透視圖。圖8解說了慣性導(dǎo)航期間帶有移動平臺的位置信息的簡單數(shù)字地圖。圖9是示出在導(dǎo)航期間使用物體的圖像來校正INS誤差的方法的流程圖。


圖10示意性地解說了使用來自被成像物體的信息來校正慣性導(dǎo)航中的誤差的系統(tǒng)。詳細(xì)描述本文中描述的系統(tǒng)和方法使用物體的圖像來確定位置和取向信息，該位置和取向信息隨后可被用于初始化和校準(zhǔn)慣性導(dǎo)航系統(tǒng)。該系統(tǒng)可包括能夠?qū)χT如數(shù)據(jù)碼標(biāo)記之類的物體成像、并使用該物體的圖像來確定位置和取向信息的移動平臺。該位置和取向信息隨后可被移動平臺用于初始化慣性導(dǎo)航系統(tǒng)的位置和取向?？赏ㄟ^對不同物體成像并類似地確定位置和取向信息來周期性地校正慣性導(dǎo)航系統(tǒng)的位置和取向。圖I解說包括移動平臺100的系統(tǒng)的框圖，移動平臺100對物體104成像從而可 捕獲關(guān)于物體104的位置和取向信息。關(guān)于物體104的位置和取向信息隨后可被用于推導(dǎo)關(guān)于移動平臺100的位置和取向信息，其可被用于導(dǎo)航。關(guān)于物體104的位置和取向信息可相對于坐標(biāo)系，諸如局部坐標(biāo)系或一般化的全局坐標(biāo)系(諸如與GPS聯(lián)用的WGS84坐標(biāo)系)，這兩者在本文中將一般地被稱為全局參考系。從物體的圖像所捕獲的信息還可以包括例如導(dǎo)航指令、局部環(huán)境的地圖、或任何其他合意信息。圖I中所示的物體104可以是附連到移動平臺100可訪問的諸如建筑物的入口或指示牌之類的位置或者其他可訪問位置的物理標(biāo)簽。物體104可以是數(shù)據(jù)碼標(biāo)記，諸如快速響應(yīng)(QR)碼，這是由日本公司Denso-Wave創(chuàng)生的矩陣碼。若希望，可以使用其他類型的物體或者數(shù)據(jù)碼標(biāo)記，諸如條形碼或者機(jī)器可讀的數(shù)據(jù)表示，包括一維條形碼或者諸如數(shù)據(jù)矩陣碼、Semacode> Maxicode、Aztec碼之類的光學(xué)數(shù)據(jù)矩陣樣式碼。物體104可以編碼有具有例如統(tǒng)一資源標(biāo)識符(URI)之類的超鏈接，該超鏈接可由移動平臺100用來訪問存儲在服務(wù)器上且通過諸如因特網(wǎng)之類的網(wǎng)絡(luò)106來訪問的位置和取向信息108。作為示例，圖2是QR碼格式的編碼有URI “http://www. example, com”的物體104的示例。如果物體104能夠以充分密集的方式例如使用彩色QR碼來編碼信息，那么物體104可被用來直接向移動平臺100傳遞位置和取向信息而無需使用超鏈接。如本文中所使用的，移動平臺是指諸如以下的設(shè)備蜂窩或其他無線通信設(shè)備、個人通信系統(tǒng)(PCS)設(shè)備、個人導(dǎo)航設(shè)備、個人信息管理器(PM)、個人數(shù)字助理(PDA)、膝上型電腦或能夠捕捉圖像并使用內(nèi)置傳感器(包括但不限于加速計(jì)、磁力計(jì)、陀螺儀和壓力傳感器)來導(dǎo)航的其他合適移動設(shè)備。在物體104編碼有URI或另行需要訪問無線網(wǎng)絡(luò)的場合，移動平臺100應(yīng)當(dāng)能夠發(fā)送和接收無線通信。術(shù)語“移動平臺”還旨在包括諸如藉由短程無線、紅外、有線連接、或其他連接與個人導(dǎo)航設(shè)備(PND)通信的設(shè)備，不管衛(wèi)星信號接收、輔助數(shù)據(jù)接收、和/或位置有關(guān)處理是發(fā)生在該設(shè)備處還是在PND處。而且，“移動平臺”旨在包括所有能夠與服務(wù)器通信(諸如經(jīng)由因特網(wǎng)、Wi-Fi、或其他網(wǎng)絡(luò))的設(shè)備，包括無線通信設(shè)備、計(jì)算機(jī)、膝上型設(shè)備等，而不管衛(wèi)星信號接收、輔助數(shù)據(jù)接收、和/或位置有關(guān)處理是發(fā)生在該設(shè)備處、服務(wù)器處、還是與網(wǎng)絡(luò)相關(guān)聯(lián)的另一設(shè)備處。以上的任何可操作的組合也被認(rèn)為是“移動平臺”。移動平臺100可協(xié)同諸如無線廣域網(wǎng)(WWAN)、無線局域網(wǎng)(WLAN)、無線個域網(wǎng)(WPAN)等包括蜂窩塔和來自無線通信接入點(diǎn)的各種無線通信網(wǎng)絡(luò)來實(shí)現(xiàn)。術(shù)語“網(wǎng)絡(luò)”和“系統(tǒng)”往往被可互換地使用。WWAN可以是碼分多址(CDMA)網(wǎng)絡(luò)、時(shí)分多址(TDMA)網(wǎng)絡(luò)、頻分多址(FDMA)網(wǎng)絡(luò)、正交頻分多址(OFDMA)網(wǎng)絡(luò)、單載波頻分多址(SC-FDMA)網(wǎng)絡(luò)、長期演進(jìn)(LTE)等等。CDMA網(wǎng)絡(luò)可實(shí)現(xiàn)諸如cdma2000、寬帶CDMA(W-CDMA)等一種或更多種無線電接入技術(shù)(RAT)。Cdma2000包括IS-95、IS-2000和IS-856標(biāo)準(zhǔn)。TDMA網(wǎng)絡(luò)可實(shí)現(xiàn)全球移動通信系統(tǒng)(GSM)、數(shù)字高級移動電話系統(tǒng)(D-AMPS)、或其他某種RAT。GSM和W-CDMA在來自名為“第三代伙伴項(xiàng)目”(3GPP)的集團(tuán)的文獻(xiàn)中描述。Cdma2000在來自名為“第三代伙伴項(xiàng)目2”(3GPP2)的集團(tuán)的文獻(xiàn)中描述。3GPP和3GPP2文獻(xiàn)是公眾可獲取的。WLAN可以是IEEE 802. Ilx網(wǎng)絡(luò)，并且WPAN可以是藍(lán)牙網(wǎng)絡(luò)、IEEE 802. 15x、或其他某種類型的網(wǎng)絡(luò)。這些技術(shù)也可聯(lián)合WWAN、WLAN和/或WPAN的任何組合來實(shí)現(xiàn)。移動平臺100還可以能夠使用衛(wèi)星定位系統(tǒng)(SPS)進(jìn)行位置確定，SPS可包括一個或更多個全球和/或地區(qū)性導(dǎo)航衛(wèi)星系統(tǒng)和/或擴(kuò)增系統(tǒng)的任何組合，且SPS信號可包括SPS、類SPS和/或與這樣的一個或更多個SPS相關(guān)聯(lián) 的其他信號。例如，移動平臺100可以能夠使用諸如全球定位系統(tǒng)(GPS)、Galileo、Glonass或Compass之類的全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)，或諸如日本上空的準(zhǔn)天頂衛(wèi)星系統(tǒng)(QZSS)、印度上空的印度地區(qū)性導(dǎo)航衛(wèi)星系統(tǒng)(IRNSS)、中國上空的北斗之類的各種地區(qū)性系統(tǒng)，和/或可與一個或多個全球和/或地區(qū)性導(dǎo)航衛(wèi)星系統(tǒng)相關(guān)聯(lián)或以其他方式能與之聯(lián)用的各種擴(kuò)增系統(tǒng)(例如，基于衛(wèi)星的擴(kuò)增系統(tǒng)(SBAS))來進(jìn)行位置確定。如果移動平臺不具有SPS能力或者如果SPS系統(tǒng)是不活躍的或者處于SPS可能不勝任的位置中，例如在遭受阻擋狀況的位置中，那么如本文中所描述地使用諸如數(shù)據(jù)碼標(biāo)記之類的物體來捕獲移動平臺的位置和取向信息可能是有利的。在移動平臺中的SPS接收機(jī)難以捕獲和/或跟蹤來自SPS衛(wèi)星的SPS信號的情況下，阻擋狀況可能存在。例如，阻擋狀況可能存在于室內(nèi)環(huán)境、城市峽谷環(huán)境、以及具有諸如植物和干擾拓?fù)渲惖淖匀徽系K物的某些室外環(huán)境中。不用SPS的或阻擋狀況下的導(dǎo)航提出了兩個有關(guān)問題保持準(zhǔn)確的位置感以及能訪問關(guān)于該拓?fù)涞木植啃畔?。相對難以替代其他技術(shù)會妨礙不具有SPS的益處的導(dǎo)航。例如，無線接入點(diǎn)的歷書能夠供應(yīng)一些數(shù)據(jù)，但是編譯這些數(shù)據(jù)可能是昂貴的并且適用于局部區(qū)域的歷書數(shù)據(jù)的源可能對于移動平臺的用戶而言不是顯而易見的。另一示例是可基于通過航位推算的運(yùn)動跟蹤來提供信息的慣性傳感器，但是經(jīng)由慣性傳感器的導(dǎo)航往往隨時(shí)間推移而積聚誤差。這些技術(shù)可以受益于訪問將位置信息與具體位置相關(guān)聯(lián)的信息以及受益于訪問將位置與有關(guān)的歷書數(shù)據(jù)或可用的地圖相關(guān)聯(lián)的信息。圖3是能夠使用從(圖I的)物體104的圖像獲得的信息進(jìn)行導(dǎo)航的移動平臺100的框圖。如圖所示，移動平臺100包括用于對物體104成像的裝置，諸如相機(jī)120。相機(jī)120可以是諸如典型地例如設(shè)在蜂窩電話或類似物中的常規(guī)相機(jī)。相機(jī)120被校準(zhǔn)，以使得諸如焦距、光心移位、徑向畸變以及切向畸變等相機(jī)參數(shù)是已知的。相機(jī)120與移動平臺控制130單元通信。移動平臺控制130由處理器132以及相關(guān)聯(lián)的存儲器134、硬件136、軟件138和固件140來提供。將理解，如本文中所使用的，處理器能夠但不一定需要包括一個或更多個微處理器、嵌入式處理器、控制器、專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、及類似物。術(shù)語處理器意在描述由系統(tǒng)實(shí)現(xiàn)的功能而非專用硬件。此外，如本文所使用的術(shù)語“存儲器”是指任何類型的計(jì)算機(jī)存儲介質(zhì)，包括與移動平臺相關(guān)聯(lián)的長期、短期、或其它存儲器，且并不被限定于任何特定類型的存儲器或特定數(shù)目的存儲器、或記憶存儲在其上的介質(zhì)的類型。
由相機(jī)120產(chǎn)生的物體104的圖像可被存儲在存儲器134中，并且移動平臺100包括用于讀取和解碼物體104中所編碼的信息的裝置。例如，移動平臺控制130可包括讀取器142，其可以是存儲在存儲器134中的合適的數(shù)據(jù)碼標(biāo)記讀取軟件，或者包括例如硬件或固件的專用讀取器，其從物體104提取編碼數(shù)據(jù)并將所提取的數(shù)據(jù)提供給移動平臺控制130。移動平臺100包括用于獲得與該物體相對于全局參考系的位置和取向有關(guān)的信息的裝置。作為示例，若物體104足夠密集以編碼該信息，則移動平臺100可使用讀取器142直接從物體104的圖像獲得該位置和取向信息。然而，在位置和取向信息沒有編碼在該物體本身中的場合，移動平臺100將不得不從另一源獲得此信息。因此，例如，從物體104提取的編碼數(shù)據(jù)可指導(dǎo)移動平臺控制130訪問網(wǎng)絡(luò)106(圖I)，且具體而言，訪問包含所鏈接的位置和取向信息108(例如，物體104的位置和取向)以及其他合意信息(諸如數(shù)字局部地圖)的服務(wù)器。移動平臺100可例如通過能夠經(jīng)由無線接入點(diǎn)連接到網(wǎng)絡(luò)的無線網(wǎng)絡(luò)無線電收發(fā)機(jī)150來訪問網(wǎng)絡(luò)106。收發(fā)機(jī)150可連接到諸如無線廣域網(wǎng)(WffAN)、無線局域網(wǎng)(WLAN)或任何其他合適的協(xié)議之類的無線網(wǎng)絡(luò)。
作為示例，若物體104中編碼的數(shù)據(jù)包括關(guān)鍵字http://，則移動平臺控制130可啟動移動平臺100上的瀏覽器144并將該瀏覽器引導(dǎo)至所編碼的URI。移動平臺控制器130隨后可下載位置和取向信息108，包括物體104相對于全局參考系的位置和取向信息。也可下載附加信息，諸如將由移動平臺100在移動平臺100的用戶接口 160中的視覺顯示器162上顯示的局部環(huán)境的數(shù)字地圖。在移動平臺100為蜂窩電話時(shí)，用戶接口 160還可包括諸如按鍵板164、話筒166和揚(yáng)聲器168之類的特征。移動平臺100還包括慣性導(dǎo)航系統(tǒng)(INS)，其包括用于感測運(yùn)動(例如，移動平臺100的位置或取向改變)的裝置。例如，慣性傳感器170可被用于向移動平臺控制130提供關(guān)于移動平臺100的運(yùn)動方向和幅度的數(shù)據(jù)?？膳c移動平臺100聯(lián)用的慣性傳感器170的示例包括加速計(jì)、磁力計(jì)、陀螺儀以及壓力傳感器。慣性傳感器170相對于相機(jī)120的取向是固定的并且是通過校準(zhǔn)來確定的。換言之，相機(jī)120的參考系與慣性傳感器170的參考系之間的變換矩陣是已知的。移動平臺100還可包括被用于存儲和更新移動平臺100的位置和取向的位置數(shù)據(jù)庫148。在移動平臺控制130經(jīng)由慣性傳感器170確定移動平臺100的位置和/或取向改變時(shí)，用新的位置和取向信息來更新位置數(shù)據(jù)庫148。隨后可例如通過在顯示器162上顯示帶有新位置的數(shù)字地圖或通過在顯示器上和/或經(jīng)由揚(yáng)聲器168提供附加導(dǎo)航指令來提供經(jīng)更新的位置和取向信息。移動平臺100還包括用于基于由相機(jī)120產(chǎn)生的物體104的圖像來估計(jì)相機(jī)120相對于物體104的位置和取向的裝置。例如，移動平臺100可包括位置引擎146，其可以是存儲在存儲器134中的合適軟件或?qū)Ｓ糜布蚬碳Ｎ恢靡?46基于物體104的二維圖像使用諸如焦距之類的已知相機(jī)參數(shù)、以及圖像中的已知特征點(diǎn)來確定相機(jī)120的位置，圖像中的已知特征點(diǎn)可具有標(biāo)準(zhǔn)配置并且因此是已知的、或者可隨位置和取向信息108 —起被下載。例如，參照圖2中物體104的圖像，特征點(diǎn)104a、104b、104c和104d可被位置引擎146標(biāo)識并被用于確定相機(jī)相對于物體104的位置和取向，而特征點(diǎn)104a、104b、104c和104d之間的信息可以是編碼數(shù)據(jù)?；谖矬w104的圖像中的4個或更多個特征點(diǎn)，位置引擎146可例如使用單應(yīng)性變換來估計(jì)相機(jī)相對于該物體的位置和取向。單應(yīng)性是平坦物體的點(diǎn)到相機(jī)的圖像的投影映射。移動平臺100進(jìn)一步包括用于使用所估計(jì)的相機(jī)120相對于物體104的位置和取向、以及所獲得的關(guān)于物體104的位置和取向信息來確定相機(jī)120在全局參考系中的位置和取向的裝置。相機(jī)120相對于全局參考系的位置和取向可例如由位置引擎146確定。移動平臺還可包括用于確定慣性傳感器170相對于導(dǎo)航坐標(biāo)系的取向的裝置，其可以是例如位置引擎146。使用所確定的相機(jī)120在全局參考系中的位置和取向、所確定的慣性傳感器170相對于導(dǎo)航坐標(biāo)系的取向、以及相機(jī)120在對物體104成像時(shí)的速度(可假定為O)，INS可被初始化。經(jīng)初始化的數(shù)據(jù)隨后可連同來自慣性傳感器170的測量一起被用于更新移動平臺100的位置。此外，如將討論的，附加物體可按類似方式被成像和分析以校正移動平臺100的慣性導(dǎo)航中的誤差。本文中所描述的方法體系取決于應(yīng)用可藉由各種手段來實(shí)現(xiàn)。例如，這些方法體系可在硬件136、軟件138、固件140、或其任何組合中實(shí)現(xiàn)。對于硬件實(shí)現(xiàn)，這些處理單元可以在一個或更多個專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理器件 (DSH))、可編程邏輯器件(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子器件、設(shè)計(jì)成執(zhí)行本文中所描述功能的其他電子單元、或其組合內(nèi)實(shí)現(xiàn)。對于固件和/或軟件實(shí)現(xiàn)，這些方法體系可用執(zhí)行本文中描述的功能的模塊(例如，規(guī)程、函數(shù)等等)來實(shí)現(xiàn)。任何有形地實(shí)施指令的機(jī)器可讀介質(zhì)可被用來實(shí)現(xiàn)本文中所描述的方法體系。存儲器可以實(shí)現(xiàn)在處理單元內(nèi)部或處理單元外部。如本文所使用的，術(shù)語“存儲器”是指任何類型的長期、短期、易失性、非易失性、或其他存儲器，且并不限于任何特定類型的存儲器或特定數(shù)目的存儲器、或記憶存儲在其上的介質(zhì)的類型。例如，軟件138代碼可被存儲在存儲器134中并由處理器132執(zhí)行，并且可被用來運(yùn)行該處理器以及如本文中所描述地控制移動平臺100的操作。例如，存儲在諸如存儲器134之類的計(jì)算機(jī)可讀介質(zhì)中的程序代碼可包括用于解碼由相機(jī)120成像的物體、獲得關(guān)于該物體的位置和取向信息、估計(jì)相機(jī)相對于該物體的位置、確定相對于全局參考系的相機(jī)位置和取向、以及確定慣性傳感器相對于導(dǎo)航坐標(biāo)系的取向的程序代碼。存儲在計(jì)算機(jī)可讀介質(zhì)中的程序代碼可進(jìn)一步包括用于使用所確定的相機(jī)位置和取向、連同來自慣性傳感器的測量來更新移動平臺的位置和取向信息以及提供經(jīng)更新的位置和取向信息的程序代碼。如果以固件和/或軟件實(shí)現(xiàn)，則各功能可作為一條或更多條指令或代碼存儲在計(jì)算機(jī)可讀介質(zhì)上。示例包括編碼成具有數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)可讀介質(zhì)和編碼成具有計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)包括物理計(jì)算機(jī)存儲介質(zhì)。存儲介質(zhì)可以是能被計(jì)算機(jī)訪問的任何可用介質(zhì)。作為示例而非限定，此類計(jì)算機(jī)可讀介質(zhì)可包括RAM、ROM、EEPROM, CD-ROM或其他光盤存儲、磁盤存儲或其他磁存儲設(shè)備、或能被用來存儲指令或數(shù)據(jù)結(jié)構(gòu)形式的合意程序代碼且能被計(jì)算機(jī)訪問的任何其他介質(zhì)；如本文中所使用的盤(disk)和碟(disc)包括壓縮碟(⑶)、激光碟、光碟、數(shù)字多用碟(DVD)、軟盤和藍(lán)光碟，其中盤常常磁學(xué)地再現(xiàn)數(shù)據(jù)，而碟用激光光學(xué)地再現(xiàn)數(shù)據(jù)。上述的組合也應(yīng)被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。圖4是示出在慣性導(dǎo)航中使用物體104的圖像的方法的流程圖。如圖所示，諸如數(shù)據(jù)碼標(biāo)記之類的物體104被移動平臺100成像(202)。作為示例，移動平臺100中的相機(jī)120可捕捉位于諸如醫(yī)院、博物館、購物中心等建筑物的入口或指示牌處的物體104的圖像。移動平臺控制130處理該圖像以解碼物體104。使用來自物體104的圖像的經(jīng)解碼數(shù)據(jù)，可獲得位置和取向信息，包括物體104相對于全局參考系的位置和取向(204)。例如，編碼在物體104中的URI可被用于經(jīng)由無線網(wǎng)絡(luò)訪問和下載位置和取向信息。該位置和取向信息還可包括附加信息，諸如局部環(huán)境的數(shù)字地圖。替換地，例如若物體104可以充分密集的方式被編碼，則經(jīng)解碼數(shù)據(jù)可包括關(guān)于物體104的位置和取向信息。使用物體104的圖像來估計(jì)相機(jī)120相對于物體104的位置和取向(206)。作為示例，圖5解說了帶有相機(jī)120的移動平臺100相對于物體104的透視圖。使用物體104的圖像、已知相機(jī)參數(shù)(諸如焦距)、以及物體104上的已知特征點(diǎn)，可確定相機(jī)120相對于物體104的位置和取向。例如，參照圖2中物體104的圖像，特征點(diǎn)104a、104b、104c和104d可從圖像被標(biāo)識并被用于使用單應(yīng)性變換來確定相機(jī)相對于物體104的位置和取向。單應(yīng)性是平坦物體的點(diǎn)到相機(jī)的圖像的投影映射。特征點(diǎn)104a、104b、104c和104d之間的距離、 以及其取向可使用物體104中編碼的數(shù)據(jù)例如通過訪問無線網(wǎng)絡(luò)來獲得，或者該信息可編碼在該物體中。替換地，可使用關(guān)于該物體中的特征點(diǎn)的標(biāo)準(zhǔn)化配置。有了已知相機(jī)參數(shù)和物體104上的特征點(diǎn)，可確定與物體104中心的相對距離D、以及在由Yfrfr定義的平面中與法向矢量的方位角β、以及仰角α，如圖5中所示。使用所估計(jì)的相機(jī)120相對于物體104的位置和取向、以及所獲得的物體104相對于全局參考系的位置和取向，確定相對于全局參考系的相機(jī)位置和取向(208)。作為不例，圖6解說了移動平臺100中的相機(jī)120相對于位于建筑物180的入口處的物體104的透視圖。全局參考系被解說為建筑物參考系Z5tsft,但是可使用任何合意參考系，包括局部或全局坐標(biāo)。如圖6中虛線182所示，如以上步驟206中所討論地確定相機(jī)120相對于物體104的位置和取向?；谒@得的物體104在全局參考系中的位置和取向、以及所確定的相機(jī)120相對于物體104的位置和取向，可確定相機(jī)120相對于全局參考系X # *、Y it *、Z 在距離P ο、方位角θ ο和仰角tPo意義上的位置和取向。換言之，如下確定相機(jī)參考系與全局參考系之間基于物體104的圖像的變換矩陣
權(quán)利要求
1.一種方法，包括 保持移動平臺固定同時(shí)用所述移動平臺中的相機(jī)獲取物體的圖像，所述移動平臺具有包括慣性傳感器的慣性導(dǎo)航系統(tǒng)，其中所述慣性傳感器與所述相機(jī)之間的取向是已知的；獲得所述物體在全局參考系中的位置和取向信息； 從所述物體的所述圖像估計(jì)所述相機(jī)相對于所述物體的位置和取向； 從所估計(jì)的所述相機(jī)相對于所述物體的位置和取向、以及所獲得的所述物體在所述全局參考系中的位置和取向來確定在所述全局參考系中的相機(jī)位置和取向； 使用所確定的在所述全局參考系中的相機(jī)位置和取向以及所述慣性傳感器與所述相機(jī)之間的所述取向來確定導(dǎo)航坐標(biāo)系與關(guān)于所述慣性導(dǎo)航系統(tǒng)的慣性傳感器參考系之間的變換矩陣； 將所述慣性導(dǎo)航系統(tǒng)的速度設(shè)置為O ; 將所述慣性導(dǎo)航系統(tǒng)的位置設(shè)置為所估計(jì)的所述相機(jī)在所述全局參考系中的位置；將所述導(dǎo)航坐標(biāo)系與所述慣性傳感器參考系之間的所述變換矩陣設(shè)置為所確定的所述導(dǎo)航坐標(biāo)系與所述慣性傳感器參考系之間的變換矩陣； 使用來自所述慣性傳感器的測量、所設(shè)置的變換矩陣、所述慣性導(dǎo)航系統(tǒng)的所設(shè)置速度和所設(shè)置位置來更新所述慣性導(dǎo)航系統(tǒng)的位置、速度和取向；以及 提供所述慣性導(dǎo)航系統(tǒng)的所述位置的經(jīng)更新估計(jì)作為所述移動平臺的位置。
2.如權(quán)利要求I所述的方法，其特征在于，進(jìn)一步包括 保持所述移動平臺固定同時(shí)用所述移動平臺中的所述相機(jī)獲取一不同物體的圖像； 獲得所述不同物體在所述全局參考系中的位置和取向信息； 從所述不同物體的所述圖像估計(jì)所述相機(jī)相對于所述不同物體的新位置和取向；從所估計(jì)的所述相機(jī)相對于所述物體的新位置和取向、以及所獲得的所述不同物體在所述全局參考系中的位置和取向來確定在所述全局參考系中的新的相機(jī)位置和取向；以及使用所確定的在所述全局參考系中的新的相機(jī)位置和/或取向中的至少一者來估計(jì)和校正所述慣性導(dǎo)航系統(tǒng)的所述位置、速度和取向中的誤差以及所述慣性傳感器的誤差。
3.如權(quán)利要求2所述的方法，其特征在于，所述慣性導(dǎo)航系統(tǒng)的所述位置、速度和取向中的誤差以及所述慣性傳感器的誤差是使用卡爾曼濾波器來估計(jì)和校正的。
4.如權(quán)利要求I所述的方法，其特征在于，確定導(dǎo)航坐標(biāo)系與所述慣性傳感器參考系之間的變換矩陣包括使用相機(jī)參考系與物體參考系之間的所確定的第一變換矩陣、以及所述全局參考系與所述物體參考系之間的第二變換矩陣。
5.如權(quán)利要求4所述的方法，其特征在于，確定導(dǎo)航坐標(biāo)系與所述慣性傳感器參考系之間的變換矩陣進(jìn)一步包括使用所述相機(jī)參考系與所述慣性傳感器參考系之間的第三變換矩陣。
6.如權(quán)利要求5所述的方法，其特征在于，確定導(dǎo)航坐標(biāo)系與慣性傳感器參考系之間的變換矩陣進(jìn)一步包括使用所述全局參考系與所述導(dǎo)航坐標(biāo)系之間的第四變換矩陣。
7.如權(quán)利要求I所述的方法，其特征在于，所述物體是數(shù)據(jù)碼標(biāo)記。
8.如權(quán)利要求I所述的方法，其特征在于，所述物體是快速響應(yīng)碼。
9.如權(quán)利要求I所述的方法，其特征在于，所述物體編碼有統(tǒng)一資源標(biāo)識符(URI)，并且其中獲得關(guān)于所述物體的位置和取向信息包括解碼所述物體以確定所述URI ;以及 使用所述URI來訪問和下載關(guān)于所述物體的所述位置和取向信息。
10.如權(quán)利要求I所述的方法，其特征在于，提供所述慣性導(dǎo)航系統(tǒng)的所述位置的經(jīng)更新估計(jì)作為所述移動平臺的位置包括在所述移動平臺上的數(shù)字地圖上顯示所述經(jīng)更新位置。
11.一種移動平臺，包括 可操作用于對物體成像的相機(jī)； 包括提供運(yùn)動和旋轉(zhuǎn)數(shù)據(jù)的慣性傳感器的慣性導(dǎo)航系統(tǒng)； 連接到所述相機(jī)和所述慣性傳感器的處理器； 連接到所述處理器的存儲器；以及 軟件，其保存在所述存儲器中并在所述處理器中運(yùn)行以使所述處理器獲得關(guān)于所述物體在全局參考系中的位置和取向信息；從由所述相機(jī)獲取的所述物體的圖像估計(jì)所述相機(jī)相對于所述物體的位置和取向；從所估計(jì)的位置和取向、以及所獲得的所述物體在所述全局參考系中的位置和取向來確定在所述全局參考系中的相機(jī)位置和取向；使用所確定的在所述全局參考系中的相機(jī)位置和取向以及所述慣性傳感器與所述相機(jī)之間的已知取向來確定導(dǎo)航坐標(biāo)系與關(guān)于所述慣性導(dǎo)航系統(tǒng)的慣性傳感器參考系之間的變換矩陣；將所述慣性導(dǎo)航系統(tǒng)初始化為具有速度O、所確定的所述相機(jī)在所述全局參考系中的位置、以及所確定的所述導(dǎo)航坐標(biāo)系與所述慣性傳感器參考系之間的變換矩陣；使用來自所述慣性傳感器的數(shù)據(jù)、以及所述初始化的速度、位置和變換矩陣來更新慣性導(dǎo)航系統(tǒng)位置；以及提供經(jīng)更新的慣性導(dǎo)航系統(tǒng)位置作為所述移動平臺的位置。
12.如權(quán)利要求11所述的移動平臺，其特征在于，所述軟件使得所述處理器進(jìn)一步使所述處理器獲得關(guān)于一不同的被成像物體在所述全局參考系中的位置和取向信息；從由所述相機(jī)獲取的圖像估計(jì)所述相機(jī)相對于所述不同的被成像物體的新位置和取向；從所估計(jì)的新位置和取向、以及所獲得的所述不同的被成像物體在所述全局參考系中的位置和取向來確定在所述全局參考系中的新的相機(jī)位置和取向；以及使用所確定的在所述全局參考系中的新的相機(jī)位置和取向中的至少一者來估計(jì)和校正所述慣性導(dǎo)航系統(tǒng)的所述位置、速度和取向中的誤差以及所述慣性傳感器的誤差。
13.如權(quán)利要求11所述的移動平臺，其特征在于，進(jìn)一步包括卡爾曼濾波器，其中所述卡爾曼濾波器使用所確定的在所述全局參考系中的新的相機(jī)位置和取向中的所述至少一者來估計(jì)和校正所述慣性導(dǎo)航系統(tǒng)的所述位置、速度和取向中的誤差以及所述慣性傳感器的誤差。
14.如權(quán)利要求11所述的移動平臺，其特征在于，所述軟件使所述處理器確定相機(jī)參考系與物體參考系之間的第一變換矩陣、以及所述全局參考系與所述物體參考系之間的第二變換矩陣，從而確定所述導(dǎo)航坐標(biāo)系與所述慣性傳感器參考系之間的所述變換矩陣。
15.如權(quán)利要求14所述的移動平臺，其特征在于，所述軟件進(jìn)一步使所述處理器使用所述相機(jī)參考系與所述慣性傳感器參考系之間的第三變換矩陣來確定所述導(dǎo)航坐標(biāo)系與所述慣性傳感器參考系之間的所述變換矩陣。
16.如權(quán)利要求15所述的移動平臺，其特征在于，所述軟件進(jìn)一步使所述處理器使用所述全局參考系與所述導(dǎo)航坐標(biāo)系之間的第四變換矩陣來確定所述導(dǎo)航坐標(biāo)系與所述慣性傳感器參考系之間的所述變換矩陣。
17.如權(quán)利要求11所述的移動平臺，其特征在于，進(jìn)一步包括顯示器，其中保存在所述存儲器中并在所述處理器中運(yùn)行的所述軟件控制所述處理器在所述移動平臺上顯示所述位置。
18.如權(quán)利要求11所述的移動平臺，其特征在于，進(jìn)一步包括用于解碼所述物體的物體解碼器，所述解碼器耦合到所述處理器，其中所述處理器使用編碼在所述物體中的統(tǒng)一資源標(biāo)識符(URI)來獲得關(guān)于所述物體在全局參考系中的位置和取向信息。
19.一種用于訪問和更新關(guān)于移動平臺的位置信息的系統(tǒng)，包括 用于對物體成像的裝置； 用于獲得關(guān)于所述物體在全局參考系中的位置和取向信息的裝置； 用于從所述物體的圖像估計(jì)所述用于成像的裝置相對于所述物體的位置和取向的裝置； 用于從所估計(jì)的位置和取向、以及所獲得的所述物體的位置和取向來確定所述用于成像的裝置在所述全局參考系中的位置和取向的裝置； 用于感測所述移動平臺的運(yùn)動的裝置； 用于使用所確定的所述用于成像的裝置的位置和取向、以及所述用于感測運(yùn)動的裝置的系和所述用于成像的裝置之間的已知取向來確定導(dǎo)航坐標(biāo)系與所述用于感測運(yùn)動的裝置的所述系之間的變換矩陣的裝置； 用于將所述慣性導(dǎo)航系統(tǒng)初始化為具有速度O、所確定的所述用于成像的裝置的位置、以及所述導(dǎo)航坐標(biāo)系與所述用于感測運(yùn)動的裝置的系之間的所確定的變換矩陣的裝置；用于使用來自所述用于感測運(yùn)動的裝置的數(shù)據(jù)、所述初始化的速度、位置和變換矩陣來確定所述移動平臺的位置、速度和取向的裝置；以及用于提供所述移動平臺的所確定位置的裝置。
20.如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述用于成像的裝置對一不同物體成像；所述用于獲得位置和取向信息的裝置獲得關(guān)于所述不同物體在所述全局參考系中的位置和取向信息；所述用于估計(jì)所述用于成像的裝置的位置和取向的裝置估計(jì)所述用于成像的裝置的新位置和取向；所述用于確定所述用于成像的裝置在所述全局參考系中的位置和取向的裝置從所估計(jì)的新位置和取向、以及所獲得的所述不同物體的位置和取向來確定所述用于成像的裝置在所述全局參考系中的新位置和取向，所述系統(tǒng)進(jìn)一步包括 用于使用所述用于成像的裝置的所確定的新位置和取向中的至少一者來校正所述移動平臺的所述位置、速度和取向中的誤差的裝置。
21.如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述用于確定變換矩陣的裝置使用所述用于成像的裝置的系與物體參考系之間的第一變換矩陣以及所述全局參考系與所述物體參考系之間的第二變換矩陣。
22.如權(quán)利要求21所述的系統(tǒng)，其特征在于，所述用于確定變換矩陣的裝置進(jìn)一步使用所述用于成像的裝置的所述系與所述用于感測運(yùn)動的裝置的所述系之間的第三變換矩陣。
23.如權(quán)利要求22所述的系統(tǒng)，其特征在于，所述用于確定變換矩陣的裝置進(jìn)一步使用所述導(dǎo)航坐標(biāo)系與所述全局參考系之間的第四變換矩陣。
24.如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述用于提供所述移動平臺的所確定位置的裝置包括用于在數(shù)字地圖上顯示所述所確定位置的裝置。
25.如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述物體是數(shù)據(jù)碼標(biāo)記并且所述系統(tǒng)進(jìn)一步包括數(shù)據(jù)碼標(biāo)記讀取器。
26.如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述用于獲得關(guān)于所述物體在全局參考系中的位置和取向信息的裝置是所述移動平臺中的web瀏覽器。
27.一種包括其上存儲的程序代碼的計(jì)算機(jī)可讀介質(zhì)，包括 用于解碼和獲得關(guān)于被成像的物體在全局參考系中的位置和取向信息的程序代碼； 用于從所述物體的圖像估計(jì)位置和取向的程序代碼； 用于從所估計(jì)的位置和取向、以及所獲得的關(guān)于所述被成像的物體在所述全局參考系中的位置和取向信息來確定在所述全局參考系中的位置和取向的程序代碼； 用于使用所確定的在所述全局參考系中的位置和取向以及慣性導(dǎo)航系統(tǒng)的慣性傳感器的系與產(chǎn)生所述物體的所述圖像的相機(jī)的系之間的已知取向來確定所述導(dǎo)航坐標(biāo)系與所述慣性傳感器的系之間的變換矩陣的程序代碼； 用于使用所確定的位置和取向、所確定的變換矩陣以及速度O來初始化所述慣性導(dǎo)航系統(tǒng)的程序代碼； 用于使用所述初始化的位置、變換矩陣、速度以及來自所述慣性傳感器的數(shù)據(jù)來確定經(jīng)更新位置的程序代碼；以及 用于提供所述經(jīng)更新位置的程序代碼。
28.如權(quán)利要求27所述的包括其上存儲的程序代碼的計(jì)算機(jī)可讀介質(zhì)，其特征在于，進(jìn)一步包括 用于使用所確定的位置以及從一不同物體的圖像確定的新取向中的至少一者來校正所述慣性導(dǎo)航系統(tǒng)的位置、速度和取向中的誤差以及所述慣性傳感器的誤差的程序代碼。
全文摘要
使用從物體的圖像獲得的信息來執(zhí)行慣性導(dǎo)航系統(tǒng)的初始化。從該圖像獲得關(guān)于該物體在全局參考系中的位置和取向信息以及關(guān)于相機(jī)相對于該物體的位置和取向信息。確定關(guān)于相機(jī)在全局參考系中的位置和取向信息、連同慣性傳感器參考系與導(dǎo)航坐標(biāo)系之間的變換矩陣。使用關(guān)于相機(jī)的位置和取向信息、該變換矩陣以及相機(jī)在該物體被成像時(shí)的速度(即0)來初始化慣性導(dǎo)航系統(tǒng)。使用初始化的數(shù)據(jù)以及來自慣性傳感器的測量，可在導(dǎo)航期間更新移動平臺的位置并在例如數(shù)字地圖上提供該位置。可使用從不同物體的圖像獲得的信息來校正慣性導(dǎo)航誤差。
文檔編號G06T7/00GK102834696SQ201180005698
公開日2012年12月19日 申請日期2011年1月18日 優(yōu)先權(quán)日2010年1月18日
發(fā)明者G·張, L·J·蓋林 申請人:高通股份有限公司