專利名稱：：用于云輔助式擴(kuò)增現(xiàn)實(shí)的可適應(yīng)性框架的制作方法用于云輔助式擴(kuò)增現(xiàn)實(shí)的可適應(yīng)性框架A.斯瓦彌納杉P.沙爾馬B.江M.R.查理S.D.斯賓德拉P.K.巴赫帝V.納拉亞南相關(guān)申請的交叉引用本申請要求于2010年9月20日提交的題為“AnAdaptableFrameworkForCloudAssistedAugmentedReality(用于云輔助式擴(kuò)增現(xiàn)實(shí)的可適應(yīng)性框架)”的美國臨時(shí)申請N0.61/384，667、以及于2011年9月19日提交的題為“AnAdaptableFrameworkForCloudAssistedAugmentedReality(用于云輔助式擴(kuò)增現(xiàn)實(shí)的可適應(yīng)性框架)”的美國S/N.13/235,847的優(yōu)先權(quán)，上述兩件申請均被轉(zhuǎn)讓給本申請受讓人，并通過援引納入與此。背景擴(kuò)增現(xiàn)實(shí)系統(tǒng)可將虛擬對象插入到用戶對現(xiàn)實(shí)世界的視圖中。在典型的AR(擴(kuò)增現(xiàn)實(shí))系統(tǒng)中可能有許多組件。這些組件包括:數(shù)據(jù)捕獲、數(shù)據(jù)處理、對象檢測、對象跟蹤、注冊、改良、和渲染組件。這些組件可彼此交互以給用戶提供豐富的AR體驗(yàn)。然而，在典型AR系統(tǒng)中的檢測和跟蹤中的若干組件可能利用計(jì)算密集型的操作，這會打擾用戶的AR體驗(yàn)。概述一種使用分布式處理來高效地處理包括圖像數(shù)據(jù)等傳感器數(shù)據(jù)的移動平臺，在該分布式處理中，對等待時(shí)間敏感的操作是在該移動平臺上執(zhí)行的，而對等待時(shí)間不敏感的、但操作密集的操作是在遠(yuǎn)程服務(wù)器上執(zhí)行的。該移動平臺捕獲諸如圖像數(shù)據(jù)之類的傳感器數(shù)據(jù)，并確定是否有將該傳感器數(shù)據(jù)傳送至該服務(wù)器的觸發(fā)事件。該觸發(fā)事件是該傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化，例如捕獲到的圖像中的場景變化。當(dāng)出現(xiàn)變化時(shí)，傳感器數(shù)據(jù)被傳送給該服務(wù)器以進(jìn)行處理。該服務(wù)器處理此傳感器數(shù)據(jù)，并返回與此傳感器數(shù)據(jù)有關(guān)的信息，諸如對圖像中的對象的標(biāo)識。該移動平臺可隨后使用所標(biāo)識出的對象來執(zhí)行基于參考的跟蹤。在一種實(shí)現(xiàn)中，一種方法包括使用移動平臺來捕獲傳感器數(shù)據(jù)；確定是否有觸發(fā)事件，包括傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化；當(dāng)有觸發(fā)事件時(shí)將傳感器數(shù)據(jù)傳送給服務(wù)器；以及從該服務(wù)器接收與該傳感器數(shù)據(jù)有關(guān)的信息。傳感器數(shù)據(jù)可以是捕獲到的對象圖像，例如照片或視頻幀。在另一實(shí)現(xiàn)中，一種移動平臺包括適配成捕獲傳感器數(shù)據(jù)的傳感器以及無線收發(fā)機(jī)。該傳感器可以是例如用于捕獲對象的圖像的相機(jī)。處理器被耦合到該傳感器和無線收發(fā)機(jī)，并被適配成經(jīng)由該傳感器來捕獲傳感器數(shù)據(jù)，確定是否有觸發(fā)事件，包括該傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化，當(dāng)出現(xiàn)觸發(fā)事件時(shí)經(jīng)由該收發(fā)機(jī)將該傳感器數(shù)據(jù)傳送給外部處理器，以及經(jīng)由該無線收發(fā)機(jī)從該外部處理器接收與該傳感器數(shù)據(jù)有關(guān)的信息。在另一實(shí)現(xiàn)中，一種移動平臺包括用于捕獲傳感器數(shù)據(jù)的裝置；用于確定是否有觸發(fā)事件的裝置，觸發(fā)事件包括傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化；用于當(dāng)有觸發(fā)事件時(shí)將傳感器數(shù)據(jù)傳送給服務(wù)器的裝置；以及用于從該服務(wù)器接收與該傳感器數(shù)據(jù)有關(guān)的信息的裝置。用于捕獲傳感器數(shù)據(jù)的裝置是相機(jī)，并且該傳感器數(shù)據(jù)是捕獲到的對象圖像。在又一實(shí)現(xiàn)中，一種包括存儲于其上的程序代碼的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)包括用于捕獲傳感器數(shù)據(jù)的程序代碼；用于確定是否有觸發(fā)事件的程序代碼，觸發(fā)事件包括傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化；用于在出現(xiàn)觸發(fā)事件時(shí)將該傳感器數(shù)據(jù)傳送給外部處理器的程序代碼；以及用于從該外部處理器接收與該傳感器數(shù)據(jù)有關(guān)的信息的代碼。附圖簡要說明圖1解說示出包括移動平臺和遠(yuǎn)程服務(wù)器的用于分布式處理的系統(tǒng)的框圖。圖2是解說分布式處理的過程的流程圖，其中對等待時(shí)間敏感的操作由移動平臺執(zhí)行，而對等待時(shí)間不敏感且計(jì)算密集的操作由外部處理器執(zhí)行。圖3解說用于服務(wù)器輔助式AR的系統(tǒng)的操作的框圖。圖4解說用于服務(wù)器輔助式AR的呼叫流圖，在其中姿態(tài)是由遠(yuǎn)程服務(wù)器提供的。圖5解說用于服務(wù)器輔助式AR的另一呼叫流圖，在其中姿態(tài)不是由遠(yuǎn)程服務(wù)器提供的。圖6解說由場景變化檢測器執(zhí)行的方法的流程圖。圖7是解說分布式處理系統(tǒng)的性能的圖表，其以最小觸發(fā)間隙的函數(shù)的形式示出所需網(wǎng)絡(luò)傳輸。圖8和9解說使用服務(wù)器輔助式AR過程來進(jìn)行面部識別的辦法。圖10和11解說使用服務(wù)器輔助式AR過程來進(jìn)行視覺搜索的辦法。圖12和13解說使用服務(wù)器輔助式過程來進(jìn)行基于參考的跟蹤的辦法。圖14解說使用服務(wù)器輔助式過程來進(jìn)行3D模型創(chuàng)建的辦法。圖15是能夠使用基于服務(wù)器的檢測來進(jìn)行分布式處理的移動平臺的框圖。具體描述如本文中所公開的分布式處理系統(tǒng)包括一設(shè)備，該設(shè)備可決定何時(shí)將數(shù)據(jù)經(jīng)由無線網(wǎng)絡(luò)提供給服務(wù)器、或在云計(jì)算環(huán)境中經(jīng)由網(wǎng)絡(luò)提供給另一設(shè)備以進(jìn)行處理。該設(shè)備也可自行處理該數(shù)據(jù)。例如，對等待時(shí)間敏感的操作可被選擇成在該設(shè)備上執(zhí)行，而對等待時(shí)間不敏感的操作可被選擇成遠(yuǎn)程地執(zhí)行以便實(shí)現(xiàn)更高效的處理。用于決定何時(shí)要將數(shù)據(jù)發(fā)送到服務(wù)器以進(jìn)行處理的因素可包括正對該數(shù)據(jù)執(zhí)行的操作是對等待時(shí)間敏感的/不敏感的、所需計(jì)算量、該設(shè)備或服務(wù)器任一方處的處理器速度/可用性、網(wǎng)絡(luò)狀況、或服務(wù)質(zhì)量、及其他因素。在一個(gè)實(shí)施例中，提供了用于擴(kuò)增現(xiàn)實(shí)(AR)應(yīng)用的包括移動平臺和外部服務(wù)器的系統(tǒng)，在其中對等待時(shí)間敏感的操作是在該移動平臺上執(zhí)行的，而對等待時(shí)間不敏感但計(jì)算密集的操作是遠(yuǎn)程地(例如，在該服務(wù)器上)執(zhí)行的以便實(shí)現(xiàn)高效處理。這些結(jié)果然后可由該服務(wù)器發(fā)送給該移動平臺。對AR應(yīng)用使用分布式處理，最終用戶就能無縫地享受AR體驗(yàn)。如本文中所使用的，移動平臺是指任何便攜式電子設(shè)備，諸如，蜂窩或其他無線通信設(shè)備、個(gè)人通信系統(tǒng)(PCS)設(shè)備、個(gè)人導(dǎo)航設(shè)備(PND)、個(gè)人信息管理器(PIM)、個(gè)人數(shù)字助理(PDA)、或者其他合適的移動設(shè)備。該移動平臺可以能夠接收無線通信和/或?qū)Ш叫盘?諸如導(dǎo)航定位信號)。術(shù)語“移動平臺”還旨在包括諸如藉由短程無線、紅外、有線連接、或其他連接與個(gè)人導(dǎo)航設(shè)備(PND)通信的設(shè)備，不管衛(wèi)星信號接收、輔助數(shù)據(jù)接收、和/或位置有關(guān)處理是發(fā)生在該設(shè)備處還是在PND處。而且，“移動平臺”旨在包括能夠進(jìn)行AR的所有電子設(shè)備，包括無線通信設(shè)備、計(jì)算機(jī)、膝上型電腦、平板計(jì)算機(jī)等等。圖1解說示出用于使用基于服務(wù)器的對象檢測和標(biāo)識來進(jìn)行分布式處理的系統(tǒng)100的框圖。系統(tǒng)100包括執(zhí)行對等待時(shí)間敏感的操作(諸如跟蹤)的移動平臺110，而遠(yuǎn)程服務(wù)器130執(zhí)行對等待時(shí)間不敏感且計(jì)算密集的操作，諸如對象標(biāo)識。該移動平臺可包括相機(jī)112和顯示器114和/或可包括運(yùn)動傳感器164。移動平臺110可捕獲對象102的圖像104，該圖像可被示出在顯示器114上。移動平臺110所捕捉到的圖像104可以是靜止圖像(例如，相片)、或來自視頻流的單幀，這兩者在本文中均被稱作捕捉到的圖像。移動平臺110可補(bǔ)充地或替換地從除相機(jī)112以外的其他傳感器(例如，使用衛(wèi)星定位系統(tǒng)(SPS)接收機(jī)166或者一個(gè)或更多個(gè)運(yùn)動傳感器164，包括例如加速計(jì)、陀螺儀、電子羅盤或其他類似運(yùn)動感測元件)來捕獲其他傳感器數(shù)據(jù)，包括位置和/或取向數(shù)據(jù)。例如，SPS可以是諸如全球定位系統(tǒng)(GPS)、Galileo、Glonass或Compass之類的全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)、或諸如日本上空的準(zhǔn)天頂衛(wèi)星系統(tǒng)(QZSS)、印度上空的印度地區(qū)性導(dǎo)航衛(wèi)星系統(tǒng)(IRNSS)、中國上空的北斗之類的各種地區(qū)性系統(tǒng)、和/或可與一個(gè)或更多個(gè)全球和/或地區(qū)性導(dǎo)航衛(wèi)星系統(tǒng)相關(guān)聯(lián)或以其他方式能與之聯(lián)用的各種擴(kuò)增系統(tǒng)(例如，基于衛(wèi)星的擴(kuò)增系統(tǒng)(SBAS))的星座。移動平臺110經(jīng)由網(wǎng)絡(luò)120將捕獲到的數(shù)據(jù)信息傳送給服務(wù)器130，捕獲到的數(shù)據(jù)信息諸如有捕獲到的圖像104和/或傳感器數(shù)據(jù)，諸如SPS信息或來自板載運(yùn)動傳感器164的位置信息。捕獲到的數(shù)據(jù)信息可以還包括或替換地包括上下文數(shù)據(jù)，諸如對當(dāng)前正被移動平臺110跟蹤的任何對象的標(biāo)識。網(wǎng)絡(luò)120可以是任何無線通信網(wǎng)絡(luò)，諸如無線廣域網(wǎng)(WWAN)、無線局域網(wǎng)(WLAN)、無線個(gè)域網(wǎng)(WPAN)等等。服務(wù)器130處理由移動平臺110提供的數(shù)據(jù)信息，并生成與該數(shù)據(jù)信息有關(guān)的信息。例如，服務(wù)器130可基于所提供的圖像數(shù)據(jù)使用對象數(shù)據(jù)庫140來執(zhí)行對象檢測和標(biāo)識。服務(wù)器130將與所捕獲到的數(shù)據(jù)有關(guān)的信息返回給移動平臺110。例如，如果服務(wù)器130從由移動平臺110提供的圖像數(shù)據(jù)標(biāo)識出對象，則服務(wù)器130可返回對該對象的標(biāo)識，例如包括標(biāo)識符，諸如該對象102的稱號或標(biāo)識號或參考圖像106，以及可被移動平臺用于擴(kuò)增現(xiàn)實(shí)應(yīng)用的任何期望的附帶信息，諸如顯著性指示符、信息鏈接等。如果期望，則服務(wù)器130可確定移動平臺110在圖像104被捕捉時(shí)相對于在參考圖像106中的對象102的姿態(tài)(位置和取向)并將其提供給移動平臺110，參考圖像106例如是從已知位置和取向所取的對象102的圖像。所返回的姿態(tài)可在移動平臺110中被用于引導(dǎo)跟蹤系統(tǒng)。換言之，移動平臺110可跟蹤(例如，視覺地或使用運(yùn)動傳感器164)從其捕捉圖像104的時(shí)間到其從服務(wù)器130接收到參考圖像106和姿態(tài)的時(shí)間該移動平臺110的姿態(tài)上的所有增量變化。移動平臺110可隨后將接收到的姿態(tài)連同其跟蹤到的姿態(tài)上的增量變化一起用來迅速地確定相對于對象102的當(dāng)前姿態(tài)。在另一實(shí)施例中，服務(wù)器130返回參考圖像106，但不提供姿態(tài)信息，并且移動平臺110通過使用對象檢測算法將對象102的當(dāng)前捕捉到的圖像相對于對象102的參考圖像106進(jìn)行比較，來確定相對于對象102的當(dāng)前姿態(tài)。該姿態(tài)可被用作對跟蹤系統(tǒng)的輸入，由此使得能夠估計(jì)相對運(yùn)動。在又一實(shí)施例中，服務(wù)器130僅返回姿態(tài)信息但不提供參考圖像。在此情形中，移動平臺110可將捕捉到的圖像104連同姿態(tài)信息一起用來創(chuàng)建能后續(xù)由跟蹤系統(tǒng)使用的參考圖像。替換地，移動平臺110可跟蹤捕捉到的圖像104與后續(xù)捕捉到的圖像(稱作當(dāng)前圖像)之間在位置上的增量變化，并可將從服務(wù)器130獲得的姿態(tài)連同這些增量跟蹤結(jié)果一起用來計(jì)算該當(dāng)前圖像相對于移動平臺生成的參考圖像的姿態(tài)。在沒有參考圖像102的情況下，可使用估計(jì)姿態(tài)來扭曲(或矯正)當(dāng)前圖像以獲得對參考圖像的估計(jì)，其可被用于引導(dǎo)跟蹤系統(tǒng)。補(bǔ)充地，為了使移動平臺110向服務(wù)器130發(fā)送檢測請求的頻度最小化，移動平臺110可僅在出現(xiàn)觸發(fā)事件的情況下才發(fā)起檢測請求。觸發(fā)事件可基于圖像數(shù)據(jù)或來自運(yùn)動傳感器164的傳感器數(shù)據(jù)相對于先前捕獲到的圖像數(shù)據(jù)或傳感器數(shù)據(jù)的變化。例如，移動平臺110可使用場景變化檢測器304來確定是否已發(fā)生了圖像數(shù)據(jù)變化。由此，在一些實(shí)施例中，移動平臺110可僅在被場景變化檢測器304觸發(fā)時(shí)才為檢測請求經(jīng)由網(wǎng)絡(luò)與服務(wù)器130通信。場景變化檢測器304例如僅當(dāng)在當(dāng)前圖像中出現(xiàn)新信息時(shí)才為對象檢測觸發(fā)與服務(wù)器的通信。圖2是解說分布式處理的過程的流程圖，其中對等待時(shí)間敏感的操作由移動平臺110執(zhí)行，而對等待時(shí)間不敏感且計(jì)算密集的操作由諸如服務(wù)器130之類的外部處理器執(zhí)行。如所解說的，由移動平臺110捕獲傳感器數(shù)據(jù)(202)。該傳感器數(shù)據(jù)可以是捕獲到的圖像，例如捕捉到的照片或視頻幀，或是從中派生出的信息，包括人物識別或提取出的關(guān)鍵點(diǎn)。傳感器數(shù)據(jù)可還包括或替換地包括例如SPS信息、運(yùn)動傳感器信息、條碼識別、文本檢測結(jié)果、或從部分地處理該圖像得到的其他結(jié)果、以及上下文信息，諸如用戶行為、用戶偏好、地點(diǎn)、用戶信息或數(shù)據(jù)(例如，關(guān)于該用戶的社交網(wǎng)絡(luò)信息)、時(shí)辰、照明質(zhì)量(自然相對于人工)、以及(圖像中)站在近旁的人、等等。移動平臺110確定有觸發(fā)事件(204)，諸如傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化。例如，觸發(fā)事件可以是場景變化，在其中新的或不同的對象顯現(xiàn)在該圖像中。在檢測到觸發(fā)事件(諸如場景變化)之后，捕獲到的傳感器數(shù)據(jù)被傳送給服務(wù)器130(206)。當(dāng)然，如果沒有檢測到場景變化，則傳感器數(shù)據(jù)無需被傳送給服務(wù)器130，藉此減少了通信和檢測請求。服務(wù)器130處理捕獲到的信息以例如執(zhí)行對象識別等，這在本領(lǐng)域中是公知的。在服務(wù)器130處理該信息之后，移動平臺110從服務(wù)器130接收與該傳感器數(shù)據(jù)有關(guān)的信息(208)。例如，移動平臺110可接收對象標(biāo)識的結(jié)果，包括例如參考圖像。與傳感器數(shù)據(jù)有關(guān)的信息可補(bǔ)充地或替換地包括以下信息，諸如位于移動平臺110附近的物項(xiàng)(諸如建筑物、餐館、商店中的在售產(chǎn)品等)、以及來自服務(wù)器的二維(2D)或三維(3D)模型、或是可用在其他過程(諸如游戲)中的信息。若期望，則可提供附加信息，包括如以上所討論的在圖像104被捕捉的時(shí)候移動平臺110相對于參考圖像中的該對象的姿態(tài)。如果移動平臺110包括本地高速緩存，則移動平臺Iio可存儲服務(wù)器130所發(fā)送的多個(gè)參考圖像。這些存儲著的參考圖像可被用于例如在跟蹤丟失的情況下可在移動平臺110中執(zhí)行的后續(xù)的重檢測。在一些實(shí)施例中，服務(wù)器標(biāo)識圖像中的多個(gè)對象(來自傳感器)。在此類實(shí)施例中，可僅為所標(biāo)識出的對象之一向移動平臺110發(fā)送參考圖像或其他對象標(biāo)識符,或者與相應(yīng)各個(gè)對象對應(yīng)的多個(gè)對象標(biāo)識符可被傳送給移動平臺110并由其接收。由此，可由服務(wù)器130提供的信息可包括識別結(jié)果、關(guān)于所標(biāo)識出的(諸)對象的信息、能被用于諸如跟蹤之類的各種功能的關(guān)于(諸)對象的參考圖像(一個(gè)或許多個(gè))、所識別出的(諸)對象的2D/3D模型、所識別出的(諸)對象的絕對姿態(tài)、要用于顯示的擴(kuò)增信息、和/或關(guān)于對象的顯著性信息。補(bǔ)充地，服務(wù)器130可發(fā)送與對象匹配有關(guān)的信息，該信息可增強(qiáng)移動平臺110處的分類器。一個(gè)有可能的示例是當(dāng)移動平臺110正使用決策樹來進(jìn)行匹配時(shí)。在此情形中，服務(wù)器130可發(fā)送該樹的諸個(gè)體節(jié)點(diǎn)的值以促成更準(zhǔn)確的樹構(gòu)建以及后續(xù)更好的匹配。決策樹的示例包括例如k均值、k維樹、詞匯表樹、以及其他樹。在k均值樹的情形中，服務(wù)器130還可發(fā)送種子以初始化移動平臺110上的階層式k均值樹結(jié)構(gòu)，藉此允許移動平臺110執(zhí)行查找以用于加載恰適的樹。任選地，移動平臺110可獲得該移動平臺相對于對象102的姿態(tài)(210)。例如，移動平臺110可在不從服務(wù)器130接收任何姿態(tài)信息的情況下，通過捕捉對象102的另一圖像并將此新捕捉到的圖像與參考圖像作比較來獲得相對于該參考圖像中的該對象的姿態(tài)。在服務(wù)器130提供姿態(tài)信息的場合，移動平臺可通過將服務(wù)器130提供的姿態(tài)(即在初始圖像104被捕捉時(shí)移動平臺110相對于參考圖像中的對象的姿態(tài))與自初始圖像104被捕捉時(shí)起跟蹤到的在移動平臺110的姿態(tài)上的變化相組合，來迅速地確定當(dāng)前姿態(tài)。應(yīng)注意，姿態(tài)是在有還是沒有服務(wù)器130的輔助的情況下獲得可取決于網(wǎng)絡(luò)120和/或移動平臺110的能力。例如，如果服務(wù)器130支持姿態(tài)估計(jì)，并且如果移動平臺110和服務(wù)器130就用于傳送姿態(tài)的應(yīng)用編程接口(API)達(dá)成一致，那么姿態(tài)信息可被傳送給移動平臺110并用于跟蹤。由服務(wù)器發(fā)送的對象120的姿態(tài)(210)可以是相對旋轉(zhuǎn)和變換矩陣、單應(yīng)性矩陣、仿射變換矩陣的形式、或其他形式。任選地，移動平臺110可隨后使用接收自服務(wù)器130的數(shù)據(jù)來對該對象執(zhí)行AR，諸如跟蹤目標(biāo)、估計(jì)在每幀中的對象姿態(tài)、以及插入虛擬對象、或以其他方式使用估計(jì)的姿態(tài)通過渲染引擎來擴(kuò)增用戶視圖或圖像(212)。圖3解說用于服務(wù)器130輔助式AR的系統(tǒng)100的操作的框圖。如圖3中所示，使用新的捕捉到的圖像300來發(fā)起無參考跟蹤器302。該無參考跟蹤器302基于光流、歸一化互相關(guān)(NCC)或本領(lǐng)域中所知的任何類似方法來執(zhí)行跟蹤。無參考跟蹤器302標(biāo)識此新的捕捉到的圖像300中的特征(諸如點(diǎn)、線、區(qū)域及類似物)，并例如使用流向量等來逐幀地跟蹤這些特征。從跟蹤結(jié)果獲得的流向量幫助估計(jì)先前捕捉到的圖像與當(dāng)前捕捉到的圖像之間的相對運(yùn)動，并進(jìn)而幫助標(biāo)識運(yùn)動速度。無參考跟蹤器302所提供的信息由場景變化檢測器304接收。場景變化檢測器304將例如來自無參考跟蹤器302的被跟蹤特征等連同其他類型的圖像統(tǒng)計(jì)(諸如直方圖統(tǒng)計(jì))和來自移動平臺中的各傳感器的其他可用信息一起用來估計(jì)場景中的變化。如果場景變化檢測器304沒有發(fā)送觸發(fā)，則該過程繼續(xù)以無參考跟蹤器302來進(jìn)行下去。如果場景變化檢測器304標(biāo)識出場景中的實(shí)質(zhì)性變化，則場景變化檢測器304發(fā)送觸發(fā)信號，該觸發(fā)信號可發(fā)起基于服務(wù)器的檢測器308中的檢測過程。如果期望，則可使用圖像質(zhì)量估計(jì)器306來分析圖像質(zhì)量以進(jìn)一步控制向基于服務(wù)器的檢測器308進(jìn)行的請求傳送。圖像質(zhì)量估計(jì)器306檢查圖像的質(zhì)量，并且如果質(zhì)量良好，即大于閾值，則觸發(fā)檢測請求。如果圖像質(zhì)量不良，則不觸發(fā)檢測，并且圖像不被傳送給基于服務(wù)器的檢測器308。在本發(fā)明的一個(gè)實(shí)施例中，移動平臺110可在已檢測到場景變化之后等待良好質(zhì)量圖像長達(dá)有限的一段時(shí)間后再將該良好質(zhì)量圖像發(fā)送給服務(wù)器130以進(jìn)行對象識別。圖像的質(zhì)量可基于已知圖像統(tǒng)計(jì)、圖像質(zhì)量衡量、以及其他類似辦法。例如，捕捉到的圖像的銳度可通過高通濾波并生成代表例如邊強(qiáng)度和空間分布的一組統(tǒng)計(jì)來量化。如果銳度值超過該場景的“普遍銳度”(例如，如在數(shù)個(gè)先前幀上取平均所得的)或與之相當(dāng)，則該圖像可被分類為良好質(zhì)量圖像。在另一實(shí)現(xiàn)中，可使用諸如FAST(加速分段測試提取特征)角點(diǎn)或Harris角點(diǎn)之類的快速角點(diǎn)檢測算法來分析圖像。如果有充足數(shù)目的角點(diǎn)(例如，檢測到的角點(diǎn)的數(shù)目超過閾值、或者大于該場景的“普遍角點(diǎn)數(shù)”(例如，如在數(shù)個(gè)先前幀上取平均所得的)或與之相當(dāng))，則該圖像可被分類為良好質(zhì)量圖像。在另一實(shí)現(xiàn)中，可使用從圖像得到的統(tǒng)計(jì)(諸如邊梯度量值的平均值或標(biāo)準(zhǔn)偏差)來教導(dǎo)學(xué)習(xí)分類器，該學(xué)習(xí)分類器可用來在良好質(zhì)量圖像與低劣質(zhì)量圖像之間進(jìn)行區(qū)分。圖像的質(zhì)量還可以使用傳感器輸入來衡量。例如，由移動平臺110在迅速移動之時(shí)捕捉到的圖像可能變得模糊，并且因此其質(zhì)量比假使移動平臺110處于靜止或在緩慢移動的情況下的圖像質(zhì)量要差。相應(yīng)地，可將來自傳感器數(shù)據(jù)(例如，來自運(yùn)動傳感器164或來自基于視覺的跟蹤)的運(yùn)動估計(jì)與閾值作比較以確定結(jié)果所得的相機(jī)圖像是否具有足以被發(fā)送以進(jìn)行對象檢測的質(zhì)量。類似地，圖像質(zhì)量可基于所確定的圖像模糊量來衡量。另外，可提供觸發(fā)時(shí)間管理器305以進(jìn)一步控制向基于服務(wù)器的檢測器308傳送的請求的數(shù)量。觸發(fā)時(shí)間管理器305維護(hù)該系統(tǒng)的狀態(tài)，并且可基于試探法和規(guī)則。例如，如果自上一觸發(fā)圖像以來的圖像數(shù)目大于閾值(例如，1000個(gè)圖像)，則觸發(fā)時(shí)間管理器305可生成可以超時(shí)并自動發(fā)起基于服務(wù)器的檢測器308中的檢測過程的觸發(fā)。由此，如果已經(jīng)對于過多數(shù)目的圖像沒有觸發(fā)，則觸發(fā)時(shí)間管理器305可強(qiáng)制實(shí)現(xiàn)觸發(fā)，這是有用的，其用來確定在相機(jī)的視野里是否有任何附加對象。補(bǔ)充地，觸發(fā)時(shí)間管理器305可被編程為將兩個(gè)觸發(fā)之間的最小分隔維持在選定值Π，即，如果自上一被觸發(fā)的圖像起在Π個(gè)圖像以內(nèi)，則觸發(fā)時(shí)間管理器305抑制觸發(fā)。使被觸發(fā)的圖像分隔開可能是有用的，例如，如果場景正快速變化的話。由此，如果場景變化檢測器304在η個(gè)圖像以內(nèi)產(chǎn)生了不止一個(gè)觸發(fā)，則僅一個(gè)被觸發(fā)的圖像被發(fā)送給基于服務(wù)器的檢測器308，藉此減少從移動平臺110去往服務(wù)器130的通信量。觸發(fā)時(shí)間管理器305還可管理觸發(fā)調(diào)度。例如，如果場景變化檢測器304自上一觸發(fā)起不到η個(gè)圖像但大于μ個(gè)圖像以前產(chǎn)生了新觸發(fā)，則該新觸發(fā)可被觸發(fā)時(shí)間管理器305存儲并推延直至相繼觸發(fā)之間的圖像間隙至少是η的時(shí)間。作為示例，μ可以是2個(gè)圖像且η彡μ，并且作為示例，η可為2、4、8、16、32、64不等。觸發(fā)時(shí)間管理器305還可管理服務(wù)器130的檢測失敗。例如，如果先前的基于服務(wù)器的檢測嘗試失敗，則觸發(fā)時(shí)間管理器305可周期性地產(chǎn)生觸發(fā)以向基于服務(wù)器的檢測器308重傳請求。這些嘗試中的每一者可使用一基于最新近捕捉到的圖像的不同查詢圖像。例如，在檢測失敗之后，可由觸發(fā)時(shí)間管理器305以η的周期間隙來產(chǎn)生周期性觸發(fā)，例如，如果上一失敗的檢測嘗試是比Π個(gè)圖像以前更久，則發(fā)送觸發(fā)，其中Π值可以是可變的。當(dāng)基于服務(wù)器的檢測器308被發(fā)起時(shí)，向服務(wù)器130提供與新的捕捉到的圖像300相關(guān)聯(lián)的數(shù)據(jù)，該數(shù)據(jù)可包括此新的捕捉到的圖像300本身、關(guān)于此新的捕捉到的圖像300的信息、以及與此新的捕捉到的圖像300相關(guān)聯(lián)的傳感器數(shù)據(jù)。如果基于服務(wù)器的檢測器308標(biāo)識出對象，則所找到的對象(例如，參考圖像、該對象的3D模型、或其他有關(guān)信息)被提供給移動平臺110，移動平臺110更新其本地高速緩存310。如果基于服務(wù)器的檢測器308沒有找到對象，則該過程可退卻到周期性觸發(fā)，例如，使用觸發(fā)時(shí)間管理器305來周期性觸發(fā)。如果在r個(gè)嘗試(例如，4個(gè)嘗試)之后沒有檢測到對象，則該對象被視為不在數(shù)據(jù)庫中，并且系統(tǒng)復(fù)位到基于場景變化檢測器的觸發(fā)。在找到的對象存儲在本地高速緩存310中的情況下，在移動平臺110上運(yùn)行的對象檢測器312執(zhí)行對象檢測過程以標(biāo)識當(dāng)前相機(jī)視圖中的該對象以及相對于該對象的姿態(tài)，并將對象身份和姿態(tài)發(fā)送給基于參考的跟蹤器314。由對象檢測器312發(fā)送的姿態(tài)和對象身份可被用來初始化并且啟動基于參考的跟蹤器314。在每個(gè)后續(xù)捕捉到的圖像(例如，視頻幀)中，基于參考的跟蹤器314可將相對于該對象的姿態(tài)提供給移動平臺110中的渲染引擎，該渲染引擎在所顯示的對象之上、或以其他形式在圖像中放置期望的擴(kuò)增。在一個(gè)實(shí)現(xiàn)中，基于服務(wù)器的檢測器308可發(fā)送對象的3D模型而不是參考圖像。在此類情形中，該3D模型存儲在本地高速緩存310中并且后續(xù)被用作對基于參考的跟蹤器314的輸入。在基于參考的跟蹤器314被初始化之后，基于參考的跟蹤器314接收每個(gè)新的捕捉到的圖像300并標(biāo)識所跟蹤的對象在每個(gè)新的捕捉到的圖像300中的位置，藉此允許相對于所跟蹤的對象來顯示擴(kuò)增的數(shù)據(jù)?；趨⒖嫉母櫰?14可被用于許多應(yīng)用，諸如姿態(tài)估計(jì)、面部識別、建筑物識別、或其他應(yīng)用。補(bǔ)充地，在基于參考的跟蹤器314被初始化之后，基于參考的跟蹤器314標(biāo)識在每個(gè)新的捕捉到的圖像300中所標(biāo)識出的對象出現(xiàn)的區(qū)域，并且此信息借助于跟蹤掩模來存儲。由此，諸新的相機(jī)圖像300中該系統(tǒng)有其完整信息的區(qū)域被標(biāo)識并作為輸入提供給無參考跟蹤器302和場景變化檢測器304。無參考跟蹤器302和場景變化檢測器304繼續(xù)接收每一新的捕捉到的圖像300并使用跟蹤掩模來對每個(gè)新的捕捉到的圖像300的其余區(qū)域(即，在其中沒有完整信息的那些區(qū)域)進(jìn)行操作。使用跟蹤掩模作為反饋不僅幫助減少因所跟蹤的對象從場景變化檢測器304作出的誤觸發(fā)，而且還幫助減少無參考跟蹤器302和場景變化檢測器304的計(jì)算復(fù)雜性。在一個(gè)實(shí)施例中，由圖3中的虛線所解說，基于服務(wù)器的檢測器308可補(bǔ)充地提供新的捕捉到的圖像300中的對象相對于在參考圖像中的該對象的姿態(tài)信息。由基于服務(wù)器的檢測器308提供的姿態(tài)信息可連同如由無參考跟蹤器302所確定的姿態(tài)變化一起被姿態(tài)更新器316用來產(chǎn)生經(jīng)更新的姿態(tài)。經(jīng)更新的姿態(tài)可隨后被提供給基于參考的跟蹤器314。補(bǔ)充地，當(dāng)跟蹤暫時(shí)丟失時(shí)，可使用本地檢測器318搜索本地高速緩存310來執(zhí)行后續(xù)重檢測。盡管圖3為清楚起見將本地檢測器318和對象檢測器312分開解說，但是若期望，本地檢測器318可實(shí)現(xiàn)對象檢測器312，即對象檢測器312可執(zhí)行重檢測。如果在本地高速緩存中找到該對象，則使用對象身份來重新初始化并啟動基于參考的跟蹤器314。圖4解說用于服務(wù)器輔助式AR的呼叫流圖，在其中姿態(tài)由服務(wù)器130提供，正如由圖3中的虛線和姿態(tài)更新器316所解說的。當(dāng)場景變化檢測器304指示視圖已改變(步驟A)時(shí)，通過由系統(tǒng)管理器320向基于服務(wù)器的檢測器308提供例如新圖像(其可以是jpeg或其他格式)、以及對象檢測請求來發(fā)起基于服務(wù)器的檢測過程(步驟B)。補(bǔ)充或替換信息也可被發(fā)送給檢測器308，諸如包括與該圖像有關(guān)的信息的傳感器數(shù)據(jù)、來自傳感器(諸如SPS、取向傳感器讀數(shù)、陀螺儀、羅盤、壓力傳感器、高度計(jì)等)的信息、以及用戶數(shù)據(jù)(例如應(yīng)用使用數(shù)據(jù)、用戶簡檔、社交網(wǎng)絡(luò)信息、過往搜索、地點(diǎn)/傳感器信息等)、等等。系統(tǒng)管理器320還向無參考跟蹤器320發(fā)送跟蹤該對象的命令(步驟C)。檢測器308處理該數(shù)據(jù)并向系統(tǒng)管理器320返回對象(諸如(諸)對象的參考圖像)、特征(諸如SIFT特征、帶描述符的線等……)、元數(shù)據(jù)(諸如用于擴(kuò)增)、以及姿態(tài)的列表，以返回給AR應(yīng)用(步驟D)。對象的參考圖像被添加到本地高速緩存310中(步驟E)，本地高速緩存310確認(rèn)添加了該對象(步驟F)。無參考跟蹤器320將初始圖像與當(dāng)前圖像之間在姿態(tài)上的變化提供給檢測器312(步驟G)。檢測器312使用該參考圖像在當(dāng)前捕捉到的圖像中找到該對象，以將對象ID提供給系統(tǒng)管理器320(步驟H)。補(bǔ)充地，檢測器312把由基于服務(wù)器的檢測器308提供的姿態(tài)連同來自無參考跟蹤器302的姿態(tài)變化一起用來生成當(dāng)前姿態(tài)，當(dāng)前姿態(tài)也被提供給系統(tǒng)管理器320(步驟H)。系統(tǒng)管理器320指令無參考跟蹤器320停止對象跟蹤(步驟I)并指令基于參考的跟蹤器314啟動對象跟蹤(步驟J)。跟蹤以基于參考的跟蹤器314來繼續(xù)進(jìn)行，直至跟蹤丟失(步驟K)。圖5解說用于服務(wù)器輔助式AR的另一呼叫流圖，在其中姿態(tài)不是由服務(wù)器130提供的。該呼叫流類似于圖4中所示的呼叫流，區(qū)別在于檢測器308在步驟D中并不向系統(tǒng)管理器320提供姿態(tài)信息。由此，檢測器312基于當(dāng)前圖像和由檢測器308提供的參考圖像來確定姿態(tài)，并將該姿態(tài)提供給系統(tǒng)管理器320(步驟G)。如以上所討論的，場景變化檢測器304基于當(dāng)前的捕捉到的圖像相對于先前的捕捉到的圖像的變化來控制向服務(wù)器130發(fā)送檢測請求的頻度。使用場景變化檢測器304是因?yàn)槠谕麅H在圖像中出現(xiàn)顯著的新信息時(shí)才與外部服務(wù)器130通信來發(fā)起對象檢測。圖6解說由場景變化檢測器304執(zhí)行的方法的流程圖。用于場景變化檢測的過程是基于來自無參考跟蹤器302(圖3)的度量與圖像像素直方圖的組合。如以上所討論的，無參考跟蹤器302使用諸如光流、歸一化互相關(guān)之類的辦法和/或任何此類跟蹤連貫圖像之間的相對運(yùn)動(例如，如點(diǎn)、線或區(qū)域?qū)?yīng)性)的辦法。基于直方圖的方法對于其中場景的信息內(nèi)容在短歷時(shí)里有顯著變化的某些使用情形(諸如翻書)可良好地工作，并且因此對于在場景檢測過程中使用而言是有益的；無參考跟蹤過程對其中在場景中的信息內(nèi)容上有漸變的其他使用情形(諸如搖攝)可高效地檢測變化。由此，如圖6中所解說的，提供輸入圖像402。該輸入圖像是當(dāng)前的捕捉到的圖像，其可為當(dāng)前視頻幀或照片。如果上一圖像并未觸發(fā)場景變化檢測(404)，則執(zhí)行(406)場景變化檢測器的初始化(406)。初始化包括將圖像分成塊(408)，例如對于QVGA圖像是8x8的塊，并從每個(gè)塊提取關(guān)鍵點(diǎn)，例如使用FAST(加速分段測試提取特征)角點(diǎn)檢測器等來從每個(gè)塊提取關(guān)鍵點(diǎn)，在其中保留M個(gè)最強(qiáng)角點(diǎn)(410)(其中M可為2)。當(dāng)然，可替換地將其他方法用于提取關(guān)鍵點(diǎn)，諸如Harris角點(diǎn)、比例不變特征變換(SIFT)特征點(diǎn)、加速穩(wěn)健特征(SURF)、或任何其他期望的方法。返回不觸發(fā)信號(412)。如果上一圖像觸發(fā)了場景變化檢測(404)，則從無參考跟蹤器302獲得度量(解說為光流過程420)、以及從圖像像素直方圖獲得度量(解說為直方圖過程430)。如果期望，無參考跟蹤器302可使用除光流以外的其他過程(諸如歸一化互相關(guān)之類)來產(chǎn)生度量。光流過程420跟蹤來自先前圖像的角點(diǎn)(422)(例如，使用歸一化互相關(guān))，并標(biāo)識它們在當(dāng)前圖像中的位置。這些角點(diǎn)可能是先前已通過將圖像分成塊并從每個(gè)塊選擇關(guān)鍵點(diǎn)來提取的，例如使用FAST角點(diǎn)檢測器從每個(gè)塊選擇關(guān)鍵點(diǎn)，其中基于FAST角點(diǎn)閾值的M個(gè)最強(qiáng)的角點(diǎn)被保留，如以上在初始化406中所討論的,或者在Harris角點(diǎn)的情形中，基于Hessian閾值的M個(gè)最強(qiáng)的角點(diǎn)被保留。在連貫的圖像上對所選取的角點(diǎn)運(yùn)行無參考跟蹤，以確定當(dāng)前圖像中的角點(diǎn)位置以及在跟蹤中丟失的角點(diǎn)。演算在當(dāng)前一輪迭代中(即，在當(dāng)前圖像與前一圖像之間)丟失的角點(diǎn)的總強(qiáng)度(424中的d)作為第一變化度量，并且計(jì)算自前一觸發(fā)起(即，在當(dāng)前圖像與先前觸發(fā)圖像之間)丟失的角點(diǎn)的總強(qiáng)度(426中的D)作為第二變化度量，它們被提供用于進(jìn)行視頻統(tǒng)計(jì)演算440。直方圖過程430將當(dāng)前輸入圖像(稱為C)分成BxB的塊并為每一塊生成彩色直方圖H^j，其中i和j是在該圖像中的塊索引。執(zhí)行這些直方圖與來自第N個(gè)過去圖像的對應(yīng)塊的直方圖HNu的逐塊比較(434)，例如使用X2(卡方)方法來執(zhí)行比較。直方圖的比較幫助確定當(dāng)前圖像與第N個(gè)過去圖像之間的相似性，以便標(biāo)識場景是否已顯著變化。藉由示例，B可被選取為10。為了使用X2方法來比較當(dāng)前圖像與第N個(gè)過去圖像的直方圖，執(zhí)行以下計(jì)算:權(quán)利要求1.一種方法，包括:使用移動平臺來捕獲傳感器數(shù)據(jù)；確定是否有包括所述傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化的觸發(fā)事件；當(dāng)有所述觸發(fā)事件時(shí)，將所述傳感器數(shù)據(jù)傳送給服務(wù)器；以及從所述服務(wù)器接收與所述傳感器數(shù)據(jù)有關(guān)的信息。2.如權(quán)利要求1所述的方法，其中所述傳感器數(shù)據(jù)包括捕捉到的對象的圖像。3.如權(quán)利要求2所述的方法，所述方法進(jìn)一步包括在將所述傳感器數(shù)據(jù)傳送給所述服務(wù)器之前確定所捕捉到的圖像的質(zhì)量，其中僅當(dāng)所捕捉到的圖像的質(zhì)量優(yōu)于閾值時(shí)所述傳感器數(shù)據(jù)才被傳送給所述服務(wù)器。4.如權(quán)利要求3所述的方法，其中確定所捕捉到的圖像的質(zhì)量包括以下至少一者:分析所捕捉到的圖像的銳度、分析所捕捉到的圖像中的檢出角點(diǎn)的數(shù)目、以及使用以學(xué)習(xí)分類器從所述圖像推導(dǎo)出的統(tǒng)計(jì)。5.如權(quán)利要求2所述的方法，進(jìn)一步包括基于從所述服務(wù)器接收到的與所述傳感器數(shù)據(jù)有關(guān)的信息相對于所述對象來渲染擴(kuò)增。6.如權(quán)利要求2所述的方法，其中與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括所述對象的標(biāo)識。7.如權(quán)利要求2所述的方法，其中所捕捉到的圖像包括多個(gè)對象，并且與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括所述多個(gè)對象的標(biāo)識。8.如權(quán)利要求7所述的方法，進(jìn)一步包括:獲得所述多個(gè)對象中的每一者相對于所述移動平臺的姿態(tài)；以及使用所述姿態(tài)以及與所述傳感器數(shù)據(jù)有關(guān)的所述信息來跟蹤所述多個(gè)對象中的每一者。9.如權(quán)利要求2所述的方法，進(jìn)一步包括:獲得所述移動平臺相對于所述對象的姿態(tài)；以及使用所述姿態(tài)以及與所述傳感器數(shù)據(jù)有關(guān)的所述信息來跟蹤所述對象。10.如權(quán)利要求9所述的方法，其中與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括所述對象的參考圖像，并且其中獲得所述姿態(tài)包括從所述服務(wù)器接收基于所捕捉到的圖像和所述參考圖像的第一姿態(tài)。11.如權(quán)利要求10所述的方法，進(jìn)一步包括執(zhí)行對所述對象的無參考跟蹤，直至從所述服務(wù)器接收到所述第一姿態(tài)。12.如權(quán)利要求10所述的方法，進(jìn)一步包括:當(dāng)從所述服務(wù)器接收到所述第一姿態(tài)時(shí)，捕獲所述對象的第二捕捉到的圖像；在所述捕捉到的圖像與所述第二捕捉到的圖像之間跟蹤所述對象以確定增量變化；以及使用所述增量變化以及所述第一姿態(tài)來獲得所述移動平臺相對于所述對象的姿態(tài)。13.如權(quán)利要求10所述的方法，進(jìn)一步包括:捕獲所述對象的第二捕捉到的圖像；使用所述參考圖像在所述第二捕捉到的圖像中檢測所述對象；使用在所述第二捕捉到的圖像中檢出的所述對象以及所述參考圖像來獲得所述移動平臺相對于所述對象的姿態(tài)；以及使用所述姿態(tài)來初始化對所述對象的基于參考的跟蹤。14.如權(quán)利要求2所述的方法，其中與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括以下至少一者:所述對象的二維(2D)模型、所述對象的三維(3D)模型、擴(kuò)增信息、關(guān)于所述對象的顯著性信息、以及與對象匹配有關(guān)的信息。15.如權(quán)利要求2所述的方法，其中確定是否有觸發(fā)事件包括確定在所捕捉到的圖像中是否有相對于先前的捕捉到的圖像的場景變化。16.如權(quán)利要求15所述的方法，其中確定是否有場景變化包括:使用所捕捉到的圖像和所述先前的捕捉到的圖像來確定第一變化度量；使用所捕捉到的圖像和來自先前觸發(fā)事件的第二先前的捕捉到的圖像來確定第二變化度量；生成關(guān)于所捕捉到的圖像的直方圖變化度量；以及使用所述第一變化度量、所述第二變化度量和所述直方圖變化度量來確定所述場景變化。17.如權(quán)利要求2所述的方法，其中與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括對象標(biāo)識，所述方法進(jìn)一步包括:捕獲所述對象的附加的捕捉到的圖像；使用所述對象標(biāo)識在所述附加的捕捉到的圖像中標(biāo)識所述對象；基于所述對象標(biāo)識來生成用于所述附加的捕捉到的圖像的跟蹤掩模，所述跟蹤掩模指示所述附加的捕捉到的圖像中標(biāo)識出所述對象的區(qū)域；將所述跟蹤掩模與所述對象的所述附加的捕捉到的圖像一起使用來標(biāo)識所述附加的捕捉到的圖像的其余區(qū)域；以及檢測包括所述附加的捕捉到的圖像的所述其余區(qū)域中的場景變化的觸發(fā)事件。18.如權(quán)利要求1所述的方法，其中所述傳感器數(shù)據(jù)包括以下一者或更多者:圖像數(shù)據(jù)、運(yùn)動傳感器數(shù)據(jù)、位置數(shù)據(jù)、條碼識別、文本檢測結(jié)果、以及上下文信息。19.如權(quán)利要求18所述的方法，其中所述上下文信息包括以下一者或更多者:用戶行為、用戶偏好、地點(diǎn)、關(guān)于所述用戶的信息、時(shí)辰、以及照明質(zhì)量。20.如權(quán)利要求1所述的方法，其中所述傳感器數(shù)據(jù)包括面部的圖像，并且從所述服務(wù)器接收的所述信息包括與所述面部相關(guān)聯(lián)的身份。21.如權(quán)利要求1所述的方法，其中所述傳感器數(shù)據(jù)包括以相機(jī)在不同位置捕捉到的對象的多個(gè)圖像、以及對所述相機(jī)相對于所述對象的姿態(tài)的粗略估計(jì)，并且從所述服務(wù)器接收到的所述信息包括對所述姿態(tài)的改良以及所述對象的三維模型中的至少一者。22.—種移動平臺，包括:適配成捕獲傳感器數(shù)據(jù)的傳感器；無線收發(fā)機(jī)；耦合到所述傳感器和所述無線收發(fā)機(jī)的處理器，所述處理器被適配成經(jīng)由所述傳感器來捕獲傳感器數(shù)據(jù)，確定是否有包括所述傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化的觸發(fā)事件，當(dāng)出現(xiàn)所述觸發(fā)事件時(shí)經(jīng)由所述無線收發(fā)機(jī)將所述傳感器數(shù)據(jù)傳送給外部處理器，以及經(jīng)由所述無線收發(fā)機(jī)從所述外部處理器接收與所述傳感器數(shù)據(jù)有關(guān)的信息。23.如權(quán)利要求22所述的移動平臺，其中所述傳感器是相機(jī)，并且所述傳感器數(shù)據(jù)包括捕捉到的對象的圖像。24.如權(quán)利要求23所述的移動平臺，其中所述處理器進(jìn)一步適配成在所述傳感器數(shù)據(jù)被傳送給所述外部處理器之前確定所捕捉到的圖像的質(zhì)量，其中僅當(dāng)所捕捉到的圖像的質(zhì)量優(yōu)于閾值時(shí)所述傳感器數(shù)據(jù)才被傳送給所述外部處理器。25.如權(quán)利要求24所述的移動平臺，其中所述處理器通過被適配成執(zhí)行以下至少一者來被適配成確定所捕捉到的圖像的質(zhì)量:對所捕捉到的圖像的銳度分析、對所捕捉到的圖像中的檢出角點(diǎn)數(shù)目的分析；以及用從所述圖像推導(dǎo)出的統(tǒng)計(jì)對學(xué)習(xí)分類器的處理。26.如權(quán)利要求23所述的移動平臺，其中所述處理器被進(jìn)一步適配成基于經(jīng)由所述無線收發(fā)機(jī)接收到的與所述傳感器數(shù)據(jù)有關(guān)的所述信息相對于所述對象來渲染擴(kuò)增。27.如權(quán)利要求23所述的移動平臺，其中與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括所述對象的標(biāo)識。28.如權(quán)利要求23所述的移動平臺，其中所捕捉到的圖像包括多個(gè)對象，并且與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括所述多個(gè)對象的標(biāo)識。29.如權(quán)利要求28所述的移動平臺，其中所述處理器被進(jìn)一步適配成獲得所述多個(gè)對象中的每一者相對于所述移動平臺的姿態(tài)，并且使用所述姿態(tài)以及與所述傳感器數(shù)據(jù)有關(guān)的所述信息來跟蹤所述多個(gè)對象中的每一者。30.如權(quán)利要求23所述的移動平臺，其中所述處理器被進(jìn)一步適配成獲得所述移動平臺相對于所述對象的姿態(tài)，并且使用所述姿態(tài)以及與所述傳感器數(shù)據(jù)有關(guān)的所述信息來跟蹤所述對象。31.如權(quán)利要求30所述的移動平臺，其中與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括所述對象的參考圖像，并且其中所述處理器被適配成從所述外部處理器接收基于所捕捉到的圖像和所述參考圖像的第一姿態(tài)。32.如權(quán)利要求31所述的移動平臺，其中所述處理器進(jìn)一步適配成執(zhí)行對所述對象的無參考跟蹤，直至從所述服務(wù)器接收到所述第一姿態(tài)。33.如權(quán)利要求31所述的移動平臺，其中所述處理器被進(jìn)一步適配成當(dāng)從所述外部處理器接收到所述第一姿態(tài)時(shí)捕獲所述對象的第二捕捉到的圖像，在所述捕捉到的圖像與所述第二捕捉到的圖像之間跟蹤所述對象以確定增量變化，使用所述增量變化以及所述第一姿態(tài)來獲得所述移動平臺相對于所述對象的姿態(tài)。34.如權(quán)利要求31所述的移動平臺，其中所述處理器被進(jìn)一步適配成捕獲所述對象的第二捕捉到的圖像，使用所述參考圖像在所述第二捕捉到的圖像中檢測所述對象，使用在所述第二捕捉到的圖像中檢出的所述對象以及所述參考圖像來獲得所述移動平臺相對于所述對象的姿態(tài)，以及使用所述姿態(tài)來初始化對所述對象的基于參考的跟蹤。35.如權(quán)利要求23所述的移動平臺，其中所述處理器被進(jìn)一步適配成經(jīng)由所述無線發(fā)射機(jī)從所述外部處理器接收以下至少一者:所述對象的二維(2D)模型、所述對象的三維(3D)模型、擴(kuò)增信息、關(guān)于所述對象的顯著性信息、以及與對象匹配有關(guān)的信息。36.如權(quán)利要求23所述的移動平臺，其中所述處理器通過被適配成確定在所捕捉到的圖像中是否有相對于先前的捕捉到的圖像的場景變化來被適配成確定是否有所述觸發(fā)事件。37.如權(quán)利要求36所述的移動平臺，其中所述處理器通過被適配成使用所捕捉到的圖像和所述先前的捕捉到的圖像來確定第一變化度量、使用所捕捉到的圖像和來自先前觸發(fā)事件的第二先前的捕捉到的圖像來確定第二變化度量、生成關(guān)于所捕捉到的圖像的直方圖變化度量、以及使用所述第一變化度量、所述第二變化度量和所述直方圖變化度量來確定所述場景變化來被適配成確定是否有所述場景變化。38.如權(quán)利要求23所述的移動平臺，其中與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括對象標(biāo)識，其中所述處理器被進(jìn)一步適配成捕獲所述對象的附加的捕捉到的圖像，使用所述對象標(biāo)識在所述附加的捕捉到的圖像中標(biāo)識所述對象，基于所述對象標(biāo)識來生成用于所述附加的捕捉到的圖像的跟蹤掩模，所述跟蹤掩模指示所述附加的捕捉到的圖像中標(biāo)識出所述對象的區(qū)域，將所述跟蹤掩模與所述對象的所述附加的捕捉到的圖像一起使用來標(biāo)識所述附加的捕捉到的圖像的其余區(qū)域，以及檢測包括所述附加的捕捉到的圖像的所述其余區(qū)域中的場景變化的觸發(fā)事件。39.如權(quán)利要求22所述的移動平臺，其中所述傳感器數(shù)據(jù)包括以下一者或更多者:圖像數(shù)據(jù)、運(yùn)動傳感器數(shù)據(jù)、位置數(shù)據(jù)、條碼識別、文本檢測結(jié)果、以及上下文信息。40.如權(quán)利要求39所述的移動平臺，其中所述上下文信息包括以下一者或更多者:用戶行為、用戶偏好、地點(diǎn)、關(guān)于所述用戶的信息、時(shí)辰、以及照明質(zhì)量。41.如權(quán)利要求22所述的移動平臺，其中所述傳感器包括相機(jī)，并且所述傳感器數(shù)據(jù)包括面部的圖像，并且經(jīng)由所述無線收發(fā)機(jī)接收的所述信息包括與所述面部相關(guān)聯(lián)的身份。42.如權(quán)利要求22所述的移動平臺，其中所述傳感器包括相機(jī)，并且所述傳感器數(shù)據(jù)包括以所述相機(jī)在不同位置捕捉到的對象的多個(gè)圖像、以及對所述相機(jī)相對于所述對象的姿態(tài)的粗略估計(jì)，并且從所述服務(wù)器接收到的所述信息包括對所述姿態(tài)的改良以及所述對象的三維模型中的至少一者。43.一種移動平臺，包括:用于捕獲傳感器數(shù)據(jù)的裝置；用于確定是否有包括所述傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化的觸發(fā)事件的裝置；用于當(dāng)有所述觸發(fā)事件時(shí)將所述傳感器數(shù)據(jù)傳送給服務(wù)器的裝置；以及用于從所述服務(wù)器接收與所述傳感器數(shù)據(jù)有關(guān)的信息的裝置。44.如權(quán)利要求43所述的移動平臺，其中所述用于捕獲傳感器數(shù)據(jù)的裝置是相機(jī)，并且所述傳感器數(shù)據(jù)是捕捉到的對象的圖像，并且其中與所述傳感器數(shù)據(jù)有關(guān)的所述信息包括所述對象的參考圖像，所述移動平臺進(jìn)一步包括:用于獲得所述移動平臺相對于所述對象的姿態(tài)的裝置；以及用于使用所述姿態(tài)和所述對象的所述參考圖像來跟蹤所述對象的裝置。45.如權(quán)利要求43所述的移動平臺，其中所述用于捕獲傳感器數(shù)據(jù)的裝置是相機(jī)，并且所述傳感器數(shù)據(jù)是捕捉到的對象的圖像，其中所述用于確定是否有觸發(fā)事件的裝置包括用于確定在所捕捉到的圖像中是否有相對于先前的捕捉到的圖像的場景變化的裝置。46.一種包括其上存儲的程序代碼的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，包括:用于捕獲傳感器數(shù)據(jù)的程序代碼；用于確定是否有包括所述傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化的觸發(fā)事件的程序代碼；用于在出現(xiàn)所述觸發(fā)事件時(shí)將所述傳感器數(shù)據(jù)傳送給外部處理器的程序代碼；以及用于從所述外部處理器接收與所述傳感器數(shù)據(jù)有關(guān)的信息的程序代碼。47.如權(quán)利要求46所述的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述傳感器數(shù)據(jù)是捕捉到的對象的圖像，并且與所述傳感器數(shù)據(jù)有關(guān)的信息包括所述對象的參考圖像，所述非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)進(jìn)一步包括:用于獲得相對于所述對象的姿態(tài)的程序代碼；以及用于使用所述姿態(tài)和所述對象的所述參考圖像來跟蹤所述對象的程序代碼。48.如權(quán)利要求46所述的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述傳感器數(shù)據(jù)是捕捉到的對象的圖像，并且其中所述用于確定是否有觸發(fā)事件的程序代碼包括用于確定在所捕捉到的圖像中是否有相對于先前的捕捉到的圖像的場景變化的程序代碼。全文摘要一種使用分布式處理來高效地處理包括圖像數(shù)據(jù)等傳感器數(shù)據(jù)的移動平臺，在該分布式處理中，對等待時(shí)間敏感的操作是在該移動平臺上執(zhí)行的，而對等待時(shí)間不敏感但操作密集的操作是在遠(yuǎn)程服務(wù)器上執(zhí)行的。該移動平臺捕獲諸如圖像數(shù)據(jù)之類的傳感器數(shù)據(jù)，并確定是否有將該傳感器數(shù)據(jù)傳送至該服務(wù)器的觸發(fā)事件。該觸發(fā)事件可以是該傳感器數(shù)據(jù)相對于先前捕獲到的傳感器數(shù)據(jù)的變化，例如圖像中的場景變化。當(dāng)出現(xiàn)變化時(shí)，傳感器數(shù)據(jù)可被傳送給該服務(wù)器以進(jìn)行處理。該服務(wù)器處理此傳感器數(shù)據(jù)，并返回與此傳感器數(shù)據(jù)有關(guān)的信息，諸如對圖像中的對象的標(biāo)識或參考圖像或模型。該移動平臺可隨后使用所標(biāo)識出的對象或參考圖像或模型來執(zhí)行基于參考的跟蹤。文檔編號G06T7/00GK103119627SQ201180045056公開日2013年5月22日申請日期2011年9月19日優(yōu)先權(quán)日2010年9月20日發(fā)明者A·斯瓦彌納杉,P·沙爾馬,B·江,M·R·查理,S·D·斯賓德拉,P·K·巴赫帝,V·納拉亞南申請人:高通股份有限公司