專利名稱：自然交互的交互真實(shí)性增強(qiáng)的制作方法
自然交互的交互真實(shí)性增強(qiáng)相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求于2010年7月20日提交的美國(guó)臨時(shí)申請(qǐng)第61/365788號(hào)的權(quán)益，該美國(guó)臨時(shí)申請(qǐng)據(jù)此以引用方式并入。
背景技術(shù)：
I.發(fā)明領(lǐng)域本發(fā)明大體上涉及自然交互系統(tǒng)，特別地涉及自適應(yīng)真實(shí)性增強(qiáng)和三維輸入接 □。2.相關(guān)技術(shù)的描述自然的用戶界面在娛樂界和計(jì)算機(jī)產(chǎn)業(yè)中蓄勢(shì)待發(fā)，手勢(shì)控制正在補(bǔ)充和替代更傳統(tǒng)和不太自然的界面，如鍵盤、鼠標(biāo)、游戲控制器和遠(yuǎn)程控制。然而，用戶交互仍然繼續(xù)大量涉及電腦顯示器，從而限制了這類界面使用的適用性和易用性。有些手勢(shì)控制依賴光學(xué)三維映射。各種方法在光學(xué)三維映射技術(shù)中很著名，例如，通過處理對(duì)象的光學(xué)圖像生成對(duì)象表面的三維輪廓。這種輪廓也被稱為深度圖或深度圖像，三維映射也稱被稱為深度映射。有些方法是基于將一個(gè)激光散斑圖投影到對(duì)象上，然后再分析對(duì)象上的散斑圖的圖像。例如，PCT國(guó)際公布文件WO 2007/043036，其內(nèi)容在此以引入方式并入，其描述了用于對(duì)象重建的系統(tǒng)和方法，其中，相干光源和隨機(jī)散斑圖的發(fā)生器在對(duì)象上投影相干的隨機(jī)散斑圖。成像單元檢測(cè)照明區(qū)的光反應(yīng)，并生成圖像數(shù)據(jù)。對(duì)象圖像中的散斑圖相對(duì)于與圖樣的參照?qǐng)D像的移動(dòng)被用于對(duì)象的3-D地圖的實(shí)時(shí)重建。其他使用散斑圖進(jìn)行3-D映射的方法，在例如PCT國(guó)際公布文件WO 2007/105205的文件中有詳細(xì)描述，其公開內(nèi)容在此以引入方式并入。

發(fā)明內(nèi)容
在某些實(shí)施例中，本發(fā)明旨在提供一種改進(jìn)的內(nèi)容投影設(shè)備，該設(shè)備能夠察覺到其視野內(nèi)的對(duì)象，辨別出該對(duì)象適合于在其上投影內(nèi)容。通過控制投影內(nèi)容的比例、失真和焦點(diǎn)以及改變投影內(nèi)容本身，投影設(shè)備可適應(yīng)對(duì)象的幾何形狀和特性。此外或可選地，投影設(shè)備可根據(jù)觀看者和投影內(nèi)容的關(guān)系調(diào)整投影內(nèi)容，例如，其注視向量、到投影內(nèi)容表面的距離，以及其他類似的參數(shù)。用于分析投影的幾何形狀的2D和3D輸入設(shè)備也可用于與投影內(nèi)容進(jìn)行交互。根據(jù)本發(fā)明公開的實(shí)施例，提供了用于投影內(nèi)容的方法和裝置，例如，輸入設(shè)備接口，使用三維輸入設(shè)備作為確定用作該內(nèi)容投影的基底的最佳對(duì)象的手段。根據(jù)本發(fā)明的實(shí)施例，提供一種數(shù)據(jù)處理裝置，包括用于獲取場(chǎng)景的傳感元件，包括二維攝像機(jī)和三維攝像機(jī)，與三維攝像機(jī)和二維攝像機(jī)相連的處理器，以及該處理器被編程以使用該三維攝像機(jī)的輸出生成場(chǎng)景的深度圖，以及將深度圖與通過由二維攝像機(jī)捕獲的二維圖像相協(xié)調(diào)，從而識(shí)別場(chǎng)景中的滿足在其上投影圖像的預(yù)定標(biāo)準(zhǔn)的三維對(duì)象，以及內(nèi)容投影儀，其用于響應(yīng)于處理器的指示在三維對(duì)象上建立投影圖像。根據(jù)該裝置的一方面，協(xié)調(diào)深度圖包括識(shí)別三維對(duì)象關(guān)于參考坐標(biāo)系的具有6個(gè)自由度的位置，其中所述內(nèi)容投影儀可操作以用于補(bǔ)償三維對(duì)象的比例、俯仰、橫擺和角位移。根據(jù)裝置的另一方面，協(xié)調(diào)深度圖包括參考三維對(duì)象定義的數(shù)據(jù)庫(kù)和將三維對(duì)象與數(shù)據(jù)庫(kù)中的定義比較。設(shè)備的一個(gè)方面包括可佩戴的監(jiān)控器，其中所述內(nèi)容投影儀可操作以在可佩戴的監(jiān)控器或虛擬空間中建立投影圖像作為虛擬圖像，如虛擬映像。傳感元件、處理器和內(nèi)容投影儀可并入可佩戴的監(jiān)控器中。根據(jù)裝置的另一方面，內(nèi)容投影儀可操作以在虛擬表面上建立投影圖像，供用戶交互使用。
根據(jù)裝置的另一方面，處理器可操作以響應(yīng)于手勢(shì)來控制計(jì)算機(jī)應(yīng)用，其中投影圖像包括用于控制計(jì)算機(jī)應(yīng)用的用戶界面。根據(jù)裝置的一方面，投影圖像包括文字內(nèi)容。本發(fā)明的其他實(shí)施例提供了執(zhí)行上述裝置的功能的方法。附圖簡(jiǎn)述為更好地理解本發(fā)明，參考本發(fā)明的詳細(xì)描述，其通過舉例的方式，可結(jié)合附圖閱讀詳細(xì)描述，其中相同的元件被給出相同的參考數(shù)字，其中圖I為交互式三維視頻顯示系統(tǒng)的示意性立體圖，其根據(jù)本發(fā)明公開的實(shí)施例構(gòu)建和操作；圖2為圖I所示系統(tǒng)的方框圖，其根據(jù)本發(fā)明的實(shí)施例構(gòu)建和操作；圖3為方框圖，其示出了示例的處理設(shè)備的一部分的功能元件，其根據(jù)本發(fā)明的實(shí)施例構(gòu)建和操作；圖4為根據(jù)本發(fā)明的實(shí)施例，識(shí)別場(chǎng)景中的三維對(duì)象的示例性流程圖；圖5示出了根據(jù)本發(fā)明的實(shí)施例的投影到虛擬表面上的移動(dòng)設(shè)備的屏幕；以及圖6示出了根據(jù)本發(fā)明的實(shí)施例的交互式三維視頻顯示系統(tǒng)，該系統(tǒng)包括可佩戴的監(jiān)控器。發(fā)明的詳細(xì)描述為全面理解本發(fā)明的各種原理，在以下描述中列出了許多具體細(xì)節(jié)。然而，對(duì)本領(lǐng)域技術(shù)人員顯而易見的是，并非所有細(xì)節(jié)對(duì)于實(shí)踐本發(fā)明都是必須的。在本實(shí)例中，公知的電路、控制邏輯以及傳統(tǒng)算法和流程的計(jì)算機(jī)程序指令的細(xì)節(jié)不會(huì)列出，以免不必要地混淆基本概念。此處使用的術(shù)語“內(nèi)容投影”可包括在可佩戴的透明監(jiān)控器例如透視眼鏡上建立內(nèi)容的圖像，因此，除了戴眼鏡的人之外，其他人是看不到的；或?qū)?nèi)容的圖像建立到對(duì)與該對(duì)象交互的任何人可見的物理對(duì)象上。該術(shù)語不限于上述示例。其可包括通過多種手段形成圖像，包括，視網(wǎng)膜投影、在透視眼鏡上投影、將圖像投影到虛擬空間中，例如，作為全息圖，以及用于提高圖像的真實(shí)性的其他技術(shù)。系統(tǒng)構(gòu)架現(xiàn)在轉(zhuǎn)到附圖，首先參考

圖1，圖I為交互式三維視頻顯示系統(tǒng)10的示意性立體圖，此圖根據(jù)本發(fā)明公開的實(shí)施例建立和操作。系統(tǒng)10包含三維(3-D)攝像機(jī)12，其可包括紅外(IR)投影儀和相應(yīng)的投影儀的帶寬可用的CMOS/CXD攝像機(jī)。3-D攝像機(jī)12捕獲3-D信息，其可包括用戶身體(或至少身體的某些部分)，用戶使用或操作的用于控制計(jì)算機(jī)應(yīng)用的真實(shí)的實(shí)體，以及3-D攝像機(jī)12的視野內(nèi)的其他對(duì)象。此類3-D成像組件的細(xì)節(jié)在例如PCT國(guó)際公布文件WO 2010/004542號(hào)和美國(guó)專利申請(qǐng)公布文件第2009/0183125號(hào)中描述，這兩個(gè)文件在此以引入方式并入。3-D攝像機(jī)12通常在近紅外光譜中操作。然而，本發(fā)明的原理同樣也適用于其變型體，該變型體使3-D攝像機(jī)12能夠獲取在近紅外線光譜之外的電磁能量，例如，遠(yuǎn)紅外線或紫外線能量。系統(tǒng)10也可包括二維(2-D)攝像機(jī)14，其在可見光譜操作，且能夠獲取具有足夠的分辨率的場(chǎng)景，其允許自動(dòng)解釋 場(chǎng)景中的文字信息，并通常生成紅綠藍(lán)(RGB)輸出信號(hào)。在處理器如計(jì)算機(jī)18的控制下，3-D攝像機(jī)12和2_D攝像機(jī)14可與內(nèi)容投影儀16協(xié)作。系統(tǒng)10集3-D攝像機(jī)12和2_D攝像機(jī)14為一體，適合該系統(tǒng)10的設(shè)備為PrimeSensor 參考設(shè)計(jì)，該設(shè)計(jì)可從PrimeSense公司購(gòu)得，該公司位于美國(guó)北卡羅來納州Cambay Ct 104號(hào)，郵政編碼27513。內(nèi)容投影儀16可為picop 顯示引擎，其可從MicroVision有限公司購(gòu)得，該公司位于美國(guó)華盛頓州雷德蒙東北185大街6222號(hào)，郵政編碼98052。在一些實(shí)施例中，3-D攝像機(jī)12和2-D攝像機(jī)14可與內(nèi)容投影儀16集成，作為PrimeSensor參考設(shè)計(jì)的修改型式。在一個(gè)實(shí)施例中，3-D攝像機(jī)12為一個(gè)集成模塊，其包括紅外投影儀，此投影儀將現(xiàn)場(chǎng)圖投影到對(duì)象上并獲取投影圖的圖像?？蛇x地，紅外投影儀可嵌入單獨(dú)的模塊中(未示出)，其可根據(jù)美國(guó)臨時(shí)申請(qǐng)第61/372，729號(hào)(2010年8月11日提交)和61/425，788 (2010年12月22日提交)的內(nèi)容實(shí)現(xiàn)，這些臨時(shí)申請(qǐng)以引用方式并入。本臨時(shí)申請(qǐng)也教導(dǎo)用戶如何重新使用掃描硬件將深度映射所需的紅外線和可見內(nèi)容投影。處理器可使用共同轉(zhuǎn)讓的待決的美國(guó)專利申請(qǐng)第12/854，187號(hào)文件中的教導(dǎo)分析場(chǎng)景，該申請(qǐng)題為“Analysis of Three-Dimensional Scenes”,在此以引用方式并入。計(jì)算機(jī)18可包括通用計(jì)算機(jī)處理器，其使用軟件編程以執(zhí)行下述功能。例如，軟件可以通過網(wǎng)絡(luò)以電子形式下載到處理器，或可選地通過非暫時(shí)的有形存儲(chǔ)介質(zhì)提供，如光、磁或電子存儲(chǔ)介質(zhì)。可選地或此外，一些或所有的圖像功能可在專用硬件中實(shí)現(xiàn)，例如，自定義或半自定義的集成電路或可編程的數(shù)字信號(hào)處理器(DSP)。如圖I所示，雖然通過舉例的方式，計(jì)算機(jī)18被示出作為與3-D攝像機(jī)12分離的單元，但部分或所有的計(jì)算機(jī)處理功能可通過與3-D攝像機(jī)12和2-D攝像機(jī)14關(guān)聯(lián)的適合的專用電路或在3-D攝像機(jī)12和2-D攝像機(jī)14的外罩內(nèi)的專用電路執(zhí)行。如從以下討論中所見的，系統(tǒng)10的元件可被小型化和并入可佩戴的監(jiān)控器中，以使用戶能夠到處移動(dòng)和近實(shí)時(shí)地與場(chǎng)景中更自由地交互。在任何情況下，3-D攝像機(jī)12和2-D攝像機(jī)14用作傳感器部件，其觀察場(chǎng)景(用戶及其周圍環(huán)境)。計(jì)算機(jī)18用作感知部件，其綜合場(chǎng)景及這些環(huán)境中的用戶交互，所述用戶交互通過內(nèi)容投影儀16提供的信息進(jìn)行調(diào)節(jié)和激發(fā)。計(jì)算機(jī)18可執(zhí)行諸如Nite 中間件等程序，Nite 中間件可從PrimeSense購(gòu)得，以配合PrimeSensor參考設(shè)計(jì)。例如,PrimeSensor參考設(shè)計(jì)為計(jì)算機(jī)18中的應(yīng)用層提供了控制部件，通過控制部件提供一個(gè)應(yīng)用程序接口(API)，該接口將用戶的手勢(shì)或姿勢(shì)轉(zhuǎn)換為已知的確定的應(yīng)用輸入。中間件在由系統(tǒng)10的組件生成的數(shù)據(jù)上執(zhí)行圖像處理操作，所述組件包括具有紅外線投影儀的3-D攝像機(jī)12，以及2-D攝像機(jī)14，從而重建用戶20和獲取的場(chǎng)景的三維圖。術(shù)語“三維圖”指的是一組表示給定的對(duì)象表面的三維坐標(biāo)，三維圖的一種形式是指深度圖像或深度圖，在深度圖像或深度圖中，每個(gè)像素具有一個(gè)表明從攝像機(jī)到場(chǎng)景中的相應(yīng)點(diǎn)的距離的值，而不是二維圖像中的點(diǎn)的亮度和顏色。基于圖案中斑點(diǎn)的橫向位移，然后計(jì)算機(jī)18通過三角測(cè)量計(jì)算出控制實(shí)體表面的點(diǎn)的三維坐標(biāo)。在典型的應(yīng)用程序中，由3-D攝像機(jī)12捕獲的信息由計(jì)算機(jī)18處理，計(jì)算機(jī)18驅(qū)動(dòng)內(nèi)容投影儀16。計(jì)算機(jī)18可根據(jù)被設(shè)計(jì)用于為用戶創(chuàng)建自然的或人為的體驗(yàn)的程序進(jìn)行操作。如圖I所示，系統(tǒng)10識(shí)別出了場(chǎng)景中的書22，將售價(jià)24投影到書22上“售價(jià)$75. 99”。用戶20通過手勢(shì)26對(duì)售價(jià)做出回應(yīng)，該手勢(shì)作為計(jì)算機(jī)18的輸入，計(jì)算設(shè)備的手動(dòng)控制在例如共同轉(zhuǎn)讓的美國(guó)專利申請(qǐng)公布文件第2009/0183125號(hào)中有述，該文件在此以引用方式并入，其也教導(dǎo)了將場(chǎng)景投影到虛擬的圖像空間中的方法。手動(dòng)控制包括在Nite 中間件的功能之中，其可用來轉(zhuǎn)譯用戶20的手勢(shì)，例如，對(duì)三維攝像機(jī)12和二維攝像機(jī)14獲取的售價(jià)24作出回應(yīng)。 此外，隨著用戶20與書22和售價(jià)24的互動(dòng)，例如，通過用戶20握住書22，在計(jì)算機(jī)18中執(zhí)行的注視識(shí)別模塊可發(fā)現(xiàn)用戶20正在看書22。經(jīng)過處理獲取的二維圖像，書的標(biāo)題可在系統(tǒng)10中被識(shí)別和轉(zhuǎn)譯。然后，計(jì)算最優(yōu)的投影參數(shù)，書的概覽被投影到書22上。用戶20可以滾動(dòng)并與投影的書的概覽互動(dòng)，如同他在顯示屏上觀看一樣。通過這種方式，系統(tǒng)10和用戶20協(xié)作，以特定的方式將書22轉(zhuǎn)換成方便用戶20使用的虛擬信息屏幕。系統(tǒng)10可選地包括顯示屏幕28以及傳統(tǒng)的輸入設(shè)備，如鍵盤30和鼠標(biāo)32，該系統(tǒng)可為使用管理如系統(tǒng)配置提供用戶界面，以及為用戶20控制系統(tǒng)10的操作提供用戶界面?，F(xiàn)參考圖2，其示出了根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)10 (圖I)的方框圖。場(chǎng)景34由兩個(gè)攝像機(jī)即2-D攝像機(jī)36和3-D攝像機(jī)38同時(shí)獲取，其可為獨(dú)立單元，或集成為組合單元?？蛇x地，該場(chǎng)景可僅由3-D攝像機(jī)38或僅由2-D攝像機(jī)36獲取，圖像分析在任一情況下獲取的圖像上進(jìn)行。如上文提到的，這些攝像機(jī)可實(shí)現(xiàn)為PrimeSensor參考設(shè)計(jì)。2-D攝像機(jī)36和3-D攝像機(jī)38輸出的數(shù)據(jù)被輸入到處理器40，處理器40執(zhí)行中間件，例如上述的Nite中間件。中間件配準(zhǔn)兩個(gè)攝像機(jī)獲取的場(chǎng)景。中間件包括對(duì)象分析模塊42，該模塊識(shí)別場(chǎng)景34中的對(duì)象，并確定該對(duì)象是否適于在其上投影內(nèi)容。投影儀控制模塊44，其為中間件的另一個(gè)組件，對(duì)場(chǎng)景34中的對(duì)象例如對(duì)象46的坐標(biāo)和特性進(jìn)行轉(zhuǎn)換，并為投影準(zhǔn)備圖像。模塊44為投影儀48發(fā)送合適的指令，以便能將通常包含信息內(nèi)容的圖像投影到對(duì)象46上。指令包含對(duì)由于對(duì)象46的比例、姿勢(shì)和配置造成的失真的校正?？蛇x地或此外，投影機(jī)48可包括補(bǔ)償這類失真的其自身所有的機(jī)構(gòu)。計(jì)算投影參數(shù)的時(shí)候，可能考慮用戶的位置和姿態(tài)。例如，如上所述，朝向投影內(nèi)容的注視向量可因用戶在場(chǎng)景內(nèi)的移動(dòng)而變化。可相應(yīng)地調(diào)節(jié)投影參數(shù)以彌補(bǔ)這類變化，例如，可通過調(diào)整比例、視差和相似的失真，以為用戶模擬真實(shí)的體驗(yàn)。此類調(diào)整的一個(gè)示例為對(duì)下列現(xiàn)象進(jìn)行校正，當(dāng)從不同的方向即對(duì)象的不同側(cè)面看去，三維對(duì)象會(huì)顯得不同，或?qū)ο蟮牟煌亩S投影對(duì)觀察者是顯然的。投影內(nèi)容可根據(jù)注視向量和用戶相對(duì)于虛擬對(duì)象的位置進(jìn)行調(diào)整，從而創(chuàng)造對(duì)象的真實(shí)體驗(yàn)，就好像在觀察者面前一樣。注視方向可由本領(lǐng)域中熟知的方法確定。例如，如果設(shè)備嵌入在透視眼鏡中，頭部位置的定位可通過世界相對(duì)于該設(shè)備的嚴(yán)格配準(zhǔn)實(shí)現(xiàn)。視線也可被測(cè)量，例如，使用眼部跟蹤產(chǎn)品，其可從Tobii技術(shù)有限公司購(gòu)得，美國(guó)維吉尼亞州福爾斯徹奇市200套房華盛頓街510N，郵政編碼22046?？墒褂糜蓚鞲衅鳙@取的3D信息將視線轉(zhuǎn)換成對(duì)象坐標(biāo)。對(duì)象意識(shí)用于識(shí)別和跟蹤身體部位的技術(shù)在共同轉(zhuǎn)讓的美國(guó)專利申請(qǐng)第2011/0052006號(hào)文件中有述，標(biāo)題為“Extraction of Skeletons from 3-DMaps”,該文件在此以引用方式并入。實(shí)質(zhì)上，該技術(shù)通過接收包含人類形體的場(chǎng)景的深度圖的時(shí)間序列而實(shí)現(xiàn)。數(shù)字處理器處理至少一張深度圖，以找到指定的身體部分的位置，例如，基于位置的人類形體的頭部或手部的估算尺寸。處理器使用估算的尺寸在系列上對(duì)人類形體的運(yùn)動(dòng)進(jìn)行跟蹤。上文提到的Nite中間件中使用了這些技術(shù)，通過聯(lián)系本領(lǐng)域技術(shù)人員已知的其他識(shí)別程序，可加強(qiáng)這些技術(shù)。例如，如果要識(shí)別人體的頭部，處理器可以將三維形體先分割開來并分析，以確定右臂和左臂，然后查找兩臂之間的空間以找到頭部。此外或可選地，識(shí)別技術(shù)可以使用。深度圖可與頭部或其他對(duì)象的二維圖像配準(zhǔn)。處理器可應(yīng)用圖案或臉部識(shí)別技術(shù)來識(shí)別二維圖像中的人體的臉部。二維圖像中的臉部位置與三位形體中的頭部位置相關(guān)聯(lián)。使用相同的技術(shù)可對(duì)完整的場(chǎng)景進(jìn)行分析和分割，以及已識(shí)別的已知種類的對(duì)象可作為在其上投影圖像的備選對(duì)象。對(duì)象處理器先參考圖3，其為方框圖，該圖示意性地示出了示例的處理設(shè)備50的一部分的功能元件，其為處理器40 (圖2)的一個(gè)部件，其根據(jù)本發(fā)明的實(shí)施例構(gòu)建和操作。處理設(shè)備50可被制造為在單個(gè)半導(dǎo)體基底上的專用集成電路，其USB端口 52連接到可選的主機(jī)54上。設(shè)備50可還包括其他接口，以及包括對(duì)象分析儀56。對(duì)象分析儀56連接到數(shù)據(jù)庫(kù)58，數(shù)據(jù)庫(kù)58擁有包含待識(shí)別的對(duì)象的描述的庫(kù)，其由對(duì)象分析儀56進(jìn)行評(píng)估。應(yīng)理解到，處理設(shè)備50的可選配置可由本領(lǐng)域技術(shù)人員構(gòu)建。如上所述，處理設(shè)備50的操作可由內(nèi)置于指令存儲(chǔ)器60和數(shù)據(jù)存儲(chǔ)器62內(nèi)的中間件控制。深度處理器64處理由3-D攝像機(jī)12 (圖I)捕獲的信息，從而生成深度圖。深度處理器64使用存儲(chǔ)器66中的專用存儲(chǔ)空間。該存儲(chǔ)器也可由控制器68訪問，而通常不由主機(jī)54控制，見以下詳述。相反，深度處理器64可由主機(jī)54通過應(yīng)用程序接口(API)進(jìn)行編程。深度處理器64通過深度CMOS接口 70接收來自3_D攝像機(jī)12 (圖I)的紅外輸入數(shù)據(jù)。深度處理器64處理視頻數(shù)據(jù)，以生成連續(xù)的深度圖，如深度數(shù)據(jù)幀。深度處理器64將數(shù)據(jù)加載到USB FIFO單元74中的深度先進(jìn)先出(FIFO)存儲(chǔ)器72中。與深度輸入和處理操作并行地，彩色處理塊76通過彩色CMOS傳感器接口 78接收來自2-D攝像機(jī)14 (圖I)的彩色視頻輸入數(shù)據(jù)。處理塊76將原始輸入數(shù)據(jù)轉(zhuǎn)換成RGB視頻數(shù)據(jù)的輸出幀，并將這些數(shù)據(jù)加載到單元74中的RGB FIFO存儲(chǔ)器8074?？蛇x地，處理塊76可以其他格式輸出視頻數(shù)據(jù)，例如，YUV或拜耳馬賽克格式。單元74作為各種數(shù)據(jù)提供者和USB控制器82之間的緩沖區(qū)。單元74根據(jù)不同的類(例如，USB視頻類和USB音頻類)將各種數(shù)據(jù)類型打包和格式化，也起著阻止因USB帶寬故障而造成數(shù)據(jù)丟失的作用。在將數(shù)據(jù)轉(zhuǎn)移到USB控制器之前，單元74根據(jù)USB協(xié)議和格式將數(shù)據(jù)布置到USB數(shù)據(jù)包內(nèi)。高帶寬總線，例如先進(jìn)的高性能總線(AHB)矩陣84，用于在處理設(shè)備50的組件之間攜帶數(shù)據(jù)，特別用于將數(shù)據(jù)從單元74傳送到USB控制器82，然后再傳送給主機(jī)54。(AHB為英國(guó)劍橋ARM公司頒布的總線協(xié)議。)當(dāng)單元74中有準(zhǔn)備好的數(shù)據(jù)包，并且USB控制器82的內(nèi)存中有可用的空間時(shí)，USB控制器82使用直接存儲(chǔ)器訪問(DMA)通過AHB從模塊88和矩陣84從存儲(chǔ)器72、存儲(chǔ)器80以及音頻FIFO存儲(chǔ)器86中讀取數(shù)據(jù)。USB控制器82多路傳輸顏色數(shù)據(jù)、深度數(shù)據(jù)和音頻數(shù)據(jù)到單個(gè)數(shù)據(jù)流中，用于經(jīng)由USB端口 52輸出至主機(jī)54。為了 USB通信的目的，處理設(shè)備50包括一個(gè)USB物理層接口，PHY90，該接口可由USB控制器82操作，以通過合適的USB電纜與主機(jī)54的USB端口實(shí)現(xiàn)通信。USB PHY的時(shí) 序由晶體振蕩器92和鎖相環(huán)94(PLL)控制，如本技術(shù)領(lǐng)域熟知的?？蛇x地，USB控制器86可以通過USB 2. O收發(fā)器宏單元接口(UTMI)和外部PHY96可選地與主機(jī)通信。各種外部設(shè)備可與處理設(shè)備50相連，與主機(jī)54協(xié)作，這些外部設(shè)備包括投影儀控制模塊98，投影儀控制模塊98接收來自處理設(shè)備50和主機(jī)54的指令，以將所需圖像投影到指定的空間坐標(biāo)。控制器68負(fù)責(zé)管理處理設(shè)備50的功能，包括啟動(dòng)、自檢、配置、電源以及接口管理和參數(shù)調(diào)整?？刂破?8可包括數(shù)字信號(hào)處理器(DSP)內(nèi)核100和AHB控制器102，用來控制矩陣84中的數(shù)據(jù)移動(dòng)。通常，控制器68從引導(dǎo)(boot)只讀存儲(chǔ)器104處啟動(dòng)，然后將來自閃存(未示出)的程序代碼通過閃存接口 106加載到指令隨機(jī)存取存儲(chǔ)器60和數(shù)據(jù)存儲(chǔ)器62中。此外，控制器68具有測(cè)試接口 108，如聯(lián)合測(cè)試行動(dòng)小組(JTAG)接口，用于通過外部計(jì)算機(jī)110進(jìn)行調(diào)試的目的?？刂破?8將配置數(shù)據(jù)和參數(shù)通過寄存器配置接口 112如先進(jìn)外圍總線(APB)分配到處理設(shè)備50的其他部件中，通過矩陣84和APB橋114將控制器連接到寄存器配置接Π 112。處理設(shè)備50的更多細(xì)節(jié)在上述PCT國(guó)際公布文件W02010/004542號(hào)中公開。對(duì)象分析繼續(xù)參考圖3，對(duì)象分析儀與處理塊76和單元74協(xié)作來評(píng)估深度處理器64處理的數(shù)據(jù)，以評(píng)估3-D攝像機(jī)12 (圖I)捕獲的場(chǎng)景。由對(duì)象分析儀56執(zhí)行的算法可由主機(jī)54中的應(yīng)用程序命令。例如，對(duì)象分析儀56可被指示為搜索并報(bào)告數(shù)據(jù)庫(kù)58中指定的場(chǎng)景的一個(gè)或多個(gè)已知對(duì)象。主機(jī)54可因此指示內(nèi)容投影儀16 (圖I)將圖像投影到選定的對(duì)象上。此外或可選地，對(duì)象分析儀56可被指示為識(shí)別和報(bào)告滿足預(yù)定標(biāo)準(zhǔn)的對(duì)象，而無需通過數(shù)據(jù)庫(kù)58。由對(duì)象分析儀56發(fā)送的與識(shí)別的對(duì)象相關(guān)的數(shù)據(jù)通常包括對(duì)象的大小和位置及其方向，優(yōu)選具有六個(gè)自由度，包括相對(duì)于參考坐標(biāo)系的比例、螺距、橫擺和角位移。該信息允許投影儀通過適當(dāng)?shù)目s放和扭曲投影圖像來彌補(bǔ)失真，以將信息投影到已選對(duì)象上，從而使觀察者看到大體上零失真的圖像。投影圖像的配置在美國(guó)專利申請(qǐng)公布文件第20110081072號(hào)文件中已有所描述，標(biāo)題為“Image Processing Device, ImageProcessingMethod, and Program”。為了避免復(fù)雜的光學(xué)布置的花費(fèi)，圖像可在軟件中進(jìn)行配置，從而避免復(fù)雜的光學(xué)布置的成本及能夠更容易地實(shí)現(xiàn)不受離軸圖像失真的影響。可選地，如上所述，商用項(xiàng)目可以提供自己的失真控制補(bǔ)償?，F(xiàn)參考圖4，圖 4為根據(jù)本發(fā)明實(shí)施例的識(shí)別場(chǎng)景中的三維對(duì)象的方法的示例性流程圖。為便于演示，該方法結(jié)合在圖I和圖3中示出的裝置，該方法適用于不同配置的裝置。為了便于演示，該過程的步驟在圖4中以特定的線性序列示出。然而，顯而易見的是，其中許多步驟可以同時(shí)地、異步地或以不同順序執(zhí)行。本領(lǐng)域技術(shù)人員也可理解，過程可替代地表示為許多相互關(guān)聯(lián)的狀態(tài)或事件，例如，以狀態(tài)圖的形式。此外，在實(shí)施該過程時(shí)，并非所有示出的過程步驟均要求執(zhí)行。另外，許多細(xì)節(jié)可根據(jù)主機(jī)54的命令和應(yīng)用程序的要求而變化。假設(shè)觀察者在書店里。在初始步驟116，在主機(jī)54中執(zhí)行的應(yīng)用程序，將識(shí)別一本顯示文本信息的翻開的書。這是在數(shù)據(jù)庫(kù)58中具有已知定義的三維對(duì)象，該三維對(duì)象包括至少一個(gè)一般的淺色平面。3-D攝像機(jī)12啟動(dòng)并且在處理設(shè)備50中捕獲三維場(chǎng)景。對(duì)象分析儀56評(píng)估場(chǎng)景，并在三維空間中定位和識(shí)別對(duì)象。在判斷步驟118，確定是否在場(chǎng)景中定位了平面。現(xiàn)在控制進(jìn)入到判斷步驟120，該階段確定該平面是否符合書的標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)可涉及對(duì)應(yīng)于合上的或打開的書本的內(nèi)部特征、大小、與某個(gè)其他對(duì)象的接近程度以及幾何特性。如果判斷步驟120確定為是，則控制流程進(jìn)入最后的步驟122。對(duì)象分析儀56將書的坐標(biāo)和方向報(bào)告給控制器68，控制器指示投影儀控制模塊98與主機(jī)54協(xié)作，以顯示在識(shí)別的書上的確定應(yīng)用的圖像(MENU-I)。例如，圖像可包括米購(gòu)項(xiàng)目或獲取書的其他 目息例如書的預(yù)覽、和普及率的選項(xiàng)。事實(shí)上，如果3-D攝像機(jī)12成功地捕獲書名，附加信息可包括在投影圖像中。假設(shè)主機(jī)54可以訪問本地或分配的數(shù)據(jù)庫(kù)，或能夠通過互聯(lián)網(wǎng)自動(dòng)查詢。如果判斷步驟120確定為否，則控制流程進(jìn)入判斷步驟124。當(dāng)場(chǎng)景中出現(xiàn)多個(gè)對(duì)象用于處理時(shí)，必須作出判斷。如果判斷步驟124確定為是，則控制流程返回到判斷步驟118。如果判斷步驟124確定為否，則本方法的第二種狀態(tài)將開始運(yùn)作。假設(shè)應(yīng)用程序進(jìn)入第二個(gè)選項(xiàng)，其中如果圖像對(duì)3-D攝像機(jī)12為可見的，圖像將投影到用戶的手上。控制流程進(jìn)入判斷步驟126，該階段確定人體部位是否出現(xiàn)在場(chǎng)景中。使用上述美國(guó)專利申請(qǐng)公布文件第2011/0052006號(hào)的描述可以完成該步驟。如果判斷步驟126確定為是，則控制流程進(jìn)入判斷步驟128，該階段確定人體部位是否為手。如果判斷步驟128確定為是，那么控制流程進(jìn)入最后的步驟130，該步驟類似于步驟122。然而，不同的菜單(MENU-2)被投影到手上，例如，其可包括用于控制計(jì)算機(jī)應(yīng)用的控制選項(xiàng)。在最后的步驟122和130中，配置圖像，從而當(dāng)與內(nèi)容進(jìn)行交互時(shí)，為用戶部分創(chuàng)建自然的感覺。如果判斷步驟128確定為否，則控制流程進(jìn)入判斷步驟132。如果場(chǎng)景中出現(xiàn)多個(gè)對(duì)象用于處理時(shí)，則作出判斷。如果判斷步驟132確定為是，則控制流程返回到判斷步驟126。否則，控制流程進(jìn)行到最后的步驟134，在該步驟中，顯示屏上呈現(xiàn)傳統(tǒng)的菜單顯示。最后的步驟134表示未能識(shí)別出適合在其上投影圖像的外部對(duì)象。將理解，圖4所示的方法可根據(jù)需要被改變和詳細(xì)制定以符合管理應(yīng)用程序的規(guī)范?？蓪?duì)各種對(duì)象和圖像的識(shí)別與優(yōu)化進(jìn)行編程，以適應(yīng)特定場(chǎng)景的配置和程序本身的需要?？蛇x實(shí)施例I本實(shí)施例類似于第一實(shí)施例，除了供投影圖像和用戶使用的簡(jiǎn)便的虛擬表面之夕卜?，F(xiàn)在參考圖5，其圖示了根據(jù)本發(fā)明的實(shí)施例的一般的移動(dòng)信息設(shè)備138的屏幕136，所述移動(dòng)信息設(shè)備138例如移動(dòng)電話，如被投影到虛擬表面上的“智能手機(jī)”。此類設(shè)備很小，不能方便地進(jìn)行交互和使用介質(zhì)。屏幕136集成了微型投影儀140和傳感裝置142，其具有與圖I的實(shí)施方式中的3-D攝像機(jī)12和內(nèi)容投影儀16相同的功能。例如，適合此用·途的投影儀可從Microvision購(gòu)得。在本實(shí)施例中，投影儀140將圖像投影到虛擬的投影表面144上,其相對(duì)于屏幕136被放大。在一種操作模式中，投影儀140可創(chuàng)建顯示在屏幕136上的信息的放大形式。在另一種操作模式中，傳感裝置142捕獲外部場(chǎng)景。移動(dòng)信息設(shè)備138經(jīng)配置以執(zhí)行參考圖4所述的場(chǎng)景分析的方法。在該示例中，打開的書146在外部場(chǎng)景中被識(shí)別出來。在移動(dòng)信息設(shè)備138中執(zhí)行的應(yīng)用程序使投影儀140將書146中的圖像148投影到投影表面144上，并將菜單150疊加到圖像148上。菜單150邀請(qǐng)用戶購(gòu)買售價(jià)為$75. 99的書146或取消顯示?？蛇x實(shí)施例2在第一個(gè)實(shí)施例中，描述了將圖像投影到物理對(duì)象上，例如，書或手上。在本實(shí)施例中，投影儀可被體現(xiàn)為將內(nèi)容投影到可佩戴的監(jiān)控器例如，眼鏡上的裝置。在本實(shí)施例中，在圖4的方法中的最后的步驟122和最后的步驟130被修改。現(xiàn)在參考圖6，其圖示了根據(jù)本發(fā)明的實(shí)施例的具有可佩戴的監(jiān)控器的交互式三維視頻顯示系統(tǒng)。該系統(tǒng)被設(shè)置為將各自的圖像投影到可佩戴的監(jiān)控器上，而不是投影到對(duì)象本身。此類設(shè)備為允許參考圖4所述的方法產(chǎn)生的計(jì)算機(jī)生成的圖像被生成并可選地疊加到真實(shí)場(chǎng)景提供了可能性。在觀看外部場(chǎng)景時(shí)，該設(shè)備可以通過部分反射的鏡子來投影計(jì)算機(jī)生成圖像來操作。此外可選地，該設(shè)備可電子地將計(jì)算機(jī)生成的圖像和真實(shí)場(chǎng)景混合。在圖6的示例中，用戶152使用了可佩戴的監(jiān)控器154，該監(jiān)控器能顯示立體圖像?？膳宕鞯谋O(jiān)控器154設(shè)置有與系統(tǒng)10 (圖I)的元件類似的元件或與該元件接口。類似系統(tǒng)10，可佩戴的監(jiān)控器154用于分析外部場(chǎng)景。在該示例中，其識(shí)別出書146，并生成圖像156，圖像156包括與圖像148 (圖5)相同的信息?？膳宕鞯谋O(jiān)控器154可為獨(dú)立的單元，或可以包含系統(tǒng)10的其他組件。在圖6的實(shí)施例中，可佩戴的監(jiān)控器154包括微型投影儀158和傳感元件160。此外或可選地，可佩戴的監(jiān)控器154可通過無線連接與外部處理器或傳感設(shè)備進(jìn)行通信。用作可佩戴的監(jiān)控器154的合適的可佩戴的頭盔顯示器和透視眼鏡顯不器可從Madison line ofNovero (novero. com)獲得，或從Lumus有限公司(位于以色列雷霍沃特2伯格曼街，郵政編碼76705)購(gòu)得。
雖然圖像156實(shí)際建立在可佩戴的監(jiān)控器154中，但在一些實(shí)施例中，用戶152可能認(rèn)為圖像156被疊加在圖6所示的空間的外部區(qū)域。在該實(shí)施例中的可佩戴的監(jiān)控器154配有定位、頭部跟蹤和眼部跟蹤的子系統(tǒng)。本領(lǐng)域技術(shù)人員應(yīng)理解到，本發(fā)明并不局限于特別示出和上文描述的實(shí)施例。相反，本發(fā)明的方面包括上述各種特征的組合和子組合，以及現(xiàn)有技術(shù)沒有的特征的變化和修改，本領(lǐng)域技術(shù)人員在閱讀上述內(nèi) 容后，這些變化和修改將是顯然的。
權(quán)利要求
1.一種數(shù)據(jù)處理裝置，包括 傳感元件，其用于獲取場(chǎng)景，所述傳感元件包括三維攝像機(jī)； 處理器，其連接到所述三維攝像機(jī)且被編程以使用所述三維攝像機(jī)的輸出產(chǎn)生所述場(chǎng)景的深度圖，以及進(jìn)行場(chǎng)景分析以識(shí)別所述場(chǎng)景中的滿足在其上投影圖像的預(yù)定標(biāo)準(zhǔn)的三維對(duì)象；以及 內(nèi)容投影儀，其用于響應(yīng)于所述處理器的指令來形成圖像。
2.根據(jù)權(quán)利要求I所述的裝置，其中，形成所述圖像包括將所述圖像投影到所述三維 對(duì)象上。
3.根據(jù)權(quán)利要求I所述的裝置，其中，形成所述圖像包括將所述圖像投影到用戶的視網(wǎng)膜上。
4.根據(jù)權(quán)利要求I所述的裝置，其中，形成所述圖像包括將所述圖像投影到透視眼鏡上。
5.根據(jù)權(quán)利要求I所述的裝置，其中，形成所述圖像包括將所述圖像投影到三維虛擬空間。
6.根據(jù)權(quán)利要求I所述的裝置，其中，所述處理器的所述指令響應(yīng)于所述場(chǎng)景分析，以及其中所述處理器與所述內(nèi)容投影儀協(xié)作，用于響應(yīng)于所述場(chǎng)景分析改變至少一個(gè)投影參數(shù)和所述圖像的內(nèi)容。
7.根據(jù)權(quán)利要求I所述的裝置，其中，所述處理器與所述內(nèi)容投影儀協(xié)作，用于響應(yīng)于用戶與所述場(chǎng)景之間的交互來改變所述圖像的特性。
8.根據(jù)權(quán)利要求7所述的裝置，其中，所述交互包括所述用戶朝向所述三維對(duì)象的注視向量的變化。
9.根據(jù)權(quán)利要求7所述的裝置，其中，所述交互包括所述用戶的與所述三維對(duì)象相關(guān)的手勢(shì)。
10.根據(jù)權(quán)利要求7所述的裝置，其中，改變所述圖像的特性包括改變比例和失真補(bǔ)償中的至少一個(gè)。
11.根據(jù)權(quán)利要求I所述的裝置，還包括用于捕獲所述場(chǎng)景的二維圖像的二維攝像機(jī)，其中，所述處理器可操作以用于識(shí)別所述二維圖像中的與所述三維對(duì)象相關(guān)的信息，以及還響應(yīng)于所述識(shí)別信息可操作和用于指示所述內(nèi)容投影儀包括所述圖像中的所述三維對(duì)象的元數(shù)據(jù)。
12.根據(jù)權(quán)利要求I所述的裝置，其中，識(shí)別所述三維對(duì)象包括識(shí)別所述三維對(duì)象相對(duì)于參考坐標(biāo)系的具有6個(gè)自由度的位置，其中，所述內(nèi)容投影儀可操作以補(bǔ)償所述三維對(duì)象的比例、俯仰、橫擺和角位移。
13.根據(jù)權(quán)利要求I所述的裝置，其中，識(shí)別所述三維對(duì)象包括參考三維對(duì)象定義的數(shù)據(jù)庫(kù)以及將所述三維對(duì)象與所述數(shù)據(jù)庫(kù)中的所述定義比較。
14.根據(jù)權(quán)利要求I所述的裝置，還包括可佩戴的監(jiān)控器，其中所述內(nèi)容投影儀可操作以在所述可佩戴的監(jiān)控器中建立所述圖像作為虛擬圖像。
15.根據(jù)權(quán)利要求14所述的裝置，其中，所述傳感元件、所述處理器和所述內(nèi)容投影儀并入到所述可佩戴的監(jiān)控器中。
16.根據(jù)權(quán)利要求14所述的裝置，其中，所述可佩戴的監(jiān)控器包括透視眼鏡。
17.根據(jù)權(quán)利要求I所述的裝置，其中，所述內(nèi)容投影儀可操作以在虛擬表面上建立所述圖像，用于用戶與之交互。
18.根據(jù)權(quán)利要求I所述的裝置，其中，所述處理器可操作以用于響應(yīng)于手勢(shì)來控制計(jì)算機(jī)應(yīng)用，以及其中，所述圖像包括用于控制所述計(jì)算機(jī)應(yīng)用的用戶界面。
19.根據(jù)權(quán)利要求I所述的裝置，其中，所述圖像包括書面內(nèi)容。
20.一種用于加強(qiáng)與數(shù)據(jù)處理系統(tǒng)的交互的方法，包括下述步驟 捕獲場(chǎng)景的三維圖像； 使用數(shù)字處理器處理所述三維圖像以定位其中的三維對(duì)象，以及確定所述三維對(duì)象滿足預(yù)定的標(biāo)準(zhǔn)；以及 形成用戶與之交互的包含內(nèi)容的圖像。
21.根據(jù)權(quán)利要求20所述的方法，其中，形成所述包含內(nèi)容的圖像包括將所述包含內(nèi)容的圖像投影到所述三維對(duì)象中的一個(gè)。
22.根據(jù)權(quán)利要求20所述的方法，其中，形成所述包含內(nèi)容的圖像包括將所述包含內(nèi)容的圖像投影到所述用戶的視網(wǎng)膜上。
23.根據(jù)權(quán)利要求20所述的方法，其中，形成所述包含內(nèi)容的圖像包括將所述包含內(nèi)容的圖像投影到透視眼鏡上。
24.根據(jù)權(quán)利要求20所述的方法，其中，形成所述包含內(nèi)容的圖像包括將所述包含內(nèi)容的圖像投影到三維虛擬空間。
25.根據(jù)權(quán)利要求20所述的方法，還包括響應(yīng)于所述用戶與所述場(chǎng)景之間的交互來改變所述包含內(nèi)容的圖像的特性的步驟。
26.根據(jù)權(quán)利要求25所述的方法，其中，所述交互包括所述用戶朝向所述三維對(duì)象的一個(gè)的注視向量的變化。
27.根據(jù)權(quán)利要求25所述的方法，其中，所述交互包括所述用戶的與所述三維對(duì)象中的一個(gè)相關(guān)的手勢(shì)。
28.根據(jù)權(quán)利要求25所述的方法，其中，改變包含內(nèi)容的圖像的特性包括改變比例和失真補(bǔ)償中的至少一個(gè)。
29.根據(jù)權(quán)利要求20所述的方法，還包括下述步驟 捕獲與所述三維圖像配準(zhǔn)的所述場(chǎng)景的二維圖像； 識(shí)別所述二維圖像中的與所述三維對(duì)象相關(guān)的信息；以及 響應(yīng)于所識(shí)別的信息改變所述包含內(nèi)容的圖像。
30.根據(jù)權(quán)利要求20所述的方法，還包括下述步驟 識(shí)別與所述包含內(nèi)容的圖像相關(guān)的手勢(shì)；以及 響應(yīng)于所述手勢(shì)來控制計(jì)算機(jī)應(yīng)用。
31.根據(jù)權(quán)利要求30所述的方法，其中，所述包含內(nèi)容的圖像包括用于控制所述計(jì)算機(jī)應(yīng)用的用戶界面。
32.根據(jù)權(quán)利要求20所述的方法，其中，處理所述三維圖像包括識(shí)別所述三維對(duì)象中的一個(gè)三維對(duì)象關(guān)于參考坐標(biāo)系的具有6個(gè)自由度的位置，以及形成包含內(nèi)容的圖像包括補(bǔ)償所述一個(gè)三維對(duì)象的比例、俯仰、橫擺和角位移。
33.根據(jù)權(quán)利要求20所述的方法，其中，處理所述三維圖像包括參考三維對(duì)象定義的數(shù)據(jù)庫(kù)以及將所述三維對(duì)象與所述數(shù)據(jù)庫(kù)中的所述定義比較。
34.根據(jù)權(quán)利要求20所述的方法，其中，所述三維對(duì)象之一為人類形體的一部分。
35.一種用于加強(qiáng)與數(shù)據(jù)處理系統(tǒng)的交互的方法，包括下述步驟 接收?qǐng)鼍暗纳疃葓D，所述場(chǎng)景包括滿足在其上投影圖像的第一標(biāo)準(zhǔn)的三維對(duì)象； 接收所述場(chǎng)景的二維圖像； 使用數(shù)字處理器處理所述深度圖以定位所述對(duì)象； 執(zhí)行計(jì)算機(jī)應(yīng)用以分析所述二維圖像，從而根據(jù)第二標(biāo)準(zhǔn)識(shí)別出所述三維對(duì)象中最合適的一個(gè)； 將所述計(jì)算機(jī)應(yīng)用的用戶界面作為包含內(nèi)容的圖像投影到所述三維對(duì)象中的所述最合適的一個(gè)上； 使用所述數(shù)字處理器識(shí)別手勢(shì)； 將所述手勢(shì)轉(zhuǎn)譯為與所述用戶界面的交互；以及 響應(yīng)于所述交互來控制所述計(jì)算機(jī)應(yīng)用。
36.根據(jù)權(quán)利要求35所述的方法，其中，處理所述深度圖包括識(shí)別所述三維對(duì)象中的所述最合適的一個(gè)關(guān)于參考坐標(biāo)系的具有6個(gè)自由度的位置，以及投影用戶界面包括補(bǔ)償所述最合適的一個(gè)的比例、俯仰、橫擺和角位移。
37.根據(jù)權(quán)利要求35所述的方法，其中，處理所述深度圖包括參考三維對(duì)象定義的數(shù)據(jù)庫(kù)以及將所述三維對(duì)象與所述數(shù)據(jù)庫(kù)中的所述定義比較。
38.根據(jù)權(quán)利要求35所述的方法，其中，所述深度圖中的所述三維對(duì)象之一為人類形體的一部分。
39.一種用于加強(qiáng)與數(shù)據(jù)處理系統(tǒng)的交互的方法，包括下述步驟 接收?qǐng)鼍暗纳疃葓D，所述場(chǎng)景包括滿足在其上投影圖像的第一標(biāo)準(zhǔn)的三維對(duì)象； 使用數(shù)字處理器處理所述深度圖以定位所述對(duì)象； 執(zhí)行計(jì)算機(jī)應(yīng)用以根據(jù)第二標(biāo)準(zhǔn)識(shí)別出所述對(duì)象中的最合適的一個(gè)對(duì)象； 將所述一個(gè)對(duì)象的圖像投影到虛擬表面上； 使用所述數(shù)字處理器識(shí)別手勢(shì)； 將所述手勢(shì)轉(zhuǎn)譯為與所述一個(gè)對(duì)象的圖像的交互；以及 響應(yīng)于所述交互來控制所述計(jì)算機(jī)應(yīng)用。
40.根據(jù)權(quán)利要求39所述的方法，其中，處理所述深度圖包括識(shí)別所述一個(gè)對(duì)象關(guān)于參考坐標(biāo)系的具有6個(gè)自由度的位置，以及投影所述一個(gè)對(duì)象的圖像包括補(bǔ)償所述一個(gè)對(duì)象的比例、俯仰、橫擺和角位移。
41.根據(jù)權(quán)利要求39所述的方法，其中，處理所述深度圖包括參考三維對(duì)象定義的數(shù)據(jù)庫(kù)以及將所述深度圖中的所述三維對(duì)象與所述數(shù)據(jù)庫(kù)中的所述定義比較。
42.根據(jù)權(quán)利要求39所述的方法，其中，所述一個(gè)對(duì)象的圖像還包括用于控制所述計(jì)算機(jī)應(yīng)用的用戶界面。
43.一種用于加強(qiáng)與數(shù)據(jù)處理系統(tǒng)的交互的方法，包括下述步驟 接收?qǐng)鼍暗纳疃葓D，所述場(chǎng)景包括滿足在其上投影圖像的第一標(biāo)準(zhǔn)的三維對(duì)象； 使用數(shù)字處理器處理所述深度圖以定位所述對(duì)象； 執(zhí)行計(jì)算機(jī)應(yīng)用以根據(jù)第二標(biāo)準(zhǔn)識(shí)別出所述對(duì)象中的最合適的一個(gè)對(duì)象；將所述一個(gè)對(duì)象的圖像投影到可佩戴的監(jiān)控器上； 使用所述數(shù)字處理器識(shí)別用戶的手勢(shì)； 將所述手勢(shì)轉(zhuǎn)譯為與所述一個(gè)對(duì)象的圖像的交互；以及 響應(yīng)于所述交互來控制所述計(jì)算機(jī)應(yīng)用。
44.根據(jù)權(quán)利要求43所述的方法，其中，處理所述深度圖包括識(shí)別所述一個(gè)對(duì)象關(guān)于參考坐標(biāo)系的具有6個(gè)自由度的位置，以及投影所述一個(gè)對(duì)象的圖像包括補(bǔ)償所述一個(gè)對(duì)象的比例、俯仰、橫擺和角位移。
45.根據(jù)權(quán)利要求43所述的方法，其中，處理所述深度圖包括參考三維對(duì)象定義的數(shù)據(jù)庫(kù)以及將所述三維對(duì)象與所述數(shù)據(jù)庫(kù)中的所述定義比較。
46.根據(jù)權(quán)利要求43所述的方法，其中，所述一個(gè)對(duì)象的圖像還包括用于控制所述計(jì)算機(jī)應(yīng)用的用戶界面。
全文摘要
本發(fā)明的實(shí)施例提供了用于增強(qiáng)交互真實(shí)性的裝置和方法，包括二維攝像機(jī)(36)和三維攝像機(jī)(38)、相關(guān)的深度投影儀和內(nèi)容投影儀(48)、及連接到三維攝像機(jī)和二維攝像機(jī)的處理器(40)。使用三維攝像機(jī)的輸出產(chǎn)生場(chǎng)景的深度圖，并使之與二維攝像機(jī)捕獲的二維圖像協(xié)作，以識(shí)別出場(chǎng)景中的滿足在其上投影圖像的預(yù)定標(biāo)準(zhǔn)的三維對(duì)象。內(nèi)容投影儀響應(yīng)于處理器的指令將內(nèi)容圖像投影到三維對(duì)象上，其可通過用戶手勢(shì)的自動(dòng)識(shí)別進(jìn)行調(diào)節(jié)。
文檔編號(hào)G09G5/00GK102959616SQ201180027794
公開日2013年3月6日 申請(qǐng)日期2011年7月18日 優(yōu)先權(quán)日2010年7月20日
發(fā)明者阿維亞德·梅澤爾斯, 亞歷山大·什蓬特, 塔米爾·貝利納 申請(qǐng)人:普萊姆森斯有限公司