專利名稱：基于計(jì)算機(jī)視覺的無線定向系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及無線定向系統(tǒng)，尤其是確定定向裝置的位置并將該位置映射到計(jì)算機(jī)中以顯示光標(biāo)或控制計(jì)算機(jī)程序的無線定向系統(tǒng)。
背景技術(shù)：
諸如計(jì)算機(jī)鼠標(biāo)或光筆的定向裝置在計(jì)算機(jī)世界中是常見的。這些裝置不僅幫助使用者操作計(jì)算機(jī)，而且在它們的發(fā)展進(jìn)程中還進(jìn)入了將使用者從需要與計(jì)算機(jī)硬連接的接口中解放出來的階段。目前可用的一種無線裝置，例如無線鼠標(biāo)，利用陀螺效應(yīng)以確定定向裝置的位置。此信息被轉(zhuǎn)換為數(shù)字位置數(shù)據(jù)并作為例如光標(biāo)輸出到顯示器上。這些定向裝置的問題是它們依賴于裝置的旋轉(zhuǎn)甚于平移。旋轉(zhuǎn)的裝置降低了精確度，且裝置相對沉重，因?yàn)樗鼈冃枰凶銐虻馁|(zhì)量以利用動(dòng)量守恒原則。
還有一種可用的定向裝置發(fā)送特定波長的光。由接收器檢測光，并翻譯為位置數(shù)據(jù)以用于顯示器上的光標(biāo)。這些裝置盡管比陀螺式的同類裝置要更亮也更便宜，但受限于發(fā)送和檢測時(shí)所選擇的特定波長。
將光源引入以控制遙控裝置的控制設(shè)備可用于商業(yè)用途。這些裝置中最常見的是家用音頻和視頻設(shè)備，例如錄象機(jī)、電視或立體聲系統(tǒng)。這些系統(tǒng)包括一個(gè)遙控裝置或發(fā)送器，主機(jī)有一個(gè)光敏感元件或接收器。遙控裝置使用紅外線光源來發(fā)送指令信號。光源，通常為LED(LED)，根據(jù)要發(fā)送到主機(jī)的指令以特定頻率閃光。從遙控裝置發(fā)送的指令信號被接收器檢測，并翻譯為控制信號以控制主機(jī)。LED和接收器工作于相同波長以允許對光信號的檢測和正確的通信。除其它方面以外，這種波長匹配的設(shè)計(jì)約束降低了接收器與單波長發(fā)送器的兼容性。
數(shù)字照相機(jī)也迅速進(jìn)入了商業(yè)市場。數(shù)字照相機(jī)的標(biāo)準(zhǔn)技術(shù)主要基于兩種格式電荷耦合器件(CCD)和互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器。CCD傳感器更為精確，但與CMOS傳感器相比更昂貴，CMOS傳感器為成本的大幅降低而犧牲了精確度。盡管每種裝置處理圖象的方式不同，它們在捕獲圖象時(shí)都使用了相同的基本原則。一個(gè)像素陣列通過鏡頭曝光一幅圖象。每個(gè)像素表面上會聚的光隨著所捕獲圖象部分的變化而變化。當(dāng)捕獲圖象時(shí)，像素記錄其上入射光的強(qiáng)度，隨后被處理為可見的形式。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一個(gè)系統(tǒng)，允許將諸如遙控器的商用手持裝置用作顯示器上的定向裝置、指示器或其它部件(feature)控制。進(jìn)一步的目的是提供可檢測由例如這類手持裝置的LED發(fā)射的閃光的系統(tǒng)，不考慮波長或頻率，并使用該檢測以提供定向裝置或其它部件控制。本發(fā)明的進(jìn)一步目的是在系統(tǒng)中使用標(biāo)準(zhǔn)數(shù)字照相機(jī)和圖象檢測及識別處理技術(shù)，而無需校準(zhǔn)這些組件。本發(fā)明的另一個(gè)目的是提供一個(gè)系統(tǒng)，除了檢測三個(gè)角自由度外，還可檢測手持裝置在三維空間內(nèi)的移動(dòng)，并可提供在顯示器上3維透視圖中部件的相應(yīng)移動(dòng)。
本發(fā)明提供包含帶發(fā)射光的LED的手持裝置。從LED中發(fā)射的光在由至少一個(gè)數(shù)字照相機(jī)對裝置進(jìn)行捕獲的圖象中檢測。在二維圖象中檢測到的裝置位置被翻譯為顯示器上的相應(yīng)坐標(biāo)。顯示器上的相應(yīng)坐標(biāo)可用于定位光標(biāo)、定向裝置或其它可移動(dòng)部件。因此，系統(tǒng)提供由顯示器上的光標(biāo)、定向裝置或其它可移動(dòng)部件的移動(dòng)，與使用者手中手持裝置的移動(dòng)相對應(yīng)。
通過引入一個(gè)以上的數(shù)字照相機(jī)，也可以從圖象中確定手持裝置在深度方向的變化。這可以用于在三維透視圖中定位光標(biāo)、定向裝置或其它可移動(dòng)部件。因此，系統(tǒng)通過顯示器上三維透視圖中光標(biāo)、定向裝置或其它移動(dòng)部件的移動(dòng)提供對應(yīng)于使用者手中手持裝置的三維移動(dòng)。
通過將一個(gè)以上的LED引入手持裝置，系統(tǒng)還可以檢測旋轉(zhuǎn)運(yùn)動(dòng)(因而檢測與裝置移動(dòng)的所有六個(gè)自由度對應(yīng)的運(yùn)動(dòng))?？赏ㄟ^在手持裝置使用至少兩個(gè)以不同頻率和/或波長發(fā)光的LED來檢測旋轉(zhuǎn)運(yùn)動(dòng)。在照相機(jī)的圖像中檢測兩個(gè)(或多個(gè))LED的不同頻率和/或波長，并通過處理技術(shù)進(jìn)行辨別。因此，基于兩個(gè)LED所發(fā)射光的相對移動(dòng)可檢測連續(xù)圖象中的旋轉(zhuǎn)。如上所述，手持裝置的旋轉(zhuǎn)運(yùn)動(dòng)也可以包含在顯示器上點(diǎn)的三維透視圖中(以及三維透視圖中光標(biāo)、定向裝置或其它可移動(dòng)部件的相應(yīng)移動(dòng))。
本發(fā)明的系統(tǒng)還可以補(bǔ)償拿著手持裝置的使用者的移動(dòng)。因而，例如如果使用者移動(dòng)，而裝置相對于使用者保持固定不動(dòng)，在顯示器上就沒有光標(biāo)、定向裝置或其它可移動(dòng)部件的移動(dòng)。因此，例如，系統(tǒng)使用圖象識別來檢測使用者的移動(dòng)并辨別手持裝置與使用者的相對運(yùn)動(dòng)。例如，當(dāng)手持裝置和使用者所在的參考點(diǎn)之間有運(yùn)動(dòng)時(shí)，系統(tǒng)可以檢測手持裝置的移動(dòng)。
發(fā)明還包括一個(gè)系統(tǒng)，其中包含在一個(gè)可移動(dòng)手持裝置中的至少一個(gè)光源，至少一個(gè)用以檢測來自所謂光源的光的光檢測器，以及從至少一個(gè)光檢測器接收圖象數(shù)據(jù)的控制單元。控制單元從來自至少一個(gè)光檢測器的圖象數(shù)據(jù)中檢測手持裝置在至少二維空間中的位置，并翻譯該位置以控制顯示器上的部件。
此至少一個(gè)光檢測器可以是一個(gè)數(shù)字照相機(jī)。數(shù)字照相機(jī)可捕獲包括由手持裝置發(fā)射光的數(shù)字圖象序列，并將數(shù)字圖象序列傳輸給控制單元?？刂茊卧砂瑘D象檢測算法，用來檢測從數(shù)字照相機(jī)發(fā)送的圖象序列中手持裝置的光圖象?？刂茊卧梢詫D象中檢測到的手持裝置的位置映射到顯示空間以顯示。顯示空間中的映射位置可以控制顯示空間中諸如光標(biāo)之類的部件的移動(dòng)。
此至少一個(gè)光檢測器可包含兩個(gè)數(shù)字照相機(jī)。這兩個(gè)數(shù)字照相機(jī)中的每個(gè)捕獲包含由手持裝置發(fā)射光的數(shù)字圖象序列，且由每個(gè)照相機(jī)將每個(gè)數(shù)字圖象序列發(fā)送至控制單元?？刂茊卧砂瑘D象檢測算法，檢測從兩個(gè)數(shù)字照相機(jī)發(fā)送的圖象序列中手持裝置的光圖象?？刂茊卧€可包含深度檢測算法，其使用從兩個(gè)照相機(jī)中的每個(gè)接收的圖象中光源的位置來確定來自手持裝置深度位置變化的深度參數(shù)。控制單元將從來自相機(jī)之一的至少一幅圖象中所檢測到的手持裝置的位置和深度參數(shù)映射到顯示空間的三維透視圖中用于顯示。顯示空間中的映射位置控制顯示空間三維透視圖中部件的移動(dòng)。
此至少一個(gè)光檢測器還包含至少一個(gè)數(shù)字照相機(jī)，且手持裝置可包含兩個(gè)光源。數(shù)字照相機(jī)可捕獲包含來自手持裝置的兩個(gè)光源的光的數(shù)字圖象序列，且數(shù)字圖象序列被發(fā)送至控制單元?？刂茊卧砂瑘D象檢測算法，檢測從數(shù)字照相機(jī)發(fā)送的圖象序列中手持裝置兩個(gè)光源的光圖像?？刂茊卧鶕?jù)兩個(gè)光源的圖像確定手持設(shè)備的角度方位?？刂茊卧獙D象中檢測到的手持裝置的至少一個(gè)角度方位映射到顯示空間用于顯示。
更進(jìn)一步地，手持裝置上可增加附加功能以加入標(biāo)準(zhǔn)鼠標(biāo)和其它控制部件，因此允許發(fā)明作為更全功能的定向裝置使用。


本發(fā)明的上述和其它方面、特性和優(yōu)點(diǎn)，將結(jié)合附圖并通過下面的詳述而更加顯而易見圖1是根據(jù)本發(fā)明第一種實(shí)施方案的無線定向裝置系統(tǒng)的典型視圖；圖1a是圖1中所示部件之一的內(nèi)部剖視圖；圖2是根據(jù)本發(fā)明第二種實(shí)施方案的無線定向裝置系統(tǒng)的典型視圖；圖3是根據(jù)本發(fā)明第三種實(shí)施方案的無線定向裝置系統(tǒng)的典型視圖；圖4是本發(fā)明第三種實(shí)施方案的處理流程圖。
具體實(shí)施例方式
本發(fā)明的優(yōu)選實(shí)施方案將在下文中參考附圖進(jìn)行描述。在下面的描述中，眾所周知的功能或構(gòu)造將不再詳述，因?yàn)檫@樣可能會由于不必要的細(xì)節(jié)而令發(fā)明含糊不清。
圖1是根據(jù)本發(fā)明一種實(shí)施方案的系統(tǒng)典型視圖。如圖1所示，手持裝置101被描述為通常與錄象機(jī)或電視機(jī)相配的標(biāo)準(zhǔn)遙控控制器。手持裝置101中包含的控制單元促使LED 103以預(yù)置頻率閃光。閃光的起始可由任何開關(guān)方法控制，例如，開/關(guān)切換、動(dòng)作切換或?qū)κ褂谜呓佑|敏感的裝置，當(dāng)使用者碰觸或拾起裝置時(shí)可打開LED 103?？梢允褂萌魏纹渌_/關(guān)方法，此處描述的例子并不意謂限制。
在啟動(dòng)LED 103的閃光后，所發(fā)送的光105由照相機(jī)111聚焦并入射到數(shù)字照相機(jī)111感光表面的一部分。典型地，數(shù)字照相機(jī)使用二維感光陣列來捕獲通過照相機(jī)聚焦光學(xué)器件入射到陣列表面的光。陣列包含感光單元網(wǎng)格，諸如CCD陣列，每個(gè)單元和其它電子元件電相連，這些電子元件包括一個(gè)模/數(shù)轉(zhuǎn)換器、緩沖區(qū)和其它存儲器、一個(gè)處理器和壓縮及解壓縮模塊。在本實(shí)施方案中，來自定向裝置的光入射到圖1a(數(shù)字照相機(jī)111的陣列表面113一部分的剖視圖)所示由單元115組成的陣列表面113上。
通常，當(dāng)快門(未示出)允許光(諸如來自LED 111的光)入射并由感光表面113記錄時(shí)，數(shù)字照相機(jī)111的每幅圖象被“捕獲”。盡管提到了“快門”，也可以是任何等價(jià)的光調(diào)節(jié)機(jī)制或電子裝置，用來創(chuàng)建數(shù)字照相機(jī)上的連續(xù)圖象，或數(shù)字?jǐn)z象機(jī)中連續(xù)的圖象幀。當(dāng)打開快門時(shí)，進(jìn)入照相機(jī)111的包含圖象的光由照相機(jī)光學(xué)器件聚焦至陣列表面113的對應(yīng)區(qū)域，且每個(gè)感光單元(或像素)115記錄其上入射光的強(qiáng)度。由此，感光單元115中捕獲的強(qiáng)度共同記錄了圖象。
因此，進(jìn)入照相機(jī)111的來自手持裝置101的閃光103被聚焦為約一個(gè)點(diǎn)，并記錄為一個(gè)或一小組像素115的入射強(qiáng)度電平。數(shù)字照相機(jī)111處理以數(shù)字化形式記錄在每個(gè)像素中的光電平并發(fā)送至控制單元121，如圖1a。
控制單元121包括圖象識別算法，檢測并跟蹤來自LED 103的光。當(dāng)來自LED 103的光105以與照相機(jī)111快門相同順序的頻率閃爍時(shí)，由于快門和LED103的閃光圖案同時(shí)移入和移出，來自LED 103的光點(diǎn)的連續(xù)圖象將有強(qiáng)度變化?？刂茊卧?21可存儲多個(gè)連續(xù)圖象的圖象數(shù)據(jù)，且控制單元121的圖象識別算法由此搜索圖象像素，找到連續(xù)圖象中強(qiáng)度上下變化的小光點(diǎn)。一旦識別到圖案，算法推斷圖象中與手持裝置103所在處對應(yīng)的位置?？刂茊卧?21中還可采用一種圖象識別算法作為選擇或結(jié)合使用，用來搜索并識別圖象中的一個(gè)區(qū)域，該區(qū)域有暗背景(手持裝置101的主體)和亮度中心(包含由LED 103發(fā)射的光105)。
一旦手持裝置101在圖象中的位置由控制單元121識別，可由控制單元121使用已知的圖象跟蹤算法對連續(xù)圖象跟蹤該位置。控制單元使用這些算法，將焦點(diǎn)集中于和前一幅或前幾幅圖象中手持裝置101的位置相對應(yīng)的圖象區(qū)域?？刂茊卧?21可在圖象像素?cái)?shù)據(jù)中尋找手持裝置101的特征，例如由緊鄰暗背景(對應(yīng)裝置101主體)圍繞的光點(diǎn)。
由控制單元所識別和跟蹤的圖象中手持裝置101的位置被映射到顯示器123上并用于控制例如光標(biāo)、鼠標(biāo)或其它定位元件。例如，可按下式由手持裝置在圖象中的位置推導(dǎo)出顯示器123上光標(biāo)的位置Xdpy＝scale*(Ximg-Xref) 公式1
在公式1中，矢量Xdpy是光標(biāo)在顯示器123(稱作顯示空間)的二維參考坐標(biāo)系統(tǒng)中的位置，矢量Ximg是由控制單元所識別的手持裝置101在二維圖象(稱作圖象空間)中的位置，矢量Xref是圖象空間中的參考點(diǎn)且“scale”是由控制單元使用的標(biāo)量縮放系數(shù)，用來將圖象空間按比例縮放到顯示空間。(注意下文中引入的粗體字Xdpy，Ximg，Xref和Xperson表示矢量)。參考點(diǎn)Xref是除了前述手持裝置101的位置外，控制單元可放置在圖象中的參考點(diǎn)。因此，公式1右側(cè)括號內(nèi)的部分對應(yīng)于手持裝置101在圖象空間內(nèi)從圖象中參考點(diǎn)移動(dòng)的距離。當(dāng)手持裝置101移動(dòng)時(shí)，其在圖象空間中的位置根據(jù)固定參考點(diǎn)而確定。因此，僅當(dāng)裝置相應(yīng)于參考點(diǎn)有移動(dòng)時(shí)，才會改變圖象空間中檢測到的裝置101的映射。從而，僅當(dāng)裝置101在圖象空間中有實(shí)際移動(dòng)時(shí)，顯示空間中光標(biāo)或相似的可移動(dòng)部件才有相應(yīng)的移動(dòng)。每次檢測閃光時(shí)檢測參考點(diǎn)，當(dāng)光消失時(shí)復(fù)位參考點(diǎn)，對應(yīng)于使用者釋放而后重新連接手持裝置101。
顯然，易于對上述第一種實(shí)施方案的系統(tǒng)進(jìn)行改造以檢測并跟蹤多個(gè)手持裝置，可以使用圖象空間中每個(gè)這類裝置的移動(dòng)來移動(dòng)顯示器上單獨(dú)的光標(biāo)、定向裝置或其它可移動(dòng)部件。例如，在圖1照相機(jī)111的視野中，帶閃光LED的兩個(gè)或多個(gè)單獨(dú)的手持裝置，其光聚焦于感光陣列113上。由控制單元121采用上述用于單個(gè)手持裝置101的方式分別檢測和跟蹤圖象中的每個(gè)閃光LED。控制單元121使用公式1，采用上述用于單個(gè)手持裝置的方式將每個(gè)裝置的位置從圖象空間映射到顯示空間。每個(gè)此類映射可隨即用于控制顯示器123上單獨(dú)的光標(biāo)等。
因此，兩個(gè)或多個(gè)手持裝置中的每個(gè)可獨(dú)立地控制顯示器上單獨(dú)的光標(biāo)或其它可移動(dòng)部件。由于每個(gè)光標(biāo)的移動(dòng)相應(yīng)于由控制單元121映射的一個(gè)手持裝置，每個(gè)光標(biāo)(或可移動(dòng)部件)在屏幕上的移動(dòng)與其它光標(biāo)(或可移動(dòng)部件)無關(guān)。兩個(gè)或多個(gè)手持裝置可以有同樣的閃光頻率或圖案，或有不同的頻率，這允許控制單元121被編程以更易于識別和/或辨別發(fā)送的光信號。此外，LED可發(fā)送不同波長的光，同樣允許控制單元121更易于識別和/或辨別圖象中發(fā)送的光信號。所發(fā)送的光可以是可被照相機(jī)檢測的任意波長的可見光。如果照相機(jī)檢測到可見光之外的波長，例如紅外線，手持裝置可以以該波長發(fā)送光。
此外，系統(tǒng)可包含訓(xùn)練例程，允許控制單元學(xué)習(xí)一個(gè)或多個(gè)手持裝置的閃光特性和波長等。當(dāng)由使用者進(jìn)行訓(xùn)練例程時(shí)，例如指令可以指導(dǎo)使用者在正對照相機(jī)111前面特定距離處手握手持裝置并啟動(dòng)LED103的閃光。控制單元從連續(xù)圖象中記錄裝置101的閃光頻率或圖案。也可以記錄手持裝置101的波長和/或圖象輪廓。此數(shù)據(jù)隨即被控制單元用于此后對手持裝置101的識別和跟蹤。此訓(xùn)練程序可記錄多個(gè)手持裝置的這類基本數(shù)據(jù)，因此便于系統(tǒng)此后對手持裝置的檢測和跟蹤。
可對涉及上述公式1的控制單元的處理過程進(jìn)行修正，以使相對于攜帶手持裝置的使用者的位置進(jìn)行手持裝置圖象空間和顯示空間之間的映射，如下Xdpy＝scale*(Ximg-Xref-Xperson) 公式2在公式2中，矢量Xperson是拿著裝置的使用者的位置，例如使用者胸部的中心點(diǎn)。因此，僅當(dāng)圖象中手持裝置的矢量位置Ximg相對于矢量(Xref+Xperson)，也即，由參考點(diǎn)定位的人的位置有改變時(shí)，圓括號中給定的坐標(biāo)才改變。從而，人可以帶著手持裝置103在房間里走來走去，且僅當(dāng)手持裝置101相對使用者有移動(dòng)時(shí)，控制單元才將手持裝置101位置的變化從圖象空間映射到顯示空間中。
控制單元可使用眾所周知的對人的圖象檢測和跟蹤算法來檢測圖象中的Xperson。需要注意的是，Xperson坐標(biāo)可以是使用者的中心點(diǎn)，例如使用者胸部的中心點(diǎn)。如前所述，當(dāng)每次檢測手持裝置101上的閃光時(shí)，可以檢測和設(shè)置Xref。此縮放系數(shù)還可被設(shè)置為與人體的尺寸(例如人體的寬度)成反比，因此對于照相機(jī)和使用者之間的距離而言映射保持不變。當(dāng)然，如果系統(tǒng)在其處理中使用與公式2對應(yīng)的映射，可以在上述方式中修改處理技術(shù)以檢測、跟蹤和映射由多個(gè)使用者掌握的多個(gè)手持裝置。
還可以選擇對處理方法進(jìn)行進(jìn)一步修改，以跟蹤手持裝置僅相對于人的移動(dòng)，由此避免與公式2對應(yīng)的處理方法中當(dāng)使用者移動(dòng)時(shí)顯示器上光標(biāo)的移動(dòng)。但在公式2中，將參考坐標(biāo)點(diǎn)作為原點(diǎn)(也即零矢量)，或者等價(jià)地，將公式1中的矢量Xref作為可移動(dòng)參考點(diǎn)，即前述中的矢量Xperson。由此，控制單元121有相應(yīng)的映射算法
Xdpy＝scale*(Ximg-Xperson) 公式3在公式3中，公式圓括號中的部分(對應(yīng)圖象空間)確定手持裝置Ximg相對于矢量Xperson的移動(dòng)，例如相對于使用者胸部中心點(diǎn)的旋轉(zhuǎn)運(yùn)動(dòng)。因此，還是僅當(dāng)手持裝置相對于人移動(dòng)，而不是使用者移動(dòng)而手持的裝置相對固定時(shí)，才改變從圖象空間到顯示空間的映射。對與公式2對應(yīng)的映射完成相同的結(jié)果，但由控制單元121完成的圖象識別和映射處理更少。
圖2描述本發(fā)明的第二種實(shí)施方案，與第一種實(shí)施方案類似，但包含至少一個(gè)附加的數(shù)字照相機(jī)。如此處所述，向系統(tǒng)中加入至少一個(gè)照相機(jī)允許系統(tǒng)對各個(gè)照相機(jī)圖象使用例如立體三角測量算法，檢測并量化手持裝置深度方向的移動(dòng)(也即裝置101在與圖2所示照相機(jī)111，211所組成的圖象平面相正交的Z方向上的移動(dòng))。Z方向上位置變化的移動(dòng)和量化，再加上上述第一種實(shí)施方案的二維位置移動(dòng)(也即圖2所示的X-Y平面)，允許系統(tǒng)將圖象空間映射到顯示空間中光標(biāo)或其它可移動(dòng)物體的三維透視圖。
由此，在圖2的系統(tǒng)中，由控制單元121對兩幅圖象檢測并跟蹤手持裝置101的位置，即從照相機(jī)111對裝置101的一幅圖象，另一幅來自照相機(jī)211?？梢灾苯佑蓤D象中的一幅確定圖象空間中手持裝置101的二維空間，即照相機(jī)的圖象平面中裝置的平面圖象坐標(biāo)(x，y)。
可以通過使用平面圖象坐標(biāo)(x，y)和第二幅圖象中手持裝置圖象的平面圖象坐標(biāo)(x’，y’)來確定與手持裝置進(jìn)出移動(dòng)(也即圖2中所示的Z方向)相對應(yīng)的數(shù)據(jù)?？梢允褂糜?jì)算機(jī)視覺的標(biāo)準(zhǔn)技術(shù)，即已知的“立體問題”，來確定手持裝置在圖2中實(shí)空間的Z坐標(biāo)(和實(shí)空間中相對于已知參考坐標(biāo)系統(tǒng)的X和Y坐標(biāo))。在例如由Trucco和Verri所著的“Introductory Techniques for 3-D Computer Vision(三維計(jì)算機(jī)視覺的入門技術(shù))”(Prentice Hall，1998)中，尤其是題為“立體影象”的第7章中描述了三維計(jì)算機(jī)視覺的基本立體技術(shù)，這些內(nèi)容在此引入作為參考。使用此眾所周知的技術(shù)，手持裝置101在實(shí)空間中的Z坐標(biāo)與第一個(gè)照相機(jī)圖象中裝置的圖象位置(已知圖象坐標(biāo)(x，y))之間的關(guān)系由公式給出x＝X/Z公式4a
同樣地，手持裝置的位置與第二個(gè)照相機(jī)圖象中裝置的第二個(gè)圖象位置(已知圖象坐標(biāo)(x’，y’))之間的關(guān)系由公式給出x’＝(X-D)/Z 公式4b其中D是照相機(jī)111和211之間的距離。本領(lǐng)域技術(shù)人員將認(rèn)識到在等式4a-4b中給出的關(guān)系符合照相機(jī)幾何學(xué)所定義的線性變換。
解等式4a和4b，得到ZZ＝D/(x-x’) 公式4c因此，對于連續(xù)圖象通過分別確定在來自照相機(jī)111和211所捕獲的圖象中手持裝置的x和x’位置，控制單元121可以確定手持裝置在Z方向位置的變化，也即由圖象捕獲平面的進(jìn)出。可以用與前述類似的方式消除人在Z方向上的移動(dòng)，因此裝置101相對于使用者的Z軸移動(dòng)被確定。
當(dāng)由控制單元121檢測出Z方向上的改變，控制單元可將實(shí)空間中的Z移動(dòng)縮放至圖象，這樣在圖象空間中除了二維平面(諸如(x，y)，如果第一個(gè)照相機(jī)的圖象用于跟蹤和映射變化)外，還有深度維。因此，控制單元121可以將包含深度維的圖象空間映射到顯示空間中光標(biāo)或其它可移動(dòng)部件的三維透視圖中。由此，除了與手持裝置上/下和左/右移動(dòng)相對應(yīng)的顯示器中光標(biāo)的上/下和左/右移動(dòng)外，手持裝置朝向或遠(yuǎn)離照相機(jī)111和211的移動(dòng)導(dǎo)致相應(yīng)的光標(biāo)三維透視圖移入移出顯示器。
由于從圖象空間中手持裝置的坐標(biāo)映射得到光標(biāo)的移動(dòng)，因此不需要照相機(jī)校準(zhǔn)。(即使在深度方面，等式4c是圖象坐標(biāo)x，x’的函數(shù)；此外，可以在系統(tǒng)中固定分隔距離D并為控制單元121所知)。同樣，由于閃光檢測算法已內(nèi)含解決了點(diǎn)對應(yīng)問題，測量三維位移相對簡單并需要很少的計(jì)算。
如上面第一種實(shí)施方案所述，第二種實(shí)施方案(包含至少第二個(gè)照相機(jī)用于檢測深度數(shù)據(jù)，用于將圖象空間映射至顯示空間)可以包含裝置訓(xùn)練處理裝置，且檢測、跟蹤并映射由多個(gè)使用者掌握的多個(gè)手持裝置。兩個(gè)或多個(gè)手持裝置可各自獨(dú)立地控制顯示器上單獨(dú)的光標(biāo)或其它可移動(dòng)部件。由于每個(gè)光標(biāo)的移動(dòng)響應(yīng)于由控制單元121映射的手持裝置之一，每個(gè)光標(biāo)(或可移動(dòng)部件)在屏幕上的移動(dòng)與其它光標(biāo)(或可移動(dòng)部件)無關(guān)。兩個(gè)或多個(gè)手持裝置可以有同樣的閃光頻率或圖案，或有不同的頻率。此外，LED可發(fā)送不同波長的光，同樣允許控制單元121更易于識別和/或辨別圖象中發(fā)送的光信號。所發(fā)射的光可以是可被照相機(jī)檢測的任意波長的可見光。如果照相機(jī)檢測到可見光之外的波長，例如紅外線，手持裝置可以以該波長發(fā)送光。
圖3描述本發(fā)明的第三種實(shí)施方案，引入至少兩個(gè)照相機(jī)111和211(如第二種實(shí)施方案)和手持裝置101中的至少兩個(gè)LED103和303。將至少再多一個(gè)LED加至手持裝置101，允許系統(tǒng)計(jì)算所有六個(gè)運(yùn)動(dòng)度數(shù)(三種平移和三種旋轉(zhuǎn))。如前面第二種實(shí)施方案所述，運(yùn)動(dòng)的三種平移度被檢測并從圖象空間映射到顯示空間，因此在此不再重復(fù)。
對于手持裝置旋轉(zhuǎn)運(yùn)動(dòng)的檢測和映射，如前所述，圖3中的手持裝置101引入第二個(gè)LED303到發(fā)送器中。從每個(gè)LED103和303中發(fā)射的光被照相機(jī)111分別檢測并跟蹤。(從每個(gè)LED103和303中發(fā)射的光也被照相機(jī)211分別檢測并跟蹤，但來自第二個(gè)照相機(jī)的圖象僅用于手持裝置101的深度運(yùn)動(dòng)，只有第一個(gè)照相機(jī)的圖象在旋轉(zhuǎn)處理中被考慮)。此分別的檢測和跟蹤類似于圖1實(shí)施方案的討論中兩個(gè)單個(gè)手持裝置的檢測和跟蹤。由此，控制單元121使用圖象檢測處理技術(shù)分析圖象，且如前所述檢測圖象上的兩個(gè)光點(diǎn)，其被識別為從兩個(gè)閃光的LED101和303得到。通過圖象中光點(diǎn)的鄰近度，控制單元121確定光點(diǎn)來自一個(gè)手持裝置上的LED。也可以用其它方式來確定，例如圖象識別軟件可以看到光點(diǎn)都在相同的暗背景上，該背景被識別為裝置101的主體。
由控制單元檢測的在連續(xù)圖象中兩個(gè)光點(diǎn)的相對移動(dòng)表示手持裝置沿光發(fā)送軸旋轉(zhuǎn)(搖晃)。光點(diǎn)在圖象中相對位置的其它變化，諸如光點(diǎn)之間的距離，可由控制單元121用于確定斜度和搖擺度。從圖象空間映射到顯示空間的數(shù)據(jù)可因而包括三維數(shù)據(jù)和用于三個(gè)旋轉(zhuǎn)自由度的數(shù)據(jù)。由此，映射可提供光標(biāo)或其它移動(dòng)裝置在顯示器上三維透視圖中的旋轉(zhuǎn)和定向移動(dòng)。
系統(tǒng)可以與前述第一種實(shí)施方案類似的方式檢測并跟蹤由多個(gè)使用者掌握的多個(gè)手持裝置。因此，兩個(gè)或多個(gè)手持裝置可以各自獨(dú)立地控制顯示器上單獨(dú)的光標(biāo)或其它可移動(dòng)部件。由于每個(gè)光標(biāo)的移動(dòng)響應(yīng)于由控制單元121映射的一個(gè)手持裝置，每個(gè)光標(biāo)(或可移動(dòng)部件)在屏幕上的移動(dòng)與其它光標(biāo)(或可移動(dòng)部件)無關(guān)。兩個(gè)或多個(gè)手持裝置可以有同樣的閃光頻率或圖案，或有不同的頻率。此外，LED可發(fā)送不同波長的光，同樣允許控制單元121更易于識別和/或辨別圖象中發(fā)送的光信號。如第一種實(shí)施方案中所述，如果圖象中來自LED101和103的光以不同頻率閃光和/或有不同波長，則控制單元更易于分辨。所發(fā)送的光可以是可被照相機(jī)檢測的任意波長的可見光。如果照相機(jī)檢測到可見光之外的波長，例如紅外線，手持裝置可以以該波長發(fā)送光。
現(xiàn)在將參考圖3和圖4描述無線定向系統(tǒng)。圖4是本發(fā)明的處理流程圖。在步驟401，LED103和303由拿著手持裝置101的使用者打開，在這種情況下是遙控器。在步驟402，系統(tǒng)通過由照相機(jī)111和211發(fā)送到控制單元121的圖象來確定是否有光從遙控器101發(fā)送出。如果沒有檢測到光，則過程返回到步驟402。如果檢測到光，則在步驟403中控制單元從照相機(jī)111和211捕獲并傳送的連續(xù)圖象中計(jì)算三維位置的變化和三個(gè)自由度的旋轉(zhuǎn)，如前述參考第三種實(shí)施方案。在步驟404中控制單元121將遙控器101的位置和旋轉(zhuǎn)從圖象空間映射到顯示空間，這用于光標(biāo)的三維透視圖中。甚至都不需要顯示光標(biāo)。根據(jù)本發(fā)明的第二種實(shí)施方案，改用定向裝置控制虛擬現(xiàn)實(shí)計(jì)算機(jī)空間中顯示的移動(dòng)，二維或三維網(wǎng)格不同層次間的導(dǎo)航。
除了本發(fā)明的上述優(yōu)點(diǎn)外，本發(fā)明還有很大的商業(yè)優(yōu)勢。在發(fā)送器中不包含所有昂貴的部件(例如照相機(jī)和處理器)。發(fā)送器所包含的最少部件是振蕩器、LED和連接部件。本發(fā)明的商業(yè)應(yīng)用當(dāng)然是交互式視頻游戲，其中使用者可使用遙控器或其它手持裝置來控制玩家在顯示空間三維透視圖中的移動(dòng)。此外，可在各種其它系統(tǒng)，例如電信會議、電視電話和視頻郵件等中引入照相機(jī)，可易于升級以加入未來的開發(fā)。同樣，系統(tǒng)并不限于單定向裝置或發(fā)送器。使用簡短的設(shè)置步驟系統(tǒng)可引入多個(gè)發(fā)送器，以支持多使用者功能。由系統(tǒng)完成的檢測不依賴于波長或甚至由手持裝置發(fā)送光的頻率。
將手持裝置的移動(dòng)從圖象空間到顯示空間的映射，還可應(yīng)用于除了光標(biāo)移動(dòng)和玩家移動(dòng)等之外的其它用途中。三維映射方案的范圍從真實(shí)世界坐標(biāo)與顯示系統(tǒng)虛擬世界中三維坐標(biāo)之間的直接映射到更抽象的表示，其中深度被用于控制數(shù)據(jù)導(dǎo)航系統(tǒng)中的其它參數(shù)。這些抽象方案的例子很多例如，在三維導(dǎo)航語境中，二維定向可允許平面中的選擇，而三維定向還可以允許抽象深度中的控制，例如調(diào)整電子節(jié)目指南(EPG)建議的結(jié)果中所需要的相關(guān)性和/或搖移-傾斜照相機(jī)(PTC)的手動(dòng)控制。在另一種語境中，二維定向允許在視頻內(nèi)容、電視節(jié)目中選擇超級對象，例如在線購物。同樣，定向裝置可用作在顯示器上書寫的虛擬筆，可包含虛擬手寫簽名(包括簽名識別)，可再次用于電子購物或其它認(rèn)證協(xié)議，諸如家用電器的控制。如前所述，在視頻游戲應(yīng)用中，本發(fā)明的系統(tǒng)可支持虛擬世界中的多用戶交互和導(dǎo)航。同樣，在基于電子搖移/傾斜/變焦(EPTZ)的視頻會議中，例如，一個(gè)參與者可在顯示器的圖象上指示并點(diǎn)擊來選擇目標(biāo)，隨即可控制圖象變焦等。
此外，盡管在上述實(shí)施方案中將照相機(jī)111和211的特性描述為用于捕獲圖象以檢測并跟蹤手持裝置，它們也可以用于其它用途，例如電信會議和其它圖象的傳輸以及其它圖象識別和處理。
因此，盡管本發(fā)明已參考特定優(yōu)選實(shí)施方案示出并描述，本領(lǐng)域技術(shù)人員將能理解，在不脫離由所附權(quán)利要求所定義的本發(fā)明的精神和范圍的條件下，可以對其中的形式和細(xì)節(jié)做出各種改變。
權(quán)利要求
1.一個(gè)系統(tǒng)，包括至少一個(gè)在可移動(dòng)手持裝置101中的光源103；至少一個(gè)檢測來自所述光源103的光105的光檢測器111；接收來自至少一個(gè)光檢測器111的圖象數(shù)據(jù)的控制單元121；其中控制單元121從來自至少一個(gè)光檢測器111的圖象數(shù)據(jù)中檢測手持裝置101在至少二維空間中的位置，并將該位置翻譯以控制顯示器上的一個(gè)部件。
2.如權(quán)利要求1的系統(tǒng)，其中至少一個(gè)光檢測器111是數(shù)字照相機(jī)。
3.如權(quán)利要求2的系統(tǒng)，其中數(shù)字照相機(jī)111捕獲數(shù)字圖象序列，其包含由手持裝置101發(fā)送的光105，數(shù)字圖象序列發(fā)送至控制單元121。
4.如權(quán)利要求3的系統(tǒng)，其中控制單元121包含圖象檢測算法，其檢測從數(shù)字照相機(jī)111發(fā)送的圖象序列中手持裝置101的光105的圖象。
5.如權(quán)利要求4的系統(tǒng)，其中控制單元121將圖象中所檢測到的手持裝置101的位置映射到顯示空間用于顯示。
6.如權(quán)利要求5的系統(tǒng)，其中顯示空間中所映射的位置控制顯示空間中部件的移動(dòng)。
7.如權(quán)利要求6的系統(tǒng)，其中顯示空間中的部件是光標(biāo)。
8.如權(quán)利要求3的系統(tǒng)，其中所捕獲的圖象由控制單元121為了至少一個(gè)其它目的而進(jìn)行處理。
9.如權(quán)利要求8的系統(tǒng)，其中至少一個(gè)其它目的是從電信會議、圖象傳輸和圖象識別中選擇。
10.如權(quán)利要求1的系統(tǒng)，其中所述至少一個(gè)光源103是LED。
11.如權(quán)利要求1的系統(tǒng)，其中至少一個(gè)光檢測器111包含兩個(gè)數(shù)字照相機(jī)。
12.如權(quán)利要求11的系統(tǒng)，其中兩個(gè)數(shù)字照相機(jī)中的每個(gè)捕獲數(shù)字圖象序列，其包含由手持裝置101發(fā)送的光105，每個(gè)數(shù)字圖象序列由每個(gè)照相機(jī)發(fā)送至控制單元121。
13.如權(quán)利要求12的系統(tǒng)，其中控制單元121包含圖象檢測算法，其檢測從兩個(gè)數(shù)字照相機(jī)發(fā)送的每個(gè)圖象序列中手持裝置101的光105的圖象。
14.如權(quán)利要求13的系統(tǒng)，其中控制單元121包含深度檢測算法，其使用從兩個(gè)照相機(jī)中每個(gè)接收到的圖象中光的位置來確定來自手持裝置101的深度位置改變的深度參數(shù)。
15.如權(quán)利要求14的系統(tǒng)，其中控制單元121將所檢測到的至少一幅來自照相機(jī)中的一個(gè)的圖象中手持裝置101的位置和深度參數(shù)映射到顯示空間的三維透視圖中用于顯示。
16.如權(quán)利要求15的系統(tǒng)，其中顯示空間中所映射的位置控制顯示空間三維透視圖中部件的移動(dòng)。
17.如權(quán)利要求1的系統(tǒng)，其中至少一個(gè)光檢測器111是至少一個(gè)數(shù)字照相機(jī)，且手持裝置101包含兩個(gè)光源103和303。
18.如權(quán)利要求17的系統(tǒng)，其中數(shù)字照相機(jī)捕獲一系列數(shù)字圖象，其包含來自手持裝置101兩個(gè)光源103和303的光105，數(shù)字圖象序列發(fā)送至控制單元121。
19.如權(quán)利要求18的系統(tǒng)，其中控制單元121包含圖象檢測算法，其從數(shù)字照相機(jī)發(fā)送的圖象序列中檢測手持裝置101的兩個(gè)光源103和303的圖象。
20.如權(quán)利要求19的系統(tǒng)，其中控制單元121從兩個(gè)光源103和303的圖象中確定手持裝置101的至少一個(gè)角度方位。
21.如權(quán)利要求20的系統(tǒng)，其中控制單元121將在圖象中所檢測到的手持裝置101的至少一個(gè)角度方位映射到顯示空間以顯示。
22.如權(quán)利要求1的系統(tǒng)，其中光源103以落在可見光和紅外線光譜內(nèi)的波長發(fā)送光。
23.一個(gè)系統(tǒng)，包括兩個(gè)或多個(gè)可移動(dòng)手持裝置101，每個(gè)手持裝置包括至少一個(gè)光源103，至少一個(gè)光檢測器111，其檢測來自兩個(gè)或多個(gè)手持裝置的每個(gè)的至少一個(gè)光源103的光105，控制單元121，其接收來自至少一個(gè)光檢測器111的圖象數(shù)據(jù)，其中控制單元121從來自至少一個(gè)光檢測器111的圖象數(shù)據(jù)中檢測兩個(gè)或多個(gè)可移動(dòng)手持裝置中的每個(gè)在至少二維空間內(nèi)的位置，并將兩個(gè)或多個(gè)可移動(dòng)手持裝置的每個(gè)的位置翻譯以分別控制顯示器上的兩個(gè)或多個(gè)各自的部件。
24.如權(quán)利要求23的系統(tǒng)，其中兩個(gè)或多個(gè)手持裝置的每個(gè)的至少一個(gè)光源103以閃光頻率打開和關(guān)閉，并以閃光波長發(fā)送光105。
25.如權(quán)利要求24的系統(tǒng)，其中兩個(gè)或多個(gè)手持裝置的至少一個(gè)光源103的閃光頻率不同。
26.如權(quán)利要求24的系統(tǒng)，其中兩個(gè)或多個(gè)手持裝置的至少一個(gè)光源103的閃光波長不同。
27.如權(quán)利要求26的系統(tǒng)，其中閃光波長落在可見光和紅外線光譜內(nèi)。
全文摘要
一個(gè)系統(tǒng)包括至少一個(gè)可移動(dòng)手持裝置內(nèi)的光源、至少一個(gè)檢測所述光源發(fā)出光的光檢測器和接收來自至少一個(gè)光檢測器的數(shù)據(jù)的控制單元。控制單元從來自至少一個(gè)光檢測器的數(shù)據(jù)確定手持裝置在至少二維空間內(nèi)的位置，并翻譯該位置以控制顯示器上的部件。
文檔編號G06F3/038GK1630877SQ01808468
公開日2005年6月22日 申請日期2001年12月10日 優(yōu)先權(quán)日2000年12月22日
發(fā)明者A·J·科爾梅納雷茲, E·科亨-索拉爾, D·溫沙爾, M·-S·李 申請人:皇家菲利浦電子有限公司