專(zhuān)利名稱：控制一個(gè)對(duì)象的控制設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種具有適于移動(dòng)，最好是手動(dòng)移動(dòng)的圖象記錄裝置的控制設(shè)備，用于根據(jù)圖象記錄裝置的移動(dòng)控制一個(gè)對(duì)象。本發(fā)明也涉及一種控制一個(gè)對(duì)象的方法。
今天，個(gè)人計(jì)算機(jī)通常裝備一種控制設(shè)備，一個(gè)所謂的計(jì)算機(jī)鼠標(biāo)，它被用于定位在計(jì)算機(jī)屏幕上的光標(biāo)。該定位通過(guò)用戶使鼠標(biāo)移過(guò)一個(gè)表面來(lái)進(jìn)行。手的移動(dòng)指示鼠標(biāo)應(yīng)該如何定位。近來(lái)，最常用的鼠標(biāo)在它的下表面具有一個(gè)球，它在鼠標(biāo)移過(guò)上述表面時(shí)由于反向摩擦而旋轉(zhuǎn)并用這種關(guān)系，驅(qū)動(dòng)又產(chǎn)生定位信號(hào)的位置傳感器。通常，鼠標(biāo)也可以通過(guò)用戶擊一個(gè)或多個(gè)按鈕用于提供指令給計(jì)算機(jī)。
光學(xué)的計(jì)算機(jī)鼠標(biāo)也是已知的。JP09190277表示了具有一個(gè)用于X軸的CCD線性傳感器和一個(gè)用于Y軸的CCD線性傳感器的一個(gè)光學(xué)鼠標(biāo)。借助于在某一時(shí)刻CCD線性傳感器記錄的數(shù)據(jù)與隨后時(shí)刻記錄的數(shù)據(jù)相比較，由此鼠標(biāo)在X方向和在Y方向的移動(dòng)可以被確定。
鼠標(biāo)由此被用于控制一個(gè)虛擬的對(duì)象。然而，還有其它其結(jié)構(gòu)類(lèi)似于鼠標(biāo)的結(jié)構(gòu)的控制設(shè)備但被用于控制對(duì)象。
此外，控制設(shè)備用于控制二維控制對(duì)象，即一個(gè)平面，或三維控制對(duì)象，即一個(gè)空間。
WO98/11528描述了裝有三維信息的計(jì)算機(jī)的控制設(shè)備。該設(shè)備以被放在相互垂直方向并能測(cè)量在一至三個(gè)方向上的加速值或傾斜角的三個(gè)加速傳感器為基礎(chǔ)。該設(shè)備，例如，可以被放在使用者的頭上或可以手持。
用于輸入三維信息給計(jì)算機(jī)的計(jì)算機(jī)鼠標(biāo)在美國(guó)專(zhuān)利5,506,605中被敘述。這種計(jì)算機(jī)鼠標(biāo)被手持以及在空間中被自由地保持。此外，它可以包括，用于測(cè)量由合適的電子裝置連續(xù)翻譯，轉(zhuǎn)換成數(shù)字格式，并輸入到計(jì)算機(jī)的各種物理參數(shù)的傳感器。鼠標(biāo)在空間中的位置由位置傳感器確定，它以光，加速度，陀螺儀等為基礎(chǔ)。在所述的實(shí)施例中，采用一個(gè)超聲傳感器和一個(gè)磁性傳感器構(gòu)成。在輸入的基礎(chǔ)上，計(jì)算機(jī)能以振動(dòng)的方式連續(xù)產(chǎn)生觸覺(jué)反饋，例如，提供給使用者關(guān)于鼠標(biāo)的位置相對(duì)于它所希望的位置的信息。
本發(fā)明的目的是要提供一種改進(jìn)的控制設(shè)備和控制適于二維和三維控制的實(shí)際對(duì)象以及虛擬對(duì)象的一種改進(jìn)方法。
這個(gè)目的通過(guò)以下控制設(shè)備和方法來(lái)實(shí)現(xiàn)一種控制設(shè)備，具有適于移動(dòng)，最好是手動(dòng)移動(dòng)的圖像記錄裝置，用于根據(jù)圖像記錄裝置的移動(dòng)控制一個(gè)對(duì)象，其特征在于控制設(shè)備適合于在該圖像記錄裝置被移動(dòng)時(shí)記錄帶有部分重疊內(nèi)容的一組圖像，該圖像的部分重疊內(nèi)容能夠確定圖像記錄裝置如何被移動(dòng)。
一種控制設(shè)備，具有適于被旋轉(zhuǎn)，最好是手動(dòng)旋轉(zhuǎn)的圖像記錄裝置，用于根據(jù)所述圖像記錄裝置的旋轉(zhuǎn)控制一個(gè)對(duì)象，其特征在于所述的控制設(shè)備適于在所述圖像記錄裝置被旋轉(zhuǎn)時(shí)記錄帶有部分重疊內(nèi)容的一組圖像，所述圖像的部分重疊內(nèi)容能確定所述圖像記錄裝置是如何旋轉(zhuǎn)的。
一種控制一個(gè)對(duì)象的方法，包括如下步驟移動(dòng)控制設(shè)備；借助所述控制設(shè)備在該控制設(shè)備移動(dòng)期間記錄一組帶有重疊內(nèi)容的圖像，及借助于重疊圖像的內(nèi)容，確定所述控制設(shè)備的移動(dòng)。
因此，根據(jù)本發(fā)明的第一個(gè)方面，本發(fā)明涉及具有圖像記錄裝置的控制設(shè)備，它適于由使用者移動(dòng)，最好是手動(dòng)移動(dòng)，根據(jù)圖像記錄裝置的移動(dòng)用于控制一個(gè)可能是實(shí)際的或虛擬的對(duì)象。該圖像記錄裝置適于在它們被移動(dòng)時(shí)記錄帶有部分重疊內(nèi)容的一組圖像，部分重疊的內(nèi)容使得能夠確定圖像記錄裝置如何移動(dòng)。
本發(fā)明因此是以利用圖像確定一個(gè)單元怎樣移動(dòng)的想法為基礎(chǔ)。這個(gè)技術(shù)可以被用于二維以及三維控制。這是有優(yōu)點(diǎn)的，因?yàn)樗枰苌俚膫鞲衅鞑⑶覜](méi)有移動(dòng)部件。整個(gè)移動(dòng)信息包含于圖像的重疊內(nèi)容。因?yàn)樵O(shè)備記錄了周?chē)膱D像，一個(gè)“絕對(duì)”位置指示被獲得，使它能在圖像記錄裝置處于一個(gè)特殊位置時(shí)，例如在利用根據(jù)測(cè)量加速度的控制設(shè)備不能檢測(cè)時(shí)，能夠檢測(cè)。此外，對(duì)于移動(dòng)、旋轉(zhuǎn)也能檢測(cè)并被用于控制一個(gè)對(duì)象。
在一個(gè)實(shí)施例中，控制設(shè)備被設(shè)計(jì)為在一個(gè)平面內(nèi)控制一個(gè)對(duì)象。在這種情況下，重疊的圖像使得不僅圖像記錄裝置的移動(dòng)而且它們?cè)谄矫鎯?nèi)的轉(zhuǎn)動(dòng)也能確定，這例如在使用帶有一個(gè)球的傳統(tǒng)的鼠標(biāo)時(shí)是不可能的。此外，控制設(shè)備有益之處是適于控制平面內(nèi)對(duì)象的角度位置。當(dāng)設(shè)備被設(shè)計(jì)為平面控制時(shí)，圖像記錄裝置有益之處是裝有具有二維傳感器表面的光感應(yīng)傳感器，一個(gè)用于記錄圖像的所謂區(qū)域(area)傳感器。在這篇上下文中，二維傳感器表面實(shí)際上是指?jìng)鞲衅鞅砻姹仨毮苁箮в邢笏?pixels)矩陣的表面成象。CCD傳感器和CMOS傳感器就是合適的傳感器。單個(gè)的傳感器由此足以在一個(gè)平面進(jìn)行控制。
在另一個(gè)實(shí)施例中，設(shè)備被設(shè)計(jì)為在空間控制一個(gè)對(duì)象。也是在這種情況下，控制設(shè)備有利地適于控制對(duì)象的角度位置，其中控制能?chē)@著三個(gè)軸發(fā)生。在一個(gè)經(jīng)濟(jì)的實(shí)施例中，對(duì)于設(shè)備具有兩個(gè)每個(gè)具有一個(gè)二維傳感器表面的光感應(yīng)傳感器用于在二個(gè)不同的方向記錄所述的圖像就可能是足夠的。
然而，為了在空間中更精確的控制，圖像記錄裝置最好包括三個(gè)用于記錄圖像在三個(gè)最好是垂直方向上的傳感器更合適。這能夠確定沿三個(gè)相互垂直軸的平移以及借助于相對(duì)簡(jiǎn)單計(jì)算確定圍繞這些軸的旋轉(zhuǎn)。
相適應(yīng)地，控制設(shè)備具有用于為控制對(duì)象提供控制信號(hào)的圖像處理裝置。該圖像處理裝置與圖像記錄裝置一樣處于同一物理外殼中，從這個(gè)物理外殼輸出的信號(hào)由此構(gòu)成用于控制要被控制的對(duì)象的控制信號(hào)。然而，該圖像處理裝置也可以處于另一個(gè)物理外殼中，例如在其光標(biāo)構(gòu)成要控制的對(duì)象的計(jì)算機(jī)內(nèi)，或者在又控制，或者構(gòu)成借助于控制設(shè)備控制的實(shí)際對(duì)象的部件的計(jì)算機(jī)內(nèi)，從圖像處理裝置輸出的信號(hào)構(gòu)成用于控制該對(duì)象的控制信號(hào)。在這篇上下文中，應(yīng)該注意到，從圖像處理裝置輸出的控制信號(hào)在它們直接用于對(duì)象的控制以前可能需要進(jìn)一步的處理。圖像處理裝置借助于處理器和軟件被有利地執(zhí)行，而且也完全可以借助于硬件被執(zhí)行。
圖像處理裝置相應(yīng)地適于根據(jù)用于提供所述的控制信號(hào)的部分重疊內(nèi)容確定圖像的相對(duì)位置。如果控制設(shè)備被用于三維控制，這就適合于對(duì)于所有的傳感器并行地進(jìn)行。移動(dòng)的距離和方向，以及現(xiàn)在的位置，可以在圖像的相對(duì)位置的基礎(chǔ)上被確定。
最好，控制設(shè)備具有一個(gè)校準(zhǔn)模式，其中圖像記錄裝置以其能使圖像處理裝置讓圖像的相對(duì)位置與圖像記錄裝置的實(shí)際移動(dòng)相聯(lián)系的方式被移動(dòng)。作為一種選擇，控制設(shè)備可以裝有借助于傳感器測(cè)量到成象表面距離的測(cè)距儀，當(dāng)然它將更加昂貴。
圖像處理裝置相應(yīng)地適于在從圖像的相對(duì)位置獲得的至少一個(gè)矢量的基礎(chǔ)上產(chǎn)生所述的控制信號(hào)。
此外，或可供選擇地，圖像處理裝置可適于在從圖像的相對(duì)位置獲得的至少一個(gè)旋轉(zhuǎn)指示的基礎(chǔ)上產(chǎn)生所述的控制信號(hào)?？刂菩盘?hào)由此可以被用于控制對(duì)象的旋轉(zhuǎn)及它的移動(dòng)，它與傳統(tǒng)的機(jī)械計(jì)算機(jī)鼠標(biāo)相比是一個(gè)優(yōu)點(diǎn)。
在控制設(shè)備用于三維控制的情況下，圖像處理裝置可以從所有的傳感器根據(jù)圖像的相對(duì)位置合成信息以便產(chǎn)生一個(gè)移動(dòng)矢量和一個(gè)旋轉(zhuǎn)矢量。用這種方式，圖像記錄裝置的位置可以明確地被確定。換句話說(shuō)，控制設(shè)備能進(jìn)行通過(guò)用手移動(dòng)圖像記錄裝置時(shí)完成的移動(dòng)的數(shù)字轉(zhuǎn)換，以便能使計(jì)算機(jī)在這個(gè)移動(dòng)的基礎(chǔ)上控制一個(gè)對(duì)象。
在一個(gè)實(shí)施例中，圖像處理裝置可適于根據(jù)圖像記錄裝置被移動(dòng)的速度產(chǎn)生所述的控制信號(hào)，該速度由圖像的相對(duì)位置和圖像記錄頻率確定。
相適應(yīng)地，控制信號(hào)的接收器應(yīng)該知道該控制信號(hào)是控制信號(hào)，以便了解信號(hào)如何被連續(xù)處理。接著，圖像處理裝置最好適于以這樣一種方式輸出所述的控制信號(hào)，即接收器能識(shí)別想要控制一個(gè)對(duì)象的控制信號(hào)。這例如可以通過(guò)利用預(yù)定的協(xié)議被實(shí)現(xiàn)。
使用一個(gè)基于圖像控制裝置的優(yōu)點(diǎn)是能夠確定何時(shí)圖像記錄裝置在預(yù)定的位置上，因?yàn)檫@個(gè)位置借助于一個(gè)或幾個(gè)圖像可以被限定下來(lái)。例如，當(dāng)圖像記錄裝置已轉(zhuǎn)到它們的初始位置時(shí)，能夠檢測(cè)到。為此，圖像處理裝置適于儲(chǔ)存至少一幅參考圖像并將連續(xù)記錄的圖像與這個(gè)圖像相比較，以便在基本上完全重疊的情況下產(chǎn)生一個(gè)信號(hào)。例如，使用者可以通過(guò)在這個(gè)部分上擊控制設(shè)備將某一位置規(guī)定為參考位置。
如果圖像記錄裝置和圖像處理裝置處于不同的物理外殼中時(shí)，圖像記錄裝置可以有利地包括用于將圖像從圖像記錄裝置無(wú)線傳輸?shù)綀D像處理裝置的一個(gè)發(fā)射器。此外，如果圖象記錄和圖像處理裝置處于同樣的物理外殼中，只要圖像處理裝置包括用于控制信號(hào)無(wú)線輸出的一個(gè)發(fā)射機(jī)，比如其光標(biāo)要被控制的一臺(tái)計(jì)算機(jī)，它可能也是個(gè)優(yōu)點(diǎn)。在兩種情況下，控制設(shè)備很容易使用，因?yàn)樾畔鬟f不需要皮線。例如，一個(gè)使用者可能具有一個(gè)個(gè)人圖像記錄裝置或控制設(shè)備并借助不同的計(jì)算機(jī)或控制信號(hào)的接收機(jī)使用它。發(fā)射機(jī)可以是一個(gè)IR發(fā)射機(jī)比如使用所謂的藍(lán)牙標(biāo)準(zhǔn)的無(wú)線電發(fā)射機(jī)，或者適合于在相互較近設(shè)置的二個(gè)單元之間傳遞無(wú)線信息的一些其它發(fā)射機(jī)。
在一個(gè)最佳實(shí)施例中，控制設(shè)備是一個(gè)計(jì)算機(jī)鼠標(biāo)，即，能被連接到計(jì)算機(jī)并被用于設(shè)定一維、二維或多維光標(biāo)位置的一種設(shè)備。
控制設(shè)備可以被用在第一絕對(duì)模式或第二相對(duì)模式中。在絕對(duì)模式中，控制對(duì)象的移動(dòng)是與圖像記錄裝置的移動(dòng)成比例的。換句話說(shuō)，對(duì)象以對(duì)應(yīng)于圖像記錄裝置的移動(dòng)的方式移動(dòng)，而不管它們放在哪兒。然而，在相對(duì)模式中，控制設(shè)備被配置，以便在圖像記錄裝置和預(yù)定的坐標(biāo)原點(diǎn)之間的距離增加時(shí)控制對(duì)象的速度和加速度增加。用這種方式，通過(guò)保持圖像記錄裝置離預(yù)定的原點(diǎn)更遠(yuǎn)，可能獲得對(duì)象的更快的移動(dòng)，而在同時(shí)，精密的控制可以通過(guò)保持圖像記錄裝置靠近原點(diǎn)而獲得。
根據(jù)本發(fā)明的第二方面，它涉及一種具有適于被旋轉(zhuǎn)，最好是手動(dòng)旋轉(zhuǎn)的圖像記錄裝置的控制設(shè)備，用于根據(jù)圖像記錄裝置的旋轉(zhuǎn)控制對(duì)象。該控制設(shè)備適于在圖像記錄裝置被旋轉(zhuǎn)時(shí)記錄帶有部分重疊內(nèi)容的一組圖像，圖像的部分重疊內(nèi)容能確定圖像記錄裝置是如何被旋轉(zhuǎn)的。
這個(gè)控制設(shè)備所依據(jù)的和上文所述的控制設(shè)備是同樣的想法，但取代根據(jù)圖像記錄裝置的移動(dòng)控制對(duì)象的是它根據(jù)旋轉(zhuǎn)而被控制。例如這個(gè)控制設(shè)備可以是一個(gè)跟蹤球。上面討論的實(shí)施例基本上也可應(yīng)用于旋轉(zhuǎn)控制設(shè)備，并可獲得同樣的優(yōu)點(diǎn)。
根據(jù)本發(fā)明的第三方面，它涉及一種控制一個(gè)對(duì)象的方法，包括如下步驟移動(dòng)控制設(shè)備；借助于控制設(shè)備在控制設(shè)備移動(dòng)期間記錄一組帶有重疊內(nèi)容的圖像；并借助于重疊圖像的內(nèi)容確定控制設(shè)備的移動(dòng)。關(guān)于上文提到的設(shè)備與所述的相同的優(yōu)點(diǎn)被獲得。
本發(fā)明將在下文通過(guò)用參照


實(shí)施例的方式被詳細(xì)敘述，其中圖1根據(jù)本發(fā)明示意地表示控制設(shè)備的一個(gè)實(shí)施例；圖2是根據(jù)本發(fā)明，控制設(shè)備一個(gè)實(shí)施例的電子電路部分的框圖；圖3示意地表示根據(jù)本發(fā)明的一個(gè)控制設(shè)備第二實(shí)施例；圖4是說(shuō)明用于二維控制的一個(gè)控制設(shè)備操作的流程說(shuō)明；圖5示意地表示一個(gè)“打開(kāi)的盒子”其中在圖3中的控制設(shè)備可以被使用；圖6示意地表示根據(jù)本發(fā)明的控制設(shè)備的移動(dòng)在帶有軸ex,ey和ez的一個(gè)正交坐標(biāo)系中從一個(gè)點(diǎn)(x,y,z)到一個(gè)點(diǎn)(x+δx,y+δy,z+δz)；圖7示意地表示平移標(biāo)量在控制設(shè)備被移動(dòng)時(shí)從各自的傳感器被輸出(下標(biāo)表示傳感器正產(chǎn)生各自的標(biāo)量)；以及圖8示意地表示在校準(zhǔn)模式中控制設(shè)備要如何被移動(dòng)。
根據(jù)本發(fā)明的控制設(shè)備可能基本在兩種主要類(lèi)型的實(shí)施例中被提供。根據(jù)本發(fā)明控制設(shè)備第一種實(shí)施例將在下文被敘述，該實(shí)施例要被用作二維鼠標(biāo)。接著，控制設(shè)備的第二個(gè)實(shí)施例將被敘述，該實(shí)施例要被用作三維鼠標(biāo)。最后，二維和三維鼠標(biāo)的操作將被敘述。在所述的兩個(gè)實(shí)施例中，圖像記錄裝置和圖像處理裝置處于相同的物理外殼中，由此控制信號(hào)被輸出。如上文所提到的，圖像處理裝置也可能被裝在分隔的物理外殼中。對(duì)于熟練的技術(shù)人員要進(jìn)行這樣的修改是很簡(jiǎn)單的。
在圖1中表示的控制設(shè)備的第一實(shí)施例中，它包括具有和常用的強(qiáng)光筆大約同樣形狀的一個(gè)外殼1。外殼的一個(gè)短邊具有一個(gè)窗2，通過(guò)它圖像被讀入設(shè)備。窗2在外殼內(nèi)略微地凹入殼內(nèi)以不損壞下面的表面。
外殼1基本包括一個(gè)光學(xué)部件3，一個(gè)電子電路部件4，和一個(gè)電源部件5。
光學(xué)部件3包括一個(gè)發(fā)光二極管6，一個(gè)透鏡系統(tǒng)7，和光感應(yīng)傳感器8的形式的圖像記錄裝置，它構(gòu)成了與電子電路部件4的接口。
發(fā)光二極管6的任務(wù)是要照亮現(xiàn)在正位于窗的下面的一個(gè)表面，在這種情況下在這里控制設(shè)備對(duì)著表面或由此很接近地被直接保持。一個(gè)漫射器9被安裝在發(fā)光二極管6的前面用于漫射光線。
透鏡系統(tǒng)7的任務(wù)是盡可能準(zhǔn)確地投射放在窗2下的表面的圖像到光感應(yīng)傳感器8上。
在這個(gè)例子中，光感應(yīng)傳感器8包括一個(gè)二維，帶有內(nèi)裝A/D轉(zhuǎn)換器的方形CCD單元(CCD=充電耦合裝置(charge couple device))。這樣的傳感器是可以商用的。該傳感器8以一個(gè)小角度對(duì)著窗2被裝在它自己的電路板11上。
對(duì)控制設(shè)備的電源供應(yīng)由電池12獲得，它被裝在外殼內(nèi)的隔離倉(cāng)13內(nèi)。
在圖2框圖中示意地表示了電子電路部件4。它被設(shè)置在電路板上并包括一個(gè)處理器20，它借助總線21被連接到其中處理器的程序被儲(chǔ)存的ROM22，連接到構(gòu)成處理器的工作存儲(chǔ)器并且來(lái)自傳感器的圖像被儲(chǔ)存其中的讀/寫(xiě)存儲(chǔ)器23，連接到控制邏輯單元24，以及傳感器8和發(fā)光二極管6。處理器20，總線21，存儲(chǔ)器22和23，控制邏輯單元24，以及相關(guān)的軟件一起構(gòu)成圖像處理裝置。
控制邏輯單元24又被連接到一些外圍的單元，包括用于傳送/來(lái)自一臺(tái)外部計(jì)算機(jī)的信息的一個(gè)無(wú)線電收發(fā)信機(jī)26，借助其使用者可以控制圖像記錄裝置并也可用作傳統(tǒng)鼠標(biāo)掣子按鈕的按鈕27，以及指示鼠標(biāo)何時(shí)準(zhǔn)備使用的指示器29，如一個(gè)發(fā)光二極管。送到存儲(chǔ)器、傳感器和外圍單元的控制信號(hào)在控制邏輯單元24內(nèi)產(chǎn)生?？刂七壿嬕部刂浦袛嘈盘?hào)的發(fā)生和優(yōu)先次序給處理器。按鈕27、無(wú)線電收發(fā)信機(jī)26和發(fā)光二極管6通過(guò)處理器在控制邏輯單元24中的寄存器內(nèi)寫(xiě)和讀被存取。按鈕27在它們被啟動(dòng)時(shí)產(chǎn)生中斷信號(hào)給處理器20。
圖3表示根據(jù)本發(fā)明控制設(shè)備的第二實(shí)施例。類(lèi)似于第一實(shí)施例，這個(gè)實(shí)施例包括一個(gè)筆形外殼31。除了在外殼的一個(gè)短邊上的窗32以外，該設(shè)備還具有兩個(gè)附加窗32’和32”。窗32，32’，32”中的每個(gè)稍微凹入殼內(nèi)以免在它使用時(shí)或閑置時(shí)控制設(shè)備碰撞到某一個(gè)表面造成損壞或劃傷。
如在上面的情況下，外殼1基本包含一個(gè)光學(xué)部分33，一個(gè)電子電路部分34和一個(gè)電源部分5。
光學(xué)部分33包括帶有三個(gè)透鏡系統(tǒng)的一個(gè)透鏡盒(未表示)和帶有三個(gè)光感應(yīng)傳感器一組傳感器(未表示)，它們構(gòu)成到電子電路部件34的接口分別用于窗32，32’，32”。在這個(gè)實(shí)施例中沒(méi)有發(fā)光二極管?？刂圃O(shè)備要被保持在距要被成象的表面一定的距離，并且在多數(shù)情況下，周?chē)墓饩€足以讓圖像被記錄。
透鏡系統(tǒng)的任務(wù)是盡可能準(zhǔn)確地投射窗32,32’,32”被引導(dǎo)在其上的表面圖像到光感應(yīng)傳感器。
如在上面的實(shí)施例中，光感應(yīng)傳感器包括帶有內(nèi)裝A/D轉(zhuǎn)換器的二維平面CCD單元。每個(gè)傳感器被裝在它自己的電路板上。
也在這個(gè)實(shí)施例中，對(duì)控制設(shè)備的電源供應(yīng)由一個(gè)電池獲得，它被裝在外殼內(nèi)隔離的艙室內(nèi)。
在這個(gè)第二實(shí)施例中，電子電路部分的設(shè)計(jì)基本上按照第一實(shí)施例與上文所述相同。電子電路部分由所有的三個(gè)傳感器所共享。設(shè)備用作二維鼠標(biāo)的應(yīng)用根據(jù)第一實(shí)施例的設(shè)備可以被用作用于輸入移動(dòng)信息的鼠標(biāo)，借助于它一個(gè)光標(biāo)可以在計(jì)算機(jī)屏幕上被控制。
使用者在圖案表面，例如，一個(gè)鼠標(biāo)墊板上引導(dǎo)控制設(shè)備的窗2。他按動(dòng)按鈕27中的一個(gè)按鈕以啟動(dòng)圖像記錄裝置，于是處理器20命令發(fā)光二極管6開(kāi)始以一個(gè)預(yù)定的頻率，合適地至少為50Hz，產(chǎn)生選通脈沖。隨后，使用者如用傳統(tǒng)的鼠標(biāo)的同樣的方式將控制設(shè)備移過(guò)表面，于是帶有部分重疊內(nèi)容的圖像由傳感器所記錄并儲(chǔ)存在讀/寫(xiě)存儲(chǔ)器23中。圖像作為圖像，即借助于一組象素，被儲(chǔ)存，每個(gè)畫(huà)面具有從白到黑范圍內(nèi)的灰度值。
圖4中的流程圖表示了二維鼠標(biāo)更詳細(xì)的操作。在步驟400中，一個(gè)開(kāi)始圖像被記錄。在步驟401中，下一幅圖像被記錄。這幅圖像的內(nèi)容與前一幅圖像的內(nèi)容部分重疊。
一旦一幅圖像在步驟401中被記錄，確定它如何重疊前一幅圖像的過(guò)程開(kāi)始，步驟402，即其中相對(duì)位置的最好比較在圖像的內(nèi)容之間被獲得。這個(gè)確定通過(guò)相互垂直和水平平移圖像及通過(guò)相互旋轉(zhuǎn)圖像被進(jìn)行。為此，在圖像之間每個(gè)可能的重疊位置在象素級(jí)上被檢驗(yàn)，并且一個(gè)重疊測(cè)量被確定如下1)對(duì)于每個(gè)重疊象素的位置，如果二個(gè)相關(guān)象素不是白的，二者的灰度值被加起來(lái)。其中沒(méi)有一個(gè)象素是白的這樣一個(gè)象素位置被指定為一個(gè)加位置。
2)對(duì)于所有加位置的灰度和被加起來(lái)。
3)每個(gè)象素位置的相鄰位置被檢驗(yàn)。如果一個(gè)重疊象素位置不是加位置的相鄰位置并且是由白色的象素和一個(gè)不是白色的象素位置所組成，則非白色象素的灰度值被乘以一個(gè)常數(shù)從第2)條的和中減去。
4)提供如上面所表示的最高重疊測(cè)量的重疊位置被選擇。
我們的瑞典專(zhuān)利申請(qǐng)?zhí)?704924-1和對(duì)應(yīng)的美國(guó)申請(qǐng)No.024641敘述了一種比較圖像的替換方法，以便找到最好的重疊位置。這些申請(qǐng)的內(nèi)容由此被結(jié)合起來(lái)。
一旦現(xiàn)在的圖像和前面的圖像之間最佳重疊位置被確定，前面的圖像被放棄，于是現(xiàn)在的圖像相對(duì)于下一個(gè)記錄的圖像變成了前面的圖像。
通過(guò)確定兩個(gè)圖像的相對(duì)位置，表示圖像記錄裝置在二個(gè)圖像的記錄之間已經(jīng)移動(dòng)了多遠(yuǎn)和方向的一個(gè)移動(dòng)矢量被獲得。如果鼠標(biāo)也已在二個(gè)圖像之間旋轉(zhuǎn)，這個(gè)旋轉(zhuǎn)的測(cè)量也被獲得。隨后，包括移動(dòng)矢量和旋轉(zhuǎn)測(cè)量的一個(gè)控制信號(hào)通過(guò)無(wú)線電收發(fā)信機(jī)26被發(fā)射，步驟403，到對(duì)其來(lái)說(shuō)控制設(shè)備作為一個(gè)鼠標(biāo)正在操作的計(jì)算機(jī)。計(jì)算機(jī)利用移動(dòng)矢量和旋轉(zhuǎn)的測(cè)量來(lái)確定光標(biāo)在它的屏幕上的位置。接著，回到步驟401。為了加快速度，各步驟部分地并行進(jìn)行，即通過(guò)在現(xiàn)在的圖像和前面的圖像正被放在一起時(shí)開(kāi)始下一幅圖像的記錄。
當(dāng)鼠標(biāo)被啟動(dòng)時(shí)，按鈕27可以被用作單擊按鈕用于輸入指令給計(jì)算機(jī)。設(shè)備用作三維鼠標(biāo)的應(yīng)用根據(jù)第二實(shí)施例的設(shè)備可以被用作一個(gè)鼠標(biāo)用于輸入移動(dòng)信息，借助于此，一個(gè)光標(biāo)可以在計(jì)算機(jī)屏幕上被三維控制，即在一個(gè)空間內(nèi)控制。
如上所述，三維鼠標(biāo)包括具有二維光感應(yīng)傳感器表面的三個(gè)傳感器32,32’,32”。傳感器的主軸在正交坐標(biāo)系中沿X-,Y-和Z軸取向并具有n×n象素的二維空間分辨率和每秒m幅圖像的時(shí)間分辯率。每個(gè)透鏡系統(tǒng)提供一個(gè)帶有v弧度視角的視野用于相關(guān)的傳感器表面。
當(dāng)設(shè)備在使用時(shí)，鼠標(biāo)的移動(dòng)在根據(jù)圖5的一個(gè)“打開(kāi)的盒子”50中進(jìn)行，它由彼此之間呈直角方向的至少二個(gè)側(cè)壁51和52及底面53所限定。也可能鼠標(biāo)被自由保持在空間中，但這需要比下面將要敘述的復(fù)雜的計(jì)算方法。
當(dāng)設(shè)備在使用時(shí)，確定圖像相對(duì)位置的上述方法被用于每個(gè)傳感器。因此，在這種情況下的操作也可以借助于圖4中的流程圖被敘述，但取代記錄單個(gè)圖像的，是一組由三個(gè)圖像組成的圖像被同時(shí)記錄。一個(gè)移動(dòng)矢量和一個(gè)旋轉(zhuǎn)矢量由此借助于由每個(gè)光感應(yīng)傳感器記錄的圖像所產(chǎn)生，該矢量描述了由在二個(gè)連續(xù)圖像的記錄之間的鼠標(biāo)所進(jìn)行的移動(dòng)。這些矢量隨后被包含在控制信號(hào)中被發(fā)射到借助鼠標(biāo)要被控制的對(duì)象。
此外，要能成功的利用鼠標(biāo)，需要這樣的光照條件，即光感應(yīng)傳感器能夠記錄足夠高質(zhì)量的圖像以讓它們進(jìn)行上文所述的處理。
為了進(jìn)一步便于讀者理解鼠標(biāo)移動(dòng)能如何控制對(duì)象，進(jìn)行確定鼠標(biāo)移動(dòng)的計(jì)算說(shuō)明現(xiàn)在將通過(guò)舉例的方式和參照?qǐng)D6被提供。在下面的計(jì)算中，假設(shè)圖像比較算法是一種簡(jiǎn)單類(lèi)型，即對(duì)于每個(gè)傳感器僅計(jì)算在二個(gè)圖像之間在二個(gè)相互垂直的方向上的平移。假定鼠標(biāo)位于位置(x,y,z)并且它具有一個(gè)可借助于正交旋轉(zhuǎn)矩陣R說(shuō)明的旋轉(zhuǎn)。由此鼠標(biāo)的X軸指向R.ex方向，y軸指向R.ey方向，z軸指向R.ez方向。也假定在二個(gè)圖像的記錄之間，鼠標(biāo)依據(jù)(x,y,z)→(x+δx,y+δy,z+δz)R→R·δR進(jìn)行平移運(yùn)動(dòng)和/或旋轉(zhuǎn)運(yùn)動(dòng)。在鼠標(biāo)的局部坐標(biāo)系中，平移矢量可以如圖7所示的被限定。第一傳感器記錄在x和y方向的移動(dòng)，第二傳感器記錄在y和z方向的移動(dòng)而第三傳感器記錄在x和z方向的移動(dòng)。接著，對(duì)于任何三個(gè)一組的連續(xù)圖像，平移標(biāo)量(x1,y1,y2,z2,x3,z3)描述了鼠標(biāo)的檢測(cè)移動(dòng)。平移標(biāo)量由來(lái)自圖像比較算法用于每個(gè)傳感器的輸出組成。
為了計(jì)算鼠標(biāo)的旋轉(zhuǎn)，平移標(biāo)量的旋轉(zhuǎn)的效果被計(jì)算。假定鼠標(biāo)轉(zhuǎn)過(guò)了一個(gè)角度α，它很小使得sinα≈α。為了清楚起見(jiàn)，假設(shè)旋轉(zhuǎn)圍繞z軸進(jìn)行了αz弧度。這個(gè)旋轉(zhuǎn)結(jié)果為標(biāo)量 在這里n是沿傳感器一側(cè)象素的數(shù)量而γ是用弧度表示的傳感器表面的視角。因此，下列內(nèi)容應(yīng)用于所有的軸
通過(guò)了解從圖像比較算法輸出的信號(hào)的平移標(biāo)量值沿一側(cè)傳感器表面的象素?cái)?shù)量n和傳感器的視角γ，有可能計(jì)算對(duì)于鼠標(biāo)繞x、y和z軸旋轉(zhuǎn)的旋轉(zhuǎn)矢量(αx,αy,αz)。
此外，為了計(jì)算平移運(yùn)動(dòng)，必須知道從每個(gè)傳感器到周?chē)鷰缀涡螤畹淖饔镁嚯x(functional distance)。該作用距離是使從圖像比較算法的輸出與平移運(yùn)動(dòng)相關(guān)聯(lián)的一個(gè)常數(shù)。該作用距離借助于將在下文敘述的校準(zhǔn)來(lái)確定。在特殊情況下，鼠標(biāo)在如上文所述的在一個(gè)“打開(kāi)的盒子”50的內(nèi)部移動(dòng)，作用距離對(duì)應(yīng)于從鼠標(biāo)的中部到盒子50的各個(gè)壁51,52和53的幾何距離。
為了清楚起見(jiàn)，沿x軸平移的距離δx被檢查。因此，根據(jù)標(biāo)量x1和x3平移的作用將分別為x1=n2d1tanv2δx]]>和x3=n2d3tanv2δx]]>這里d1和d3是從鼠標(biāo)到關(guān)于(x1,y1)和(x3,z3)的投射表面的作用距離。如果要概括所有軸，下列式子被獲得
通過(guò)了解如從圖像比較算法的輸出信號(hào)獲得的平移標(biāo)量值沿一側(cè)傳感器表面的像點(diǎn)數(shù)量n，傳感器的視野γ和到投射表面的作用距離d1-d3,由此有可能計(jì)算對(duì)于鼠標(biāo)沿x、y和z軸平移的平移矢量(δx、δy、δz)。
總之在圖像比較中獲得的平移標(biāo)量(x1,y1,y2,z2,x3,z3)取決于鼠標(biāo)的旋轉(zhuǎn)及平移。了解上面所述的這些和其它的參數(shù)，平移矢量(δx、δy、δz)和旋轉(zhuǎn)矢量(αx、αy、αz)可以通過(guò)解答下列等式系統(tǒng)被獲得，它可以被解答。這些矢量包含于被發(fā)射到借助于鼠標(biāo)控制對(duì)象的控制信號(hào)，該信號(hào)表示了對(duì)象的新位置。 校準(zhǔn)，即作用距離d1,d2和d3的計(jì)算可以通過(guò)沿打開(kāi)的盒邊移動(dòng)鼠標(biāo)來(lái)進(jìn)行。鼠標(biāo)根據(jù)圖8所示的A-B-C順序沿x,y，和z軸移動(dòng)。每個(gè)移動(dòng)得出二個(gè)等式，它們一起給出下列的等式系統(tǒng) 這個(gè)嚴(yán)密的(overdefine)等式系統(tǒng)包含了所有需要計(jì)算作用距離d1,d2和d3值的信息。
此外，借助于這個(gè)實(shí)施例的鼠標(biāo)，使用者可以選擇在某一個(gè)時(shí)間將傳感器現(xiàn)在正在記錄的圖像儲(chǔ)存于一個(gè)存儲(chǔ)器內(nèi)。接著，每組記錄的圖像與儲(chǔ)存的那組圖像相比較并在存在完全重疊時(shí)，對(duì)使用者產(chǎn)生一個(gè)信號(hào)。這樣能進(jìn)行對(duì)象的精確控制，因?yàn)槭褂谜呖梢园l(fā)現(xiàn)回到鼠標(biāo)在前面情況下所處的確定位置的方法。自然，同樣原理可以被用在對(duì)象的二維控制。
在鼠標(biāo)的另一個(gè)應(yīng)用中，只有旋轉(zhuǎn)運(yùn)動(dòng)被檢測(cè)。在這種情況下，不需要校準(zhǔn)并且足以解答上面提到的與涉及旋轉(zhuǎn)的討論有關(guān)的等式。在這個(gè)應(yīng)用中，鼠標(biāo)可以被裝在比如頭盔或者由使用者穿戴的類(lèi)似物品上并且它比如被用在各種類(lèi)型的虛擬現(xiàn)實(shí)應(yīng)用中。
權(quán)利要求
1．一種控制設(shè)備，具有適于移動(dòng)，最好是手動(dòng)移動(dòng)的圖像記錄裝置，用于根據(jù)圖像記錄裝置的移動(dòng)控制一個(gè)對(duì)象，其特征在于控制設(shè)備適合于在該圖像記錄裝置被移動(dòng)時(shí)記錄帶有部分重疊內(nèi)容的一組圖像，該圖像的部分重疊內(nèi)容能夠確定圖像記錄裝置如何被移動(dòng)。
2．如權(quán)利要求1所述的控制設(shè)備，其中所述的控制設(shè)備適于在平面內(nèi)控制所述的對(duì)象。
3．如權(quán)利要求2所述的控制設(shè)備，其中控制設(shè)備適于在所述的平面內(nèi)控制所述對(duì)象的角度位置。
4．如權(quán)利要求2或3所述的控制設(shè)備，進(jìn)一步包括具有用于記錄圖像的一個(gè)二維傳感器表面的一個(gè)光感應(yīng)傳感器裝置(8)。
5．如權(quán)利要求1所述的控制設(shè)備，其中所述的控制設(shè)備被設(shè)計(jì)為在空間中控制所述對(duì)象。
6．如權(quán)利要求5所述的控制設(shè)備，其中所述的控制設(shè)備適于在所述的空間內(nèi)控制所述對(duì)象的角度位置。
7．如權(quán)利要求5或6所述的控制設(shè)備，進(jìn)一步包括具有用于在二個(gè)不同方向上記錄所述圖像的一個(gè)二維傳感器表面的至少二個(gè)二維光感應(yīng)傳感器裝置(8)。
8．如權(quán)利要求5或6所述的控制設(shè)備，進(jìn)一步包括具有用于在三個(gè)線性獨(dú)立的方向上記錄所述圖像的一個(gè)二維傳感器表面的三個(gè)光感應(yīng)傳感器裝置(8)。
9．如權(quán)利要求1-8中任何一項(xiàng)所述的控制設(shè)備，進(jìn)一步包括用于為控制所述的對(duì)象提供控制信號(hào)的圖像處理裝置(20-24)。
10．如權(quán)利要求9所述的控制設(shè)備，其中所述圖像處理裝置(20-24)適于借助部分重疊內(nèi)容確定圖像的相對(duì)位置，用于提供所述控制信號(hào)。
11．如權(quán)利要求5-8中任何一項(xiàng)所述的控制設(shè)備，進(jìn)一步包括圖像處理裝置(20-24)，它適于借助部分重疊內(nèi)容同時(shí)對(duì)于所有光感應(yīng)傳感器裝置(8)確定圖像的相對(duì)位置，用于提供所述控制信號(hào)。
12．如權(quán)利要求11所述的控制設(shè)備，所述控制設(shè)備此外具有一個(gè)校準(zhǔn)模式，其中圖像記錄裝置以這樣一種方式被移動(dòng)，即能使圖像處理裝置(20-24)將圖像的相對(duì)位置與圖像記錄裝置的實(shí)際移動(dòng)相關(guān)聯(lián)。
13．如權(quán)利要求10-12中任何一項(xiàng)所述的控制設(shè)備，其中所述的圖像處理裝置(20-24)適于在從圖像的相對(duì)位置獲得的至少一個(gè)移動(dòng)矢量的基礎(chǔ)上產(chǎn)生所述的控制信號(hào)。
14．如權(quán)利要求10-13中任何一項(xiàng)所述的控制設(shè)備，其中所述的圖像處理裝置(20-24)適于在從圖像的相對(duì)位置獲得的至少一個(gè)旋轉(zhuǎn)指示的基礎(chǔ)上產(chǎn)生所述的控制信號(hào)。
15．如權(quán)利要求10-14中任何一項(xiàng)所述的控制設(shè)備，其中所述的圖像處理裝置(20-24)適于在圖像記錄裝置以其移動(dòng)的速度的基礎(chǔ)上產(chǎn)生所述的控制信號(hào)，所述的速度由所述圖像的相對(duì)位置確定。
16．如權(quán)利要求9-15中任何一項(xiàng)所述的控制設(shè)備，其中所述的圖像處理裝置(20-24)適于以這樣的方式輸出所述的控制信號(hào)，即使一個(gè)接收器去識(shí)別想要控制一個(gè)對(duì)象的控制信號(hào)。
17．如權(quán)利要求9-16中任何一項(xiàng)所述的控制設(shè)備，其中所述圖像處理裝置(20-24)此外還適于儲(chǔ)存至少一幅參考圖像并將隨后記錄的圖像與該圖像相比較，以便在基本上完全重疊的情況下產(chǎn)生一個(gè)信號(hào)。
18．如權(quán)利要求9-17中任何一項(xiàng)所述的控制設(shè)備，其中所述圖像處理裝置(20-24)包括一個(gè)用于控制信號(hào)無(wú)線輸出的發(fā)射器(26)。
19．如權(quán)利要求9-18中任何一項(xiàng)所述的控制設(shè)備，其中所述圖像記錄裝置包括一個(gè)將圖像無(wú)線傳輸?shù)剿鰣D像處理裝置(20-24)的發(fā)射器(26)。
20．如前面的權(quán)利要求中任何一項(xiàng)所述的控制設(shè)備，其中所述的控制設(shè)備是一個(gè)鼠標(biāo)。
21．如前面的權(quán)利要求中任何一項(xiàng)所述的控制設(shè)備，其中所述的設(shè)備具有一個(gè)第一操作模式，其中該控制設(shè)備適于控制所述的對(duì)象以使得它的移動(dòng)與所述圖像記錄裝置的移動(dòng)成比例。
22．如前面的權(quán)利要求中任何一項(xiàng)所述的控制設(shè)備，其中所述的設(shè)備具有一個(gè)第二操作模式，其中該控制設(shè)備適于控制所述對(duì)象以便它的移動(dòng)速度與在所述圖像記錄裝置和一個(gè)預(yù)定原點(diǎn)之間的距離成比例。
23．一種控制設(shè)備，具有適于被旋轉(zhuǎn)，最好是手動(dòng)旋轉(zhuǎn)的圖像記錄裝置，用于根據(jù)所述圖像記錄裝置的旋轉(zhuǎn)控制一個(gè)對(duì)象，其特征在于所述的控制設(shè)備適于在所述圖像記錄裝置被旋轉(zhuǎn)時(shí)記錄帶有部分重疊內(nèi)容的一組圖像，所述圖像的部分重疊內(nèi)容能確定所述圖像記錄裝置是如何旋轉(zhuǎn)的。
24．一種控制一個(gè)對(duì)象的方法，包括如下步驟-移動(dòng)控制設(shè)備；-借助所述控制設(shè)備在該控制設(shè)備移動(dòng)期間記錄一組帶有重疊內(nèi)容的圖像，及-借助于重疊圖像的內(nèi)容，確定所述控制設(shè)備的移動(dòng)。
25．如權(quán)利要求24所述的控制一個(gè)對(duì)象的方法，進(jìn)一步包括下列步驟-借助部分重疊內(nèi)容確定所述圖像的相對(duì)位置，用于為控制對(duì)象提供控制信號(hào)。
全文摘要
一種控制設(shè)備,例如一個(gè)計(jì)算機(jī)鼠標(biāo),具有適于被移動(dòng),最好是手動(dòng)移動(dòng)的圖像記錄裝置,用于根據(jù)圖像記錄裝置的移動(dòng)控制一個(gè)對(duì)象,例如在計(jì)算機(jī)屏幕上的一個(gè)光標(biāo)。該控制設(shè)備適于在圖像記錄裝置被移動(dòng)時(shí)記錄帶有部分重疊內(nèi)容的一組圖像,該圖像的部分重疊內(nèi)容能使圖像處理裝置產(chǎn)生指示圖像記錄裝置如何被移動(dòng)的控制信號(hào)。以圖像記錄裝置的旋轉(zhuǎn)為基礎(chǔ)的一種控制方法和控制設(shè)備也被表示。
文檔編號(hào)G06F3/0354GK1303494SQ9980667
公開(kāi)日2001年7月11日 申請(qǐng)日期1999年4月30日 優(yōu)先權(quán)日1998年4月30日
發(fā)明者克里斯特·法雷尤斯, 奧拉·雨果森, 彼得·埃里森 申請(qǐng)人:C技術(shù)公司