專利名稱：基于指示設備的用戶接口系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種用戶交互系統(tǒng)，該系統(tǒng)包括一電子設備；一便攜式指示設備，該便攜式指示設備是用戶可操作的以指向空間中的區(qū)域；一照相機，該照相機用于拍照；以及一數(shù)字信號處理器，該數(shù)字信號處理器可接收圖像并對其進行處理并且可將來源于該圖像的用戶接口信息傳送到電子設備。
本發(fā)明還涉及一種供用戶交互系統(tǒng)之用的指示設備。
本發(fā)明還涉及一種供上述用戶交互系統(tǒng)之用的電子設備。
背景技術：
從US-A-2001/0030668中可以得知這種系統(tǒng)。該文獻描述了這樣一種通用遠程控制系統(tǒng)，在該系統(tǒng)中用戶利用其可顯示可識別特征的指示設備來標記顯示器上的一位置，所述指示設備例如是其可發(fā)射出紅斑的激光指示器，并且照相機拍攝該顯示器且計算用戶所指向的位置。此后諸如計算機或者電視這樣的電子設備執(zhí)行其與用戶進行標記相對應的動作。例如如果通過使激光指示器閃光兩次來標記顯示器上一圖標，那么開始相應計算機程序。
巳知系統(tǒng)的缺點在于該系統(tǒng)是為特定顯示所定制的。例如該顯示可以是其基于前部投影儀的LCD在屏幕上的投影，其中該投影儀與膝上型電腦相連。已知系統(tǒng)中照相機具有其可使屏幕成像的位置及視角。接下來，對DSP進行訓練以對照相機圖像中的一區(qū)域進行辯別，所述區(qū)域與屏幕的位置相對應。在現(xiàn)有技術中這是按照一簡單方式來進行的。首先在具有和沒有照明的情況下利用投影儀的圖像來捕獲屏幕的圖像。通過對這兩個圖像的不同之處進行比較，可獲得通過照相機所觀看到的該顯示在空間中的區(qū)域。其次獲得膝上型電腦幀緩沖器中的透視轉換，該透視轉換可確定在顯示上所指向的位置與投影圖像中的位置之間的關系。巳知文獻還描述了通過首先手動選擇虛擬顯示的轉角而指向諸如墻這樣的虛擬顯示。然而總是為了一個顯示要對該系統(tǒng)進行校準并且在用戶想要與另一顯示進行交互的情況下，他必須再次建立該系統(tǒng)或者使用第二系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的第一個目的就是提供一種在開始段落中所描述的這類用戶交互系統(tǒng)，該系統(tǒng)可相對容易的與多個可用電子設備進行交互，尤其是可與顯示器進行交互。
本發(fā)明的第二個目的就是提供一種在開始段落中所描述的這類指示設備，該指示設備相對容易的與多個可用電子設備進行交互。
本發(fā)明的第三個目的就是提供一種供上述用戶交互系統(tǒng)之用的電子設備。
第一個目的是可以實現(xiàn)的，因為照相機與指示設備相連以便在操作過程中其可使所指向的區(qū)域成像。固定照相機僅使空間的某個區(qū)域成像。在已知的用戶交互系統(tǒng)中用戶的指示設備或者所指向的對象甚至不在固定照相機的視野之內(nèi)。其具有附裝照相機的指示設備的主要優(yōu)點在于照相機基本上總是使所指向的區(qū)域最佳的成像，所述照相機例如可以位于其最靠近所指向區(qū)域的指示設備的前端。所指向的對象一般是要將諸如設備控制數(shù)據(jù)這樣的用戶接口信息發(fā)送到其上的電子設備，但是可以是用戶所駐房間中的任何對象，只要它可以被DSP識別。此后例如通過預先指向所要控制的設備來對其進行標識。
在根據(jù)權利要求2的實施例中，用戶接口信息包括用于對電子設備的操作進行控制的設備控制數(shù)據(jù)。起居室中可存在其可產(chǎn)生聲音的多個設備。這些設備的每一個均具有用于增加或者降低音量的控制。通過指示指示設備的照相機朝著特定設備的方向并且例如通過按下指示設備上的按鈕或者使指示設備進行特定移動來執(zhí)行“音量增加”命令，所指向設備的音量將增加。使用巳知通用遠程控制具有這樣的缺點，例如設備應答是用戶所不想要的，因為它使用相同遠程控制代碼。
有利的是如權利要求3的數(shù)字信號處理器包括一對象表征裝置，該對象表征裝置通過將第一對象表征特性提供給所包含的用于對該對象進行標識的對象標識裝置來對存在于照相機所成像區(qū)域的圖像之中的對象或者對象的一部分進行表征，所述對象標識裝置可輸出根據(jù)其可構造出用戶接口信息的對象標識數(shù)據(jù)。
在對不同電子設備進行控制的情況下，它們?nèi)慷急蛔詣幼R別。DSP例如可以是用于表征設備的一般處理器運行算法，或者它可以是專用集成電路。典型的對象表征裝置對設備的圖像執(zhí)行成像處理算法。例如可計算設備的相對尺寸并且可對該設備上的按鈕數(shù)目及位置進行分析。對象標識裝置與特定設備的這些最終第一對象表征特性有關聯(lián)，例如與設備表格中的信息有關聯(lián)。與設備所知曉的設備控制數(shù)據(jù)一樣，可存在與該設備有關的諸如“公司X所生產(chǎn)的其序列號為Y的第一電視”這樣的信息。
此外有利的是如權利要求4所述的數(shù)字信號處理器包括運動軌道估計裝置，用于估計指示設備的運動軌道并且輸出第一運動表征標記，該標記是運動軌道的數(shù)學抽象；以及標記標識裝置，用于對第一運動表征標記進行標識并且輸出與第一運動表征標記相對應的其表示用戶交互命令的命令標識數(shù)據(jù)，用戶接口信息是根據(jù)所述命令標識數(shù)據(jù)構造而成的。
為了避免對于發(fā)送到所有不同設備的所有不同命令而言需要指示設備上的大量按鈕，并且為了使用戶交互系統(tǒng)更對用戶友好，因此有利是至少一些設備控制數(shù)據(jù)是根據(jù)典型的指示設備在其手中的用戶使指示設備移動而產(chǎn)生的。向上移動的標記是指“音量增加”，但是與標準遠程控制完全不同，根據(jù)本發(fā)明的音量變化取決于運動的粗率性。如果用戶使他的手臂慢慢向上移動，那么音量例如僅略微改變，并且相反如果他使他的手臂快速向上移動，那么音量將增長很多。根據(jù)諸如海量變形檢測器、回轉器、差轉GPS定位系統(tǒng)等等這樣的運動檢測裝置來確定指示設備的運動。然而因為已存在照相機，因此還可通過使連續(xù)的圖像成像并且應用運動估計算法來確定該運動。因為除了多對象的精確運動估計之外全程運動估計是很簡單的，因此照相機可以是其基于簡單CMOS的照相機或者甚至可以是少量光敏元件的二維陣列。
此外有利的是如權利要求5所述的數(shù)字信號處理器包括標識改進裝置，該裝置可進一步提高根據(jù)預定規(guī)則來對其被表示為對象標識數(shù)據(jù)的對象以及其被表示為命令標識數(shù)據(jù)的用戶交互命令進行更可靠標識的概率，這可產(chǎn)生更可靠的用戶接口信息。因為對象標識以及運動標記不總是很理想的，因此給定房間中的狀態(tài)可變性，采用這樣的標識改進裝置，該裝置例如對所標識對象的標識數(shù)據(jù)以及命令標識數(shù)據(jù)運用人工智能規(guī)則組，還盡可能的考慮到表征特性第一對象表征特性以及第一運動表征標記。例如，用于確定所指向設備的規(guī)則可考慮到指示設備所在的房間或者日時。例如如果他回家了并且撿起指示設備，那么用戶典型的會做的第一件事情是打開燈。通過DSP根據(jù)這些燈的圖像來驗證他的意圖。
進一步有利的是如權利要求6所述的預定規(guī)則包括考慮到下述先驗巳知信息單元{指示設備所駐房間，用戶所發(fā)布的先前命令，用戶發(fā)布特定命令的統(tǒng)計頻率以及日時}的至少一個的成對{對象標識數(shù)據(jù)，命令標識數(shù)據(jù)}的似然性的概率計算。例如根據(jù)用戶通常所使用命令的統(tǒng)計曲線并且根據(jù)預先所發(fā)布的命令來計算命令的似然性。此外，根據(jù)其內(nèi)存在有指示設備的房間來更新該設備的似然性。用戶在星期五8點鐘也許想要觀看他喜愛的電視節(jié)目。
此外有利的是如要求7所述的數(shù)字信號處理器包括對象關聯(lián)裝置，該裝置為對象標識裝置提供了其包括有至少一個數(shù)據(jù)實體的對象關聯(lián)數(shù)據(jù)，所述數(shù)據(jù)實體是關聯(lián)對象表征特性以及對象相關數(shù)據(jù)，對象關聯(lián)數(shù)據(jù)是從對象存儲器中的其得自于至少一個方法的對象模板數(shù)據(jù)得來的；對象模板數(shù)據(jù)是從下述對象訓練裝置中獲得的，所述對象訓練裝置對對象表征裝置所輸出的第二對象表征特性執(zhí)行預定計算；并且對象模板數(shù)據(jù)是從所輸入的對象數(shù)據(jù)得來的。
如果反而其是廠家所預先構造的用于對固定數(shù)目的設備進行控制，那么該用戶交互系統(tǒng)更加通用，用戶可使它適用于他的變化環(huán)境。例如他購買了的新設備，那么他想借助于相同系統(tǒng)來控制該設備。此外如果他購買了掛在墻上的日程表，并且利用他的指示設備而指向它，那么他想動作，例如在他的PC上起動日程表工具。為此需要對象關聯(lián)裝置。用戶例如在很少的不同角度之下使新設備成像。盡可能的在首先計算恒定設備特定特性之后，在對象表征裝置上所運行的許多圖像處理算法提取該對象的其被存儲為對象模板的特性。此后他利用選擇用戶接口來選擇與該對象模板相對應的設備。這就是所謂的系統(tǒng)的訓練階段。當后來系統(tǒng)用于所謂的命令階段以將設備控制數(shù)據(jù)發(fā)送到標識設備時，借助于存儲在對象關聯(lián)裝置中的數(shù)據(jù)來幫助對象識別裝置的對象識別。例如根據(jù)對象模板數(shù)據(jù)，可將下述多個關聯(lián)對象表征特性發(fā)送到對象標識裝置，所述多個對象表征特性與其作為第一對象表征特性的對象表征裝置的輸出相對應，此后對象標識裝置執(zhí)行比較以選擇正確的標識設備。還可以將這些特性預加載在對象標識裝置中。對象關聯(lián)裝置還可以將下述對象相關數(shù)據(jù)發(fā)送到對象標識裝置，所述對象相關數(shù)據(jù)至少包括設備的標識符并且可能進一步的包括諸如支持命令這樣的數(shù)據(jù)。在可替換實現(xiàn)中，對象關聯(lián)裝置還可以執(zhí)行本身的對象標識，在這種情況下只是將對象相關數(shù)據(jù)發(fā)送給對象標識裝置。為了避免用戶必須通過選擇用戶接口來輸入大量信息，還可通過對象數(shù)據(jù)輸入而輸入對象相關數(shù)據(jù)。例如直接從所標識的且受控的設備輸入。通過該輸入，還可以輸入特征對象模板數(shù)據(jù)，例如設備的廠家可以提供在很好受控成像條件下所拍攝的圖像。
此外有利的是如權利要求8所述的數(shù)字信號處理器包括用于將其包括有至少一個數(shù)據(jù)實體的標記關聯(lián)數(shù)據(jù)提供給標記標識裝置的標記關聯(lián)裝置，所述數(shù)據(jù)實體是關聯(lián)標記特性以及命令相關數(shù)據(jù)，標記關聯(lián)數(shù)據(jù)是從標記存儲器中的其得自于至少一個方法的標記模板數(shù)據(jù)而得來的；標記模板數(shù)據(jù)是從下述標記訓練裝置中獲得的，所述標記訓練裝置對運動軌道估計裝置所輸出的第二運動表征標記執(zhí)行預定計算；并且命令模板數(shù)據(jù)是從所輸入的命令數(shù)據(jù)而得來的。
根據(jù)類似基本原理，可以包括標記關聯(lián)裝置以可對用戶施加到指示設備上的其被表征為標記的新運動軌道進行訓練。在這些實現(xiàn)中，例如通過下述設備來輸入命令數(shù)據(jù)，所述設備可提供其支持命令的一菜單。
此外有利的是如權利要求9所述的第一運動表征標記是根據(jù)照相機在各個時間情況所成像的連續(xù)圖像而得到的。因為照相機附連在指示設備上以使其每個移動成像，并且通過簡單運動估計算法來估計全程運動，因此使用連續(xù)成像的圖像以得到想要的用戶接口命令。
第二個目的是可以實現(xiàn)的，因為根據(jù)權利要求10的指示設備包括一照相機并且可將一圖像發(fā)送到DSP。如上所述，由于這種指示設備而使用戶交互系統(tǒng)變得更通用。
權利要求11中的指示設備的實施例的特征在于其可將一圖像發(fā)送到數(shù)字信號處理器，該數(shù)字信號處理器可根據(jù)該圖像而將用戶接口信息發(fā)送到電子設備。
在根據(jù)權利要求12的實施例中，DSP包含在指示設備之內(nèi)。此后指示設備還與用戶交互系統(tǒng)相分離的操作。例如使指示設備使用于超級市場、對所成像的圖像進行處理、并且存儲相應第一對象表征特性。此后最后執(zhí)行家用設備的控制動作。
有利的是權利要求13所述的指示設備包括用于對指示設備的運動軌道進行檢測的運動檢測裝置。不管該設備是否用于識別對象，它也可用于對其與通過用戶的特定移動相對應的設備控制數(shù)據(jù)進行發(fā)送。指示設備這種應用中的期望設備例如可以是固定的或者由按鈕來表示。
有利的是如權利要求14所述的指示設備包括一特征投影儀，該投影儀用于朝所指向區(qū)域的方向來對特征模式進行光學投影。有利的是用戶可得到他所指向的設備或者設備一部分的反饋。否則，如果他未正確的對準，那么他例如實際上按下該設備的錯誤按鈕。反饋的一個形式就是指示設備顯示上的很小圖像，該圖像示出了照相機所成像區(qū)域的中心。所希望的位于顯示中間的一個是設備或者設備上的按鈕。反饋的另一形式包括諸如白十字或者激光點這樣的其使所想要的設備部分發(fā)亮的特征模式的投影。諸如行的二維網(wǎng)格這樣的更復雜的模式有助于DSP對所成像設備的幾何圖形進行標識。
有利的是如權利要求15所述指示設備包括一可編程用戶接口代碼發(fā)生器以及用于將該代碼傳送到電子設備的無線電發(fā)射機。代替用于將設備控制數(shù)據(jù)發(fā)送到該設備的DSP，例如借助于其基于藍牙的無線本地網(wǎng)絡，指示設備本身例如借助于紅外線輻射可直接發(fā)送適當遠程控制命令。與典型的通用遠程控制相比的優(yōu)點在于DSP可自動的根據(jù)照相機圖像來對該設備進行標識并且產(chǎn)生正確的代碼。
有利的是具有如權利要求16所述的反饋裝置以用于對用戶接口信息的反饋。例如顯示是很有用的。另一反饋例如借助于移動的物質(zhì)可提供某類力反饋。這例如可以模擬相對于TV屏幕的傾翻。
第三目的是可實現(xiàn)的，因為包括這樣的接口裝置，該接口裝置根據(jù)送至該設備的指示設備的“標識支持命令”請求而可使設備將與支持命令有關的信息發(fā)送到如權利要求1所述的指示設備上。DSP或者部分DSP功能也可包含在該設備之內(nèi)。該設備還傳送對象表征特性等等。


參考下面的描述以及附圖而顯而易見的得知并闡明了本發(fā)明，所述附圖示意性的給出了根據(jù)發(fā)明的用戶交互系統(tǒng)以及指示設備的部件示例。在這些附圖中圖1示意性的給出了根據(jù)本發(fā)明的用戶交互系統(tǒng)所在的房間；圖2示意性的給出了根據(jù)本發(fā)明的數(shù)字信號處理器；圖3示意性的給出了根據(jù)本發(fā)明的指示設備；以及圖4給出了運動軌道以及相應標記的兩個示例。
具體實施例方式
在圖1中示出了房間不但包括有諸如其即就是等離子顯示器的電子設備110這樣的其可接收用戶接口信息I的各種電子設備，并且還具有用戶100可與其相交互的個人錄像機、或者電話、或者洗衣機。該房間還包括有借助于指示設備101可指向的其即就是電子設備的各種對象或者類似于例如窗戶、音頻設備這樣的對象130、花瓶170、以及電子設備110這樣的僅是任何物理對象。
根據(jù)本發(fā)明，該指示設備101包括照相機102，并且可將房間區(qū)域的圖像或者那些區(qū)域中的對象發(fā)送到數(shù)字信號處理器(DSP)120，該數(shù)字信號處理器120可根據(jù)照相機102所成像的一個或多個圖像來標識該區(qū)域或者對象。照相機按照下述方式而與指示設備101相連，該方式即就是照相機可很好使所指向的區(qū)域成像。例如它典型的位于指示設備101的遠端，但是也可以一角度而裝配在外側上。用戶100具有可指向他所希望的任何對象這樣的自由度，并且按照這種方式可實現(xiàn)非常友好且強大的用戶交互系統(tǒng)。
DSP 120例如可以是本地網(wǎng)絡中的家用計算機控制設備，或者可以是并入在指示設備101之中。照相機102可以是CCD照相機或者CMOS照相機。如果照相機102與DSP 120是獨立的，那么其之間的連接可以是無線的。指示設備101已經(jīng)可執(zhí)行DSP 120所執(zhí)行的用于對對象進行標識的部分算法，以便例如僅需將一小組特性發(fā)送給外部DSP 120以用于進一步處理。事實上可以將就其功能所示的DSP 200分配在指示設備101的多個部件、房間、不同設備等等中。
將DSP 120設計成將諸如設備控制數(shù)據(jù)ac這樣的用戶接口信息I發(fā)送到所標識的設備。例如用戶100可以使指示設備101指向燈160并且按下指示設備101上的接通按鈕，這可使DSP 120將一接通命令發(fā)送到所標識的燈160。所標識的對象不必是其本身受控的設備。例如指向花瓶170可啟動下述p.c.上的特定程序，顯示設備100示出了所述p.c.的輸出。根據(jù)諸如按下按鈕或者使指示設備101移動這樣的附加動作，可指向對象的一部分，例如指向對象130的音量按鈕134可使該音頻設備的音量增加或者減小。指向通道選擇顯示132并且使其橫向移動這可改變通道。DSP 120還可對對象一部分的狀態(tài)進行識別，例如使盒式磁帶裝入器136脫離打開狀態(tài)，并且發(fā)布“閉合”命令。還可以對其他特定情況進行檢測或者監(jiān)控。用戶100還可指向一件家具140或者其一部分142。如果這個家具140是一廚柜。那么指向不同廚柜可產(chǎn)生不同動作。如果這個家具140是智能電冰箱，那么指向它可導致用戶通過互聯(lián)網(wǎng)來訂購啤酒這樣的已定義動作。除了設備控制數(shù)據(jù)ac之外，可以發(fā)送諸如圖像數(shù)據(jù)pd這樣的其他用戶接口信息I。例如第一電子著色150以及第二電子著色152可顯示一可變圖像。它們是利用電泳電子墨汁顯示來實現(xiàn)的。用戶100可捕獲在第一電子著色上所顯示的圖像，或者甚至可捕獲其掛在墻上的日程表上的圖像，并且盡可能的在諸如透視校正這樣的某些圖像處理之后，將其作為圖像數(shù)據(jù)pd而傳送到第二電子著色152。
圖2示意性的給出了數(shù)字信號處理器200-即圖1中的具體設備120中的功能部件。并不是這里所描述的所有部件必須存在于用戶交互系統(tǒng)的特定實施例中。DSP 200可以是以一般處理器、專用集成電路、或者電路板上的獨立部件實現(xiàn)的。DSP 200例如可從運動檢測裝置304接收照相機輸入c以及傳感器輸入s。DSP 200包括一對象表征單元202，該對象表征單元202用于對照相機102所成像的對象130或者對象130的一部分的圖像進行表征。對象表征單元202可將第一對象表征特性f1提供給對象標識單元204。根據(jù)對象標識單元204中所包含的圖像處理算法，第一對象表征特性f1可以是不同類型。典型的首先使對象與所成像圖像的剩余部分相分離。這例如是根據(jù)對該圖像進行邊緣及曲線檢測來進行的。另一可選方案是例如利用所投射的格網(wǎng)或者第二照相機來對所成像的區(qū)域進行3D分析。根據(jù)相關技術來對對象的一部分進行檢測，并且此后對對象的剩余部分進行檢驗。
其次計算第一對象表征特性f1。例如借助于曲率與角度的特性比來表征對象的外形以及其組成部分?；蛘呖梢杂嬎銓挾?高度比值。此外，典型的在首先執(zhí)行透視校正之后，可以使用所分離的對象區(qū)域本身或者其轉換。
此后對象標識單元204根據(jù)從對象表征單元202所接收到的第一對象表征特性f1來對該對象進行標識。例如可使用多維特性空間中的任何已知分類技術。對象標識單元204的輸出是對象標識數(shù)據(jù)oi，該數(shù)據(jù)可以是單值或者其包括有與所標識對象有關的附加信息的數(shù)據(jù)結構。例如通過其包括有DSP200的指示設備的廠家可以將多個設備的表征特性以及進一步數(shù)據(jù)先驗的存儲在對象特征存儲器230中，或者如果DSP 200是計算機，那么從互聯(lián)網(wǎng)對其進行預加載。代替對對象進行標識，DSP還可對房間的一區(qū)域進行標識。例如使指示設備101指向天花板可發(fā)布命令“開燈”，然而指向地板這可關燈。或者指向一個轉角這可調(diào)用相關命令。根據(jù)所存在的對象，例如根據(jù)左側是一植物并且右邊是一櫥柜來對該轉角進行標識。
然而如果用戶自己可對諸如花瓶170這樣的新對象進行訓練，那么該用戶交互系統(tǒng)更加有用。因此可以包括一對象相關單元212，該對象相關單元可向對象標識單元204提供對象相關數(shù)據(jù)oad。與第一對象表征特性f1相類似，根據(jù)對象模板，對象相關數(shù)據(jù)oad可包括對象的表征特性fa。通過應用訓練階段可獲得對象模板。照相機102可在諸如不同角度、燈光等等這樣的多個條件下使新對象成像。對象表征單元202產(chǎn)生了所有圖像的第二對象表征特性f2。對象關聯(lián)單元212中的對象訓練單元221產(chǎn)生了其與存儲在對象存儲器220中的對象相對應的一對象模板。該模板例如可以是所有圖像的第二對象表征特性f2的群集，或者平均特性、或者根據(jù)可變第二對象表征特性f2所計算的某些恒定特性。此外對象訓練單元221根據(jù)從外部所進入的其作為對象數(shù)據(jù)od的表征特性可獲得對象模板。該對象數(shù)據(jù)可來自于下述設備，該設備可輸入例如廠商從不同角度所拍攝的其圖像。對象數(shù)據(jù)od以及對象關聯(lián)數(shù)據(jù)oad還可包括對象相關數(shù)據(jù)id，也就是說包括與例如支持命令相類似的與一設備有關的各類信息。
為了便于對象識別，與例如設備110相類似的某些對象可顯示特征模式116，例如它們利用不同開/關間隔來使紅十字閃動預定時間以響應指示設備的“對象標識”請求。設備110還可包括一接口單元190，該接口單元190可使其在根據(jù)本發(fā)明的用戶交互系統(tǒng)中更有用。例如與互聯(lián)網(wǎng)收音機相類似的設備具有“服務發(fā)現(xiàn)”功能，該功能可將其所支持的命令發(fā)送到指示設備101。其甚至可以傳送與這些命令相對應的紅外遠程控制序列等等。這便于用戶100對DSP 120，200進行訓練。例如為響應該傳送，該命令表現(xiàn)為指示設備101顯示316上的預定圖標的一菜單。還可以單獨的實現(xiàn)接口單元190。例如洗衣機不具有復雜的遠程控制功能?？商峁┎孱^盒，該插頭盒可按照例如啟動它這樣的簡單方式而利用該設備接收來自DSP 200以及接口的標準命令。
DSP 200同時可包括用于對用戶100利用指示設備101所做出的姿勢進行分析。為此，使用指示設備101的圖4中的運動軌道400，該運動軌道400是根據(jù)來自照相機102的圖像所計算的。圖4a給出了三維坐標系統(tǒng)404中的向上運動軌道400。通過向上運動軌道的數(shù)學表達式這樣的標記402來對其進行總結。例如在用戶100可保留“容量增加”命令的情況下，例如借助于其具有命令標識數(shù)據(jù)ci的命令表格來鏈接該標記402。圓形運動軌道410以及圓形標記412是指一個用戶“倒帶(rewind)”，反之另一用戶對DSP 200進行訓練以使該圓形標記412與“接通設備”命令相關。用戶例如可使他的指示設備101大致的面向燈160并且進行“接通設備”運動，DSP 200根據(jù)該運動可接通燈160?；蛘哂脩?00還可以在空中某處進行“接通設備”運動并且此后指向燈160、或者電視、或者他想要接通的任何對象。可按照任何方式來使該標記402，412參數(shù)化并通過任何巳知曲線擬合技術而使其相匹配。例如將標記402編碼成具有指定長度及節(jié)間角度的多個連接線段。
運動軌道估計單元206根據(jù)運動檢測裝置304或者來自照相機102的連續(xù)圖像來計算運動軌道400。例如可將其基于運動估算技術的光流或者光塊應用到兩個連續(xù)的圖像上以獲得運動軌道400的一部份401。運動矢量場的擴散用于對朝向接通物體的運動進行估計，即對典型的沿著指示設備101軸的運動進行估計。根據(jù)運動軌道400，標記產(chǎn)生單元209輸出第一運動表征標記s1。標記標識單元208對第一運動表征標記s1進行標識并且將其與下述命令標識數(shù)據(jù)ci相鏈接，所述命令標識數(shù)據(jù)即就是用戶100所企圖的用戶交互命令的數(shù)值表示。將第一運動表征標記與標記特征存儲器232中所存儲的不同標記的標記特征進行比較。例如如果僅大致圓形或者甚至任何返回運動，那么與線性標記模板相比，所存儲的圓形標記模板產(chǎn)生了更好的匹配。在相似性計算中可應用幾何及結構曲線對比技術。
正如具有其可學習以對新對象進行標識的DSP 200這樣的優(yōu)點一樣，有利的是DSP 200可對用戶100所優(yōu)選的新移動進行標識。因此可以包括用于將標記關聯(lián)數(shù)據(jù)SAD提供給標記標識單元208的標記關聯(lián)單元214。標記關聯(lián)數(shù)據(jù)SAD可以包括諸如圓形標記412和/或命令相關數(shù)據(jù)cid的數(shù)學表達式這樣的關聯(lián)標記特性sa，所述圓形標記412和/或命令相關數(shù)據(jù)cid例如是從用于將其支持命令作為命令數(shù)據(jù)cd而發(fā)送到DSP 200的設備所接收到的。根據(jù)來自于運動軌道估計單元206或者命令數(shù)據(jù)cd的第一運動表征標記s2可從標記訓練單元223中獲得標記存儲器222中的標記模板。
因為用戶的環(huán)境是非常易變的，例如燈光在白天變化，因此對對象130或者命令的標識，即標記402有時是錯誤的。因此DSP 200可包括標識改進單元210。所想要的命令例如取決于所指向的對象130，或者可以取決于預先所發(fā)出的命令等等。如果對象不存在于指示設備所在的房間中，那么將會不正確的標識對象。因此存在諸如閃爍LEDs這樣的房間識別裝置185。當用戶進入房間時，他可利用指示設備101來掃視房間識別裝置185。除了照相機102之外，指示設備101中還包含有光電二極管以對房間識別裝置185進行檢測。還存在房間定位信標180，181，182，以便DSP 200可識別出指示設備指向了房間的哪一部分。在照相機102對信標進行識別的情況下，該信標是其可光發(fā)射，但是它們例如還可以發(fā)射出電磁輻射。存在于房間之中的對象還可有助于對一對象的識別。例如如果花瓶170緊接于對象130，那么其識別有助于對對象130的識別。甚至使用對指示設備的過去軌道的分析。如果指示設備預先指向對象130并且其已移動到右邊，那么應該指向設備110?？紤]到所有信息，標識改進單元210例如可計算貝葉斯概率或者使用模糊邏輯以取得對象130進一步的某些標識以及所想要命令。
DSP 200所輸出的用戶交互信息I典型的包括控制設備數(shù)據(jù)ac，該控制設備數(shù)據(jù)例如是其包括有對象表示數(shù)據(jù)oi以及命令標識數(shù)據(jù)ci或者基于其的新標識符的一結構以對特定設備110的想要命令進行標識。用戶交互信息I還可包括圖像數(shù)據(jù)pd。
圖3示意性的給出了根據(jù)本發(fā)明的指示設備300-圖1中的實施例。并不是需要呈現(xiàn)出這里所示出的所有特性簡單指示設備可僅包括照相機302以及例如用于反饋的顯示316。可以呈現(xiàn)出例如按鈕308這樣的多個按鈕。這可僅發(fā)出用于按下按鈕的某些命令。此外指示設備300的類似移動可用于兩個不同命令，一次是要同時按下按鈕308并且另一次無需同時按下按鈕308。可存在例如用于將激光光點投向所指向位置的特征投影器320。指示設備的照相機可將圖像發(fā)送到外部DSP 120，但是其本身也可包括DSP 200。按照這種方法，還可在戶外使用該指示設備。用戶100所未攜帶的指示設備103還可用于對設備110或者房間進行監(jiān)控。除了借助于照相機來檢測運動之外，還可包括諸如回旋器或者差轉GPS定位系統(tǒng)這樣的其他運動檢測裝置304。還存在可編程代碼發(fā)生器309以及用于將一命令直接發(fā)送到設備110的無線發(fā)送器310。存在用于向用戶提供附加信息的反饋裝置?？砂ɡ鐭?12、發(fā)聲設備314、力反饋裝置306、以及尤其是顯示器316。力反饋裝置可包括很小的可移動物質(zhì)，該物質(zhì)可模擬設備的振動或者觸摸。該顯示器可顯示例如所指向區(qū)域的中心，以盡可能將所產(chǎn)生的圖解十字疊加在所成像圖像的中心。還可將其顯示在電視上。類似的燈160用于提供反饋以代替燈312。顯示器316上的反饋示出了例如運動軌道400以及其與運動軌道訓練階段過程中的先前運動軌道的類似程度，這有助于用戶100學習DSP 200以識別穩(wěn)定的姿勢。顯示器316還可通過在對例如其包括有所檢測邊緣的圖像進行多個圖像處理步驟之后顯示一圖像并且包括其對所標識設備進行命名的文本來表示DSP 200所了解的。
還可存在諸如指紋傳感器或者用于口令或個人智能卡的輸入這樣的用戶標識裝置330。按照這種方法，DSP 200可將其本身設置為用戶100所特有的操作模式。用戶甚至可以根據(jù)他所處的房間而給出不同命令。還可存在語音識別裝置340以添加通過指示設備300的移動所給出的命令。通過使指示設備101作為某種到現(xiàn)實世界的接口設備而用于來玩游戲。
權利要求
1.用戶交互系統(tǒng)，包括一電子設備；一便攜式指示設備，該便攜式指示設備是用戶可操作的以指向空間中的一區(qū)域；一照相機，該照相機用于拍照；以及一數(shù)字信號處理器，該數(shù)字信號處理器可接收圖像并對其進行處理，并且可將來源于該圖像的用戶接口信息傳送到電子設備，其特征在于照相機與指示設備相連以便在操作過程中它使所指向的區(qū)域成像。
2.如權利要求1所述的用戶交互系統(tǒng)，其中用戶接口信息包括用于對電子設備的操作進行控制的設備控制數(shù)據(jù)。
3.如權利要求1所述的用戶交互系統(tǒng)，其中數(shù)字信號處理器包括一對象表征裝置，該對象表征裝置通過將第一對象表征特性提供給所包含的用于對該對象進行標識的對象標識裝置來對存在于照相機所成像區(qū)域的圖像之中的對象或者對象的一部分進行表征，所述對象標識裝置可輸出根據(jù)其可構造出用戶接口信息的對象標識數(shù)據(jù)。
4.如權利要求1所述的用戶交互系統(tǒng)，其中數(shù)字信號處理器包括運動軌道估計裝置，用于估計指示設備的運動軌道并且輸出第一運動表征標記，該標記是運動軌道的數(shù)學抽象；以及標記標識裝置，用于對第一運動表征標記進行標識并且輸出與第一運動表征標記相對應的其表示用戶交互命令的命令標識數(shù)據(jù)，用戶接口信息是根據(jù)所述命令標識數(shù)據(jù)構造而成的。
5.如權利要求3和4所述的用戶交互系統(tǒng)，其中數(shù)字信號處理器包括標識改進裝置，該裝置可進一步提高根據(jù)預定規(guī)則來對其被表示為對象標識數(shù)據(jù)的對象以及其被表示為命令標識數(shù)據(jù)的用戶交互命令進行更可靠標識的概率，這可產(chǎn)生更可靠的用戶接口信息。
6.如權利要求5所述的用戶交互系統(tǒng)，其中預定規(guī)則包括考慮到下述先驗已知信息單元{指示設備所駐房間，用戶所發(fā)布的先前命令，用戶發(fā)布特定命令的統(tǒng)計頻率以及日時}的至少一個的成對{對象標識數(shù)據(jù)，命令標識數(shù)據(jù)}的似然性的概率計算。
7.如權利要求3所述的用戶交互系統(tǒng)，其中數(shù)字信號處理器包括對象關聯(lián)裝置，該裝置為對象標識裝置提供了其包括有至少一個數(shù)據(jù)實體的相關數(shù)據(jù)，所述數(shù)據(jù)實體是關聯(lián)對象表征特性以及對象相關數(shù)據(jù)，對象關聯(lián)數(shù)據(jù)是從對象存儲器中的其得自于至少一個方法的對象模板數(shù)據(jù)而得來的；對象模板數(shù)據(jù)是從下述對象訓練裝置中獲得的，所述對象訓練裝置對對象表征裝置所輸出的第二對象表征特性執(zhí)行預定計算；并且對象模板數(shù)據(jù)是從所輸入的對象數(shù)據(jù)而來的。
8.如權利要求4所述的用戶交互系統(tǒng)，其中數(shù)字信號處理器包括用于將其包括有至少一個數(shù)據(jù)實體的標記關聯(lián)數(shù)據(jù)提供給標記標識裝置的標記關聯(lián)裝置，所述數(shù)據(jù)實體是關聯(lián)標記特性以及命令相關數(shù)據(jù)，標記關聯(lián)數(shù)據(jù)是從標記存儲器中的其得自于至少一個方法的標記模板數(shù)據(jù)而得來的；標記模板數(shù)據(jù)是從下述標記訓練裝置中獲得的，所述標記訓練裝置對運動軌道估計裝置所輸出的第二運動表征標記執(zhí)行預定計算；并且命令模板數(shù)據(jù)是從所輸入的命令數(shù)據(jù)而來的。
9.如權利要求4所述的用戶交互系統(tǒng)，其中第一運動表征標記是根據(jù)照相機在各個時間情況所成像的連續(xù)圖像而得到的。
10.供權利要求1所述的用戶交互系統(tǒng)之用的指示設備，其特征在于該指示設備包括一照相機并且可將一圖像發(fā)送到數(shù)字信號處理器。
11.如權利要求10所述的指示設備，其中該指示設備可將一圖像發(fā)送到數(shù)字信號處理器，該數(shù)字信號處理器可根據(jù)該圖像而將用戶接口信息發(fā)送到電子設備。
12.如權利要求10所述的指示設備，其中數(shù)字信號處理器包含在指示設備之中。
13.如權利要求10所述的指示設備，包括用于對指示設備的運動軌道進行檢測的運動檢測裝置。
14.如權利要求10所述的指示設備，包括一特征投影儀，該投影儀用于朝著所指向區(qū)域的方向光學投影特征模式。
15.如權利要求10所述的指示設備，其中包括一可編程用戶接口代碼發(fā)生器以及用于將該代碼傳送到電子設備的無線電發(fā)射器。
16.如權利要求10所述的指示設備，其中包括反饋裝置以用于對用戶接口信息的反饋。
17.供權利要求1所述的用戶交互系統(tǒng)之用的電子設備，其特征在于包括這樣的接口裝置，該接口裝置根據(jù)送至該電子設備的指示設備的“標識支持命令”請求而可使設備將與支持命令有關的信息發(fā)送到如權利要求1所述的指示設備上。
全文摘要
用戶交互系統(tǒng)包括其與照相機(102)相連的且可將圖像發(fā)送到數(shù)字信號處理器(120)的便攜式指示設備(101)，該便攜式指示設備可識別對象(130)以及通過使指示設備(101)按照特定方式移動而由用戶給出的命令，并且可根據(jù)該識別來控制電子設備(110)。
文檔編號G06F3/0346GK1714335SQ200380103629
公開日2005年12月28日 申請日期2003年10月28日 優(yōu)先權日2002年11月20日
發(fā)明者G·E·梅肯坎, T·德克 申請人:皇家飛利浦電子股份有限公司