使用光學(xué)感測(cè)陣列確定光源姿態(tài)的設(shè)備和方法
【專(zhuān)利摘要】提供了一種使用光學(xué)感測(cè)陣列確定光源姿態(tài)的設(shè)備和方法。姿態(tài)確定系統(tǒng)包括：光源，被構(gòu)造為發(fā)射與三個(gè)或更多個(gè)非共線點(diǎn)相對(duì)應(yīng)的光的圖案；以及顯示面板，在顯示區(qū)域中包括多個(gè)光學(xué)傳感器。光學(xué)傳感器被構(gòu)造為檢測(cè)光圖案。姿態(tài)確定系統(tǒng)被構(gòu)造為利用檢測(cè)的光圖案來(lái)確定光源相對(duì)于顯示面板的位置。一種用于確定光源相對(duì)于顯示面板的姿態(tài)的方法包括：發(fā)射光，光來(lái)自光源并具有與三個(gè)或更多個(gè)非共線點(diǎn)相對(duì)應(yīng)的圖案；利用在顯示面板的顯示區(qū)域中的多個(gè)光學(xué)傳感器來(lái)檢測(cè)光圖案；以及利用檢測(cè)的光圖案通過(guò)處理器來(lái)確定光源相對(duì)于顯示面板的位置。
【專(zhuān)利說(shuō)明】使用光學(xué)感測(cè)陣列確定光源姿態(tài)的設(shè)備和方法
[0001]本申請(qǐng)要求于2013年10月3日提交的第61/886，575號(hào)以及于2014年9月16日提交的第14/488，146號(hào)美國(guó)臨時(shí)申請(qǐng)的優(yōu)先權(quán)和權(quán)益，上述美國(guó)臨時(shí)申請(qǐng)的全部?jī)?nèi)容通過(guò)引用被包含于此。

【技術(shù)領(lǐng)域】
[0002]本發(fā)明的實(shí)施例的方面針對(duì)一種姿態(tài)確定系統(tǒng)、一種用于確定光源的姿態(tài)的方法和一種用于確定光源的姿態(tài)的顯示面板。

【背景技術(shù)】
[0003]物體(諸如手持式指示器)的姿態(tài)是指它相對(duì)于參考點(diǎn)(例如，顯示裝置)的位置(例如，χ/y/z坐標(biāo)或者(右/左)/(前/后)/(上/下))和方位(例如，俯仰/偏航/滾轉(zhuǎn))，并且可以使用三維(3-D)空間中的六個(gè)自由度的描述來(lái)表述。實(shí)時(shí)姿態(tài)確定可使物體被實(shí)時(shí)跟蹤。用于通過(guò)自動(dòng)化手段(諸如計(jì)算機(jī)或其它處理器-驅(qū)動(dòng)電子裝置)確定物體(例如，運(yùn)動(dòng)的物體)的姿態(tài)的在先技術(shù)具有諸如太慢或效率太低、太不精確、體積太大、太復(fù)雜或者太有限或其它限制(像是僅當(dāng)物體位于距參考點(diǎn)窄的范圍的距離內(nèi)時(shí)很好地工作，或確定少于描述的六個(gè)自由度)的缺點(diǎn)，從而難以在實(shí)際的實(shí)時(shí)設(shè)置中很好地使用。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的實(shí)施例提供了一種使用一個(gè)光束指示器(或一個(gè)光源)或者多個(gè)光束指示器(或多個(gè)光源)，以從遠(yuǎn)程位置接近顯示器與顯示器的交互的方法。這種指示器提供了一種新的用戶接口，新的用戶接口能夠被用于實(shí)現(xiàn)與通過(guò)計(jì)算機(jī)鼠標(biāo)或跟蹤球所提供的特征相似的特征，以及諸如屏幕繪畫(huà)裝置、頭或其它身體部位的跟蹤裝置、游戲武器、跟蹤或控制裝置、用于實(shí)現(xiàn)其它通用用戶接口功能的裝置等的附加特征。
[0005]本發(fā)明的另一實(shí)施例使用從多個(gè)光束投到具有嵌入式光學(xué)傳感器陣列的顯示器上的分離的圖像，以確定每個(gè)光束源相對(duì)于顯示器的姿態(tài)。能夠以相對(duì)于顯示器參考框架的六個(gè)自由度的描述U、y、z、俯仰、偏航和滾轉(zhuǎn))的方式通過(guò)單應(yīng)性矩陣分析來(lái)確定每個(gè)光源的姿態(tài)。
[0006]本發(fā)明的又一實(shí)施例使用單應(yīng)性矩陣分析，以高效地確定物體在寬范圍的情形下的姿態(tài)(諸如相對(duì)于顯示裝置的姿態(tài))。示例實(shí)施例能夠在比現(xiàn)有系統(tǒng)中所能夠達(dá)到的距顯示裝置寬的范圍的距離(包括近和遠(yuǎn))下快速(諸如實(shí)時(shí)地)并精確地(諸如所有六個(gè)自由度的描述)確定物體的姿態(tài)。這些實(shí)施例還能夠通過(guò)執(zhí)行對(duì)物體的實(shí)時(shí)姿態(tài)確定并通過(guò)跟蹤它們的對(duì)應(yīng)的光源來(lái)實(shí)時(shí)地跟蹤物體。
[0007]本發(fā)明的再一實(shí)施例針對(duì)于一種顯示裝置，并且具體針對(duì)于一種對(duì)于顯示裝置的新的用戶接口(諸如通過(guò)激光指示器實(shí)現(xiàn)的新的用戶接口)。這些實(shí)施例通用度高，提供的功能性和通用性超過(guò)鼠標(biāo)或其它指示裝置的功能性和通用性，例如，通過(guò)對(duì)具有六個(gè)自由度的姿態(tài)描述的多個(gè)指示器提供支持，以創(chuàng)建新的用戶接口。這些界面能夠?qū)崿F(xiàn)新的游戲、能夠?qū)崿F(xiàn)新的3D顯示交互、提供用于會(huì)議室和教學(xué)環(huán)境的新的協(xié)同屏幕以及與顯示類(lèi)裝置的其它新的交互。
[0008]根據(jù)本發(fā)明的實(shí)施例，提供了一種姿態(tài)確定系統(tǒng)。所述姿態(tài)確定系統(tǒng)包括:光源，被構(gòu)造為發(fā)射與三個(gè)或更多個(gè)非共線點(diǎn)相對(duì)應(yīng)的光的圖案；以及顯示面板，在顯示區(qū)域中包括多個(gè)光學(xué)傳感器。光學(xué)傳感器被構(gòu)造為檢測(cè)光圖案。姿態(tài)確定系統(tǒng)被構(gòu)造為利用檢測(cè)的光圖案確定光源相對(duì)于顯示面板的位置。
[0009]光圖案相對(duì)于旋轉(zhuǎn)可以是不對(duì)稱(chēng)的。
[0010]光圖案的一部分可以與剩余的光圖案不同地被調(diào)制。
[0011]姿態(tài)確定系統(tǒng)還可以被構(gòu)造為通過(guò)在檢測(cè)的光圖案中檢測(cè)對(duì)應(yīng)的所述三個(gè)或更多個(gè)非共線點(diǎn)來(lái)確定光源相對(duì)于顯示面板的位置。
[0012]所述姿態(tài)確定系統(tǒng)還可以包括指示器，指示器包括光源。
[0013]指示器可以包括兩個(gè)或更多個(gè)指示器，所述兩個(gè)或更多個(gè)指示器具有可分離的各自的所述光圖案。姿態(tài)確定系統(tǒng)還可以被構(gòu)造為利用各自的所述檢測(cè)的光圖案來(lái)確定所述兩個(gè)或更多個(gè)指示器相對(duì)于顯示面板的位置。
[0014]所述姿態(tài)確定系統(tǒng)還可以包括處理器，處理器被構(gòu)造為利用所述光圖案的參考版本和檢測(cè)的光圖案來(lái)確定光源相對(duì)于顯示面板的位置。
[0015]處理器還可以被構(gòu)造為將檢測(cè)的光圖案與參考光圖案對(duì)比。
[0016]處理器還可以被構(gòu)造為利用檢測(cè)的光圖案來(lái)確定光源相對(duì)于顯示面板的方位。
[0017]處理器還可以被構(gòu)造為利用檢測(cè)的光圖案來(lái)確定光源相對(duì)于顯示面板的六個(gè)自由度的位置信息。
[0018]處理器還可以被構(gòu)造為利用單應(yīng)性矩陣分析來(lái)確定光源相對(duì)于顯示面板的位置和方位。
[0019]光源可以包括激光器和位于激光器前方的一個(gè)或更多個(gè)衍射光學(xué)器件。
[0020]光源可以包括非平行光源和位于非平行光源前方的圖案化光掩模。
[0021]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種用于確定光源相對(duì)于顯示面板的姿態(tài)的方法。所述方法包括:發(fā)射光，光來(lái)自光源并具有與三個(gè)或更多個(gè)非共線點(diǎn)相對(duì)應(yīng)的圖案；利用在顯示面板的顯示區(qū)域中的多個(gè)光學(xué)傳感器來(lái)檢測(cè)光圖案；以及利用檢測(cè)的光圖案通過(guò)處理器來(lái)確定光源相對(duì)于顯示面板的位置。
[0022]光源可以包括兩個(gè)或更多個(gè)光源，所述兩個(gè)或更多個(gè)光源被構(gòu)造為發(fā)射可分離的各自的所述光圖案。所述方法還可以包括利用各自的所述檢測(cè)的光圖案來(lái)確定所述兩個(gè)或更多個(gè)光源相對(duì)于顯示面板的位置。
[0023]所述方法還可以包括通過(guò)處理器將檢測(cè)的光圖案與所述光圖案的參考版本相對(duì)t匕。所述方法還可以包括利用檢測(cè)的光圖案通過(guò)處理器來(lái)確定光源相對(duì)于顯示面板的方位。
[0024]在本發(fā)明的又一實(shí)施例中，提供了一種用于確定包括光源的指示器的姿態(tài)的顯示面板，所述光源被構(gòu)造為發(fā)射具有與三個(gè)或更多個(gè)非共線點(diǎn)相對(duì)應(yīng)的圖案的光。所述顯示面板包括:顯不區(qū)域，包括多個(gè)光學(xué)傳感器，多個(gè)光學(xué)傳感器被構(gòu)造為檢測(cè)從光源發(fā)射的光圖案；以及處理器。處理器被構(gòu)造為在檢測(cè)的光圖案中通過(guò)檢測(cè)對(duì)應(yīng)的所述三個(gè)或更多個(gè)非共線點(diǎn)來(lái)確定指示器相對(duì)于顯示面板的位置。
[0025]指示器可以包括兩個(gè)或更多個(gè)指示器，所述兩個(gè)或更多個(gè)指示器具有可分離的各自的所述光圖案。處理器還可以被構(gòu)造為利用各自的所述檢測(cè)的光圖案來(lái)確定所述兩個(gè)或更多個(gè)指示器相對(duì)于顯示面板的位置。
[0026]處理器還可以被構(gòu)造為利用檢測(cè)的光圖案來(lái)確定指示器相對(duì)于顯示面板的方位。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0027]專(zhuān)利申請(qǐng)文件包含以顏色繪制的至少一幅圖。
[0028]附圖與說(shuō)明書(shū)一起示出了本發(fā)明的示例實(shí)施例。這些圖與描述一起用于更好地解釋本發(fā)明的方面和原理。
[0029]圖1是根據(jù)本發(fā)明實(shí)施例的示例設(shè)備的示意圖，示例設(shè)備包括顯示裝置和光學(xué)指示裝置，用于確定光學(xué)指示裝置的姿態(tài)。
[0030]圖2是根據(jù)本發(fā)明實(shí)施例的圖1的設(shè)備的示例操作的示意圖。
[0031]圖3是根據(jù)本發(fā)明實(shí)施例的由光學(xué)指示裝置發(fā)射的示例光圖案的示圖。
[0032]圖4是根據(jù)本發(fā)明另一實(shí)施例的由光學(xué)指示裝置發(fā)射的示例光圖案的示圖。
[0033]圖5至圖6包括圖5 (a)、圖5 (b)、圖6 (a)和圖6 (b)，示出了從不同方位被投影到顯示面板上的圖3的光圖案。
[0034]圖7包括圖7(a)、圖7(b)和圖7 (C)，示出了使用不同的旋轉(zhuǎn)度被投影到顯示面板上的圖3的光圖案。
[0035]圖8包括圖8 (a)和圖8 (b)，示出了從不同的距離被投影到顯示面板上的圖3的光圖案。
[0036]圖9到圖10示出根據(jù)本發(fā)明實(shí)施例的示例光束源。
[0037]圖11是根據(jù)本發(fā)明實(shí)施例的用于確定光源相對(duì)于顯示裝置的姿態(tài)的示例方法的流程圖。

【具體實(shí)施方式】
[0038]現(xiàn)在將參照附圖描述本發(fā)明的示例實(shí)施例。在附圖中，相同或相似的標(biāo)號(hào)始終指示相同或相似的元件。這里，當(dāng)描述本發(fā)明的實(shí)施例時(shí)，術(shù)語(yǔ)“可以”的使用是指“本發(fā)明的一個(gè)或更多個(gè)實(shí)施例”。另外，當(dāng)描述本發(fā)明的實(shí)施例時(shí)，諸如“或”的選擇性語(yǔ)言的使用是指對(duì)于每個(gè)對(duì)應(yīng)的所列項(xiàng)目的“本發(fā)明的一個(gè)或更多個(gè)實(shí)施例”。
[0039]本發(fā)明的一個(gè)或更多個(gè)實(shí)施例針對(duì)于一種使用光學(xué)感測(cè)陣列(諸如嵌入在顯示裝置(或?yàn)楹?jiǎn)短起見(jiàn)稱(chēng)為“顯示器”)中的光學(xué)感測(cè)陣列)利用六度描述的方式確定光學(xué)指示器或其它光源的姿態(tài)的裝置和方法。本發(fā)明的實(shí)施例利用嵌入在顯示器中的光學(xué)感測(cè)陣列以確定一個(gè)或更多個(gè)光束源的姿態(tài)(諸如相對(duì)于顯示器的位置和方位)，所述一個(gè)或更多個(gè)光束源均具有獨(dú)特的識(shí)別投影圖案?？梢酝ㄟ^(guò)單應(yīng)性矩陣(或單應(yīng)性矩陣分析)以相對(duì)于顯示器參考框架的六個(gè)自由度描述(例如，X、1、Z、俯仰、偏航和滾轉(zhuǎn))的方式來(lái)確定每個(gè)光源的位置。單應(yīng)性矩陣是幾何學(xué)的分支，其中，能夠?qū)νㄟ^(guò)投影到表面上引起的變形進(jìn)行分析以重建投影的起源。
[0040]現(xiàn)在將參照?qǐng)D1到圖2來(lái)描述本發(fā)明的示例實(shí)施例。圖1是根據(jù)本發(fā)明實(shí)施例的示例設(shè)備100的示意圖，示例設(shè)備100包括顯示裝置10和光學(xué)指示裝置(或指示器)110，用于確定光學(xué)指示裝置110相對(duì)于顯示裝置10的姿態(tài)。圖2是根據(jù)本發(fā)明實(shí)施例的圖1的設(shè)備100的示例操作的示意圖。
[0041]顯示裝置10包括顯示面板20和控制器30。顯示裝置10還可以包括掃描驅(qū)動(dòng)器40和數(shù)據(jù)驅(qū)動(dòng)器50，用于驅(qū)動(dòng)像素60 (例如，像素60位于來(lái)自于掃描驅(qū)動(dòng)器40的水平掃描線與來(lái)自于數(shù)據(jù)驅(qū)動(dòng)器50的豎直數(shù)據(jù)線的交叉區(qū)域處)。顯示面板20可以是諸如OLED顯示面板的平板式顯示面板，用于向顯示面板的使用者或觀看者顯示圖像(例如，使用被構(gòu)造為分別發(fā)射紅光、綠光和藍(lán)光的紅色像素、綠色像素和藍(lán)色像素60的彩色圖像)。
[0042]顯示面板10還包括嵌入或布置在像素60之間的多個(gè)光學(xué)傳感器70，諸如光學(xué)傳感器70的陣列。例如，光學(xué)傳感器70可以與一種顏色的像素60 —樣多，或者，傳感器70可以類(lèi)似于矩陣圖案那樣密集地分布在像素60之間，比如每16個(gè)像素60有一個(gè)傳感器70?？梢允褂们度胧焦鈱W(xué)傳感器陣列70，以通過(guò)例如單應(yīng)性矩陣分析(如隨后將更加詳細(xì)描述的那樣)來(lái)確定針對(duì)顯示面板20的光束源的姿態(tài)。光學(xué)傳感器70可以被構(gòu)造為感測(cè)特定波長(zhǎng)的光或特定波長(zhǎng)范圍的光，所述光包括通常對(duì)人類(lèi)來(lái)說(shuō)是不可見(jiàn)的光(諸如紅外光)。
[0043]控制器30控制顯示裝置10的操作，控制諸如顯示面板20的像素60以及光學(xué)傳感器70的操作。控制器30可以例如通過(guò)控制掃描驅(qū)動(dòng)器40和數(shù)據(jù)驅(qū)動(dòng)器50來(lái)控制像素60(例如，通過(guò)從外部源接收?qǐng)D像信號(hào)，將它們轉(zhuǎn)換為對(duì)應(yīng)的數(shù)據(jù)信號(hào)以驅(qū)動(dòng)像素60并且將數(shù)據(jù)信號(hào)提供到數(shù)據(jù)驅(qū)動(dòng)器50)?？刂破?0可以通過(guò)周期性地(諸如每幀或每若干幀)測(cè)量在每個(gè)傳感器70處的光強(qiáng)度、頻率等并使用測(cè)量的光強(qiáng)度或其它測(cè)量值以辨別被照到顯示面板20或者被顯示面板20接收的光學(xué)指示器光圖案，來(lái)控制光學(xué)傳感器陣列70。盡管控制器30在圖1中被示出為一個(gè)組件，但對(duì)于普通技術(shù)人員來(lái)說(shuō)將明顯的是，它也可以被實(shí)施為多個(gè)組件或多個(gè)微處理器(例如，一個(gè)用于控制圖像生成，一個(gè)用于使用光學(xué)傳感器數(shù)據(jù)執(zhí)行圖案識(shí)別等)。
[0044]指示裝置110 (諸如激光器或其它光學(xué)指示器)包括光源120，光學(xué)圖案130從光源120發(fā)出。光源120可以是可見(jiàn)光或非可見(jiàn)光(諸如紅外光)，或者可以是特定波長(zhǎng)或特定波長(zhǎng)范圍的光，比如光學(xué)傳感器陣列70能夠檢測(cè)到的波長(zhǎng)。光源120可以發(fā)射近平行光(例如，隨著其從光源120傳播而逐漸散開(kāi)的光)。利用被構(gòu)造為檢測(cè)光圖案130并測(cè)量它的空間屬性的光學(xué)傳感器70，光圖案130可以具有可識(shí)別的方位和空間變形(例如，光圖案130可以包含可用于確定旋轉(zhuǎn)及透視變形的特定特征)?？梢允褂霉獾膬煞N或更多種調(diào)制(例如，顏色、強(qiáng)度、脈沖率等)來(lái)發(fā)射光圖案130，以進(jìn)一步表征圖案130。
[0045]作為非限制性示例，光圖案130可以假設(shè)是(或相當(dāng)于、或者獨(dú)特地定義)一小組獨(dú)特的可辨識(shí)的非共線點(diǎn)，諸如三個(gè)或四個(gè)點(diǎn)(如在圖4中，示出三個(gè)非共線點(diǎn))。例如，圖案130可以是旋轉(zhuǎn)不對(duì)稱(chēng)的(即，對(duì)于任意點(diǎn)都不具有旋轉(zhuǎn)對(duì)稱(chēng)性)，或者對(duì)于另一點(diǎn)展現(xiàn)出旋轉(zhuǎn)對(duì)稱(chēng)的點(diǎn)中的任意一點(diǎn)可以以其是旋轉(zhuǎn)對(duì)稱(chēng)的方式與其它點(diǎn)區(qū)別開(kāi)來(lái)(例如，所述點(diǎn)中的一個(gè)點(diǎn)與其它點(diǎn)不同地調(diào)制)。
[0046]S卩，可以由光源120按這樣的方式提供圖案130:當(dāng)與已知的參考圖案相比較時(shí)，光源120相對(duì)于光學(xué)感測(cè)陣列70的方位可以由普通技術(shù)人員確定(使用例如單應(yīng)性陣列分析來(lái)確定)。投影圖像的點(diǎn)可以由此被唯一地識(shí)別出，以解決對(duì)應(yīng)性問(wèn)題，即，使每個(gè)投影點(diǎn)與如通過(guò)光學(xué)感測(cè)陣列70所測(cè)量的從光源120透射的光圖案130中的它們的對(duì)應(yīng)點(diǎn)進(jìn)行唯一地匹配，光圖案130包括來(lái)自多個(gè)光源120的有區(qū)別的光圖案130。換句話說(shuō)，空間圖案可以是有區(qū)別的，使得顯示系統(tǒng)可以解決識(shí)別的對(duì)應(yīng)性，其中，在屏幕上的各個(gè)點(diǎn)映射為指示器的參考圖案的它們各自的點(diǎn)。
[0047]應(yīng)該提及的是，這里使用的術(shù)語(yǔ)“點(diǎn)”是指離散實(shí)體的明確定義的位置。例如，光的“點(diǎn)”應(yīng)該具有足夠的清晰度，從而它們能夠被光學(xué)傳感器陣列70檢測(cè)(例如，其對(duì)應(yīng)的感測(cè)值被確定為代表相同的投影物體的光學(xué)傳感器70的任何分組的中心可以被認(rèn)為是“點(diǎn)”)。
[0048]這些少量的點(diǎn)可以是更復(fù)雜的不對(duì)稱(chēng)圖案(如在圖3中)的一部分(或者來(lái)源于更復(fù)雜的不對(duì)稱(chēng)圖案)，組成復(fù)雜圖案(或空間圖案)的各種形狀或其它要素被用于確定所關(guān)注的少量(例如三個(gè)或四個(gè))的點(diǎn)的位置。然而，更復(fù)雜的圖案(或空間圖案)的幾何不對(duì)稱(chēng)是按照下述方式使光的圖案130從光源120透射至光學(xué)感測(cè)陣列70的一種技術(shù):能夠在光學(xué)感測(cè)陣列70處接收的光圖案(的點(diǎn))與參考圖案(的點(diǎn))之間建立對(duì)應(yīng)性，使得普通技術(shù)人員能夠確定光源120相對(duì)于光學(xué)感測(cè)陣列70的姿態(tài)。
[0049]因此，使用獨(dú)特的空間圖案可以被認(rèn)為是以接收裝置能夠解調(diào)接收到的信號(hào)并通過(guò)與參考圖案的對(duì)應(yīng)性識(shí)別少量的點(diǎn)的方式來(lái)調(diào)制少量的點(diǎn)。然而，對(duì)普通技術(shù)人員來(lái)說(shuō)將明顯的是，在這種技術(shù)之中存在許多調(diào)制技術(shù)和不同的調(diào)制值可以用來(lái)完成相同的任務(wù)。作為光圖案130可以如何被調(diào)節(jié)和被透射的非限制性示例，再次假設(shè)底圖案130為少量不對(duì)稱(chēng)布置的點(diǎn)，圖案130可以以對(duì)所述點(diǎn)中的一者用不同的光調(diào)制的方式(諸如不同的亮度、時(shí)間次序(例如，使用微型投影機(jī)技術(shù))、顏色、尺寸、形狀、脈沖圖案等，或者這些調(diào)制的結(jié)合)透射，以能夠使普通技術(shù)人員從它們的對(duì)應(yīng)的光學(xué)傳感器陣列70的傳感器讀數(shù)來(lái)識(shí)別有區(qū)別的點(diǎn)。
[0050]例如，假設(shè)三個(gè)點(diǎn)P、Q和R組成特殊圖案130，上述點(diǎn)中的一個(gè)可以以不同的顏色(例如，P是紅色，Q和R是藍(lán)色)、不同的亮度(例如，P是亮的，Q和R是暗的)、不同的時(shí)間次序(例如，P在一組中是首先透射的點(diǎn)，Q和R是第二次透射的點(diǎn)，或者Q和R分別是第二次和第三次透射的點(diǎn))、不同的尺寸(例如，P大，Q和R小)、不同的形狀(例如，P為三角形，Q和R為圓形)、不同的脈沖圖案(例如，P是脈沖，Q和R恒定)等透射。在其它實(shí)施例中，每個(gè)點(diǎn)可以以不同的調(diào)制而透射，例如P、Q和R以不同的顏色、亮度、尺寸、形狀、脈沖圖案(例如，P為快脈沖，Q為慢脈沖，R恒定)等而透射，這更加容易地解決了對(duì)應(yīng)性問(wèn)題。
[0051]雖然圖1中示出了一個(gè)指示裝置110，但是本發(fā)明不限于此。在其它實(shí)施例中，設(shè)備100能夠確定許多這樣的指示裝置110的姿態(tài)。例如，每個(gè)指示裝置110可以被構(gòu)造為發(fā)射具有不同圖案(比如獨(dú)特的圖案)的光，并且顯示裝置10可以被構(gòu)造為與其它圖案分開(kāi)檢測(cè)每個(gè)這樣的圖案。作為非限制性示例，上述調(diào)制技術(shù)可以應(yīng)用于不同的圖案，諸如每個(gè)圖案使用不同的調(diào)制技術(shù)，或僅以不同調(diào)制方式使用同樣的調(diào)制技術(shù)或者使用調(diào)制技術(shù)或調(diào)制方式的不同組合，以能夠使幾乎無(wú)限數(shù)量的這種指示器被同時(shí)跟蹤，這對(duì)于普通技術(shù)人員來(lái)說(shuō)將是明顯的。這種不同的光圖案將始終被稱(chēng)為是“可分離的”。
[0052]例如，使用微型投影機(jī)技術(shù)，各三個(gè)點(diǎn)的兩種圖案(也就是說(shuō)，P1/Q1/R1以及P2/Q2/R2)可以以六個(gè)脈沖的次序(按順序P1、Q1、R1、P2、Q2和R2)透射，由此快速使它們解制為它們的發(fā)射光圖案的正確的對(duì)應(yīng)。作為另一示例，當(dāng)使用多個(gè)有區(qū)別的空間圖案以區(qū)分指示裝置110時(shí)，空間圖案可以是有區(qū)別的，使得顯示系統(tǒng)可以解決集體性對(duì)應(yīng)，其中，集體性對(duì)應(yīng)指對(duì)在屏幕上檢測(cè)的點(diǎn)所創(chuàng)建的指示裝置進(jìn)行識(shí)別并且進(jìn)一步確定在屏幕上的各個(gè)點(diǎn)與指示器的參考圖案中的它們的相應(yīng)點(diǎn)的對(duì)應(yīng)。
[0053]在圖2中，顯示裝置10概念性地示出為顯示面板20，來(lái)自指示裝置110 (或其它光學(xué)源)的發(fā)射的光學(xué)圖案130被接收在顯示面板20上。顯示面板20具有嵌入式的光學(xué)感測(cè)陣列70。設(shè)備100 (例如，顯示裝置10)被構(gòu)造為確定指示裝置110相對(duì)于顯示面板20的姿態(tài)(例如，六個(gè)自由度的位置和方位信息)。
[0054]更詳細(xì)地說(shuō)，發(fā)光圖案130創(chuàng)建落在嵌入式光學(xué)感測(cè)陣列70上的變形的圖像210。變形的圖像210通過(guò)感測(cè)陣列70被感測(cè)，并且分析與發(fā)射的圖案130的已知參考圖案的關(guān)系(例如，與發(fā)射的圖案130的已知參考圖案進(jìn)行對(duì)比)，以使用六個(gè)自由度的描述來(lái)確定指示裝置110相對(duì)于感測(cè)陣列70的源位置和方位。例如，控制器30可以利用普通技術(shù)人員公知的單應(yīng)性工具來(lái)編程，并進(jìn)行由感測(cè)陣列70所感測(cè)的、通過(guò)控制器30解讀的或者提供到控制器(諸如參考圖像)的輸入。
[0055]這些輸入可以包括變形圖像210的尺寸和布置。由此，控制器30隨后可以通過(guò)給出的參考圖像中的特征的角度擴(kuò)展來(lái)估算距光源120的距離(例如，基于通過(guò)光學(xué)感測(cè)陣列70檢測(cè)的圖像的尺寸以及在參考圖像中的對(duì)應(yīng)特征的已知的角度尺寸來(lái)推定距指示裝置110的距離)并確定指示裝置110(或者更精確地說(shuō)，指示裝置110的光源120)的對(duì)應(yīng)位置和方位，即，指示裝置110相對(duì)于顯示面板20的姿態(tài)。
[0056]圖3是根據(jù)本發(fā)明實(shí)施例的由光學(xué)指示裝置發(fā)射的示例照明圖案(或空間圖案)300的示圖。
[0057]光圖案300可以由近平行的光源(例如，隨著光從源傳播，光逐漸散開(kāi))發(fā)射。光圖案300包括四個(gè)形狀一方形310、三角形320、月牙形330和圓形340，為參考起見(jiàn)，示出了兩條虛線A和B。光圖案300的左右和上下的圖像均不對(duì)稱(chēng)。例如，不存在正交軸A和B使得圖案300關(guān)于軸A或軸B顯示為對(duì)稱(chēng)。圖案300還展示出旋轉(zhuǎn)不對(duì)稱(chēng)性。
[0058]更詳細(xì)地，將理解的是，相對(duì)于虛構(gòu)的參考框架來(lái)定義左、右、上和下。對(duì)于左右不對(duì)稱(chēng)，形成在通過(guò)圖像中的點(diǎn)(例如,A線和B線的相交處)繪制的虛構(gòu)線A的每側(cè)上的兩部分圖像不是鏡面圖像。以此類(lèi)推，對(duì)于上下不對(duì)稱(chēng)，形成在正交地穿過(guò)該同一點(diǎn)繪制的第二虛線B的每側(cè)上的兩部分圖像不是鏡面圖像。
[0059]將注意到的是，對(duì)普通技術(shù)技術(shù)人員來(lái)說(shuō)將明顯的是，光圖案300僅是不限制數(shù)量的這種圖案的一個(gè)示例，本發(fā)明不限于此。例如，圖4是根據(jù)本發(fā)明實(shí)施例的由光學(xué)指示裝置發(fā)射的另一示例光圖案400的示圖。光圖案400比光圖案300更簡(jiǎn)單，也具有左右及上下不對(duì)稱(chēng)性。光圖案400也展示出旋轉(zhuǎn)不對(duì)稱(chēng)性。
[0060]在圖4中，光圖案400示出為具有連接線的三個(gè)點(diǎn)410、420和430，但是僅這三個(gè)點(diǎn)足以在左右和上下兩方面建立不對(duì)稱(chēng)性，從而建立對(duì)應(yīng)性以及旋轉(zhuǎn)不對(duì)稱(chēng)性。此外，對(duì)普通技術(shù)人員來(lái)講將明顯的是，不對(duì)稱(chēng)的光圖案可以減少至確定投影在顯示面板上時(shí)的光圖案的方位的足夠數(shù)量的點(diǎn)(諸如三個(gè))。然而，光圖案的其它部分在由光圖案相對(duì)于顯示面板的特定方位來(lái)確定這些點(diǎn)(例如，解決對(duì)應(yīng)性問(wèn)題)方面是有益的。
[0061]圖5至圖6包括圖5 (a)、圖5 (b)、圖6 (a)和圖6 (b)，示出了從不同方位被投影到顯示面板上的圖3的光圖案300。
[0062]在圖5(a)中，投影為至顯示面板的法線的右側(cè)接近45°。在圖5(b)中，投影為至顯示面板的法線的左側(cè)接近45°。在圖6(a)中，投影為在顯示面板的法線下方接近45°。在圖6(b)中，投影為在顯示面板的法線上方接近45°。在圖5(a)和圖5(b)中，光學(xué)源繞豎直軸旋轉(zhuǎn)(偏航)。在圖6(a)和圖6(b)中，光學(xué)源繞水平軸旋轉(zhuǎn)(俯仰)。對(duì)普通技術(shù)人員來(lái)說(shuō)將明顯的是，圖像的參考版本(例如，見(jiàn)圖3)與測(cè)量版本之間的單應(yīng)性矩陣的分析使得確定旋轉(zhuǎn)角(偏航或俯仰)。普通技術(shù)人員將進(jìn)一步理解的是，當(dāng)投影圖像是光學(xué)源的偏航旋轉(zhuǎn)和俯仰旋轉(zhuǎn)的組合結(jié)果時(shí)，同樣的分析將確定組合的偏航角和俯仰角。
[0063]圖7包括圖7(a)、圖7(b)和圖7 (C)，示出了使用不同的旋轉(zhuǎn)度(或滾轉(zhuǎn)度)被投影到顯示面板上的圖3的光圖案。
[0064]在圖7中的三個(gè)效果圖中，光圖案圖像相對(duì)于顯示面板繞傳播軸旋轉(zhuǎn)或滾轉(zhuǎn)。例如，在圖7(a)中，旋轉(zhuǎn)度(或滾轉(zhuǎn)度)為-10° (即，逆時(shí)針轉(zhuǎn)10° )，在圖7(b)中，旋轉(zhuǎn)度為+149° (即，順時(shí)針轉(zhuǎn)149° )，在圖7(c)中，旋轉(zhuǎn)度為+101° (即，順時(shí)針轉(zhuǎn)101° )。對(duì)普通技術(shù)人員來(lái)說(shuō)將明顯的是，與圖像的參考版本(例如，見(jiàn)圖3)的比較使得相對(duì)于傳感器陣列坐標(biāo)的旋轉(zhuǎn)角確定。普通技術(shù)人員將進(jìn)一步理解的是，可以將用于確定滾轉(zhuǎn)角度的單應(yīng)性矩陣分析進(jìn)行組合，以確定光學(xué)源的組合俯仰角與偏航角并提供對(duì)光學(xué)源的俯仰、偏航和滾轉(zhuǎn)的確定。
[0065]圖8包括圖8(a)和圖8 (b)，示出了從不同的距離被投影到顯示面板上的圖3的光圖案。
[0066]對(duì)于圖8(a)和圖8(b) 二者來(lái)說(shuō),光源相對(duì)于顯不面板的方位相同。然而，光源的位置不同，產(chǎn)生圖8(b)的光圖案的光源的位置是產(chǎn)生圖8(a)的光圖案的光源距顯示面板的距離的70%。
[0067]因此，從圖8(a)和圖8(b)中明顯的是，圖8(b)中的圖像為圖8(a)中的圖像的尺寸的百分之70?？梢赃@么說(shuō)，感測(cè)陣列上的圖像與產(chǎn)生圖8(b)的圖像的光學(xué)源之間的距離為在感測(cè)陣列上的圖像與產(chǎn)生圖8(a)的圖像的光學(xué)源之間的距離的百分之70。
[0068]一般而言，對(duì)普通技術(shù)人員來(lái)說(shuō)將明顯的是，與從光源傳播的平行光偏離已知的角度(例如，見(jiàn)圖2)以及已知的參考圖像(例如，見(jiàn)圖3)結(jié)合的圖像尺寸信息使得可以估算光源相對(duì)于感測(cè)陣列的絕對(duì)距離。距離估算可以結(jié)合俯仰、偏航和滾轉(zhuǎn)角度信息，以利用六個(gè)自由度的位置信息(X、1、z、俯仰、偏航和滾轉(zhuǎn))知曉光源相對(duì)于嵌入式感測(cè)陣列(并由此相對(duì)于顯示器)的位置。
[0069]圖9到圖10示出根據(jù)本發(fā)明實(shí)施例的示例光束源900和1000。
[0070]在圖9的光束源900中，激光源910發(fā)射平行光束920的光，平行光束920的光穿過(guò)通常的衍射光學(xué)器件930 (諸如衍射光柵)，以創(chuàng)建與光圖案呈期望的偏差的投影圖案940，諸如如上所述的不對(duì)稱(chēng)光圖案。在圖10的光束源1000中，非平行光束源1010(諸如發(fā)光二極管(LED)或其它近點(diǎn)光源)發(fā)射非平行光束1020的光,非平行光束1020的光被壁1030所容納并且部分地平行穿過(guò)具有圖案化光掩模1040的透鏡，以創(chuàng)建與光圖案呈期望的偏差的投影圖案1050，諸如如上所述的不對(duì)稱(chēng)光圖案。
[0071]圖11是根據(jù)本發(fā)明實(shí)施例的用于確定光源相對(duì)于顯示裝置的姿態(tài)的示例方法1100的流程圖。對(duì)普通技術(shù)人員來(lái)說(shuō)將明顯的是，例如，通過(guò)執(zhí)行完成上述方法的計(jì)算機(jī)指令的計(jì)算機(jī)處理器，可以執(zhí)行在本申請(qǐng)中這些和其它描述的方法。此外，在本發(fā)明的這些和其它描述的方法中，步驟的表象和次序不必限制于所描述的步驟的表象和次序，并且在其它實(shí)施例中，步驟的表象和次序可以改變，以實(shí)現(xiàn)同樣或類(lèi)似的結(jié)果，這對(duì)于普通技術(shù)人員來(lái)說(shuō)將是明顯的。
[0072]處理開(kāi)始，并且在步驟1110中，光是從光源(例如，指示器)朝著顯示面板發(fā)射的光。光具有如上所述的圖案。例如，光圖案可以對(duì)應(yīng)于三個(gè)或更多個(gè)非共線點(diǎn)(例如，旋轉(zhuǎn)不對(duì)稱(chēng)圖案或者用于一部分光圖案的與剩余光圖案相比不同的調(diào)制)。在步驟1120中，利用在顯示面板的顯示區(qū)域中的多個(gè)光學(xué)傳感器來(lái)檢測(cè)光圖案。在步驟1130中，利用檢測(cè)的光圖案通過(guò)處理器來(lái)確定光源(或指示器)相對(duì)于光學(xué)傳感器陣列(或顯示面板)的位置和方位(例如，六個(gè)自由度的位置信息)。例如，對(duì)應(yīng)的三個(gè)或更多個(gè)非共線點(diǎn)可以通過(guò)處理器在檢測(cè)的光圖案中確定，處理器使用單應(yīng)性矩陣分析，以將檢測(cè)的光圖案中的對(duì)應(yīng)的三個(gè)或更多個(gè)非共線點(diǎn)與光源的參考光圖案(包括三個(gè)或更多個(gè)非共線點(diǎn))進(jìn)行對(duì)比。
[0073]本發(fā)明的實(shí)施例使大量有用的應(yīng)用成為可能。例如，在一個(gè)實(shí)施例中，光束源可以集合到3D眼鏡中，以允許顯示系統(tǒng)跟蹤用戶的頭并渲染適用于每個(gè)用戶的位置的3D內(nèi)容。在這種實(shí)施例的一個(gè)延伸中，虛擬的3D圖像將被渲染，以隨著通過(guò)指示器(包括裝有光束源的指尖)直接操縱而出現(xiàn)，其中，光束的片段在圖像中被渲染，以出現(xiàn)在從指示器延伸到用戶的視野內(nèi)。在具有多視點(diǎn)3D系統(tǒng)的實(shí)施例中，隨著頭的運(yùn)動(dòng)能夠?yàn)橛脩粽故境鲞m于每個(gè)用戶位置的3D渲染。
[0074]在其它實(shí)施例中，游戲可以被構(gòu)造為使用關(guān)于用戶的物體或者點(diǎn)的相對(duì)位置的認(rèn)知，以創(chuàng)建高保真虛擬現(xiàn)實(shí)體驗(yàn)。在辦公實(shí)施例中，多個(gè)獨(dú)特的指示器可以由不同的用戶使用，以與顯示器協(xié)作交互。指示器將非常類(lèi)似于激光指示器而進(jìn)行工作，但是還具有進(jìn)一步的能力，不僅指示而且還“點(diǎn)擊”。例如，在一個(gè)實(shí)施例中，在指示器上的按鈕將被用于改變投影圖像，由此發(fā)出“鼠標(biāo)點(diǎn)擊”操作的信號(hào)，從而允許指示器裝置橫跨空間的操作。在另一實(shí)施例中，這些相同的指示器還將用作虛擬的馬克筆，以支持在顯示器上繪畫(huà)(諸如在內(nèi)容上標(biāo)記)或支持包括在與位于遠(yuǎn)程的協(xié)同顯示器聯(lián)網(wǎng)時(shí)遠(yuǎn)程協(xié)作交互的虛擬白板。
[0075]在本發(fā)明的另一實(shí)施例中，提供了一種用于一個(gè)或更多個(gè)用戶的3D渲染系統(tǒng)。這里，在對(duì)一個(gè)或更多個(gè)用戶控制的情況下，虛擬的3D物體通過(guò)成像機(jī)(例如，3D顯示系統(tǒng)，該3D顯示系統(tǒng)使用例如顯示兩種不同圖像和對(duì)應(yīng)的偏振的3D眼鏡的顯示系統(tǒng)，以針對(duì)它們的各個(gè)眼睛分離圖像)渲染。例如，每個(gè)用戶可以具有用作具有成像機(jī)的光學(xué)指示器(例如，如在上述實(shí)施例中所描述的)的觸針。另外，3D眼鏡可以具有它們自己的指示器或者如上所述的光源，并且可以用于跟蹤對(duì)應(yīng)的用戶的頭(以給一部分3D圖像通過(guò)例如觸針操縱的3D渲染系統(tǒng)提供進(jìn)一步輸入)。觸針可以具有按鈕(與鼠標(biāo)或其它指示裝置類(lèi)似的部件)，以能夠?qū)崿F(xiàn)3D渲染功能。
[0076]這種3D渲染系統(tǒng)將對(duì)于一個(gè)或更多個(gè)用戶同時(shí)提供頭部跟蹤和指示器跟蹤。這是一個(gè)比可比實(shí)施方式所能夠?qū)崿F(xiàn)的更加協(xié)同的環(huán)境(通過(guò)以更大的交互量容納多個(gè)用戶)。
[0077]盡管已經(jīng)結(jié)合特定的示例實(shí)施例描述了本發(fā)明，但是將理解的是，本發(fā)明不限于公開(kāi)的實(shí)施例，而是相反的，意在覆蓋包括在權(quán)利要求書(shū)及其等同物的精神和范圍內(nèi)的各種修改和等同布置。
【權(quán)利要求】
1.一種姿態(tài)確定系統(tǒng)，其特征在于，所述姿態(tài)確定系統(tǒng)包括: 光源，被構(gòu)造為發(fā)射與三個(gè)或更多個(gè)非共線點(diǎn)相對(duì)應(yīng)的光的圖案；以及 顯示面板，在顯示區(qū)域中包括多個(gè)光學(xué)傳感器，所述光學(xué)傳感器被構(gòu)造為檢測(cè)光圖案， 其中，姿態(tài)確定系統(tǒng)被構(gòu)造為利用檢測(cè)的所述光圖案確定所述光源相對(duì)于所述顯示面板的位置。
2.如權(quán)利要求1所述的姿態(tài)確定系統(tǒng)，其中，所述光圖案相對(duì)于旋轉(zhuǎn)是不對(duì)稱(chēng)的。
3.如權(quán)利要求1所述的姿態(tài)確定系統(tǒng)，其中，所述光圖案的一部分與剩余的所述光圖案不同地被調(diào)制。
4.如權(quán)利要求1所述的姿態(tài)確定系統(tǒng)，其中，所述姿態(tài)確定系統(tǒng)還被構(gòu)造為通過(guò)在所述檢測(cè)的光圖案中檢測(cè)對(duì)應(yīng)的所述三個(gè)或更多個(gè)非共線點(diǎn)來(lái)確定所述光源相對(duì)于所述顯示面板的位置。
5.如權(quán)利要求1所述的姿態(tài)確定系統(tǒng)，所述姿態(tài)確定系統(tǒng)還包括指示器，所述指示器包括所述光源。
6.如權(quán)利要求5所述的姿態(tài)確定系統(tǒng)， 其中，指示器包括兩個(gè)或更多個(gè)指示器，所述兩個(gè)或更多個(gè)指示器具有能夠分離的各自的所述光圖案， 其中，所述姿態(tài)確定系統(tǒng)還被構(gòu)造為利用各自的所述檢測(cè)的光圖案來(lái)確定所述兩個(gè)或更多個(gè)指示器相對(duì)于所述顯示面板的位置。
7.如權(quán)利要求1所述的姿態(tài)確定系統(tǒng)，所述姿態(tài)確定系統(tǒng)還包括處理器，所述處理器被構(gòu)造為利用所述光圖案的參考版本和所述檢測(cè)的光圖案來(lái)確定所述光源相對(duì)于所述顯示面板的位置。
8.如權(quán)利要求7所述的姿態(tài)確定系統(tǒng)，其中，所述處理器還被構(gòu)造為將所述檢測(cè)的光圖案與參考光圖案對(duì)比。
9.如權(quán)利要求7所述的姿態(tài)確定系統(tǒng)，其中，所述處理器還被構(gòu)造為利用所述檢測(cè)的光圖案來(lái)確定所述光源相對(duì)于所述顯示面板的方位。
10.如權(quán)利要求9所述的姿態(tài)確定系統(tǒng)，其中，所述處理器還被構(gòu)造為利用所述檢測(cè)的光圖案來(lái)確定所述光源相對(duì)于所述顯示面板的六個(gè)自由度的位置信息。
11.如權(quán)利要求9所述的姿態(tài)確定系統(tǒng)，其中，所述處理器還被構(gòu)造為利用單應(yīng)性矩陣分析來(lái)確定所述光源相對(duì)于所述顯示面板的所述位置和所述方位。
12.如權(quán)利要求1所述的姿態(tài)確定系統(tǒng)，其中，所述光源包括激光器和位于激光器前方的一個(gè)或更多個(gè)衍射光學(xué)器件。
13.如權(quán)利要求1所述的姿態(tài)確定系統(tǒng)，其中，所述光源包括非平行光源和位于所述非平行光源前方的圖案化光掩模。
14.一種用于確定光源相對(duì)于顯示面板的姿態(tài)的方法，其特征在于，所述方法包括: 發(fā)射光，光來(lái)自所述光源并具有與三個(gè)或更多個(gè)非共線點(diǎn)相對(duì)應(yīng)的圖案； 利用在所述顯示面板的顯示區(qū)域中的多個(gè)光學(xué)傳感器來(lái)檢測(cè)光圖案；以及 利用所述檢測(cè)的光圖案通過(guò)處理器來(lái)確定所述光源相對(duì)于所述顯示面板的位置。
15.如權(quán)利要求14所述的方法，其中，所述光源包括兩個(gè)或更多個(gè)光源，所述兩個(gè)或更多個(gè)光源被構(gòu)造為發(fā)射能夠分離的各自的所述光圖案，所述方法還包括利用各自的所述檢測(cè)的光圖案來(lái)確定所述兩個(gè)或更多個(gè)光源相對(duì)于顯示面板的所述位置。
16.如權(quán)利要求14所述的方法，所述方法還包括通過(guò)所述處理器將所述檢測(cè)的光圖案與所述光圖案的參考版本相對(duì)比。
17.如權(quán)利要求14所述的方法，所述方法還包括利用所述檢測(cè)的光圖案通過(guò)所述處理器來(lái)確定所述光源相對(duì)于所述顯示面板的方位。
18.一種用于確定包括光源的指示器的姿態(tài)的顯示面板，所述光源被構(gòu)造為發(fā)射具有與三個(gè)或更多個(gè)非共線點(diǎn)相對(duì)應(yīng)的圖案的光，所述顯示面板包括: 顯示區(qū)域，包括多個(gè)光學(xué)傳感器，所述多個(gè)光學(xué)傳感器被構(gòu)造為檢測(cè)從所述光源發(fā)射的光圖案；以及 處理器， 其中，所述處理器被構(gòu)造為在檢測(cè)的光圖案中通過(guò)檢測(cè)對(duì)應(yīng)的所述三個(gè)或更多個(gè)非共線點(diǎn)來(lái)確定所述指示器相對(duì)于所述顯示面板的位置。
19.如權(quán)利要求18所述的顯示面板， 其中，所述指示器包括兩個(gè)或更多個(gè)指示器，所述兩個(gè)或更多個(gè)指示器具有能夠分離的各自的所述光圖案， 其中，所述處理器還被構(gòu)造為利用各自的所述檢測(cè)的光圖案來(lái)確定所述兩個(gè)或更多個(gè)指示器相對(duì)于所述顯示面板的所述位置。
20.如權(quán)利要求18所述的顯示面板，其中，所述處理器還被構(gòu)造為利用所述檢測(cè)的光圖案來(lái)確定所述指示器相對(duì)于所述顯示面板的方位。
【文檔編號(hào)】G06F3/0346GK104516532SQ201410525213
【公開(kāi)日】2015年4月15日 申請(qǐng)日期:2014年10月8日 優(yōu)先權(quán)日:2013年10月3日
【發(fā)明者】理查德·I·麥卡特尼, 戴維·M·霍夫曼 申請(qǐng)人:三星顯示有限公司