專利名稱：自容交互式視頻顯示系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可視電子顯示的領(lǐng)域。具體來(lái)說(shuō)，在此描述的實(shí)施例涉及一種自容交互式視頻顯示系統(tǒng)。
背景技術(shù)：
多年來(lái)，一般都是利用靜態(tài)顯示將信息傳達(dá)給觀眾。例如，利用印刷品和海報(bào)來(lái)呈現(xiàn)產(chǎn)品廣告。隨著電視和電影的產(chǎn)生，可以利用動(dòng)態(tài)顯示來(lái)呈現(xiàn)信息(例如廣告片)。盡管比靜態(tài)顯示更加動(dòng)人，動(dòng)態(tài)顯示一般不提供在用戶和顯示器之間的交互。
近來(lái)，交互式觸摸屏被用于在平坦表面上呈現(xiàn)信息。例如，可在觸摸屏上顯示圖像，并且用戶可以通過(guò)觸摸觸摸屏而與圖像進(jìn)行交互，以使圖像改變。但是，為了與顯示在觸摸屏上的圖像進(jìn)行交互，用戶實(shí)際上必須與觸摸屏進(jìn)行接觸。此外，觸摸屏一般在任意時(shí)間只能接收一個(gè)輸入，并且不能夠清楚地辨別輸入的形狀?；旧希?dāng)前的觸摸屏只能夠接收一個(gè)手指的觸摸的輸入。
在一些情況中，例如銷售點(diǎn)、零售廣告宣傳、促銷、娛樂廳、娛樂場(chǎng)所等，需要提供一種交互式界面用于向用戶顯示信息。這種交互性提供了更為動(dòng)人的界面用于呈現(xiàn)信息(例如媒體，廣告等)。通過(guò)獲取人的注意力，甚至僅僅是幾個(gè)瞬間，與先前的顯示器相比，人將會(huì)更加可能關(guān)注在交互式顯示器上呈現(xiàn)的信息。
如上所述，當(dāng)前的交互式顯示器一般要求用戶以身體接觸觸摸屏表面。通過(guò)需要接觸觸摸屏來(lái)提供交互性，使得很多潛在的用戶對(duì)當(dāng)前交互式顯示器不感興趣或被其吸引。此外，由于在一次只有一個(gè)用戶可與觸摸屏進(jìn)行交互，更多的用戶被排斥。此外，由于當(dāng)前觸摸屏不能夠辨別輸入的形狀，它們就被限制于可以響應(yīng)于交互被呈現(xiàn)的信息的類型。

發(fā)明內(nèi)容
此處將會(huì)描述本發(fā)明的自容交互式視頻顯示系統(tǒng)的各種實(shí)施例。在一個(gè)實(shí)施例中，投影儀將可視圖像投影到屏幕上用于顯示該可視圖像，其中，投影儀將可視圖像投影到屏幕的背面，以便向在屏幕的前面的用戶顯現(xiàn)。在一個(gè)實(shí)施例中，投影儀發(fā)射出偏振光，并且垂直取向的線性偏振薄膜位于靠近屏幕前側(cè)的位置，以便消除眩光。在一個(gè)實(shí)施例中，若干個(gè)垂直取向的線性偏振薄膜位于靠近屏幕的前側(cè)和后側(cè)的位置。在一個(gè)實(shí)施例中，投影儀是離軸投影儀。在一個(gè)實(shí)施例中，該投影是人類用戶的身體部分。
在一個(gè)實(shí)施例中，該屏幕包括散射偏振器，其中該投影儀以散射偏振器散射的偏振發(fā)射偏振光，并且照相機(jī)對(duì)未由散射偏振器散射的偏振的光敏感。在另一個(gè)實(shí)施例中，該屏幕包括散射由投影儀發(fā)出的波長(zhǎng)的光、而不散射照相機(jī)可檢測(cè)到的波長(zhǎng)的光的材料。在另一個(gè)實(shí)施例中，該屏幕包括基于時(shí)間的材料，該材料能夠從大體半透明轉(zhuǎn)換為大體透明，其中當(dāng)投影儀投影可視圖像時(shí)，該屏幕是大體半透明，并且當(dāng)照相機(jī)在檢測(cè)屏幕前側(cè)附近的目標(biāo)時(shí)，屏幕是大體透明的。在另一個(gè)實(shí)施例中，該屏幕包括在特定角度是大體半透明、在其他角度是大體透明的材料，其中投影儀從該特定角度向屏幕上投影光線。
照明器照亮了在屏幕前側(cè)附近的目標(biāo)。在一個(gè)實(shí)施例中，該照明器是利用紅外線光照來(lái)照亮目標(biāo)的紅外線照明器，并且其中照相機(jī)是用于檢測(cè)紅外線照明的紅外線照相機(jī)。在一個(gè)實(shí)施例中，該照明器在與照相機(jī)曝光同期的時(shí)間被選通。在一個(gè)實(shí)施例中，該照明器通過(guò)屏幕將光照投影到目標(biāo)上。在一個(gè)實(shí)施例中，設(shè)置該照明器的位置，以便降低在照相機(jī)上的眩光效果的任何可能性。在一個(gè)實(shí)施例中，該照明器位于屏幕旁使得該照明器不通過(guò)屏幕投影光照。在一個(gè)實(shí)施例中，該系統(tǒng)包括多個(gè)照明器，其中這些照明器位于屏幕旁并且在屏幕之后。
照相機(jī)檢測(cè)照亮的目標(biāo)與可視圖像的交互作用，其中該屏幕對(duì)于照相機(jī)可檢測(cè)的光至少是部分透明的，以使照相機(jī)能夠通過(guò)屏幕檢測(cè)照亮目標(biāo)。計(jì)算機(jī)系統(tǒng)指示投影儀響應(yīng)于該交互作用來(lái)改變可視圖像。
在一個(gè)實(shí)施例中，投影儀、照相機(jī)、照明器、和計(jì)算機(jī)系統(tǒng)被包括在一個(gè)機(jī)殼內(nèi)，并且該機(jī)殼的一側(cè)具有屏幕。在一個(gè)實(shí)施例中，該系統(tǒng)進(jìn)一步包括用于向屏幕上投影可視圖像的反射鏡，其中投影儀間接指向該屏幕，而該反射鏡使可視圖像改變方向至該屏幕上。在一個(gè)實(shí)施例中，該系統(tǒng)進(jìn)一步包括鄰近該屏幕的菲涅耳透鏡，用于校正照相機(jī)的取景失真。在另一個(gè)實(shí)施例中，該系統(tǒng)進(jìn)一步包括距離該屏幕一段距離的一系列反射鏡帶，用于校正照相機(jī)的取景失真。在一個(gè)實(shí)施例中，校準(zhǔn)照相機(jī)的圖像到可視圖像，使得由目標(biāo)引起的交互作用與屏幕附近的目標(biāo)的物理位置相匹配。
在一個(gè)實(shí)施例中，該自容交互式視頻顯示系統(tǒng)可操作用于確定關(guān)于目標(biāo)與屏幕之間的距離的信息。在一個(gè)實(shí)施例中，該照相機(jī)是立體照相機(jī)。在另一個(gè)實(shí)施例中，該照相機(jī)是渡越時(shí)間照相機(jī)。在一個(gè)實(shí)施例中，該渡越時(shí)間照相機(jī)被定位使得該渡越時(shí)間照相機(jī)不會(huì)反射回到其自身上。在一個(gè)實(shí)施例中，該自容交互式視頻顯示系統(tǒng)可以與第二自容交互式視頻顯示系統(tǒng)平鋪在一起。在一個(gè)實(shí)施例中，該自容交互式視頻顯示系統(tǒng)進(jìn)一步包括第二照相機(jī)、用于照相機(jī)的第一菲涅耳透鏡、和用于第二照相機(jī)的第二菲涅耳透鏡，以允許將該照相機(jī)和第二照相機(jī)取景的空間接合到一起。
在一個(gè)實(shí)施例中，該自容交互式視頻顯示系統(tǒng)提供了當(dāng)目標(biāo)靠近屏幕時(shí)的觸摸屏功能。在一個(gè)實(shí)施例中，該自容交互式視頻顯示系統(tǒng)進(jìn)一步包括與屏幕的前側(cè)相鄰的透明的觸摸屏。在另一個(gè)實(shí)施例中，該自容交互式視頻顯示系統(tǒng)進(jìn)一步包括與屏幕前側(cè)相鄰的邊光透明薄片，并且該照相機(jī)可操作用于區(qū)別當(dāng)目標(biāo)接觸到邊光透明薄片時(shí)產(chǎn)生的光線。
在另一個(gè)實(shí)施例中，本發(fā)明提供一種用于利用自容交互式視頻顯示系統(tǒng)呈現(xiàn)交互式可視圖像的方法。將可視圖像投影到屏幕上，其中該可視圖像被投影到該屏幕的后側(cè)，用于向在屏幕前側(cè)的用戶顯現(xiàn)。在屏幕前側(cè)附近的目標(biāo)被照明。檢測(cè)目標(biāo)與可視圖像的交互作用，其中該屏幕對(duì)光至少部分透明，使得目標(biāo)通過(guò)屏幕是可以檢測(cè)的。該可視圖像響應(yīng)該交互被改變。
附圖簡(jiǎn)述包含在申請(qǐng)文件中和構(gòu)成其一部分的附圖示出了本發(fā)明的若干個(gè)實(shí)施例，并且通過(guò)結(jié)合說(shuō)明書用于解釋本發(fā)明的原理。
附

圖1示出了根據(jù)本發(fā)明的實(shí)施例的交互式視頻系統(tǒng)的部件的物理配置；附圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的屏幕的設(shè)置，其中的線性偏振器薄片被用于消除或降低眩光；附圖3示出了根據(jù)本發(fā)明的各種實(shí)施例的交互式視頻系統(tǒng)的若干個(gè)其他配置的橫截面；附圖4A和4B是分別示出了根據(jù)本發(fā)明的實(shí)施例的交互式視頻系統(tǒng)的實(shí)施例的示意圖；附圖5A和5B是分別示出了根據(jù)本發(fā)明的實(shí)施例的交互式視頻系統(tǒng)的實(shí)施例的示意圖；附圖6A和6B是分別示出了根據(jù)本發(fā)明的實(shí)施例的離軸投影的兩個(gè)配置的示意圖；附圖7A和7B是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的交互式平板顯示系統(tǒng)的示意圖；附圖8A是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的利用菲涅耳透鏡降低圖像失真的技術(shù)的示意圖；附圖8B是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的利用一系列反射鏡帶降低圖像失真的技術(shù)的示意圖；附圖9A和9B是示出了根據(jù)本發(fā)明實(shí)施例的具有散射偏振器屏幕的交互式視頻顯示系統(tǒng)的示意性布局；
附圖10A示出了根據(jù)本發(fā)明的實(shí)施例的具有微觀散射脊或凸起的屏幕的橫截面；附圖10B是示出了根據(jù)本發(fā)明的實(shí)施例的具有微觀散射凹坑或凹槽的屏幕的橫截面；附圖11示出了根據(jù)本發(fā)明的實(shí)施例的用于邊緣發(fā)光的取樣結(jié)構(gòu)；附圖12A示出了根據(jù)本發(fā)明的實(shí)施例的平板顯示器的橫截面；附圖12B示出了根據(jù)本發(fā)明的實(shí)施例的平板顯示器的橫截面；附圖13示出了根據(jù)本發(fā)明的實(shí)施例的照相機(jī)和照明子系統(tǒng)；附圖14示出了根據(jù)本發(fā)明的實(shí)施例的利用成角度的散射偏振器的用于照相機(jī)的照明子系統(tǒng)；附圖15示出了根據(jù)本發(fā)明的實(shí)施例的照相機(jī)和用于渡越時(shí)間照相機(jī)的照明子系統(tǒng)；附圖16示出了根據(jù)本發(fā)明的實(shí)施例的用于獲取3D數(shù)據(jù)的第一結(jié)構(gòu)；附圖17示出了根據(jù)本發(fā)明的實(shí)施例的用于獲取3D數(shù)據(jù)的第二結(jié)構(gòu)；附圖18A示出了根據(jù)本發(fā)明的實(shí)施例的用于獲取3D數(shù)據(jù)的兩個(gè)附加結(jié)構(gòu)；附圖18B示出了根據(jù)本發(fā)明的實(shí)施例的用于獲取3D數(shù)據(jù)的另一結(jié)構(gòu)；附圖19A和19B是示出了根據(jù)本發(fā)明的實(shí)施例的光散射的示意圖；附圖20A示出了根據(jù)本發(fā)明的實(shí)施例的高失真；附圖20B示出了根據(jù)本發(fā)明的實(shí)施例的通過(guò)將照相機(jī)遠(yuǎn)離顯示屏而降低的失真；附圖21A示出了根據(jù)本發(fā)明的實(shí)施例的利用菲涅耳透鏡的失真降低；附圖21B示出了根據(jù)本發(fā)明的實(shí)施例的利用菲涅耳透鏡的失真消除；附圖21C示出了根據(jù)本發(fā)明的實(shí)施例的利用菲涅耳透鏡來(lái)消除在雙照相機(jī)系統(tǒng)中的失真；附圖22是根據(jù)本發(fā)明的一個(gè)實(shí)施例示出了窗口顯示器的示意圖；附圖23A、23B和23C是根據(jù)本發(fā)明的不同實(shí)施例的分別示出了各種用于降低眩光的技術(shù)的示意圖；附圖24A和24B是根據(jù)本發(fā)明的實(shí)施例的示出了用于利用觀察控制薄膜來(lái)降低眩光的技術(shù)的示意圖；附圖25示出了根據(jù)本發(fā)明的實(shí)施例的使用散射偏振器的窗口顯示器的一種結(jié)構(gòu)的橫截面；附圖26示出了根據(jù)本發(fā)明的實(shí)施例的利用散射偏振器和微棱鏡材料的窗口顯示器的一種結(jié)構(gòu)的橫截面；附圖27示出了根據(jù)本發(fā)明的實(shí)施例的使用用于壓縮目的的反射鏡的窗口顯示器的一種結(jié)構(gòu)的橫截面；附圖28示出了根據(jù)本發(fā)明的實(shí)施例的包括多個(gè)渡越時(shí)間照相機(jī)的交互式顯示器的側(cè)視圖；附圖29示出了根據(jù)本發(fā)明的實(shí)施例的包括多個(gè)渡越時(shí)間照相機(jī)的交互式顯示器的頂視圖。
詳細(xì)描述下面將會(huì)詳細(xì)介紹本發(fā)明的各種實(shí)施例，附圖中示出了一個(gè)用于監(jiān)視在第二電子裝置周圍出現(xiàn)的目標(biāo)的電子裝置的例子。在結(jié)合這些實(shí)施例對(duì)本發(fā)明進(jìn)行描述時(shí)，將會(huì)理解本發(fā)明不限制于這些實(shí)施例。正相反，本發(fā)明目的是覆蓋了所有包括在權(quán)利要求定義的本發(fā)明的精神和范圍之內(nèi)的替代方案、變型方案和等效方案。此外，在下面對(duì)本發(fā)明的詳細(xì)描述中，闡明了許多特定的細(xì)節(jié)用于對(duì)本發(fā)明的深入理解。但是，本領(lǐng)域的技術(shù)人員可以理解，本發(fā)明可以在沒有這些特定細(xì)節(jié)的情況下實(shí)施。在其他情況下，為了不出現(xiàn)本發(fā)明不必要的不明確，將不會(huì)詳細(xì)描述公知的方法過(guò)程、部件和電路。
以下詳細(xì)描述中的一些部分，是以過(guò)程、步驟、邏輯塊、處理、和其他在計(jì)算機(jī)存儲(chǔ)器上可執(zhí)行的對(duì)數(shù)據(jù)位的操作的表示符號(hào)的形式出現(xiàn)。這些描述和表示是本領(lǐng)域的技術(shù)人員在數(shù)據(jù)處理技術(shù)中采用來(lái)最有效地將其工作內(nèi)容展示給其他技術(shù)人員的手段。過(guò)程、計(jì)算機(jī)可執(zhí)行步驟、邏輯塊、處理等等，在此大體上被設(shè)想為能夠產(chǎn)生想要的結(jié)果的自相一致的步驟或者指令的序列。這些步驟需要對(duì)若干個(gè)物理量進(jìn)行物理操作。通常，盡管不是必須的，這些量采用能夠在計(jì)算機(jī)系統(tǒng)中被存儲(chǔ)、傳送、組合、比較或者以其它方式操作的電或磁信號(hào)的形式。將這些信號(hào)表示為位、數(shù)值、要素、符號(hào)、字符、術(shù)語(yǔ)、編號(hào)或類似形式，已證明有時(shí)是方便的，主要是由于通用的原因。
然而，應(yīng)該記住，所有這些或者類似的術(shù)語(yǔ)都被與適當(dāng)?shù)奈锢頂?shù)量相關(guān)聯(lián)并且僅僅是提供給這些數(shù)量的標(biāo)簽。除非出現(xiàn)在下面的討論的特定的狀態(tài)才出外，應(yīng)當(dāng)理解的是貫穿本發(fā)明，利用術(shù)語(yǔ)如“投影”或“檢測(cè)”或“改變”或“照明”或“校正”或“消除”之類的討論被當(dāng)作電子系統(tǒng)(例如附圖1中的交互式視頻系統(tǒng)100)或類似的電子計(jì)算裝置的操作和處理，其在該電子裝置的寄存器和存儲(chǔ)器中將表示為物理(電子)數(shù)量的數(shù)據(jù)處理和轉(zhuǎn)換為其他的類似于在電子裝置存儲(chǔ)器或寄存器或其他的信息存儲(chǔ)器，傳輸或顯示裝置中表示為物理數(shù)量的數(shù)據(jù)。
下面將會(huì)描述本發(fā)明的各種實(shí)施例，一個(gè)自容交互式視頻顯示系統(tǒng)。在一個(gè)實(shí)施例中，一個(gè)投影儀向屏幕投影可視圖像用于顯示該可視圖像，其中的投影儀將可視圖像投影到屏幕的背面以用于在屏幕的前側(cè)向用戶顯示。一個(gè)照明器照亮在屏幕前側(cè)附近的目標(biāo)。一個(gè)照相機(jī)檢測(cè)照亮的目標(biāo)與可視圖像的交互作用，其中的屏幕至少對(duì)計(jì)算可檢測(cè)的光線是部分透明，以允許照相機(jī)檢測(cè)通過(guò)屏幕檢測(cè)照亮的目標(biāo)。計(jì)算機(jī)系統(tǒng)響應(yīng)交互指示投影儀改變可視圖像。
交互式視頻投影系統(tǒng)將會(huì)描述本發(fā)明的形式上的一個(gè)或多個(gè)實(shí)具體施例。根據(jù)一個(gè)具體實(shí)施例，提供在附圖1中所示的交互式視頻系統(tǒng)100。該交互式視頻系統(tǒng)100使用一個(gè)裝配有阻斷可見光的濾光器的照相機(jī)115、照亮由照相機(jī)115取景的屏幕130的照明器125、將圖像投影到屏幕130的交互式空間的投影儀120、和將照相機(jī)115的圖像作為輸入并且輸出可視圖像到投影儀120的計(jì)算機(jī)110。在一個(gè)實(shí)施例中，照明器125是一個(gè)紅外照明器，且照相機(jī)115是可操作為記錄由照明器125的紅外光照亮的圖像的紅外照相機(jī)。應(yīng)當(dāng)理解的是，該照相機(jī)115和照明器125可以被構(gòu)造為利用任何形式的不可見光來(lái)操作，并且不限制于紅外光。
計(jì)算機(jī)110處理照相機(jī)115的輸入，以便基于逐個(gè)像素來(lái)辨別屏幕130的正面的哪些體積部分被人物(或運(yùn)動(dòng)目標(biāo))占據(jù)，以及屏幕130的哪些部分是背景。這一點(diǎn)是計(jì)算機(jī)110通過(guò)建立若干個(gè)所希望看到的背景的展開模型來(lái)實(shí)現(xiàn)的，并且隨后將背景的初步設(shè)計(jì)與照相機(jī)115現(xiàn)在所觀察的進(jìn)行比較?？蛇x擇的，計(jì)算機(jī)110用于處理照相機(jī)115的輸入的部分被統(tǒng)稱為視覺系統(tǒng)。該視覺系統(tǒng)的各種實(shí)施例在未決美國(guó)專利申請(qǐng)?zhí)朜o.10/160,217，于2002年5月28日貝爾申請(qǐng)的題目為“交互式視頻顯示系統(tǒng)”中，并且其被轉(zhuǎn)讓給本申請(qǐng)的受讓人，在2003年9月18日由貝爾申請(qǐng)的未決美國(guó)臨時(shí)專利申請(qǐng)?zhí)枮镹o.60/504,375、題目為“自容交互式視頻顯示系統(tǒng)”中，其被轉(zhuǎn)讓給本申請(qǐng)的受讓人，在2003年10月24日由貝爾申請(qǐng)的未決美國(guó)臨時(shí)專利申請(qǐng)?zhí)枮镹o.60/514,024、題目為“用于在交互式視頻系統(tǒng)中處理捕獲的圖像信息的方法和系統(tǒng)”中描述，其被轉(zhuǎn)讓給本申請(qǐng)的受讓人，并且在此并入本文作為參考。
展開的背景是視覺的重要部分，由于其允許系統(tǒng)在光照、屏幕擦傷、和其他干擾上被彈性地改變。視覺系統(tǒng)的輸出是一個(gè)黑色和白的屏蔽圖像，其被提供到一個(gè)可以在計(jì)算機(jī)110上運(yùn)行的效果引擎中。該效果引擎運(yùn)行在屏幕130上建立交互式圖形的應(yīng)用程序。藝術(shù)家可以利用很多種效果成分例如腳本來(lái)設(shè)計(jì)效果，以允許他們建立很多種交互經(jīng)驗(yàn)。最后，由效果引擎建立的圖像被輸出給投影儀120。
最好是，交互式視頻系統(tǒng)100的所有的電子部件(例如，照相機(jī)115，投影儀120，計(jì)算機(jī)110，和照明器125)在屏幕130的一側(cè)，而用戶的交互在屏幕130的一側(cè)產(chǎn)生。在一個(gè)實(shí)施例中，屏幕130對(duì)于投影儀120的光線是部分半透明的，從而允許在屏幕130的表面上形成圖像。但是，屏幕130對(duì)于照相機(jī)115是部分透明的，使得照相機(jī)115可以看到在屏幕130的相反側(cè)的目標(biāo)。應(yīng)當(dāng)理解的是，術(shù)語(yǔ)透明和半透明作為在貫穿當(dāng)前說(shuō)明書中被分別定義為至少是部分透明和/或者半透明的意思。應(yīng)當(dāng)理解的是，在整個(gè)當(dāng)前說(shuō)明書中提及的術(shù)語(yǔ)“散射”和“未散射”被分別定義為“充分散射”和“非充分散射”。最后，應(yīng)當(dāng)理解的是術(shù)語(yǔ)“漫射”和“非漫射”作為貫穿本說(shuō)明書被分別定義為“充分漫射”和“非充分漫射”的含義附圖1示出了本發(fā)明的具體實(shí)施例的部件的一種物理配置。所有的傳感和顯示部件，包括照相機(jī)115、照明器125、計(jì)算機(jī)110、和投影儀120，被封裝在一個(gè)盒子140內(nèi)。在一個(gè)實(shí)施例中，除了一側(cè)以外盒子140的所有側(cè)都是不透明的。這一不透明的一側(cè)是用于顯示投影圖像的屏幕130。
在一個(gè)實(shí)施例中，平滑、平坦的具有強(qiáng)瑞利散射和相關(guān)的其他形式的較少的散射的材料被用于屏幕130。如果光線被屏幕130(一個(gè)半透明屏幕)散射，則光線將會(huì)作為在屏幕130上的圖像而可見。如果光線沒有被屏幕130(一個(gè)全透明屏幕)散射或吸收，則光線將會(huì)穿過(guò)像玻璃板一樣的屏幕130。
瑞利散射與1/(波長(zhǎng)^4)成比例，其意味著具有短波長(zhǎng)的光線比具有長(zhǎng)波長(zhǎng)的光線的散射更多些。因此，具有大于800納米(nm)波長(zhǎng)紅外光，比具有400nm到700nm波長(zhǎng)的可見光的散射少得多。在本實(shí)施例中，投影儀120使用可見光，而照相機(jī)115使用紅外光，以允許照相機(jī)115看穿屏幕130，而在由投影儀120發(fā)出的光線被散射到屏幕130上。在一個(gè)實(shí)施例中，屏幕130的材料是平滑且均質(zhì)，直到優(yōu)選40nm左右的尺度，以具有好的瑞利散射并且最小化其他種類的散射。
在一個(gè)實(shí)施例中，屏幕的材料具有使得大多數(shù)的可見光散射的精細(xì)尺度結(jié)構(gòu)。但是，其不是太密和太厚；否則，大部分紅外光也會(huì)散射。此外，該材料不會(huì)吸收很多可見或紅外光；否則，這將使得該材料不透明并且因此使屏幕質(zhì)量差。滿足強(qiáng)瑞利散射特性的材料的例子是普通白塑料碎屑包。在一個(gè)實(shí)施例中，屏幕130通過(guò)在兩層玻璃板之間夾著該包來(lái)建立。另一個(gè)滿足這一特性的材料是聚乙烯片材。
照明器125的波長(zhǎng)的增加和照相機(jī)115的濾光器改善了交互視頻系統(tǒng)100的性能，因?yàn)?采用合適的屏幕材料和厚度選擇)增加的波長(zhǎng)最大化了可見光(其最小化了眩光)的散射量并且最小化了紅外光的散射量(其改善了照相機(jī)對(duì)屏幕上的目標(biāo)的取景)。在一個(gè)實(shí)施例中，使用950nm LED組照明器和單色電荷耦合器件(CCD)照相機(jī)，在其鏡頭前方設(shè)置了40nm寬的950nm中心帶通濾光器。
還可以將若干個(gè)特征增加到交互式視頻系統(tǒng)100中，以進(jìn)一步增強(qiáng)其性能。
降低照相機(jī)的眩光有可能存在來(lái)自照明器125的反射眩光至照相機(jī)115。這一眩光能夠干涉照相機(jī)115在屏幕130之外觀看的能力。在一個(gè)實(shí)施例中，將近紅外消反射涂層設(shè)置于屏幕130的底部和/或者頂部，來(lái)減輕該干涉并且改善照相機(jī)115的性能。此外，照明器125相對(duì)于屏幕130成斜角，以阻止發(fā)生任何鏡面反射。
此外，在另一個(gè)實(shí)施例中，將若干個(gè)紅外線性偏振濾光器添加到照明器125和照相機(jī)115(照明器125的偏振方位垂直于照相機(jī)115的偏振)的前面來(lái)進(jìn)一步降低眩光。由于從屏幕130的底部直接反射回來(lái)的光線仍將要被偏振而產(chǎn)生了這一眩光，同時(shí)照射到屏幕130之外的目標(biāo)的光線失去其偏振。
定向的環(huán)境紅外線紅外線環(huán)境光源可能引起交互式視頻系統(tǒng)100的視覺系統(tǒng)的問題。例如，如果明亮的外部紅外光源從一個(gè)方向上照射在顯示器上，任何在該紅外源和屏幕間的目標(biāo)將會(huì)投射紅外陰影到屏幕130上。該視頻系統(tǒng)可能會(huì)使其和在屏幕130上的實(shí)際目標(biāo)相混淆，使得應(yīng)用程序誤操作?？梢圆捎萌舾煞N技術(shù)來(lái)降低紅外陰影的問題。
在一個(gè)實(shí)施例中，照明器125的波長(zhǎng)將會(huì)被選擇為盡可能地一致?？梢栽谡障鄼C(jī)115前面添加僅通過(guò)由照明器125最強(qiáng)發(fā)出的波長(zhǎng)的光的窄帶濾光器。
在另一個(gè)實(shí)施例中，構(gòu)成圖案的照明器的使用允許系統(tǒng)來(lái)區(qū)別在屏幕130上的紅外陰影和真實(shí)目標(biāo)。對(duì)于附加細(xì)節(jié)的描述，參見在2002年5月28日由貝爾申請(qǐng)的美國(guó)專利申請(qǐng)?zhí)枮镹o.10/160,217、題目為“交互式視頻顯示系統(tǒng)”的申請(qǐng)，并且在此并入本文作為參考。
在另一個(gè)實(shí)施例中，照明器125和照相機(jī)115可以被選通。一些照明源，例如發(fā)光二極管(LED)，可以在短期內(nèi)被開得很亮，比它們能夠持續(xù)發(fā)光的亮度大得多。如果照明器125僅在照相機(jī)115曝光期間打開，并且照相機(jī)曝光足夠短，照明器125的亮度相對(duì)于環(huán)境光線被很大地放大。這是成立的，因?yàn)榕c在較長(zhǎng)的照明器125連續(xù)工作但是較低的負(fù)載亮度的較長(zhǎng)曝光期間的圖像相比較，在照明器125被開得很亮的短暫曝光期間的照相機(jī)115的圖像將會(huì)包括少得多的環(huán)境光線，而幾乎與來(lái)自于照明器125的光線一樣多。
照相機(jī)115和照明器125可以被同步。例如，微控制器或者其他電路可以讀取或者設(shè)置照相機(jī)曝光同步以及在合適的時(shí)間觸發(fā)脈沖功率給照明器125。
該選通性能可通過(guò)僅在每?jī)蓚€(gè)照相機(jī)曝光期間打開照明器125來(lái)進(jìn)一步改善。因此，照相機(jī)115將會(huì)在隨照明器125打開而曝光和隨照明器125關(guān)閉而曝光之間進(jìn)行交替。由于目的是消除環(huán)境紅外光線，計(jì)算機(jī)110可以通過(guò)獲得在當(dāng)前圖像和先前圖像之間的差而連續(xù)產(chǎn)生不具有環(huán)境光線的圖像。由于照明器125將會(huì)只在每?jī)蓚€(gè)幀照亮，一個(gè)圖像將會(huì)僅具有環(huán)境紅外光線，而其他的圖像將具有環(huán)境紅外線加上照明器125的光線。通過(guò)獲得在當(dāng)前和先前圖像之間的像素位置(pixel-wise)差，環(huán)境紅外光可以被消除，僅留下照明器125的光。
在隔行CCD照相機(jī)的情況下，閃光照明器125在交替曝光期間將會(huì)產(chǎn)生照相機(jī)輸出圖像，其中的偶數(shù)行使照明器125打開，而奇數(shù)行使照明器125關(guān)閉。因此，替代比較兩個(gè)圖像，計(jì)算機(jī)110可以獲得在奇數(shù)行和偶數(shù)行之間的差來(lái)減去環(huán)境光線。該選通可以利用兩個(gè)照相機(jī)115來(lái)執(zhí)行，其定時(shí)使得第一和第二照相機(jī)在稍微不同的時(shí)間獲得其曝光，并且照明器125僅在兩個(gè)曝光中的一個(gè)時(shí)打開。可選擇的，兩個(gè)照相機(jī)對(duì)稍微不同的波長(zhǎng)會(huì)敏感，并且該照明器125僅在第二波長(zhǎng)發(fā)出光線。
在另一個(gè)實(shí)施例中，在沒有環(huán)境紅外光的環(huán)境下，僅對(duì)每?jī)蓚€(gè)曝光的選通照明器125降低了系統(tǒng)的反應(yīng)時(shí)間。在第二曝光期間，當(dāng)照明器125關(guān)閉時(shí)的任何移動(dòng)都不會(huì)被覺察。但是這可以通過(guò)關(guān)閉照明器125的一部分，或者簡(jiǎn)單地在每?jī)蓚€(gè)曝光期間降低照明器125的功率來(lái)改善。隨后，照明器125在“全部開”和“部分開”之間進(jìn)行交替。當(dāng)計(jì)算機(jī)110獲得在當(dāng)前曝光和先前曝光之間的差時(shí)，結(jié)果將會(huì)不包括環(huán)境紅外光和部分照明器125的光。這一配置將在不具有環(huán)境紅外光和一些環(huán)境紅外光的環(huán)境為用戶提供最快可能的反應(yīng)時(shí)間。
投影儀眩光由于屏幕材料不是完全半透明的，投影儀120的一些光線將直接穿過(guò)屏幕130。結(jié)果，投影儀120將會(huì)在用戶眼睛上產(chǎn)生眩光。在一個(gè)實(shí)施例中，通過(guò)使得照明器125的波長(zhǎng)變長(zhǎng)以及使用產(chǎn)生更多散射的屏幕130，照相機(jī)115還能夠看穿屏幕130，同時(shí)降低可見光的眩光量。
在另一個(gè)實(shí)施例中，可以采用若干個(gè)線性偏振器片來(lái)消除或者降低眩光。附圖2示出了采用線性偏振器薄片來(lái)消除和降低眩光的一種配置。垂直偏振的薄片230和水平偏振的薄片220分別位于屏幕210的正下方或正上方。由于投影的圖像穿過(guò)垂直偏振的薄片230，其變?yōu)榇怪逼瘛Ｓ捎谏⑸涫乖摴饩€去偏振，在屏幕210上散射的很多光線觀眾還是可以看見的。但是，沒有被屏幕210散射的光線(其引起了眩光)被水平偏振薄片220幾乎完全吸收，因?yàn)楣饩€是垂直偏振的。因此，消除了該眩光而屏幕210仍然是亮的。注意到如果照相機(jī)對(duì)紅外光是敏感的，可以選擇不偏振紅外光的線性偏振材料。
在另一個(gè)實(shí)施例中，如果投影儀是液晶顯示器(LCD)投影儀，光線就已經(jīng)被偏振。對(duì)于一些LCD投影儀，紅、綠和藍(lán)光在相同的方向上偏振。在這種情況下，在屏幕下就無(wú)需偏振薄膜。在一些LCD在投影儀中，紅色和藍(lán)色在同一個(gè)方向上偏振，而綠色從該方向偏振90度。在這種情況下，在一個(gè)實(shí)施例中，存在偏振薄片并且其應(yīng)當(dāng)從紅藍(lán)方向偏振到45度和135度。在另一個(gè)實(shí)施例中，彩色選擇性偏振旋轉(zhuǎn)器可位于投影儀上或內(nèi)部，以獲取在相同方向上偏振的紅色、綠色和藍(lán)色光。在這種情況下，只需要一個(gè)在屏幕前面的線性偏振器。彩色選擇性旋轉(zhuǎn)器(例如由ColorLink公司推出的延時(shí)器組“彩色選擇”技術(shù)，被用于以90度旋轉(zhuǎn)綠色光的偏振?？蛇x擇的，紅色和藍(lán)色光的偏振也可以被以90度旋轉(zhuǎn)來(lái)實(shí)現(xiàn)相同的效果。
物理配置具有交互式視頻顯示系統(tǒng)的多個(gè)可能的物理配置。一個(gè)配置是如在附圖1中所示和所述的桌面顯示器。該交互式視頻顯示系統(tǒng)位于表面上，具有所有在盒子中的電子元件，高數(shù)英尺，且在盒子頂端具有水平屏幕。但是，該交互式視頻顯示系統(tǒng)還可以被用于建立斜的、垂直的或曲線的顯示。
由該交互式視頻顯示系統(tǒng)占據(jù)的物理空間的部分是一個(gè)簡(jiǎn)單的靜區(qū)，以使得在屏幕上具有相當(dāng)大的圖像，該投影儀必須與屏幕有相當(dāng)遠(yuǎn)的距離。這一距離可通過(guò)利用若干個(gè)反射鏡來(lái)縮短；這允許投影儀的光束要被改變方向并且適合更緊湊的空間。在一個(gè)實(shí)施例中，該照相機(jī)被安裝在盒子中的若干個(gè)不同位置并且可通過(guò)反射鏡觀察屏幕，只要其對(duì)屏幕具有清楚的取景。在一個(gè)實(shí)施例中，紅外照明器可以被安裝在盒子中的任意位置，或甚至在盒子的表面，只要其將在盒子上的目標(biāo)照亮。
附圖3示出了系統(tǒng)的多個(gè)其他可能的配置的橫截面。由于所有的部分都是可以容易地緊固，這些所示的設(shè)計(jì)可以被旋轉(zhuǎn)到任何方向。顯示器310示出了在附圖1中描述的交互式視頻顯示器。顯示器320和330示出了更緊湊、且利用反射鏡來(lái)改變投影儀的光束的交互式視頻顯示器。顯示器340和350示出了利用成角度的照相機(jī)(顯示器340)和利用反射鏡來(lái)改變投影儀光束(顯示器350)的成角度的交互式視頻顯示器。顯示器360示出了利用多個(gè)反射鏡來(lái)改變投影儀光束方向的交互式視頻顯示器。
交互式視頻顯示器的附加配置根據(jù)本發(fā)明的一個(gè)方面，提供了多個(gè)用于照亮在屏幕前的區(qū)域的示例方法的。在自容交互式視頻顯示器中，紅外照相機(jī)、紅外照明器、和可見光投影儀都在屏幕的一側(cè)而用戶在另一側(cè)。為了提供所希望的功能，該屏幕使用的材料是對(duì)于可見光大部分半透明(但是還可以是稍微全透明的)，并且其還優(yōu)選的是對(duì)于紅外光大部分全透明(在此稱為“紅外全透明、可見光半透明屏幕”或“主屏幕”)。由紅外照明器發(fā)出的光線當(dāng)其通過(guò)屏幕時(shí)散射一定的角度。這一光線由照相機(jī)獲取并且其可引起照相機(jī)的圖像的低對(duì)比度以及模糊。結(jié)果，照相機(jī)對(duì)在屏幕外的目標(biāo)的取景被阻止，其導(dǎo)致了降低的性能特性。
本發(fā)明以多種方式解決了前述問題。在一個(gè)實(shí)施例中，紅外照明器可以位于盡可能接近屏幕的位置。例如，照明器可以沿著邊界正對(duì)于屏幕。附圖4A示出了該結(jié)構(gòu)。在照明器前面的材料(在附圖4A中作為“照明器402的蓋”)可能包括任何至少對(duì)于紅外光是稍微半透明或者全透明的材料。用于照明器402的蓋的材料的選項(xiàng)包括主屏幕材料、純凈的透明材料、或者對(duì)于紅外光是透明的黑色不透明材料。在下面附圖中涉及的照明器的蓋都具有類似的含義。物理塊被用于阻止紅外光溢出到主屏幕上。
但是，上述實(shí)施例會(huì)導(dǎo)致在接近屏幕或者屏幕中心附近的目標(biāo)的較差照明。這是由于以一定傾斜角度照射到大部分材料上的光線將會(huì)從材料表面反射而不是通過(guò)，例如材料的透明性在功能上降低了。一種解決這一個(gè)方面的方式是簡(jiǎn)單地從顯示器表面向后移動(dòng)屏幕，因此允許紅外照明器以更小的傾斜角照射穿過(guò)屏幕。附圖4B示出了這一結(jié)構(gòu)。
在另一個(gè)實(shí)施例中，照明器可位于屏幕的前面，其方式使得允許它們?nèi)菀椎卣樟疗聊磺暗乃形恢?。附圖5A示出了其中照明器從屏幕前突出的一種配置；附圖5B示出了其中顯示器表面凹進(jìn)的另一配置。在上述附圖4A、4B、5A、5B所述的實(shí)施例中，若干個(gè)照明器可能以固定間隔設(shè)置于屏幕周圍，排列成連續(xù)線或者設(shè)置在若干個(gè)關(guān)鍵位置上。附圖4A、4B、5A和5B示出的這些照明策略可以與在屏幕后且通過(guò)屏幕照射的照明器結(jié)合。
離軸投影根據(jù)本發(fā)明的另一方面，離軸投影被用于改善自容交互式視頻顯示系統(tǒng)的性能。離軸視頻投影儀能夠以傾斜的角度投影矩形的視頻圖像到平面上。這些離軸投影儀對(duì)于交互式顯示器是非常重要的，由于它們?cè)试S整個(gè)系統(tǒng)的大小顯著地縮小并且它們能夠使得眩光被降低。
附圖6A和6B示出了利用離軸投影儀的自容交互式視頻顯示器的兩個(gè)結(jié)構(gòu)。當(dāng)使用具有離軸投影儀的紅外全透明、可見光半透明屏幕時(shí)，眩光被降低。由于屏幕對(duì)于可見光不是完全半透明(對(duì)于紅外光也不是完全透明)，一些可見光將會(huì)直接穿過(guò)屏幕。如果使屏幕加厚，則更多的留下的可見光將會(huì)被散射，以降低眩光。使屏幕變得更厚同樣使得屏幕對(duì)于紅外光更不透明，由于屏幕對(duì)于紅外光不是完全透明的。但是，如果可見光以傾斜角而不是直角通過(guò)屏幕，則光線需要通過(guò)屏幕達(dá)到更長(zhǎng)的距離，從而降低了眩光量。例如，以與屏幕平行方向成30角通過(guò)屏幕的光需要通過(guò)的屏幕材料是以垂直于屏幕的角度通過(guò)的光線的兩倍。因此，如果紅外照相機(jī)直接取景屏幕，同時(shí)可見光投影儀以傾斜的角度將光線照射到屏幕上，可以獲得對(duì)于紅外照相機(jī)的最大透明度和用于可見光投影儀的最大半透明度。
透明平板顯示器該自容交互式視頻顯示器可以由顯示器技術(shù)而不是視頻投影儀來(lái)實(shí)現(xiàn)。任何對(duì)于照相機(jī)的可見光是至少部分透明的平板顯示器可以實(shí)現(xiàn)，如果其被用于代替主屏幕。例如，透明成像矩陣(由供應(yīng)商出售的LCD面板的形式)可以被用作其中照相機(jī)是近紅外照相機(jī)的實(shí)施例中的顯示器。當(dāng)將要顯示的彩色是白色時(shí)，這形式的LCD面板是清晰并且透明的。其在近紅外光線中也是透明的，無(wú)論顯示何種彩色。多種LCD面板，包括在膝上型監(jiān)視器、平板LCD計(jì)算機(jī)監(jiān)視器、和平板LCD TV屏幕中使用的透光LCD面板，還具有它們?cè)诮t外光是透明的性質(zhì)。
對(duì)于照相機(jī)的可見光是至少部分透明的平板顯示器將會(huì)在本文中被稱為“透明平板顯示器”。盡管在此描述的例子包括是在紅外光和紅外照相機(jī)中是完全透明的透明平板顯示器，該實(shí)現(xiàn)方案同樣能夠很好地應(yīng)用于可以在不同的波長(zhǎng)范圍工作的照相機(jī)和對(duì)于照相機(jī)可檢測(cè)的光是全透明的透明平板顯示器。
利用透明LCD面板或者其他對(duì)于紅外光至少部分透明的平板顯示器技術(shù)，可以利用紅外照相機(jī)構(gòu)成交互式平板顯示器。透明LCD典型地缺少其自己的照明，因此它們需要通過(guò)外部源來(lái)照亮。在一個(gè)實(shí)施例中，這一外部源包括在LCD平板后的白色可見光照明器。在一個(gè)實(shí)施例中，對(duì)于照相機(jī)透明但散射可見光照明器的屏幕剛剛位于LCD板后面，使得LCD更容易漫射照明器的光線。
附圖7A示出了根據(jù)本發(fā)明的實(shí)施例的透明交互式平板顯示系統(tǒng)700的例子。在一個(gè)實(shí)施例中，通過(guò)在透明平板顯示器710后設(shè)置紅外透明、可見光半透明的屏幕720材料來(lái)改善顯示器700的外觀。隨后，在屏幕720上照射任何光線會(huì)將顯示器710以更多漫射的方式照亮。為了使屏幕720最大漫射地發(fā)光，系統(tǒng)700可利用從傾斜的角度照射到屏幕上的光線730或在其前面具有若干個(gè)獨(dú)立的漫射器740的光線730。注意到，漫射器740沒有阻擋照相機(jī)760的取景。附圖7B示出了去除了透明平板顯示器710和屏幕720的頂部剖面圖的相同配置。該可見光照明器730可包括任何能夠產(chǎn)生可見光的發(fā)光技術(shù)，包括LED、熒光的、氖管、電致發(fā)光的布線或薄片、鹵素光線、和白熾燈泡。紅外照明器750包括任何能夠產(chǎn)生對(duì)于照相機(jī)可見的紅外光的發(fā)光技術(shù)，包括LED、加熱燈、鹵素?zé)簟⒒蛘甙谉霟?。該紅外和可見光都由相同的光源產(chǎn)生?？蛇x擇的，為了更好地控制紅外光，對(duì)于可見光是透明而對(duì)于紅外光是不透明的薄膜可被安裝在可見照明器730上。
對(duì)基于投影儀的系統(tǒng)的所述改進(jìn)，包括在標(biāo)題為“定向的環(huán)境紅外光線”部分中提及到的選通技術(shù)，在標(biāo)題為“物理配置”的部分提及的物理配置，和在標(biāo)題為“交互式視頻顯示器的附加配置”部分中提及的照明器的配置，都可應(yīng)用于在該部分中描述的基于透明平板顯示器的系統(tǒng)。
使用透明平板顯示器而不使用投影儀使得交互視頻顯示器的尺寸顯著降低。但是，這對(duì)于計(jì)算機(jī)視覺系統(tǒng)產(chǎn)生了一個(gè)問題，其必須通過(guò)屏幕來(lái)看。如果在屏幕和顯示盒的背面之間只有小的距離，則照相機(jī)760將不得不被設(shè)置為非常廣角，以便于取景在屏幕720正面的全區(qū)域，系統(tǒng)應(yīng)該檢測(cè)到的目標(biāo)的位置，例如用戶的手。這一點(diǎn)會(huì)由于以傾斜的角度通過(guò)屏幕觀看是很困難的而產(chǎn)生問題。
一種用于解決以傾斜角度的照明的問題的方式是在照相機(jī)760周圍使用偏振材料用于消除由屏幕720反射的紅外光而不影響光線通過(guò)屏幕720。在屏幕表面反射的光線往往會(huì)被強(qiáng)烈的偏振為平行于屏幕表面，所以，以垂直于屏幕表面并且其偏振垂至于屏幕表面的方式在照相機(jī)760周圍的偏振器應(yīng)該消除了從在屏幕720后的紅外照明器750的反射光線的大部分或者所有偏離。
對(duì)失真的處理在此描述的所有自容的交互式視頻顯示系統(tǒng)中都會(huì)出現(xiàn)照相機(jī)取景失真問題(例如，投影系統(tǒng)和基于透明平板顯示器的系統(tǒng))。在很多情況下，照相機(jī)在屏幕上的區(qū)域的二維取景可能具有強(qiáng)烈的失真。例如，在附圖7A中，目標(biāo)712和目標(biāo)714通過(guò)照相機(jī)760看上去如位于相同的位置，盡管它們?cè)谄聊?20上是位于很不相同的位置。為了使在屏幕720上的交互性感覺精確，這一失真需要被校正。
在一個(gè)無(wú)失真環(huán)境中，在屏幕720上的對(duì)應(yīng)于物理目標(biāo)的虛擬位置是目標(biāo)輪廓在屏幕720上的垂直投影。平面校正光學(xué)元件(例如菲涅耳透鏡)可以被安裝在屏幕720上或其附近，來(lái)改變垂直于屏幕朝向照相機(jī)760的入射光的方向。因此，照相機(jī)760在相對(duì)于屏幕720的表面的其校正位置中取景目標(biāo)。附圖8A以橫截面形式示出基于投影儀的交互視頻顯示系統(tǒng)800的結(jié)構(gòu)的實(shí)施例。照相機(jī)810位于菲涅耳透鏡820的焦距上，其引起了從垂直方向照射到屏幕830上的光線被改變方向而射向照相機(jī)810。結(jié)果，如果目標(biāo)從位置802移動(dòng)到位置804，其對(duì)于照相機(jī)810的視在位置沒有改變。因此，實(shí)現(xiàn)了所需的效果，也就是，在屏幕820上的目標(biāo)的虛擬位置是目標(biāo)輪廓在屏幕820上的垂直投影。注意，照相機(jī)鏡頭的光學(xué)元件需要特定考慮針孔透鏡給出了理想的焦點(diǎn)深度和圖像清晰度，而能夠通過(guò)無(wú)限大來(lái)聚焦的廣角透鏡將會(huì)允許更亮的圖像而損失一些焦點(diǎn)深度和清晰度。應(yīng)當(dāng)理解的是，用于消除失真的菲涅耳透鏡方法可以與基于投影和透明平板顯示器的交互式系統(tǒng)一起使用。
在使用自容式投影顯示器與菲涅耳透鏡的情況下，菲涅耳透鏡不會(huì)影響投影的圖像，因?yàn)樵谄淝懊娴募t外透明、可見光半透明屏幕散射投影儀的光線，并且在該屏幕和菲涅耳透鏡之間的距離幾乎為零，因此投影圖像沒有失真。
在使用透明平板顯示器與菲涅耳透鏡的情況下，該透明平板顯示器可被設(shè)置在該紅外透明、可見光半透明屏幕的前面，最接近于觀眾。該菲涅耳透鏡將不會(huì)影響顯示器的照明，因?yàn)榘坠饽婀庖呀?jīng)被漫射或者被在菲涅耳透鏡和透明平板顯示器之間的材料漫射。
可選擇的，通過(guò)使用一系列位于顯示器背面的反射鏡帶，可以消除失真，如附圖8B所示。這些反射鏡帶910被設(shè)計(jì)成改變垂直照射在顯示器上的光線的方向朝向照相機(jī)920。該照相機(jī)位于顯示器的一側(cè)，以便不妨礙光線。反射鏡帶910的實(shí)際數(shù)量可以是很大并且這些帶自身可以是很薄。在一個(gè)實(shí)施例中，在反射鏡帶910之間提供足夠空間，以便使得來(lái)自于屏幕930背面的光線能夠發(fā)光通過(guò)。但是，照相機(jī)920不能看到這些光線；由于其是透視的，照相機(jī)920對(duì)這一區(qū)域的取景完全是具有反射鏡帶910。當(dāng)以垂直于屏幕930的方向觀察時(shí)，反射鏡帶910形成圓形曲線，其中每一個(gè)圓環(huán)的中心是在照相機(jī)920的位置。
由于投影儀不能夠容易地通過(guò)反射鏡帶910照射，本實(shí)施例將會(huì)更可用于與透明平板顯示器或者離軸投影顯示器一起使用，其中投影儀通過(guò)在反射鏡帶和屏幕間的空間向屏幕上投影；然而盡管將會(huì)丟失一些光線，這不排除通過(guò)反射鏡帶照射的投影儀的使用，該投影儀的光線在該點(diǎn)是完全未聚焦的，并且因此最終的投影圖像額可以是未受影響的。
可選擇的，如果可以獲得要觀看的關(guān)于場(chǎng)景的深度信息(在每一象素上看從照相機(jī)到目標(biāo)的距離)，則在照相機(jī)取景的每一個(gè)目標(biāo)的每一個(gè)象素所占據(jù)的屏幕上的位置的x-y-z坐標(biāo)軸將可以被重建(通過(guò)簡(jiǎn)單地坐標(biāo)轉(zhuǎn)換)，并且因此照相機(jī)的失真取景可以被校正。該深度信息可以通過(guò)使用各種裝置來(lái)獲得，包括但不限制于立體照相機(jī)、渡越時(shí)間照相機(jī)、和構(gòu)成圖的照明。
利用照相機(jī)圖像的每一個(gè)象素的x-y-z坐標(biāo)軸重建未失真的三維(3D)取景的能力將允許來(lái)自多個(gè)照相機(jī)的數(shù)據(jù)通過(guò)簡(jiǎn)單的數(shù)據(jù)重合而組合為在屏幕前的目標(biāo)的單個(gè)統(tǒng)一的取景。多個(gè)照相機(jī)(或者如果立體視覺被用于3D則為多對(duì)照相機(jī))的使用將允許顯示器被制成更為平整，對(duì)于照相機(jī)采用更為狹窄的視場(chǎng)。在這種情況下，這些照相機(jī)或者照相機(jī)對(duì)將會(huì)理想地安裝，其安裝方式使得它們均勻地覆蓋屏幕后面的區(qū)域。例如，照相機(jī)被安裝在屏幕后的格柵中。
利用散射偏振屏幕的圖像投影和獲得現(xiàn)在將會(huì)描述另一種屏幕材料。該屏幕材料用作一種使用在先前本申請(qǐng)中描述的基于投影儀和基于透明平板顯示其系統(tǒng)中采用的“紅外透明、可見光半透明屏幕”的替代材料。由于該屏幕安裝在目標(biāo)和交互式顯示系統(tǒng)之間，該屏幕應(yīng)該傳輸投影圖像，同時(shí)允許照明源和照相機(jī)通過(guò)屏幕清楚地觀看。在一個(gè)實(shí)施例中，該屏幕用作顯示圖像信道的傳輸漫射器，同時(shí)作為用于照相機(jī)獲得信道的窗口。對(duì)于屏幕的附加要求是阻止用戶免受眩光，也就是，來(lái)自于直接或不充分散射的投影儀光線的不舒服的視覺刺激。
在某些例子中，盡管小粒子的散射具有單一粒子散射的λ4波長(zhǎng)相關(guān)性，大部分漫射器使用多重散射來(lái)實(shí)現(xiàn)適當(dāng)?shù)穆洹Ｔ诙嘀厣⑸渲?，散射光的波長(zhǎng)相關(guān)性是更中立的，如牛奶的顏色所示。以小粒子相干散射的光線的亮度已知與(n-1)2成比例，其中的n是在粒子和主基體之間的相對(duì)折射率。在本發(fā)明中，散射的特性是，其被使用來(lái)允許在獲取信道是透明且在顯示信道是模糊的。在此使用的方法兼容于但不限制于在獲取信道的IR的使用。普通聚合體材料的的散射不適合于建立在可見光和近IR之間的對(duì)照。相反的，我們可以以偏振狀態(tài)的一種狀態(tài)來(lái)標(biāo)注獲取信道，并且利用正交狀態(tài)標(biāo)注顯示信道。我們還使用具有與在對(duì)于一種偏振狀態(tài)的基體和散射粒子之間的指標(biāo)匹配(n＝1)，和對(duì)于正交狀態(tài)的指標(biāo)不匹配(n≠1)的性質(zhì)。以這種方式，顯示器對(duì)于顯示信道將會(huì)具有基本的模糊，并且在獲取信道具有基本的透明。在可具有很窄光譜(20nm或類似)的獲取信道，材料將會(huì)被調(diào)整，以執(zhí)行在近于完美的指標(biāo)匹配。兩種主要的基體可被用于定義這種屏幕的性能單片傳輸(Tsp)和偏振器效率(PE)。這些量都在等式1和2中被定義如下Tsp＝(T‖+T⊥)/2(1)PE＝|(T‖-T⊥)/(T‖+T⊥)| (2)其中的T‖和T⊥用于在兩種狀態(tài)下的直接傳輸(例如，未散射和小角度散射)。
對(duì)于一個(gè)完美偏振器Tsp＝0.5和PE＝1。對(duì)于一個(gè)真實(shí)偏振器，由于屏幕厚度或者粒子濃度在某一可用范圍上增大，由于多重散射Tsp將會(huì)降低而PE將會(huì)增加。通過(guò)調(diào)整給定散射系統(tǒng)的材料和處理參數(shù)，這兩個(gè)性能基體可以被最優(yōu)化用于給定的應(yīng)用。高的Tsp主要導(dǎo)致了在照相機(jī)上的更大的分辨率，并且高的PE主要導(dǎo)致了主要的較低的眩光。
在一個(gè)實(shí)施例中，在屏幕的半透明狀態(tài)下，投影儀的光線被偏振。對(duì)于LCD投影儀，這可以被設(shè)置為一個(gè)很低的損失。投影的圖像光線的一部分將會(huì)被反向散射，并且部分將在正向半球中優(yōu)先散射。用于照相機(jī)的照明被優(yōu)先偏振來(lái)避免雜散光線，這可容易通過(guò)薄膜型吸收偏振器來(lái)完成。被照亮的目標(biāo)將會(huì)漫射地反射光線，并且將會(huì)產(chǎn)生在對(duì)應(yīng)于透明和散射的偏振狀態(tài)中的大概等同部分(例如將不會(huì)保持偏振)。該照相機(jī)被安裝一個(gè)吸收型偏振濾光器，使得只有直接來(lái)自于目標(biāo)的光線被成像。該照相機(jī)還被安裝了與燈光譜匹配的窄帶濾光器，來(lái)避免視頻反饋和與周圍光線的干擾。如果散射偏振器具有進(jìn)一步的特性，即散射的光線保持入射光線的偏振，然后周圍環(huán)境光線的反射就會(huì)降低，形成了較高對(duì)比度。附圖9A和9B示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例、具有散射偏振屏幕的交互式視頻顯示系統(tǒng)的配置方案。交叉箭頭和雙向箭頭指示偏振的狀態(tài)。
一個(gè)典型的LCD投影儀從其投影鏡頭發(fā)出偏振的光線。但是，在大多數(shù)通常類型的三面板LCD投影儀的情況下，綠基色的偏振是垂直于紅基色和藍(lán)基色。(這是由于X立方體合成器設(shè)計(jì))。因此，為了以相同偏振投影所有三種基色，綠色就必須要與其他兩種顏色一致。這能夠通過(guò)使用延遲器組來(lái)以較低的損耗實(shí)現(xiàn)(例如從日本的Polatechno公司獲得)，其相對(duì)于紅色和藍(lán)色，對(duì)綠色信道增加了半波延遲。這一組件可以配置在組合器立方體和投影儀鏡頭之間或者鏡頭和屏幕之間。為了保持高流明輸出和避免圖像的贗像，就必須使用偏振保持的投影鏡頭組件。
自容交互式投影顯示器的可替換配置當(dāng)光線以特定角度照射在屏幕時(shí)，屏幕材料是部分透明但卻是半透明的(例如HoloClear，由Dai Nippon Printing公司制造的全息屏幕)，這種材料可以被用于自容交互式顯示器，其方式是通過(guò)使顯示器箱的內(nèi)部對(duì)于用戶是完全黑暗的。這可以通過(guò)使箱的所有內(nèi)面都保持黑色來(lái)實(shí)現(xiàn)，其具有黑色窗，該黑色窗對(duì)在紅外照相機(jī)前的紅外線和照明器是透明的。由于屏幕材料是部分透明的，照相機(jī)能夠看到在其外的目標(biāo)。但是，由于投影儀以合適的角度偏移(例如，在HoloClear的情況下為35度)，來(lái)自于投影儀的光被完全漫射，消除了眩光。顯示器的用戶在該局部透明屏幕后將不會(huì)看到任何東西，由于內(nèi)部被完全遮蔽。
在另一個(gè)實(shí)施例中，可以使用一種屏幕材料，它可以在施加電流時(shí)，幾乎立即從清晰切換到半透明切換例如當(dāng)前銷售給內(nèi)部設(shè)計(jì)者的“Privacy Glass”產(chǎn)品。這一材料在此被稱為基于時(shí)間的材料(例如，依賴于時(shí)間透明或半透明)。這一材料可被用于來(lái)代替波長(zhǎng)或偏振選擇屏幕。照相機(jī)曝光時(shí)間非常短暫(例如，近似于100微秒，每秒30次)。當(dāng)照相機(jī)曝光時(shí)，屏幕材料變得清楚，允許照相機(jī)通過(guò)屏幕來(lái)看。在投影儀系統(tǒng)的情況下，電子(例如，高速液晶快門裝置)或者機(jī)械快門可以阻止投影儀的光線輸出，確保在這一段時(shí)間，投影儀的光線不會(huì)照射在用戶眼睛上。當(dāng)照相機(jī)不曝光時(shí)，屏幕材料變?yōu)榘胪该?，允許投影儀或者背光的光被散射。應(yīng)當(dāng)理解的是，術(shù)語(yǔ)背光是指用于以可見光照亮平板顯示器的照明源。
界面的概括描述盡管在本文有含蓄的描述，該系統(tǒng)描述了自容式顯示系統(tǒng)的界面。該界面允許感測(cè)顯示器之前的目標(biāo)(包括人類用戶)的位置、輪廓和(可能的)距離，以及根據(jù)這一感測(cè)的實(shí)時(shí)效果的顯示。這些實(shí)時(shí)效果可包括在顯示器之前的物理空間的動(dòng)作到顯示器的虛擬空間中的相應(yīng)位置的那些動(dòng)作的效果的映射。換句話說(shuō)，這些系統(tǒng)可被校準(zhǔn)，使得當(dāng)物理目標(biāo)(例如用戶的手)位于顯示器上的虛擬目標(biāo)的位置上時(shí)，發(fā)生與在顯示器上的虛擬目標(biāo)的交互。這一顯示器具有的物理特性是，沒有任何傳感裝置的可見標(biāo)記，只有顯示器屏幕本身可見。在本申請(qǐng)中后面將要描述的窗口顯示器系統(tǒng)的情況下，界面與對(duì)自容顯示器的描述一致，但是顯示器采用窗口顯示器的形式，其中在窗口和用戶相同的一側(cè)沒有設(shè)置任何設(shè)備。
在本發(fā)明的多個(gè)實(shí)施例中，攝影機(jī)被用作該感測(cè)設(shè)備。該攝像機(jī)的圖像被當(dāng)作計(jì)算機(jī)視覺系統(tǒng)的輸入，該計(jì)算機(jī)視覺系統(tǒng)將在攝像機(jī)圖像中的前景目標(biāo)與靜態(tài)背景實(shí)時(shí)分離。這一前景一背景差別用作對(duì)產(chǎn)生顯示在顯示器屏幕上的圖像的交互視頻顯示應(yīng)用裝置的輸入。可以校準(zhǔn)這些圖像，使得交互式應(yīng)用裝置的顯示的圖像上的目標(biāo)的效果是在與目標(biāo)相同的物理位置中。這產(chǎn)生了增強(qiáng)現(xiàn)實(shí)的假象，其中，人通過(guò)身體的自然運(yùn)動(dòng)(如拾取，推或者拉)，可以和在屏幕上的目標(biāo)或圖像交互，以允許操作實(shí)時(shí)目標(biāo)或者圖像的假象。
透明顯示器屏幕在該系統(tǒng)的一個(gè)實(shí)施例中，LCD屏幕或者其他這種透明屏幕被用作顯示裝置。照相機(jī)被用于感測(cè)位于屏幕后的人類用戶的運(yùn)動(dòng)。因此，通過(guò)穿過(guò)屏幕觀察，照相機(jī)取景屏幕前的區(qū)域。在屏幕前的這一區(qū)域(其中人類用戶和目標(biāo)可以被照相機(jī)檢測(cè))被稱為交互區(qū)域。因此，該屏幕對(duì)照相機(jī)取景的光線的波長(zhǎng)是至少部分透明的。
為了防止被顯示在屏幕上的內(nèi)容影響屏幕外的目標(biāo)的照相機(jī)圖像，無(wú)論什么內(nèi)容被顯示(包括顏色為黑色)，照相機(jī)工作在對(duì)于屏幕是部分透明的光線的波長(zhǎng)。理想地，由照相機(jī)取景的光線的波長(zhǎng)，屏幕上的內(nèi)容應(yīng)該對(duì)屏幕的光學(xué)特性沒有任何影響。在LCD監(jiān)視器被使用在膝上型計(jì)算機(jī)和平板計(jì)算機(jī)顯示器的情況下，在照相機(jī)取景時(shí)通過(guò)它只對(duì)920nm或者更長(zhǎng)的光波長(zhǎng)敏感，該LCD屏幕典型地實(shí)現(xiàn)這一特性。但是，在更接近可見光的波長(zhǎng)，例如800nm，幾個(gè)LCD面板也實(shí)現(xiàn)這一特性。此外，在LCD屏幕中的偏振器不會(huì)偏振這些波長(zhǎng)的光線。
該LCD或者其他透明顯示器屏幕被照亮，從而允許觀眾來(lái)觀看其上的內(nèi)容。理想地，這一光線應(yīng)當(dāng)是明亮的并且在屏幕上均勻擴(kuò)散。典型的LCD顯示器使用多種背面照明和邊界照明方案中的任何一種。但是，由于這些方法典型地涉及將若干層散射、反射、或者不透明材料設(shè)置在屏幕后，它們不允許在屏幕后的照相機(jī)來(lái)觀察屏幕前側(cè)的區(qū)域。但是，本發(fā)明描述了若干種選擇的散射材料，其允許照相機(jī)觀察在屏幕前的區(qū)域，同時(shí)還提供該屏幕前的區(qū)域的光亮和均勻照明。
在下面的方法中，用于背面照明或者邊界照明的照明源優(yōu)選地是一個(gè)長(zhǎng)壽命有效白色可見光發(fā)射器，例如，熒光燈或者白色LED，不過(guò)可以是任何一種可見光光源。
1.瑞利散射材料一種方案涉及在屏幕的背面安裝一片具有強(qiáng)瑞利散射的材料，利用白色背面照明或者邊界照明來(lái)照亮顯示器屏幕，并且利用近紅外線敏感照相機(jī)來(lái)通過(guò)屏幕取景。由于瑞利散射正比于被散射光的波長(zhǎng)的負(fù)四次方，幾乎所有白光都被瑞利材料散射，以提供屏幕的均勻照明。但是，由照相機(jī)取景的相對(duì)很少的紅外光線將被散射，這是由于紅外光的波長(zhǎng)比可見光的波長(zhǎng)更長(zhǎng)。
2.有織構(gòu)的材料另一種方案涉及建立具有在平面區(qū)域之間散布的凸起、脊、凹坑、或者凹槽的物理織構(gòu)的平面薄片。這一材料而后可以被設(shè)置在顯示器屏幕的背面。這一材料可具有散射所有以掠射角通過(guò)其的光線、同時(shí)僅散射垂直穿過(guò)其的光線的一小部分的效果。一些這種材料在附圖10A和10B中示出。附圖10A示出了材料1000的簡(jiǎn)化的橫截面，其具有用于散射光線的微觀的凸起或脊1010。通過(guò)使表面具有脊或者凸起1010，利用散射光的材料制作凸起或脊，或者通過(guò)其他方法，可以實(shí)現(xiàn)散射。附圖10B示出了材料1050的簡(jiǎn)化的橫截面圖，其具有散射光線的微觀的凹槽或凹坑1060。通過(guò)使表面具有凹坑或凹槽1060，通過(guò)在凹坑和凹槽1060中填入散射光線的材料，或者通過(guò)其他方法，可以實(shí)現(xiàn)散射。在所有的情況中，幾乎垂直通過(guò)材料表面的相當(dāng)大部分的光將不會(huì)被散射，同時(shí)以掠射角通過(guò)到表面的幾乎所有光線將會(huì)被散射。
因此，如果通過(guò)邊界照明照亮屏幕，該顯示器屏幕可以是均勻和明亮地被照亮，同時(shí)允許照相機(jī)通過(guò)屏幕來(lái)看。附圖11示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例、自容邊光交互式顯示器的橫截面的簡(jiǎn)化示意圖。邊界照明1110提供了用于照亮顯示器屏幕1140(例如LCD)的可見照明。屏幕1150被安裝在相鄰于顯示器屏幕1140，并且其可操作用于散射以掠射角(例如邊界照明1110的角度)碰撞到其的光線。照明器1120照亮了位于照相機(jī)1130的視場(chǎng)內(nèi)的目標(biāo)。來(lái)自于照明器1120的光線以垂直或者近似垂直的角度到達(dá)顯示器屏幕1140，并且不會(huì)被散射。
3.散射偏振在另一個(gè)實(shí)施例中，如在段落“利用散射偏振器屏幕的圖像投影和獲取”中描述的散射偏振器被安裝在顯示器屏幕的背面。這一散射偏振器散射一個(gè)偏振的光線，同時(shí)留下未散射的相反偏振的光線。利用背面照明，通過(guò)與在散射偏振器上的散射方向相同的方向而線性偏振背光，可以均勻地照亮顯示器屏幕。因此，在其通過(guò)顯示器屏幕之前，所有的背光都被散射。
可選擇的，該背光可以是未偏振的，并且可以在散射偏振器和顯示器屏幕之間安裝線性偏振器，該偏振器的偏振定向在與散射光線的散射偏振器相同的方向上。因此，任何來(lái)自于背光的沒有被散射偏振器散射的光線對(duì)于線性偏振器都具有相反偏振，使得其被吸收。這引起了對(duì)顯示器屏幕的照明是均勻的，并且消除了令人討厭的在用戶眼睛中的眩光。
如果顯示器屏是LCD屏幕，則背光就無(wú)需被偏振，這是由于在LCD屏幕的背面內(nèi)置線性偏振器。在這種情況下，可以簡(jiǎn)單地通過(guò)在LCD屏幕背面安裝散射偏振器，可以由未偏振背光實(shí)現(xiàn)均勻照明，其定向使得在散射偏振器中的最大散射方向平行于在LCD屏幕背側(cè)的線性偏振器的偏振。因此，只允許由散射偏振器散射的光線通過(guò)LCD屏幕。
平板顯示器屏幕附圖12A示出了利用顯示器屏幕的自容顯示器1200的示范實(shí)施例的簡(jiǎn)化橫截面圖。該顯示器利用由白色可見光1220背面照亮的LCD屏幕1210來(lái)建立。散射偏振器1215散射所有的光線，為觀眾提供均勻的照明。在自容單元一側(cè)的反射鏡1225反射來(lái)自光線1220的雜散白光回到顯示器屏幕1210，以增加其亮度。僅敏感于從920nm到960nm的近紅外光的攝影機(jī)1230取景在LCD屏幕1210正面的被稱為“攝影機(jī)視場(chǎng)”的區(qū)域。在這一個(gè)視場(chǎng)內(nèi)的目標(biāo)對(duì)于攝影機(jī)1230是可見的。對(duì)于攝影機(jī)的視場(chǎng)的照明來(lái)自于若干組紅外LED群1240，其在盒子背面產(chǎn)生可由攝影機(jī)1230取景的波長(zhǎng)的光線。來(lái)自于這些LED1240的光線在其到達(dá)LCD屏幕1210之前，被通過(guò)漫射屏幕1245稍加散射，從而阻止來(lái)自于LED1240的光亮鏡面高亮露出在攝影機(jī)圖像上。菲涅耳透鏡1250被用于減小在LCD屏幕1210前面的區(qū)域的攝像機(jī)取景的失真。
下面將會(huì)描述在通過(guò)附圖12A中的示范實(shí)施例的可見和紅外光的路徑。我們將兩個(gè)垂直的光線偏振稱為偏振A和偏振B。
來(lái)自于白光照明器1220的可見光開始被去偏振，并且可由漫射材料1245散射，由菲涅耳透鏡1250重定向，或者被反射離開在其路徑上的反射鏡1225而射向屏幕1210。接下來(lái)，這一光線通過(guò)散射偏振器1215，其散射偏振A的所有的光線而不散射偏振B的光線(其中A和B是指兩個(gè)垂直的偏振)。該散射的光線保持其在被散射后的偏振。該光線隨后通過(guò)LCD屏幕1210，其吸收所有偏振B的光線并且傳輸所有偏振A的光線。因此，LCD屏幕1210僅利用散射的光線就被照亮，并且觀眾看到均勻照亮的屏幕。
從紅外照明器1240發(fā)出的紅外線可開始被去偏振?？蛇x的是，為了改善清晰度，這一光線可以首先通過(guò)紅外線性偏振器1260，以使其在偏振B中偏振，使得其損耗將會(huì)被散射偏振器1215散射。接下來(lái)，紅外光線可被漫射材料1245散射，由菲涅耳透鏡1250重定向，或者被反射離開其路徑上的反射鏡1225而射向屏幕1210。如果該光線是未偏振的，其中的一部分將會(huì)在通過(guò)散射偏振器1215時(shí)被散射，但是偏振B的光線將會(huì)通過(guò)散射偏振器1215去偏振。由于紅外光的波長(zhǎng)足夠長(zhǎng)，其未受影響通過(guò)LCD屏幕1210，并且能夠照亮在屏幕前的目標(biāo)，例如人的手。
從顯示器屏幕前返回到攝影機(jī)1230的紅外光將不會(huì)被LCD屏幕1210影響。但是，當(dāng)光線通過(guò)散射偏振器1215時(shí)，偏振A的光線將會(huì)被散射而偏振B的光線將會(huì)被保持為未散射。接下來(lái)，光線通過(guò)菲涅耳透鏡1250，但是其并不是明顯地影響偏振。攝影機(jī)1230就在其前面具有紅外線性偏振器1260；這一偏振器1260吸收偏振A的光線而傳輸偏振B的光線。因此，攝影機(jī)1230僅取景偏振B的光線，其被散射偏振器1260保留為未偏振。這給了攝影機(jī)1230在屏幕前的區(qū)域的清楚、高對(duì)比度的圖像。
附圖12B中的橫截面圖中示出了基于LCD的交互式顯示器的另一個(gè)示范實(shí)施例。整個(gè)系統(tǒng)是楔形的。該系統(tǒng)設(shè)計(jì)類似于附圖12A中示出和描述的設(shè)計(jì)。但是，已安裝若干個(gè)紅外照明器，用于最小化進(jìn)入照相機(jī)1262中的眩光。在屏幕上或附近的目標(biāo)被內(nèi)部紅外照明器1264照亮，其通過(guò)散射偏振器1266和LCD平板1268照亮。但是，它們都不發(fā)光通過(guò)菲涅耳透鏡1276從而降低對(duì)照相機(jī)1262的眩光影響。菲涅耳透鏡1276被設(shè)置背離LCD平板1268和散射偏振器1266，從而為內(nèi)部紅外照明器1264提供空間。外部紅外照明器1270照亮了遠(yuǎn)離屏幕的目標(biāo)。紅外照明器1270照射LCD平板1268或者散射偏振器1266周圍(而不是通過(guò))，以允許進(jìn)一步降低眩光。沿著系統(tǒng)基座側(cè)面設(shè)置若干個(gè)白色可見光照明器1272，并且被背光封蓋1274所遮蓋。背光封蓋1274可由吸收近紅外光而傳輸可見光的材料組成，從而降低在屏幕上的環(huán)境紅外光的存在，并且因此改善了照相機(jī)1262獲得的圖像的對(duì)比度。
利用散射偏振器的投影顯示器屏幕在交互式視頻顯示系統(tǒng)的另一個(gè)實(shí)施例中，投影儀和投影屏幕被用作顯示設(shè)備。用于檢測(cè)人類用戶的移動(dòng)的照相機(jī)被安裝在屏幕后。因此，通過(guò)屏幕觀察，該照相機(jī)取景屏幕前的區(qū)域。因此，該屏幕對(duì)于照相機(jī)取景的光線波長(zhǎng)是至少部分透明的。散射偏振器在該系統(tǒng)中可以用作投影屏幕。
應(yīng)當(dāng)理解的是，散射偏振器可能不會(huì)完美地操作。認(rèn)為會(huì)被散射的偏振中的少量光可能沒有被散射。由于投影儀光線當(dāng)其被直接觀看到時(shí)極大的亮度，在投影儀鏡頭內(nèi)的明亮光源可能通過(guò)散射偏振器仍是直接可見的，盡管投影儀的光線在適當(dāng)?shù)姆较蚩杀黄裼糜谧畲蠡⑸?。這一眩光的明亮斑點(diǎn)可以通過(guò)使用位于散射偏振器前面的線性偏振器來(lái)消除，從而確保未散射投影儀光線被吸收。此外，如果投影儀光線沒有被完全偏振，將會(huì)出現(xiàn)類似的問題。這一問題通過(guò)利用在散射偏振器后的線性偏振器就可以降低。在兩種情況下，這些偏振器被導(dǎo)向平行于投影儀光線。如果照相機(jī)是近紅外光或者其他非可見光波長(zhǎng)，則可以選擇可見光偏振器，使得照相機(jī)不會(huì)受其影響。因此，該照相機(jī)能夠通過(guò)屏幕取景。
消除鏡面反射此外，來(lái)自于照相機(jī)照明器的鏡面反射可以不利地影響照相機(jī)的圖像。這些影響可以通過(guò)應(yīng)用抗反射涂層給顯示器屏幕的一個(gè)或兩個(gè)表面以及屏幕后的任何表面來(lái)降低，包括瑞利散射材料、織構(gòu)材料、散射材料、或者菲涅耳透鏡。通過(guò)轉(zhuǎn)向來(lái)自于照明器的光線，使得沒有來(lái)自照相機(jī)照明器的鏡面反射返回到照相機(jī)，也可以減輕這些影響。
附圖13示出了這種結(jié)構(gòu)的一個(gè)例子。這一結(jié)構(gòu)使用了若干個(gè)點(diǎn)照明器1310，其遠(yuǎn)離于照相機(jī)1320并且垂直照射到屏幕1330上，用于阻止任何鏡面反射進(jìn)入到照相機(jī)1320。沒有被這些照明器覆蓋的區(qū)域被照明器1340照亮，照明器1340以掠射角照射到屏幕1330，從而阻止了反射光回照到照相機(jī)1320。
在另一個(gè)實(shí)施例中，散射偏振器1410或者其他可選擇的散射材料可以被稍微傾斜，使得照相機(jī)照明器1440的鏡面反射被從照相機(jī)1430反彈開，如在附圖14中所示。如圖所示，來(lái)自于照明器1440的鏡面反射被重定向而朝著盒子側(cè)面的方向。在另一個(gè)實(shí)施例，可以將漫射材料安裝在照相機(jī)照明器的前面，來(lái)使任何進(jìn)入照相機(jī)內(nèi)的鏡面反射柔和。通過(guò)從顯示器的背面彈回其光線，也可以漫射來(lái)自于這些照明器的光線。
附圖15示出了根據(jù)本發(fā)明實(shí)施例的利用渡越時(shí)間照相機(jī)1530的交互式視頻顯示系統(tǒng)1500的示例性結(jié)構(gòu)。鏡面反射對(duì)于渡越時(shí)間照相機(jī)1530產(chǎn)生一個(gè)特殊的問題，由于在典型的設(shè)計(jì)中，照相機(jī)和照相機(jī)的照明器必須相互緊密相鄰地安裝，并且來(lái)自照明器的光線不會(huì)被散射。因此，由于照相機(jī)的照明器引起了從屏幕反射回到照相機(jī)的嚴(yán)重眩光，前述的方法將不會(huì)工作在使用渡越時(shí)間照相機(jī)的實(shí)現(xiàn)方案。但是，由于計(jì)算機(jī)可視系統(tǒng)可以使用3D照相機(jī)信息來(lái)執(zhí)行將坐標(biāo)轉(zhuǎn)換為所需的坐標(biāo)系，該照相機(jī)無(wú)需被安裝在屏幕中心的后面，并且來(lái)自多個(gè)照相機(jī)的數(shù)據(jù)可以被合并。因此，例如，兩個(gè)渡越時(shí)間照相機(jī)1530可以被用于以一定角度觀察在屏幕1510前的區(qū)域，使得避免任何來(lái)自照明器的鏡面反射，只要兩個(gè)照相機(jī)1530在不同的時(shí)間開始曝光。在該結(jié)構(gòu)中，照相機(jī)不會(huì)觀察到其內(nèi)置照明器的鏡面反射。
增加觸摸屏界面盡管描述的系統(tǒng)能夠辨別遠(yuǎn)離屏幕數(shù)英寸的目標(biāo)和姿態(tài)，觸摸屏行為也可以被提供，其中用戶需要真實(shí)觸摸屏幕，以便引起行動(dòng)的發(fā)生。這將允許系統(tǒng)提供附加的各種用戶界面。例如，該界面將允許用戶通過(guò)在屏幕上將其手掬成杯形來(lái)“聚集”在屏幕上的虛擬目標(biāo)，但是允許是通過(guò)觸摸其圖像來(lái)“拾取”虛擬目標(biāo)，并且然后通過(guò)觸摸屏幕上的另一個(gè)點(diǎn)來(lái)“放下”該目標(biāo)。
這一觸摸屏幕行為可以通過(guò)多個(gè)方式之一實(shí)現(xiàn)。在這一部分中以及下面的部分描述的觸摸屏幕例子與基于投影儀和基于透明平板顯示器的交互式視頻系統(tǒng)相兼容?，F(xiàn)有的觸摸屏幕技術(shù)可以與該系統(tǒng)的屏幕相結(jié)合，只要覆蓋顯示器屏幕的部分對(duì)于照相機(jī)是透明的。這包括電阻式觸摸屏、電容式觸摸屏、紅外線網(wǎng)格觸摸屏、以及表面聲學(xué)觸摸屏。但是，所有這些屏幕都具有的缺點(diǎn)是，它們一次只能檢測(cè)到觸摸屏幕的一個(gè)手指；有些甚至都檢測(cè)不到與如短暫輕敲相反的持續(xù)接觸。有幾種解決上述缺點(diǎn)的方法，其中的很多允許系統(tǒng)收集關(guān)于在目標(biāo)和屏幕之間距離的信息。這種3D數(shù)據(jù)對(duì)于較高等級(jí)視頻處理例如手勢(shì)識(shí)別很有用。
多用戶觸摸屏幕和3D數(shù)據(jù)立體照相機(jī)可以建立多用戶觸摸屏幕，通過(guò)對(duì)該系統(tǒng)進(jìn)行些細(xì)微的變動(dòng)，其允許多個(gè)人來(lái)同時(shí)使用屏幕。在一個(gè)實(shí)施例中，立體照相機(jī)可以被用于取代單一照相機(jī)。該立體照相機(jī)具有與單一照相機(jī)系統(tǒng)相同的波長(zhǎng)敏感性和濾光器設(shè)置。但是，計(jì)算機(jī)能夠從立體照相機(jī)獲得兩個(gè)圖像，并且利用多種公知的立體影像算法中的任一種，例如Marr-Poggio算法，推導(dǎo)出任何在屏幕上看見的目標(biāo)的距離信息。由于到屏幕的距離是已知的，計(jì)算機(jī)可以通過(guò)比較目標(biāo)距離信息和到屏幕的距離來(lái)識(shí)別目標(biāo)是否接觸到屏幕。
多用戶觸模屏幕和3D數(shù)據(jù)一個(gè)照相機(jī)立體附圖16示出了根據(jù)本發(fā)明的實(shí)施例的用于使用反射鏡來(lái)獲得3D信息的結(jié)構(gòu)1600。通過(guò)安裝反射鏡1620在盒子內(nèi)側(cè)，僅利用一個(gè)照相機(jī)1610就可以獲得立體數(shù)據(jù)。因此，照相機(jī)1610可以直接或以一定角度看到屏幕1630。在照相機(jī)的主圖像和反射圖像中，觸摸屏幕1630的目標(biāo)將會(huì)出現(xiàn)在相距反射鏡1620的邊緣相同的距離上。但是，在屏幕1630上的目標(biāo)將在主圖像和反射圖像上相距反射鏡1620的邊緣有不同的距離。通過(guò)比較這些圖像，該計(jì)算機(jī)可以推斷出每個(gè)目標(biāo)是否觸摸了屏幕1630。
多用戶觸摸屏和3D數(shù)據(jù)組成圖案的照明器附圖17示出了根據(jù)本發(fā)明的實(shí)施例的用于使用構(gòu)成圖案的照明器來(lái)獲得3D信息的另一個(gè)結(jié)構(gòu)1700。構(gòu)成圖案的紅外照明器1710(其投影了光圖形)可以被用于代替通用的紅外照明器。這一系統(tǒng)可以辨別在屏幕1720上的目標(biāo)和屏幕1720之上方的目標(biāo)。但是，通過(guò)使組成圖案紅外照明器1710以一定角度照射到屏幕1720上，可能通過(guò)將其從反射鏡1730反彈在盒子內(nèi)側(cè)，可以改善該系統(tǒng)的精度。在目標(biāo)上的構(gòu)成圖形的光的位置將會(huì)在其僅遠(yuǎn)離或者朝向屏幕1720移動(dòng)即使是短的距離時(shí)而劇烈變化，允許通過(guò)計(jì)算機(jī)1740更容易得確定在目標(biāo)和屏幕1720之間的距離。
多用戶觸摸屏和3D數(shù)據(jù)渡越時(shí)間系統(tǒng)照相機(jī)可以是渡越時(shí)間紅外照相機(jī)，例如從Canesta和3DV系統(tǒng)得到的模型。這一照相機(jī)具有檢測(cè)到其圖像的每一個(gè)像素的距離信息的內(nèi)置性能。如果這一類照相機(jī)被使用，則從屏幕上消除所有的紅外眩光將是至關(guān)重要的；否則，照相機(jī)就會(huì)將屏幕上的照明器的反射錯(cuò)認(rèn)為是真實(shí)目標(biāo)。用于消除紅外眩光的方法上面已經(jīng)描述了。
多用戶觸摸屏多波長(zhǎng)觸摸屏幕行為還可以通過(guò)具有兩個(gè)照相機(jī)和兩個(gè)照明器來(lái)實(shí)現(xiàn)，其中每一個(gè)照相機(jī)-照明器對(duì)是在不同的紅外頻率上。例如，一個(gè)照相機(jī)-照明器對(duì)可以使用800nm光而另一對(duì)可以使用1100nm光。由于屏幕的散射對(duì)于波長(zhǎng)的負(fù)四次方是正成比例的，因此800nm照相機(jī)與1100nm照相機(jī)相比，能夠看到在屏幕之外的目標(biāo)的能力小得多。結(jié)果，只有接觸或者幾乎接觸屏幕的目標(biāo)對(duì)800nm照相機(jī)是可見的，而1100nm照相機(jī)將能夠看到距離屏幕幾英尺遠(yuǎn)的目標(biāo)。兩種照相機(jī)都要將其數(shù)據(jù)輸入到計(jì)算機(jī)并且通過(guò)獨(dú)立的視頻系統(tǒng)處理。800nm數(shù)據(jù)將被輸入到觸摸屏界面，而1100nm照相機(jī)將用于手勢(shì)輸入，因?yàn)槠淇梢詸z測(cè)到在屏幕上方的目標(biāo)。
多用戶觸摸屏在顯示器表面上的窄光束附圖18A示出了根據(jù)本發(fā)明的實(shí)施例、用于使用若干個(gè)附加照明器來(lái)獲得3D信息的結(jié)構(gòu)1800和1850。第二照明器1810可以被用于僅照亮在顯示器表面上或者非常接近顯示器表面的目標(biāo)。例如，如果窄角度照明器(例如LED或者激光器)剛好位于屏幕1820內(nèi)或者其外，其指向幾乎平行于屏幕1820，則相鄰于屏幕1820的目標(biāo)將會(huì)在照相機(jī)圖像中顯得非常亮?？梢圆捎弥哥R或者其他裝置水平發(fā)散照明器的光線而不是垂直發(fā)散，以允許其覆蓋屏幕的整個(gè)區(qū)域。隨后視頻系統(tǒng)可推斷出有非常亮的目標(biāo)非常接近或者接觸屏幕1820。
在另一個(gè)實(shí)施例中，光束可以被照射到顯示器表面內(nèi)。這一實(shí)施例的照明系統(tǒng)如在附圖18B中所示。透明嵌板1860安裝在主顯示屏幕1855前面。照明器1870照射窄光束到透明嵌板1860的邊界內(nèi)。由于陡峭的入射角，光線1870完全在透明嵌板1860的范圍內(nèi)反射。但是，如果目標(biāo)1875接觸到屏幕，該光線1870能夠散射，以允許其透射出透明嵌板1860的范圍。光線1880隨后能夠被照相機(jī)1885檢測(cè)到。這允許照相機(jī)1885來(lái)檢測(cè)何時(shí)目標(biāo)1875或者用戶接觸屏幕。
對(duì)于利用了在屏幕表面上或者接近于屏幕表面的第二組照明器的這些方法，存在若干種設(shè)計(jì)，這些設(shè)計(jì)允許系統(tǒng)辨別來(lái)自容照明器的光和來(lái)自輔助照明器的光線。這一辨別非常重要，由于其允許該系統(tǒng)獨(dú)立于僅在屏幕前面的目標(biāo)來(lái)檢測(cè)接觸屏幕的目標(biāo)。
首先，在交替的照相機(jī)曝光期間，可以打開兩組照明器，以允許該系統(tǒng)來(lái)觀察在屏幕前的每一個(gè)照明器照亮的區(qū)域?？蛇x擇的，該系統(tǒng)可以使用兩個(gè)照相機(jī)，其中每一個(gè)照相機(jī)-照明器對(duì)以不同的波長(zhǎng)操作。此外，該系統(tǒng)可以使用兩個(gè)照相機(jī)并且使每一個(gè)照相機(jī)-照明器對(duì)在不同時(shí)間選通。
多用戶觸摸屏和3D數(shù)據(jù)亮度比觸摸屏幕行為可以通過(guò)在距離屏幕不同距離處安裝不同的照明器來(lái)實(shí)現(xiàn)。假設(shè)照明器A是距離屏幕兩英尺，并且照明器B是距離屏幕一英尺。照明源的亮度對(duì)于與到照明源的距離的負(fù)二次方是成正比例的。因此，來(lái)自于A和B的在目標(biāo)上的光的比率隨著其距離改變而變化。這一比率允許計(jì)算機(jī)來(lái)確定目標(biāo)是否在屏幕上。表格1示出了在來(lái)自A和B的光之間的比率如何可以區(qū)分在屏幕上的目標(biāo)和在屏幕上方甚至1英寸的目標(biāo)的例子。

表1
無(wú)論目標(biāo)是什么顏色，只要它不是全黑的，該比率都是成立的。此外，由于LED光線是不均勻的，目標(biāo)觸摸屏幕的比率可以根據(jù)目標(biāo)接觸屏幕的什么部分來(lái)變化。但是，可以在校準(zhǔn)處理期間建立該比率，并且通過(guò)記錄在屏幕的每一個(gè)點(diǎn)上最近觀察的最大比率，在規(guī)定時(shí)間之外重新確定該比率。
照明器A和B可以被辨別。在一個(gè)實(shí)施例中，兩個(gè)照相機(jī)和照相機(jī)可以被使用并且被調(diào)諧到不同的波長(zhǎng)，如在上述的標(biāo)題為“多用戶觸摸屏多波長(zhǎng)”的部分中描述的。因此，照明器A僅僅對(duì)于照相機(jī)A是可見的，且照明器B僅僅對(duì)于照相機(jī)B是可見的。
在另一個(gè)實(shí)施例中，照明器A和B具有相同的波長(zhǎng)，但是在不同的時(shí)間打開。如果具有一個(gè)照相機(jī)，照明器A和B可以在照相機(jī)曝光期間被交替打開，使得在A打開而B關(guān)閉時(shí)，取所有偶數(shù)編號(hào)的照相機(jī)曝光，并且在A關(guān)閉而B打開時(shí)取所有奇數(shù)編號(hào)的照相機(jī)曝光。這以因子2降低了有效幀率，但是允許一個(gè)照相機(jī)攝取通過(guò)A或B獨(dú)立照亮的圖像。計(jì)算機(jī)隨后可以比較兩個(gè)圖像，以計(jì)算在每點(diǎn)的亮度比，并且確定何時(shí)目標(biāo)接觸屏幕。通過(guò)建立讀取或產(chǎn)生照相機(jī)的同步信號(hào)的電路，很容易使照明器相對(duì)照相機(jī)同步。
在另一個(gè)實(shí)施例中，兩個(gè)獨(dú)立的照相機(jī)可被連接到照明器A和B上(兩個(gè)都以相同的波長(zhǎng))，只要僅當(dāng)對(duì)應(yīng)的照相機(jī)開始曝光時(shí)照明器被選通且打開，并且兩個(gè)照相機(jī)的曝光被交錯(cuò)使得它們不會(huì)重疊。
在所有的情況下，計(jì)算機(jī)可以比較由A照亮的屏幕和B照亮的屏幕的圖像，以確定在每一點(diǎn)的亮度比，并且因此確定任何目標(biāo)與屏幕的距離。A距離屏幕兩英尺、而B距離屏幕一英尺的例子只是一個(gè)實(shí)施例；其他的距離的比例或設(shè)置也可以工作。
平鋪由于系統(tǒng)在自容式盒子內(nèi)，并且屏幕可以占據(jù)盒子的整個(gè)側(cè)面，可以將若干個(gè)屏幕一起疊加在柵格中，而且所有其屏幕都在相同側(cè)，以建立一個(gè)大得多的屏幕。如果在每一個(gè)系統(tǒng)中的計(jì)算機(jī)都是聯(lián)網(wǎng)在一起，該系統(tǒng)可以共享關(guān)于它們的實(shí)時(shí)視頻信號(hào)和內(nèi)容的信息，以使這些屏幕能夠象一個(gè)大無(wú)縫屏幕一樣工作。為了美觀的原因，若干個(gè)單獨(dú)平鋪單元的屏幕可被一個(gè)很大的屏幕替代。
由模糊量獲得距離信息一些屏幕材料和結(jié)構(gòu)可以引起入射光的散射，使得典型的散射角度很小。因此，大部分通過(guò)屏幕材料的光線輕微地改變了方向。附圖19A示出了輕微散射的原理示例；用于每一個(gè)散射光線的射線的箭頭的長(zhǎng)度表示在其方向散射的光線的部分；盡管示出了有限數(shù)量的箭頭，散射角的分布是連續(xù)的。
這種形式的散射可以通過(guò)多種方法實(shí)現(xiàn)。具有強(qiáng)米氏(Mie)散射的材料展示了這一特性。此外，具有織構(gòu)表面的材料和可以采用期望的方式稍微地重定向光。理想地，該織構(gòu)可能僅僅會(huì)在光路上引起一個(gè)小的平均和概率統(tǒng)計(jì)的平滑偏差。附圖19B示出了這種織構(gòu)的例子。該織構(gòu)的大小將會(huì)足夠小而不會(huì)減損投影圖像的觀察。這一散射效果的實(shí)現(xiàn)可以通過(guò)改變主屏幕材料以具有強(qiáng)米氏散射或者織構(gòu)表面。可選擇的，這些特性可以被添加到與主屏幕材料一起夾在中間的第二屏幕材料。
利用這種材料作為屏幕的一部分，將會(huì)影響照相機(jī)觀察場(chǎng)景的方式。所有由照相機(jī)觀察的目標(biāo)將會(huì)由于材料的散射特性而被模糊。但是，模糊量是依賴于距離的。觸摸屏幕的目標(biāo)將保持不模糊，但是它們距離越遠(yuǎn)，將會(huì)逐步地更為模糊。這是由于按給定的角度在屏幕表面散射光線，轉(zhuǎn)到散射的物理距離，其與從屏幕到光線的距離是成正比例的。例如，以45度角水平散射光線引起了它在其水平位置上在距離屏幕1英尺的距離偏離1英尺，但是該偏移在距離屏幕2英尺的距離是2英尺。
然后該視頻系統(tǒng)可以使用這一模糊圖像通過(guò)多種方法來(lái)重建距離，包括利用邊界檢測(cè)技術(shù)來(lái)檢測(cè)陡邊緣和模糊邊緣，以及可以為每一個(gè)邊緣估計(jì)模糊量。Elder-Zucker算法是一種這樣的邊緣檢測(cè)技術(shù)。一旦模糊量是已知的，目標(biāo)邊緣與屏幕的距離可以被確定，由于模糊量與距離成正比例，給出關(guān)于目標(biāo)的視頻系統(tǒng)3D信息。
該視頻系統(tǒng)的任務(wù)可以通過(guò)使用構(gòu)成圖案的照明源來(lái)簡(jiǎn)化，其投影對(duì)于照相機(jī)是可見的紅外圖案，而取代或附加給正常的紅外照明器。這一圖案可以包括若干個(gè)點(diǎn)、若干根線、或者任何其他具有銳利邊緣的織構(gòu)。該圖案可以被從若干個(gè)方向投影，包括通過(guò)屏幕。如果通過(guò)屏幕投影該圖案，散射量將會(huì)加倍，但是依賴于距離的散射效果將不會(huì)改變。
通過(guò)用圖案照亮所有在屏幕上的目標(biāo)，該視頻系統(tǒng)的性能增加。沒有構(gòu)成圖案的照明，很難確定在圖像中的沒有邊界的任何位置的3D信息，例如在均勻亮度的目標(biāo)的中間。但是，利用在該投影圖案中覆蓋的所有目標(biāo)，很容易獲得在圖像中的任何點(diǎn)的模糊信息。
采用投影織構(gòu)，不同的方法可以被用于估計(jì)模糊量。圖像褶合(例如Sobel濾光器或者棱錐分解)可以被用于獲得不同規(guī)模的信號(hào)強(qiáng)度和梯度。如果織構(gòu)是點(diǎn)狀圖案；在圖像中相對(duì)于點(diǎn)的位置可以通過(guò)尋找局部最大量來(lái)定位。然后，通過(guò)檢查在每一個(gè)局部最大量周圍區(qū)域的梯度的強(qiáng)度，可以確定有多少模糊發(fā)生。在點(diǎn)的邊緣的梯度粗略地與模糊量成反比。因此，在每一個(gè)點(diǎn)的梯度可以涉及到屏幕的距離。
照相機(jī)結(jié)構(gòu)在系統(tǒng)的一個(gè)實(shí)施例中，照相機(jī)對(duì)人眼不可見的波長(zhǎng)的光線敏感。通過(guò)增加發(fā)出不可見波長(zhǎng)的光的照明器，該照相機(jī)可以產(chǎn)生在暗室中攝取顯示器屏幕前的區(qū)域的良好照射的圖像，而不會(huì)將光線照射到用戶眼睛上。此外，依賴于選擇的光線的波長(zhǎng)，顯示器屏幕的內(nèi)容對(duì)于照相機(jī)可以是不可見的。例如，只對(duì)波長(zhǎng)920nm-960nm的光線敏感的照相機(jī)將會(huì)看到LCD屏幕為透明的，無(wú)論其上顯示什么圖像。
在系統(tǒng)的另一個(gè)實(shí)施例中，該照相機(jī)只對(duì)窄范圍的近紅外的波長(zhǎng)敏感，其中在該范圍中的最短波長(zhǎng)至少是920nm。利用在這一波長(zhǎng)范圍內(nèi)發(fā)光的若干群紅外線LED照亮在屏幕前面的區(qū)域。該照相機(jī)是一個(gè)近紅外敏感單色CCD，其安裝有僅傳輸由LED產(chǎn)生的波長(zhǎng)的光線的帶通濾光器。為了進(jìn)一步的圖像質(zhì)量改善和抑制環(huán)境光投影，該照相機(jī)和LED可以被一起選通。
在系統(tǒng)的一個(gè)實(shí)施例中，照相機(jī)具有在屏幕前的區(qū)域的相對(duì)未失真的取景。為了降低失真，該照相機(jī)可以被安裝在距離屏幕相當(dāng)遠(yuǎn)的距離?？蛇x擇的是，該照相機(jī)可以安裝在更接近屏幕的位置，并且菲涅耳透鏡可以安裝在屏幕上或之后。附圖20A示出了高失真結(jié)構(gòu)，且照相機(jī)很接近于屏幕。注意到在附圖20A中，目標(biāo)2010和目標(biāo)2020出現(xiàn)在距離照相機(jī)的透鏡相同的位置，但是在屏幕的很不同的位置上方。附圖20B、21A和21B示出了若干個(gè)其中失真被降低的結(jié)構(gòu)。附圖20B示出了低失真結(jié)構(gòu)，其中的照相機(jī)遠(yuǎn)離屏幕；通過(guò)反射照相機(jī)的取景，該整個(gè)顯示器可以被保持緊湊。注意到在附圖20B中，目標(biāo)2030和目標(biāo)2040看上去為距離照相機(jī)透鏡相同的位置，并且占據(jù)在屏幕之上相同的位置。附圖21A和21B示出了分別利用菲涅耳透鏡來(lái)降低或者消除失真。
菲涅耳透鏡也可以被用于允許多個(gè)照相機(jī)被使用在系統(tǒng)中。附圖21C示出了使用菲涅耳透鏡來(lái)消除在一個(gè)雙照相機(jī)系統(tǒng)中的失真。每一個(gè)照相機(jī)具有消除照相機(jī)取景的失真的菲涅耳透鏡。由于兩個(gè)照相機(jī)的視場(chǎng)僅僅接觸而沒有交叉，目標(biāo)將能夠無(wú)縫的從一個(gè)照相機(jī)的取景傳到另一照相機(jī)取景。這一技術(shù)擴(kuò)展到多個(gè)照相機(jī)，以允許在屏幕后能夠安裝一個(gè)照相機(jī)網(wǎng)格。這一技術(shù)允許交互式顯示器能夠變得很薄，以提供一個(gè)類似于平板顯示器的形狀因素。以類似的方式，使用菲涅耳透鏡來(lái)消除失真允許多個(gè)自容顯示器能夠被平鋪到一起，采用的方式允許來(lái)自所有顯示器的照相機(jī)被無(wú)縫平鋪到一起。
如果一種技術(shù)被用于從照相機(jī)接收3D圖像，該照相機(jī)的位置變得不再那么重要，因?yàn)槭д婵梢员辉谲浖型ㄟ^(guò)執(zhí)行坐標(biāo)轉(zhuǎn)換而校正。例如，讀取用于每一個(gè)象素的照相機(jī)深度可以被轉(zhuǎn)換為(x，y，z)坐標(biāo)，其中的x和y對(duì)應(yīng)于在顯示器屏幕上最接近于該點(diǎn)的位置，并且z對(duì)應(yīng)于距離在屏幕上的位置(x，y)到該點(diǎn)的距離。在其他基于軟件和基于硬件的方案中，通過(guò)采用渡越時(shí)間照相機(jī)，3D圖像可以在硬件中獲得。3D渡越時(shí)間照相機(jī)的制造者包括Canesta和3DV系統(tǒng)。上述的方案完全與在屏幕后放置照相機(jī)的方案完全兼容，由于多數(shù)的渡越時(shí)間照相機(jī)使用紅外照明器。
用于照相機(jī)的照明器在屏幕周圍或者在屏幕后，或者在這兩個(gè)位置可以放置若干個(gè)照明器，這些照明器在照相機(jī)的波長(zhǎng)的光線下照亮在屏幕前的交互區(qū)域。
如果這些照明器位于屏幕周圍，它們直接照射在交互區(qū)域，以允許它們的亮度達(dá)到最大化使用。但是這一結(jié)構(gòu)是不可靠的；用戶可以阻塞照明器的光線的路徑，來(lái)防止在交互區(qū)域的一些目標(biāo)被照亮。同樣，該結(jié)構(gòu)使得照亮觸摸屏幕的目標(biāo)很困難。
上述關(guān)于在屏幕周圍安裝的照明器的問題通過(guò)在屏幕后面安裝若干個(gè)照明器來(lái)解決；采用在照相機(jī)附近的照明器，任何對(duì)于照相機(jī)可見的目標(biāo)將被照亮。但是，來(lái)自于這些照明器的光線可以被在屏幕后面的瑞利散射材料、織構(gòu)材料、或者散射偏振器反向散射。這一反向散射明顯地降低了照相機(jī)圖像的對(duì)比度，使得視頻系統(tǒng)更難解讀照相機(jī)圖像。
如果光線被散射偏振器散射，照相機(jī)對(duì)近紅外光敏感，并且照明器發(fā)出近紅外光，則上述對(duì)比度損失將會(huì)通過(guò)使用紅外光線性偏振器來(lái)降低，紅外光線性偏振器線性地偏振紅外光。在照相機(jī)前面安裝紅外線性偏振器，且其偏振方向平行于散射偏振器是透明的方向，將會(huì)明顯降低反向散射和改善對(duì)比度。在紅外照明器之前安裝紅外光線性偏振器，且其偏振方向平行于散射偏振器透明的方向，將也會(huì)降低反向散射和改善對(duì)比度。
窗口顯示器根據(jù)本發(fā)明的另一方面，該自容交互式視頻顯示系統(tǒng)可以與窗口顯示器結(jié)合使用。自容交互式視頻顯示器可以使用在多種物理結(jié)構(gòu)中，例如，水平、垂直或者斜向安裝屏幕。但是，當(dāng)在窗口上使用這種顯示器時(shí)，有多個(gè)附加可能的物理結(jié)構(gòu)。
附圖22示出了根據(jù)本發(fā)明的實(shí)施例、一個(gè)交互式窗口顯示器2200的示例結(jié)構(gòu)。在一個(gè)實(shí)施例中，替代自容式的，部件可以是物理上獨(dú)立的。該屏幕2210可以被直接固定到窗口2220表面上，或者獨(dú)立地安裝在窗口2220后面。照相機(jī)2230、投影儀2240、和照明器2250都可以安裝在接近或者獨(dú)立的位置，并且可以安裝在地板、頂板、或者在距離窗口2220不同距離的其間任何地方。可選地，紅外照明器2250可以位于屏幕2210的側(cè)面，從而使得它們直接照射到對(duì)象上，而不是通過(guò)屏幕2210。同樣，可選地，在照相機(jī)2230和計(jì)算機(jī)2260之間、或者在計(jì)算機(jī)2260和投影儀2240之間的通信可以是無(wú)線的。
在窗口顯示器中的照相機(jī)整體上水平瞄準(zhǔn)。因此，照相機(jī)通常在距離屏幕任意距離取景人。由于可以采用視頻軟件、屏幕材料或者其他系統(tǒng)識(shí)別和消除在過(guò)遠(yuǎn)距離的目標(biāo)，還可能將向上平鋪照相機(jī)，使得更遠(yuǎn)距離的目標(biāo)需要具有某一最小的高度，以便于照相機(jī)觀察它們。因此，只有在距離屏幕數(shù)英尺內(nèi)的人才能夠與之交互?？拷@樣的顯示器用戶將會(huì)注意到在屏幕的底部首次出現(xiàn)的其虛擬存在，并且隨后隨著它們更接近屏幕而逐步增高。附圖22示出了以這種方式向上平鋪的照相機(jī)2230。
眩光是在窗口顯示器中的一個(gè)難題。但是，窗口顯示器的用戶被限制在它們一般觀看屏幕的角度。他們將不可能從傾斜的角度來(lái)觀看屏幕，因?yàn)樗鼈兛赡鼙３忠粋€(gè)距屏幕至少幾英尺的距離(例如兩英尺)，從而使具有空間來(lái)用手臂和手指向在顯示器上的目標(biāo)。對(duì)于在眼光水平或者低于眼光水平的顯示器，人尤其不可能以傾斜的角度仰視顯示器。如果投影儀位于非常接近于屏幕而不是高于屏幕頂部，且其光束以傾斜的角度向下投影，則這一低的眩光情況將會(huì)實(shí)現(xiàn)?？蛇x擇地，如果顯示器被設(shè)置為在眼光水平或者高于眼光水平，則通過(guò)安裝低于或者接近于屏幕的投影儀，以傾斜的角度向上投影，可以實(shí)現(xiàn)類似的眩光降低。注意到，若干個(gè)離軸投影儀對(duì)于這類結(jié)構(gòu)是尤其有用的。
窗口單元可選擇的結(jié)構(gòu)屏幕的可見光透明在窗口單元中比在自容單元中更為理想。因此，若干個(gè)窗口顯示器可以和對(duì)于以特定角度照射在其上的光線半透明的局部透明顯示器一同構(gòu)造。可以用于構(gòu)造局部透明屏幕的材料采用商標(biāo)名稱“HoloClear”進(jìn)行銷售，并且由Dai Nippon Printing制造；這種材料對(duì)于以35度角照射在其上的光線是半透明的。這一屏幕替代了紅外(IR)透明、可見光(VIS)半透明屏幕或者散射偏振器屏幕。如果投影儀將光線以該角度照射到屏幕上，則就不會(huì)有來(lái)自投影儀的眩光。只要照相機(jī)在與投影儀成相當(dāng)不同的角度(到屏幕)，該系統(tǒng)就能夠適當(dāng)?shù)毓ぷ鳌?br> 到窗口單元的界面利用與自容單元相同的方法，可以使到窗口單元的界面距離相關(guān)，包括使用立體照相機(jī)、渡越時(shí)間照相機(jī)、和在本專利的“觸摸屏”部分中描述的技術(shù)。在一個(gè)實(shí)施例中，與窗口單元的交互包括整體交互和更精確的手勢(shì)的混合，例如指示。
采用提取深度信息的視頻系統(tǒng)，其可能通過(guò)多種方法隔離指示手勢(shì)和其他手運(yùn)動(dòng)。第一，照相機(jī)圖像可以被分割為若干個(gè)距離范圍，其中一個(gè)距離范圍用于整體交互，而另一個(gè)(假設(shè)更近)距離范圍用于指示手勢(shì)。在后一距離范圍中的目標(biāo)將被追蹤作為指示器，而它們的位置用作在顯示器上運(yùn)行的應(yīng)用的輸入。可選擇的，可以分析距離屏幕小于一個(gè)特定距離的所有目標(biāo)，來(lái)發(fā)現(xiàn)在其中的最接近于屏幕的點(diǎn)。如果該點(diǎn)是從剩下的目標(biāo)按至少一個(gè)特定閾值最接近于屏幕，則其能夠變?yōu)橛糜谥甘臼謩?shì)的輸入。在屏幕上的視覺反饋可以被提供來(lái)示出任何檢測(cè)到的手運(yùn)動(dòng)的位置。
降低眩光的技術(shù)如果可以保證觀看者經(jīng)常以一個(gè)特定范圍的角度看到投影儀的眩光，則可以進(jìn)一步該眩光，而不會(huì)有害地影響照相機(jī)的場(chǎng)景取景。附圖23A、23B和23C都是分別示出了根據(jù)本發(fā)明不同的實(shí)施例的各種用于降低眩光的技術(shù)的簡(jiǎn)化示意圖。附圖23A示出了折疊屏幕材料。假設(shè)該屏幕被折疊，使得來(lái)自于一個(gè)傾斜角度的光線必須通過(guò)屏幕的若干層，接近直通而來(lái)的光線通常僅通過(guò)一層。如果投影儀的光線來(lái)自于傾斜角度，而照相機(jī)取景屏幕更接近于平行，則投影儀的光線的散射量將會(huì)大大的增加，而不會(huì)不利地影響照相機(jī)的取景。在附圖23A中，大部分照相機(jī)取景僅僅通過(guò)一個(gè)屏幕層，而所有的投影的光線通過(guò)多個(gè)層。
有若干種實(shí)現(xiàn)希望的效果的方法?？梢杂梦⒏駯挪牧蟻?lái)替代平板屏幕，而不是折疊屏幕，以建立與折疊屏幕相同的效果，如在附圖23B中所示?？蛇x擇的是，小的、平坦的、片狀的屏幕材料顆?？梢员惶砑拥酵该骰?所有的水平導(dǎo)向)，如在附圖23C中所示。在所有的情況下，從傾斜角度靠近屏幕的典型光線碰到比典型的垂直于材料的光線還多得多的散射材料。
屏幕的織構(gòu)在所有情況下應(yīng)當(dāng)是足夠小的使得觀看者不會(huì)注意它。當(dāng)利用離軸投影儀時(shí)，這一技術(shù)是最有用的，但是其在投影儀和照相機(jī)從不同角度觀看屏幕的任何情況下都是有用的。
阻止紅外光源照射到屏幕上和降低對(duì)比度是非常重要的。因此，如果紅外照明器設(shè)置在屏幕后面，有利的是使紅外照明器位于使屏幕散射最小化的角度。
可選擇的是，視界控制薄膜產(chǎn)品(例如Lumisty，一種視線控制膜)，其在視角的窄范圍是半透明的，并且在所有其他角度都是半透明的，在一些情況下，這些視界控制薄膜產(chǎn)品可以幫助降低眩光。
通過(guò)相對(duì)屏幕以特定角度安裝投影儀，可以保證任何直接觀看投影儀光束的人以一個(gè)角度觀看屏幕，對(duì)于該角度，視界控制薄膜是半透明的。附圖24A和24B示出了一種方法，通過(guò)該方法，視界控制薄膜可減少眩光。附圖24A示出了人(照相機(jī))通過(guò)一種視界控制薄膜觀看光線的經(jīng)歷。來(lái)自于半透明區(qū)域的光線被漫射，降低或者消除任何在該區(qū)域來(lái)自光源的眩光。來(lái)自兩個(gè)透明區(qū)域的光源將不會(huì)被漫射，以允許人或者照相機(jī)看見在這些區(qū)域中的目標(biāo)。視界控制薄膜的區(qū)域的邊界通常通過(guò)用于沿著一維在光線和視界控制薄膜表面之間的角度的數(shù)值范圍來(lái)定義。附圖24B示出了在用于降低在交互式窗口顯示器上的眩光的簡(jiǎn)單結(jié)構(gòu)中的視界控制薄膜。該視界控制薄膜與紅外透明、可見光半透明的屏幕結(jié)合使用。由于投影儀的角度，如果不以視界控制薄膜漫射光線的角度觀看，不可能直接觀察投影儀的光束。但是，照相機(jī)能夠通過(guò)視界控制薄膜觀看目標(biāo)，由于照相機(jī)被指向使視界控制薄膜透明的角度。因此，眩光被降低而沒有影響照相機(jī)取景場(chǎng)景的性能。
示例性結(jié)構(gòu)基于窗口的顯示器2500的示范實(shí)施例使用了散射偏振器作為屏幕，如在附圖25中所示。這一實(shí)施例是一個(gè)交互式窗口顯示器2500，其中使得顯示器工作必需的所有傳感和顯示器部件被安裝在窗口2505之后。該窗口顯示器2500允許在窗口2505之前的用戶來(lái)與顯示在窗口2505上的視頻圖像通過(guò)自然的肢體運(yùn)動(dòng)來(lái)交互。
在一個(gè)實(shí)施例中，通過(guò)LCD投影儀2510來(lái)產(chǎn)生顯示的圖像。在大多數(shù)LCD投影儀中，紅色和藍(lán)色光在一個(gè)方向偏振，而綠色光在垂直的方向偏振。一個(gè)彩色選擇偏振旋轉(zhuǎn)器2515，例如由ColorLink公司生產(chǎn)的延遲片疊合“色選擇”技術(shù)，被用于以90度旋轉(zhuǎn)綠色光的偏振?？蛇x擇的，紅色和藍(lán)色光的偏振可以旋轉(zhuǎn)90度，來(lái)實(shí)現(xiàn)一些效果。通過(guò)在投影儀2510前面安裝一個(gè)彩色選擇偏振旋轉(zhuǎn)器2515，所有的投影儀的光線都是同樣的偏振。散射偏振器2525被定向而使得最大散射的方向平行于投影儀光線的偏振。因此，當(dāng)這一投影儀光線到達(dá)散射偏振器2525時(shí)，其都被散射，以為在屏幕另一側(cè)的用戶提供圖像。
僅對(duì)近紅外光敏感的視頻照相機(jī)2530取景屏幕前的區(qū)域，其被稱為“照相機(jī)視場(chǎng)”。在這一視場(chǎng)中的目標(biāo)對(duì)于照相機(jī)2530將是可見的。用于照相機(jī)視場(chǎng)的照明器來(lái)自若干組紅外LED群2535，其在屏幕背面產(chǎn)生可由照相機(jī)2530觀察的波長(zhǎng)的光線。注意到，照相機(jī)視場(chǎng)向上傾斜，使得只有在屏幕附近的人落入視場(chǎng)中。這阻止了遠(yuǎn)離屏幕的目標(biāo)影響使用照相機(jī)2530作為輸入的交互應(yīng)用。
下面將會(huì)描述可見和紅外光通過(guò)在附圖25中的示范實(shí)施例的路徑。光線的兩個(gè)垂直的偏振被稱為偏振A和偏振B。
可見光從LCD投影儀2510呈現(xiàn)，并具有在偏振A中的紅色和藍(lán)色光以及在偏振B中的綠色光。該光線首先通過(guò)色彩選擇偏振旋轉(zhuǎn)器2515，其留下未受影響的紅色和藍(lán)色光，但是旋轉(zhuǎn)綠色光的偏振使得其在偏振A中。接下來(lái)，這一光線通過(guò)一個(gè)線性偏振器2520，其傳輸在偏振器A中的光線并且吸收在偏振器B中光線。這一線性偏振器2520“清除”了光線-其吸收了仍然是B偏振的投影儀的任何光線。接下來(lái)，光線通過(guò)散射偏振器2525，其指向在偏振A中的散射光線并且傳輸在偏振B中的光線。因此，幾乎所有投影儀光線被散射。注意到這一散射的光線仍然保持其偏振A。優(yōu)選的，該光線可以隨后通過(guò)一個(gè)線性偏振器2540，其傳輸在偏振A中的光線而吸收在偏振B中的光線。這一偏振器用于改善圖像質(zhì)量。
從紅外照明器2535發(fā)出的紅外光可能開始去偏振。可選的，為了改善清晰，這一光線可以首先通過(guò)一個(gè)紅外線性偏振器，以在偏振B中對(duì)其進(jìn)行偏振，使得其更少部分被散射偏振器2525散射。如果光線被去偏振，其中的一些在其通過(guò)散射偏振器2525時(shí)將被散射，但是偏振A的光線將會(huì)通過(guò)散射偏振器2525而不被散射。由于紅外光的波長(zhǎng)是足夠長(zhǎng)的，其通過(guò)任何可見光線性偏振器2540未受影響并且能夠照亮在屏幕前的目標(biāo)，例如人類用戶。
從窗口2505前面返回至照相機(jī)2530的紅外光將會(huì)不受線性偏振器2540的影響。但是，當(dāng)光線通過(guò)散射偏振器2525時(shí)，偏振A的光線將會(huì)被散射而偏振B的光線保持未散射。照相機(jī)2530僅在其前面具有紅外線性偏振器2545；這一偏振器2545吸收偏振A的光線并且傳輸偏振B的光線。因此，照相機(jī)2530僅觀察偏振B的光線，其保持為未被散射偏振器2545散射。這給照相機(jī)2530一個(gè)在屏幕前的區(qū)域的清楚的、高對(duì)比度的圖像。
使用棱形薄膜在交互式投影的窗口顯示器中，大體上，通常最好是清楚地具有在窗口顯示器下的區(qū)域，但是放置照相機(jī)，使得它取景的區(qū)域向上傾斜。這一情況可以通過(guò)使用以特定角度重定向所有通過(guò)它們的光線的棱形薄膜來(lái)實(shí)現(xiàn)。例如，由3M生產(chǎn)的Vikuiti IDF薄膜以20度重定向輸入光線。如在附圖26中所示，通過(guò)在投影屏幕的任一側(cè)上安裝這些薄膜中的一個(gè)或多個(gè)，以便向上重定向光線，照相機(jī)可以位于相對(duì)于屏幕更高的位置。
壓縮通過(guò)利用反射鏡，可以壓縮系統(tǒng)的整個(gè)尺寸。附圖27示出了一個(gè)結(jié)構(gòu)，其中照相機(jī)和投影儀都與窗口相鄰設(shè)置，指向遠(yuǎn)離它，并且反射鏡將它們的光束反射回窗口。
照相機(jī)改進(jìn)為了進(jìn)一步改進(jìn)圖像質(zhì)量和抑制外部光線，照相機(jī)和照相機(jī)的照明器可以被一起選通。這一方法完全兼容于使用各種用于3D成像的軟件和硬件的方法。尤其是，在這一設(shè)計(jì)中的照相機(jī)和照明器可以被渡越時(shí)間照相機(jī)替代。
可見光系統(tǒng)如果沒有線性偏振器添加在散射偏振器附近(如在附圖25中所示)，則該設(shè)計(jì)不需要使用紅外照相機(jī)。彩色或者黑白可見光照相機(jī)能夠?qū)ζ聊磺暗膮^(qū)域成像，只要在緊靠照相機(jī)的前面具有可見光線性偏振器，且其偏振方向平行于對(duì)于散射偏振器是透明的方向。因此，照相機(jī)看不到投影的圖像，允許照相機(jī)看到在屏幕前的區(qū)域未受阻擋。這一照相機(jī)可以利用存在的外部環(huán)境光或者位于顯示器周圍附加的可見光來(lái)工作，以照亮在屏幕前面的用戶和目標(biāo)。如果增加了附加的可見光，照相機(jī)和光線可被一起選通，如在本申請(qǐng)的題目為“方向環(huán)境紅外光”的部分中描述，以改善照相機(jī)圖像的質(zhì)量，并限制外部環(huán)境和投影儀光線對(duì)圖像的影響。
為了進(jìn)一步改善圖像質(zhì)量，可以在投影儀鏡頭的前面設(shè)置高速光闌。這一光闌可以是機(jī)械的或者電子的；一種可用電子光闌是由Meadowlark Optics生產(chǎn)的基于液晶的速度快門。在一個(gè)實(shí)施例中，這一快門在幾乎所有時(shí)間保持打開，以允許投影儀光線通過(guò)。該快門僅在照相機(jī)拍攝照片時(shí)關(guān)閉來(lái)阻止投影儀的光線。如果照相機(jī)的曝光時(shí)間短，則投影儀的亮度幾乎不受影響。注意到在照相機(jī)曝光期間，使用速度快門來(lái)阻止投影儀的光線使得可見光照相機(jī)能夠被用在投影的交互式平面或者墻面顯示器前。
注意到，在交互式視頻投影系統(tǒng)中使用可見光照相機(jī)，除了分選照相機(jī)圖像的每一個(gè)象素為前景或背景的視覺信號(hào)之外，還獲得在屏幕前的人(系統(tǒng)用戶)的實(shí)時(shí)照片。這允許視覺系統(tǒng)將系統(tǒng)用戶的照片隔離開并去除靜態(tài)背景。這一信息允許該系統(tǒng)在它顯示的圖像中設(shè)置用戶的彩色圖像，且用人工產(chǎn)生的圖像插入在用戶上或用戶周圍。如果該系統(tǒng)被適當(dāng)校準(zhǔn)，用戶可以接觸該屏幕，并且用戶的顯示圖像將會(huì)在同一時(shí)間接觸到屏幕上的相同位置。這些特性提供了對(duì)在該顯示器上運(yùn)行的交互式應(yīng)用的質(zhì)量的顯著改善，包括，例如，允許用戶確切地看到位于交互內(nèi)容中的自己。
來(lái)自照相機(jī)的可見光圖像可以被用于建立虛擬反射鏡，其看上去以及表現(xiàn)為象真實(shí)反射鏡，但是該反射鏡圖像可以被以電子方式操縱。例如，該圖像可以被水平翻轉(zhuǎn)來(lái)建立不可反象鏡，其中的用戶如其他人看到他們一樣可以看到他們自己的圖像?？蛇x擇地，該圖像可以時(shí)間延時(shí)，使得人可以回過(guò)來(lái)看到他們自己。這一系統(tǒng)可以因此具有在使用反射鏡的環(huán)境下的應(yīng)用，包括例如，化妝室。
渡越時(shí)間照相機(jī)交互式顯示器本發(fā)明的實(shí)施例可以利用渡越時(shí)間照相機(jī)來(lái)實(shí)現(xiàn)。渡越時(shí)間照相機(jī)具有內(nèi)在的能力來(lái)檢測(cè)它的圖像的每一個(gè)像素的距離信息。利用渡越時(shí)間照相機(jī)消除了對(duì)改進(jìn)的顯示器的需要。換句話說(shuō)，該渡越時(shí)間照相機(jī)可以和任何顯示器(例如，LCD平板，陰極射線管顯示器等等)一同工作而無(wú)須改進(jìn)?？梢允褂脝蝹€(gè)渡越時(shí)間照相機(jī)。但是，單個(gè)渡越時(shí)間照相機(jī)不能夠檢測(cè)被更接近于照相機(jī)的目標(biāo)阻止的目標(biāo)。因此，本發(fā)明的實(shí)施例利用多個(gè)渡越時(shí)間照相機(jī)，如附圖28所示。
由于照相機(jī)的剩余，就不再需要擔(dān)心由于一個(gè)目標(biāo)遮蔽著另一個(gè)目標(biāo)使得一個(gè)照相機(jī)不能檢測(cè)所有的目標(biāo)。例如在附圖29中所示，四個(gè)渡越時(shí)間照相機(jī)被安裝在顯示器的角上，確保顯示器的全部區(qū)域是交互性的。為了使用這一渡越時(shí)間實(shí)施方案用于多個(gè)照相機(jī)，對(duì)每個(gè)渡越時(shí)間照相機(jī)的每個(gè)象素執(zhí)行坐標(biāo)轉(zhuǎn)換，使其位于普通的坐標(biāo)空間中。一個(gè)這樣的空間通過(guò)以下參量來(lái)定義(x，y)，指向垂直投影在顯示器表面的點(diǎn)的位置；和(z)，相對(duì)顯示器的距離。這一坐標(biāo)空間轉(zhuǎn)換可以通過(guò)以每一個(gè)照相機(jī)對(duì)于屏幕的角度(和位置)觀看來(lái)確定?？蛇x擇的，該轉(zhuǎn)換可以通過(guò)校準(zhǔn)處理來(lái)確定，其中已知大小、形狀和位置的目標(biāo)位于屏幕前。通過(guò)具有照相機(jī)圖像目標(biāo)的每一個(gè)，合適的轉(zhuǎn)換功能可以由每一個(gè)照相機(jī)觀看到的點(diǎn)到普通坐標(biāo)空間的點(diǎn)來(lái)確定。如果照相機(jī)坐標(biāo)轉(zhuǎn)換是實(shí)時(shí)完成的，則在3D中照相機(jī)前面的區(qū)域的實(shí)時(shí)照片被完成。
使用該交互式視頻顯示系統(tǒng)被用于很多不同的應(yīng)用。該系統(tǒng)的能夠具有類似接觸屏幕的行為和全部或部分體輪廓交互的能力，增加其對(duì)信息界面的要求，其需更精確的選擇和按鈕和目標(biāo)的操作。
基于透明顯示屏和基于投影的交互式顯示系統(tǒng)的使用包括，但是不限制于交互式視頻游戲，其中用戶移動(dòng)他們的身體來(lái)玩游戲，交互式菜單，目錄，和使得用戶利用手勢(shì)瀏覽通過(guò)若干頁(yè)信息內(nèi)容的瀏覽系統(tǒng)，允許用戶使用自己的圖像來(lái)“試穿”衣服的系統(tǒng)，其中用戶的圖像或者輪廓用作視頻效果系統(tǒng)的輸入的純娛樂應(yīng)用，與在屏幕前面的用戶的運(yùn)動(dòng)交互的交互特性，以及用戶通過(guò)移動(dòng)他們的身體來(lái)交互的虛擬游戲場(chǎng)和故事書。
本發(fā)明的其他使用包括，但不限制于允許用戶定制或者觀看可用選項(xiàng)，用于在顯示器上定制產(chǎn)品，允許顯示器上的產(chǎn)品在顯示器上被定購(gòu)，利用顯示器交互界面、鍵盤、信用卡刷卡機(jī)(credit cardswiper)、或者這三者的組合，在顯示器上比較多個(gè)產(chǎn)品的特征，在顯示器上示出多個(gè)產(chǎn)品之間的結(jié)合或者兼容，以及將產(chǎn)品定位于屏幕上不同的虛擬設(shè)置中以展示這些特征(例如，水，森林，瀝青等)外圍設(shè)備基于透明顯示器屏幕和基于投影儀的交互式顯示系統(tǒng)可以結(jié)合若干個(gè)附加的輸入和輸出，包括，但不限制于麥克風(fēng)、觸摸屏、鍵盤、鼠標(biāo)、射頻識(shí)別(RFID)標(biāo)簽、壓墊、蜂窩電話信號(hào)、個(gè)人數(shù)字助理(PDA)以及揚(yáng)聲器。
基于透明顯示器屏幕和基于投影儀的交互式顯示系統(tǒng)可以被平鋪在一起，建立單個(gè)較大的屏幕或者交互區(qū)域。平鋪的或者物理上獨(dú)立的屏幕可以被連接成網(wǎng)絡(luò)，允許在一個(gè)屏幕上進(jìn)行處理而影響另一個(gè)屏幕上的圖像。
在一個(gè)示范實(shí)施例中，本發(fā)明以集成或模塊化的方式，采用控制邏輯之形式的硬件和軟件的結(jié)合來(lái)實(shí)現(xiàn)。根據(jù)在此公開的和教導(dǎo)的內(nèi)容，本領(lǐng)域的普通技術(shù)人員將知道實(shí)現(xiàn)本發(fā)明的其他方式和/或方法。
在一個(gè)示例性的方面，如上所述的本發(fā)明提供了一種系統(tǒng)，其允許照相機(jī)取景在顯示器前面的區(qū)域。在一個(gè)相關(guān)的發(fā)明中，一種系統(tǒng)被提供用來(lái)建立在顯示器前面的反應(yīng)性空間。本發(fā)明能夠還可以被用于從反應(yīng)性空間獲得信息。
廣泛地來(lái)說(shuō)，本文公開了一種自容交互式視頻顯示系統(tǒng)。投影儀將可視圖像投影到屏幕上用于顯示該可視圖像，其中投影儀將可視圖像投影到屏幕的背面用于向在屏幕前面的用戶呈現(xiàn)。照明器將屏幕前面附近的目標(biāo)照亮。照相機(jī)檢測(cè)照亮的目標(biāo)與可視圖像的交互，其中屏幕對(duì)于照相機(jī)可檢測(cè)光線是至少部分透明的，以允許照相機(jī)通過(guò)屏幕檢測(cè)照亮目標(biāo)。計(jì)算機(jī)系統(tǒng)響應(yīng)于交互指示投影儀改變可視圖像。
可以理解，在此描述的例子和實(shí)施例是僅用于說(shuō)明目的，并且對(duì)本領(lǐng)域的技術(shù)人員啟示根據(jù)這些內(nèi)容的各種修改和變型，而這些修改和變型是在所附的權(quán)利要求中的精神和范圍內(nèi)。在此涉及到的公開文獻(xiàn)、專利文獻(xiàn)和專利申請(qǐng)都被并入本文作為參考，用于在其整體上的所有目的。
因此，描述了本發(fā)明、一種自容交互式視頻顯示系統(tǒng)的各種實(shí)施例。盡管本發(fā)明已經(jīng)被描述在特定實(shí)施例中，應(yīng)該理解，本發(fā)明不應(yīng)被解釋為受限制于這些實(shí)施例，而是應(yīng)該根據(jù)如下的權(quán)利要求來(lái)解釋。
權(quán)利要求
1.一種自容交互式視頻顯示系統(tǒng)，包括投影儀，用于投影可視圖像；屏幕，用于顯示所述可視圖像，其中，所述投影儀將所述可視圖像投影到所述屏幕的背面，以便向在所述屏幕前面的用戶呈現(xiàn)；照明器，用于將所述屏幕前面附近的目標(biāo)照亮，其中所述照明器位于鄰近所述屏幕的位置，并且將光照投影到所述屏幕的前面；照相機(jī)，用于檢測(cè)照亮的目標(biāo)與所述可視圖像的交互，其中，所述屏幕對(duì)于所述照相機(jī)可檢測(cè)光線是至少部分透明的，以允許所述照相機(jī)通過(guò)所述屏幕檢測(cè)所述照亮的目標(biāo)；和計(jì)算機(jī)系統(tǒng)，用于響應(yīng)于所述交互控制所述投影儀改變所述可視圖像。
2.權(quán)利要求1的系統(tǒng)，其中，該照明器是投影紅外照明的紅外照明器；所述照相機(jī)是紅外照相機(jī)，其中所述投影儀、所述紅外照相機(jī)、所述紅外照明器、和所述計(jì)算機(jī)系統(tǒng)被包括在機(jī)殼內(nèi)，并且其中所述機(jī)殼的一側(cè)包括所述屏幕。
3.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，若干個(gè)垂直取向的線性偏振薄膜被設(shè)置在與所述屏幕的所述前側(cè)和所述后側(cè)相鄰的位置。
4.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，所述投影儀發(fā)出偏振光，并且垂直取向的線性偏振薄膜被設(shè)置在與所述屏幕的所述前側(cè)相鄰的位置。
5.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，所述照明器在所述照相機(jī)的曝光的時(shí)間內(nèi)被選通。
6.如權(quán)利要求1所述的自容交互式視頻顯示系統(tǒng)，其中所述投影儀、所述照相機(jī)、所述照明器、和所述計(jì)算機(jī)系統(tǒng)被包括在機(jī)殼內(nèi)，并且其中所述機(jī)殼的一側(cè)包括所述屏幕。
7.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，進(jìn)一步包括用于將所述可視圖像投影到所述屏幕上的反射鏡，其中，所述投影儀間接指向所述屏幕，并且所述反射鏡改變所述可視圖像的方向到所述屏幕。
8.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，所述照明器通過(guò)所述屏幕將光照投影到所述目標(biāo)上。
9.如權(quán)利要求8所述的自容交互式視頻顯示系統(tǒng)，其中，所述照明器被定位從而降低對(duì)所述照相機(jī)的眩光影響的任何可能性。
10.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中所述照明器位于鄰近所述屏幕，使得所述照明器不通過(guò)所述屏幕投影光照。
11.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，包括多個(gè)照明器，其中所述照明器位于鄰近所述屏幕并且在所述屏幕之后。
12.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中所述投影儀是離軸投影儀。
13.如權(quán)利要求1所述的自容交互式視頻顯示系統(tǒng)，進(jìn)一步包括菲涅耳透鏡，其位于相鄰于所述屏幕的位置，以便校正所述照相機(jī)的取景失真。
14.如權(quán)利要求1所述的自容交互式視頻顯示系統(tǒng)，進(jìn)一步包括一系列反射鏡帶，這些反射鏡帶與所述屏幕隔開一段距離，以便校正所述照相機(jī)的取景失真。
15.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，所述屏幕包括散射偏振器，其中所述投影儀以由所述散射偏振器充分散射的偏振發(fā)出偏振光，并且所述照相機(jī)對(duì)由所述散射偏振器非充分散射的偏振的光線敏感。
16.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中所述屏幕包括充分散射由所述投影儀發(fā)射的波長(zhǎng)的光線、而不充分散射所述照相機(jī)可檢測(cè)的波長(zhǎng)的光線的材料。
17.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，所述屏幕包括基于時(shí)間的材料，該材料可以從大體半透明改變到大體透明，其中，當(dāng)所述投影儀投影所述可視圖像時(shí)所述屏幕是大體半透明，并且當(dāng)所述照相機(jī)檢測(cè)所述屏幕的所述正面附近的目標(biāo)時(shí)是大體透明的。
18.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，所述屏幕包括在特定角度是大體半透明而在其他角度是大體透明的材料，其中所述投影儀從所述特定角度向所述屏幕投影光線。
19.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中所述照相機(jī)的圖像被校準(zhǔn)到所述可視圖像，使得由所述目標(biāo)引起的所述交互作用與接近于所述屏幕的所述目標(biāo)的物理位置相匹配。
20.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，所述自容交互式視頻顯示系統(tǒng)是可操作用以確定關(guān)于所述目標(biāo)與所述屏幕的距離的信息。
21.如權(quán)利要求20所述的自容交互式視頻顯示系統(tǒng)，其中，所述照相機(jī)是立體照相機(jī)。
22.如權(quán)利要求20所述的自容交互式視頻顯示系統(tǒng)，其中，所述照相機(jī)是渡越時(shí)間照相機(jī)。
23.如權(quán)利要求22所述的自容交互式視頻顯示系統(tǒng)，其中，所述渡越時(shí)間照相機(jī)的設(shè)置位置使得該渡越時(shí)間照相機(jī)不會(huì)反射回到其自身上。
24.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中，所述自容交互式視頻顯示系統(tǒng)提供在所述目標(biāo)接近于所述屏幕時(shí)的觸摸屏功能。
25.如權(quán)利要求24所述的自容交互式視頻顯示系統(tǒng)，進(jìn)一步包括相鄰于所述屏幕的所述前側(cè)的透明觸摸屏。
26.如權(quán)利要求24所述的自容交互式視頻顯示系統(tǒng)，進(jìn)一步包括相鄰于所述屏幕的所述前側(cè)的邊光透明薄片，其中所述照相機(jī)可操作用以辨別當(dāng)所述目標(biāo)接觸到所述邊光透明薄片時(shí)產(chǎn)生的光線。
27.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中所述目標(biāo)是人類用戶的身體部分。
28.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，其中所述自容交互式視頻顯示系統(tǒng)可以與第二自容交互式視頻顯示系統(tǒng)一起平鋪。
29.如權(quán)利要求1或2所述的自容交互式視頻顯示系統(tǒng)，進(jìn)一步包括第二照相機(jī)、用于所述照相機(jī)的第一菲涅耳透鏡、和用于所述第二照相機(jī)的第二菲涅耳透鏡，以允許由所述照相機(jī)和所述第二照相機(jī)取景的空間被接合到一起。
30.一種利用自容交互式視頻顯示系統(tǒng)顯示交互式可視圖像的方法，所述方法包括投影步驟，在屏幕上投影可視圖像，其中所述可視圖像被投影到所述屏幕的背面，以便向在所述屏幕前面的用戶顯示；照亮步驟，利用鄰近所述屏幕的照明器照亮鄰近所述屏幕的所述前面的目標(biāo)；檢測(cè)步驟，檢測(cè)所述目標(biāo)與所述可視圖像的交互，其中所述屏幕對(duì)于光線是至少部分透明的，使得所述目標(biāo)可通過(guò)所述屏幕來(lái)檢測(cè)；和改變步驟，響應(yīng)所述交互改變所述可視圖像。
31.如權(quán)利要求30所述的方法，其中照亮所述目標(biāo)包括以紅外光照亮所述目標(biāo)，和其中所述檢測(cè)所述交互包括檢測(cè)投影到所述目標(biāo)上的紅外光照。
32.如權(quán)利要求30所述的方法，包括通過(guò)向所述屏幕投影所述可視圖像來(lái)消除眩光，其中垂直取向的線性偏振薄膜被安裝在所述屏幕的所述前側(cè)和所述后側(cè)附近。
33.如權(quán)利要求30所述的方法，進(jìn)一步包括通過(guò)投影偏振光來(lái)消除眩光，其中垂直取向的線性偏振薄膜被設(shè)置在鄰近所述屏幕的所述前側(cè)的位置。
34.如權(quán)利要求30所述的方法，其中所述照明在所述檢測(cè)的時(shí)間內(nèi)被選通。
35.如權(quán)利要求30所述的方法，其中，所述自容交互式視頻顯示系統(tǒng)被包括在機(jī)殼內(nèi)，并且其中所述機(jī)殼的一側(cè)包括所述屏幕。
36.如權(quán)利要求30所述的方法，其中，所述投影所述可視圖像進(jìn)一步包括通過(guò)反射鏡將所述可視圖像投影到所述屏幕上，其中所述投影儀被間接指向所述屏幕，使得所述反射鏡改變可視圖像的方向到所述屏幕。
37.如權(quán)利要求30所述的方法，其中所述照明所述目標(biāo)包括通過(guò)所述屏幕將光照投影到所述目標(biāo)上。
38.如權(quán)利要求30所述的方法，進(jìn)一步包括利用位于相鄰于所述屏幕的菲涅耳透鏡來(lái)校正所述照相機(jī)的取景失真。
39.如權(quán)利要求30所述的方法，進(jìn)一步包括利用位于與所述屏幕相隔一段距離的一系列反射鏡帶來(lái)校正所述照相機(jī)的取景失真。
40.如權(quán)利要求30所述的方法，其中，所述屏幕包括散射偏振器，其中所述投影步驟以由所述散射偏振器充分散射的偏振發(fā)射偏振光，并且所述檢測(cè)對(duì)由所述散射偏振器非充分散射的偏振的光線敏感。
41.如權(quán)利要求30所述的方法，其中所述屏幕包括充分散射在所述投影步驟發(fā)射的波長(zhǎng)的光、而不是在所述檢測(cè)步驟可檢測(cè)的波長(zhǎng)的光的材料。
42.如權(quán)利要求30所述的方法，其中，所述屏幕包括基于時(shí)間的材料，該材料可以從大體半透明改變到大體透明，在所述投影步驟時(shí)是大體半透明，并且在所述檢測(cè)步驟時(shí)是大體透明的。
43.如權(quán)利要求30所述的方法，其中，所述屏幕包括在特定角度是大體半透明、而在其他角度是大體透明的材料，其中所述投影步驟從所述特定角度將光線投影到所述屏幕上。
44.如權(quán)利要求30所述的方法，進(jìn)一步包括校準(zhǔn)在所述檢測(cè)步驟捕獲的圖像到所述可視圖像，使得由所述目標(biāo)引起的所述交互作用與接近于所述屏幕的所述目標(biāo)的物理位置相匹配。
45.如權(quán)利要求30所述的方法，進(jìn)一步包括確定關(guān)于所述目標(biāo)與所述屏幕的距離的信息。
46.如權(quán)利要求45所述的方法，其中，所述檢測(cè)步驟是由立體照相機(jī)執(zhí)行的。
47.如權(quán)利要求45所述的方法，其中，檢測(cè)步驟是由渡越時(shí)間照相機(jī)執(zhí)行的。
48.如權(quán)利要求47所述的方法，進(jìn)一步包括放置所述渡越時(shí)間照相機(jī)，使得該渡越時(shí)間照相機(jī)不會(huì)反射回到其自身上。
49.如權(quán)利要求30所述的方法，其中進(jìn)一步包括提供在所述目標(biāo)接觸所述屏幕時(shí)的觸摸屏功能。
50.如權(quán)利要求49所述的方法，進(jìn)一步包括提供相鄰于所述屏幕的所述前側(cè)的透明觸摸屏。
51.如權(quán)利要求49所述的方法，進(jìn)一步包括提供相鄰于所述屏幕的所述前側(cè)的邊光透明薄片，并且其中所述檢測(cè)步驟用于辨別當(dāng)所述目標(biāo)接觸到所述邊光透明薄片時(shí)產(chǎn)生的光線。
52.如權(quán)利要求30所述的方法，其中所述目標(biāo)是人類用戶的身體部分。
53.如權(quán)利要求30所述的方法，進(jìn)一步包括將所述自容交互式視頻顯示系統(tǒng)與第二自容交互式視頻顯示系統(tǒng)平鋪。
54.如權(quán)利要求2所述的自容交互式視頻顯示系統(tǒng)，進(jìn)一步包括菲涅耳透鏡，其位于相鄰于所述屏幕的位置，用以校正所述紅外照相機(jī)的取景失真。
55.如權(quán)利要求1所述的自容交互式視頻顯示系統(tǒng)，其中，所述照明器是用于以紅外光照亮所述目標(biāo)的紅外照明器，并且其中所述照相機(jī)是用于檢測(cè)紅外光照的紅外光照相機(jī)。
全文摘要
一種自容交互式視頻顯示系統(tǒng)。投影儀將可視圖像投影到屏幕上用于顯示該可視圖像，其中投影儀將可視圖像投影到屏幕的背面，以便對(duì)在屏幕前側(cè)的用戶顯現(xiàn)。照明器將屏幕前側(cè)附近的目標(biāo)照亮。照相機(jī)檢測(cè)照亮的目標(biāo)與可視圖像的交互，其中該屏幕對(duì)于照相機(jī)可檢測(cè)光線是至少部分透明的，以允許照相機(jī)通過(guò)屏幕檢測(cè)照亮的目標(biāo)。計(jì)算機(jī)系統(tǒng)指示投影儀響應(yīng)于該交互改變可視圖像。
文檔編號(hào)G06F3/033GK1918532SQ200480034562
公開日2007年2月21日 申請(qǐng)日期2004年12月9日 優(yōu)先權(quán)日2003年12月9日
發(fā)明者馬修·貝爾, 菲利普·格萊克曼, 喬舒亞·齊德, 海倫·肖內(nèi)西 申請(qǐng)人:雷阿卡特瑞克斯系統(tǒng)公司