利用單個(gè)感測(cè)系統(tǒng)的基于多模式姿勢(shì)的交互系統(tǒng)及方法
【專利摘要】本文描述了一種用于提供與計(jì)算機(jī)化系統(tǒng)進(jìn)行高效且互補(bǔ)的基于自然多模式姿勢(shì)的交互的方法及系統(tǒng)，該計(jì)算機(jī)化系統(tǒng)將視覺反饋信息顯示在交互表面(120)上的圖形用戶界面上。交互表面(120)位于包括單個(gè)感測(cè)系統(tǒng)(170)的成像裝置的截頭錐體內(nèi)。該系統(tǒng)使用單個(gè)感測(cè)系統(tǒng)(170)來同時(shí)檢測(cè)用戶的手(240a，240b)所執(zhí)行的、與交互表面(120)進(jìn)行的觸摸姿勢(shì)交互以及在交互表面(120)上方的區(qū)域或體積(230a，230b)中的三維無接觸姿勢(shì)交互。當(dāng)姿勢(shì)已經(jīng)被檢測(cè)到時(shí)，這兩種類型的交互與用于控制計(jì)算機(jī)化系統(tǒng)的交互命令在情境上相關(guān)聯(lián)。該系統(tǒng)優(yōu)選地包括投影系統(tǒng)(160)，該投影系統(tǒng)(160)用于將圖形用戶界面和視覺反饋顯示在交互表面(120)上，投影系統(tǒng)可位于交互表面(120)相對(duì)于感測(cè)系統(tǒng)(170)的相同側(cè)或者相對(duì)側(cè)。
【專利說明】
利用單個(gè)感測(cè)系統(tǒng)的基于多模式姿勢(shì)的交互系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及多模式人-計(jì)算機(jī)交互系統(tǒng)的改進(jìn)或者涉及多模式人-計(jì)算機(jī)交互系統(tǒng)，并且更具體地涉及一種用于利用單個(gè)感測(cè)裝置(例如，被操作用于進(jìn)行姿勢(shì)識(shí)別的三維成像系統(tǒng))來提供兩種互補(bǔ)的交互模式的方法及系統(tǒng)，所述兩種交互模式分別為觸摸姿勢(shì)交互和三維無觸摸姿勢(shì)交互。
【背景技術(shù)】
[0002]傳統(tǒng)的人-計(jì)算機(jī)接口包括硬件控制系統(tǒng)接口，諸如，鍵盤、鼠標(biāo)、遙控器、觸摸板(pads)、觸摸屏和指向設(shè)備。使用這些接口，需要在硬件設(shè)備自身上通過這些設(shè)備接口所允許的方式來執(zhí)行物理動(dòng)作(例如，觸摸、移動(dòng)、握住、指向、按壓、移動(dòng)、點(diǎn)擊或者甚至是按照順序或同時(shí)一起執(zhí)行的多個(gè)這些動(dòng)作)，使得控制命令(諸如，所觸發(fā)的二進(jìn)制事件或連續(xù)值)可以被發(fā)送計(jì)算機(jī)系統(tǒng)，所述接口意圖與該計(jì)算機(jī)系統(tǒng)進(jìn)行交互。
[0003]計(jì)算機(jī)系統(tǒng)通常包括圖形用戶界面(GUI)，該⑶I包括窗口、按鈕以及其他項(xiàng)目或元素，所有上述項(xiàng)一起被稱為參數(shù)，這些參數(shù)被顯示在屏幕上用于根據(jù)所觸發(fā)并執(zhí)行的控制命令來向用戶提供視覺反饋;這些參數(shù)是根據(jù)傳統(tǒng)人-計(jì)算機(jī)硬件接口的可用性和人類工程學(xué)以及針對(duì)主流顯示系統(tǒng)的二維能力而被設(shè)計(jì)的。例如，操作系統(tǒng)具有基本的二維GUI窗口，該二維GUI窗口通常包括用于允許在媒體內(nèi)容(諸如，地圖、圖像或文本框)內(nèi)進(jìn)行導(dǎo)航的滾動(dòng)條，所述媒體內(nèi)容的尺寸可能大于由顯示屏尺寸自身的尺寸所限定的區(qū)域內(nèi)所顯示的圖像的尺寸。使用鼠標(biāo)硬件設(shè)備上的輪子或者將鼠標(biāo)光標(biāo)的運(yùn)動(dòng)與握住點(diǎn)擊動(dòng)作結(jié)合起來對(duì)與滾動(dòng)條的交互進(jìn)行優(yōu)化。此外，傳統(tǒng)的GUI通常包括二維按鈕，當(dāng)鼠標(biāo)光標(biāo)表示正指向所具體確定的按鈕區(qū)域時(shí)，用戶使用鼠標(biāo)按鈕點(diǎn)擊該二維按鈕以將GUI中的內(nèi)容放大或縮小。
[0004]此外，傳統(tǒng)的二維⑶I還可以包括地圖導(dǎo)航⑶I交互，該地圖導(dǎo)航⑶I交互通常需要與連續(xù)的鼠標(biāo)移動(dòng)結(jié)合的點(diǎn)擊，以使得地圖根據(jù)鼠標(biāo)移動(dòng)進(jìn)行滾動(dòng)或者從一個(gè)地圖區(qū)域變化到另一個(gè)地圖區(qū)域。
[0005]近來，已經(jīng)對(duì)傳統(tǒng)的二維⑶I進(jìn)行了開發(fā)以便于能夠通過觸摸和/或多重觸摸控制接口(諸如，能夠進(jìn)行多重觸摸的表面和顯示屏)來進(jìn)行操作。這些第二代基于觸摸姿勢(shì)的接口的控制命令已經(jīng)被設(shè)計(jì)成允許用戶使用至少一只手的至少一部分(例如，手指)來進(jìn)行交互、點(diǎn)擊、滾動(dòng)或者放大和縮小，并且可以基于不同類型的硬件技術(shù)，諸如，基于電容、電阻、紅外線網(wǎng)格、光學(xué)成像、分散的信號(hào)或聲波的技術(shù)。
[0006]甚至近來，已經(jīng)可以獲得第三代控制系統(tǒng)接口。這一代控制系統(tǒng)接口包括無接觸式交互系統(tǒng)。這些系統(tǒng)還可以基于電容式運(yùn)動(dòng)跟蹤傳感器并且可以包括一種包含有電極和接口電路的系統(tǒng)。在現(xiàn)有的控制系統(tǒng)中使用這樣的電容式傳感器的主要優(yōu)點(diǎn)是:這些電容式傳感器的功耗低、能夠提供無縫集成以及成本低。然而，電容式傳感器僅能夠進(jìn)行非常近距離的無接觸式交互，例如，在距離于電極的平面的Ocm至1cm之間的距離內(nèi)，并且僅能夠同時(shí)分辨并跟蹤數(shù)量非常有限的興趣點(diǎn)或端點(diǎn)，諸如，人類的手指，通常僅能分辨并跟蹤一個(gè)或兩個(gè)手指。這些電容式運(yùn)動(dòng)跟蹤傳感器通常與第一代或第二代控制接口的另一交互系統(tǒng)(諸如，觸摸屏系統(tǒng))相關(guān)聯(lián)，以便于能夠同時(shí)進(jìn)行觸摸和無觸摸或無接觸式姿勢(shì)交互。然而，這樣的傳感器不足以作為高效地將觸摸三維姿勢(shì)識(shí)別與無接觸式三維姿勢(shì)識(shí)別的補(bǔ)充，其中，控制姿勢(shì)是用戶在距離于交互表面接口Ocm與150cm之間的不同距離處通過例如雙手和多個(gè)手指(例如，6根手指)在空中執(zhí)行的。
[0007]這些第三代無接觸式交互系統(tǒng)還可以基于成像系統(tǒng)(例如，二維或三維相機(jī)裝置)的，該成像系統(tǒng)用于關(guān)于時(shí)間連續(xù)地捕獲場(chǎng)景的圖像，以及這些第三代無接觸式交互系統(tǒng)還可以是基于用于確定用戶在所捕獲的場(chǎng)景內(nèi)所執(zhí)行的三維姿勢(shì)的方法的。這樣的無接觸式交互系統(tǒng)是兼容的，以與現(xiàn)有的傳統(tǒng)的硬件接口結(jié)合(諸如，觸摸屏顯示器)進(jìn)行使用，或者可選地通過如下方式單獨(dú)地使用:通過觸發(fā)與所述傳統(tǒng)硬件接口相同、但是來自于一組經(jīng)組織的三維姿勢(shì)(即，在連續(xù)捕獲的場(chǎng)景的圖形內(nèi)的靜態(tài)姿勢(shì)或動(dòng)態(tài)姿勢(shì))的控制命令。
[0008]在10-六-2013/104681中描述了一種這樣的多模式交互系統(tǒng)，該多模式交互系統(tǒng)利用了與另一種硬件設(shè)備交互系統(tǒng)的結(jié)合的基于3D相機(jī)的無觸摸姿勢(shì)識(shí)別系統(tǒng)。在該WO-A-2013/104681中，描述了一種新型手持無線遠(yuǎn)程控制設(shè)備系統(tǒng)。該系統(tǒng)可以用于提供傳統(tǒng)的基于硬件的遠(yuǎn)程控制信號(hào)，用于和與姿勢(shì)識(shí)別系統(tǒng)所提供的基于三維姿勢(shì)的控制信號(hào)相關(guān)聯(lián)的計(jì)算機(jī)系統(tǒng)交互。該手持無線遠(yuǎn)程控制設(shè)備包括殼體，該殼體包括感測(cè)單元并且具有能夠針對(duì)相關(guān)聯(lián)的計(jì)算機(jī)化系統(tǒng)生成或觸發(fā)控制信號(hào)的至少一個(gè)控制按鈕。該計(jì)算機(jī)化系統(tǒng)以多模式方式使用從控制設(shè)備獲取的信息和從姿勢(shì)識(shí)別系統(tǒng)獲取的信息一起來解決任何歧義(例如，由于執(zhí)行姿勢(shì)的手或者在與該計(jì)算機(jī)化系統(tǒng)相關(guān)聯(lián)的成像系統(tǒng)的視野之外的手出現(xiàn)遮蔽的情況)并且觸發(fā)與基于姿勢(shì)的交互系統(tǒng)的交互。按照多種模式進(jìn)行操作，結(jié)合地高效使用兩種不同的交互系統(tǒng)，并且每個(gè)交互系統(tǒng)都遞送被用于增強(qiáng)來自另一方的信號(hào)，從而能夠增強(qiáng)人計(jì)算機(jī)交互，這種情況在僅使用兩種交互系統(tǒng)之一時(shí)不能實(shí)現(xiàn)。
[0009]在W0-A-99/40562中描述了另一種無接觸式交互系統(tǒng)，該無接觸式交互系統(tǒng)使用了攝像機(jī)和計(jì)算機(jī)屏幕系統(tǒng)。該系統(tǒng)包括類似觸摸屏的數(shù)據(jù)錄入系統(tǒng)，該數(shù)據(jù)錄入系統(tǒng)是根據(jù)包括與接近計(jì)算機(jī)屏幕的物體有關(guān)的數(shù)據(jù)的視頻圖形來確定的。攝像機(jī)系統(tǒng)被安裝在計(jì)算機(jī)屏幕上方用于監(jiān)測(cè)緊靠在屏幕前方的區(qū)域。圖像的處理使得通過使用常見的背景移除技術(shù)能對(duì)屏幕的前景內(nèi)的筆或用戶的手進(jìn)行探測(cè)和跟蹤。使用校準(zhǔn)處理，在校準(zhǔn)處理中，校準(zhǔn)點(diǎn)被定位成使得這些校準(zhǔn)點(diǎn)覆蓋大部分屏幕，校準(zhǔn)處理利用類似于線性插值和線性外推的方法通過對(duì)所跟蹤的手的位置進(jìn)行虛擬空間坐標(biāo)轉(zhuǎn)換來生成了屏幕空間坐標(biāo)。
[0010]在W0-A-02/03316中，無源電容式觸摸屏至少與基于立體視覺相機(jī)的無接觸式交互系統(tǒng)相關(guān)聯(lián)。通過相機(jī)所檢索出的信息提高了低分辨率、溫度和濕度依賴性以及低可伸縮性的電容式觸摸系統(tǒng)的數(shù)據(jù)?；诹Ⅲw視覺相機(jī)的無接觸式交互系統(tǒng)包括具有重疊視野的至少兩個(gè)相機(jī)，所述相機(jī)包括電容式觸摸屏表面。這些相機(jī)從不同的位置獲取觸摸表面的圖像，并且當(dāng)在相機(jī)所獲取的圖形中捕獲到了指示器時(shí)，這些相機(jī)確定該指示器相對(duì)于觸摸表面的精確位置。校準(zhǔn)程序用于便于通過使用三角測(cè)量并且考慮到相機(jī)關(guān)于觸摸表面的偏移角度來進(jìn)行物體定位確定。這使得能夠增強(qiáng)確定:指示器是否在給定的點(diǎn)處與觸摸表面接觸或者盤旋在接觸表面上方。
[0011]然而，盡管現(xiàn)有的人計(jì)算機(jī)交互系統(tǒng)能夠基于觸摸接口以及無觸摸三維姿勢(shì)接口通過與具有不同技術(shù)的至少兩個(gè)感測(cè)系統(tǒng)(例如，與使用來自三維相機(jī)的深度信息進(jìn)行操作的三維無觸摸姿勢(shì)識(shí)別系統(tǒng)相關(guān)聯(lián)的電容式觸摸屏)相關(guān)聯(lián)的方式進(jìn)行多模式交互，但是仍然沒有一種用于通過與利用不同的現(xiàn)有技術(shù)的組合的系統(tǒng)相同的方式控制計(jì)算機(jī)化系統(tǒng)的準(zhǔn)確、可靠、高效并且節(jié)約成本的基于多模式觸摸和無觸摸三維姿勢(shì)的接口。
[0012]此外，具有不同技術(shù)的兩種感測(cè)系統(tǒng)與圖形用戶界面的集成通常受限于這些技術(shù)之一。例如，當(dāng)使用用于進(jìn)行觸摸姿勢(shì)交互的電容式顯示屏?xí)r，所使用的屏幕具有主圖形用戶界面，并且附加的另一圖形用戶界面(例如，可以具有可伸縮的屬性，諸如，投影系統(tǒng))需要增加現(xiàn)有系統(tǒng)的復(fù)雜度和成本。同樣地，將多個(gè)顯示屏與多個(gè)感測(cè)系統(tǒng)相關(guān)聯(lián)并不能提供完整的多功能且可嵌入的、能夠使得交互系統(tǒng)可在任何地方并且在任意表面進(jìn)行操作的系統(tǒng)。
[0013]最后但并非最不重要的，由于將多個(gè)感測(cè)系統(tǒng)集成是受限的并且對(duì)多個(gè)感測(cè)系統(tǒng)的集成會(huì)使得僅需要一個(gè)感測(cè)系統(tǒng)的顯示系統(tǒng)更復(fù)雜，使用用于以自然的方式操作多模式人機(jī)(或計(jì)算機(jī))接口的觸摸和無觸摸組合的三維姿勢(shì)的綜合的自然交互會(huì)在應(yīng)用、可用性上以及交互過程的人類工程學(xué)上相當(dāng)有限。

【發(fā)明內(nèi)容】

[0014]因此，本發(fā)明的目的在于提供一個(gè)通用的多模式交互系統(tǒng)，該多模式交互系統(tǒng)克服了與使用多個(gè)感測(cè)系統(tǒng)相關(guān)聯(lián)的問題，從而允許進(jìn)行可靠的簡(jiǎn)化且可用的多模式。具體地，本發(fā)明包括一種新穎的方法，該方法要么單獨(dú)地使用單一傳感系統(tǒng)或者將單個(gè)感測(cè)系統(tǒng)與單個(gè)通用顯示系統(tǒng)聯(lián)合一起使用，以提供一種具有圖形用戶界面的、基于觸摸和無觸摸姿勢(shì)的交互系統(tǒng)，該方法是通用的并且在人類工程學(xué)上足以在不同的交互表面上被操作，這些不同的交互表面可以不同于單個(gè)感測(cè)系統(tǒng)自身所施加的表面。
[0015]因此，本發(fā)明的目的還在于提供一種新穎的自然多模式交互系統(tǒng)，其中，可以要么按照順序或同時(shí)將不同的交互模式輕易地關(guān)聯(lián)起來或者彼此結(jié)合，以允許使用用戶的至少一只手的至少一部分來進(jìn)行人-計(jì)算機(jī)交互，或者本發(fā)明的另一目的在于，同時(shí)能夠足夠通用以允許使用一個(gè)或多個(gè)用戶的一只手或雙手或者更多手的至少兩部分來進(jìn)行人-計(jì)算機(jī)的自然交互。
[0016]因此，本發(fā)明的目的特別在于:提供一種用于與圖形用戶界面交互的通用系統(tǒng)，該系統(tǒng)包括:顯示系統(tǒng)，三維成像系統(tǒng)以及計(jì)算機(jī)系統(tǒng)，其中，顯示系統(tǒng)用于將圖形用戶界面顯示到交互表面;三維成像系統(tǒng)被操作成至少對(duì)在所述三維成像系統(tǒng)的截頭錐體內(nèi)的、至少一個(gè)物體的至少一個(gè)部分或用戶的至少一只手的至少一部分進(jìn)行跟蹤；以及計(jì)算機(jī)系統(tǒng)被配置成:對(duì)顯示系統(tǒng)和三維成像系統(tǒng)進(jìn)行控制，以及基于來自三維成像系統(tǒng)的數(shù)據(jù)輸出來確定基于姿勢(shì)的交互控制。
[0017]有利地，此外，該交互系統(tǒng)的特征進(jìn)一步在于:用于顯示圖形用戶界面的顯示表面位于成像系統(tǒng)的截頭錐體的一部分中并且還大體上與成像系統(tǒng)對(duì)準(zhǔn)，以便于將校準(zhǔn)問題和約束最小化。本文所使用的術(shù)語“大體上對(duì)準(zhǔn)的”指代顯示或交互表面從相機(jī)的視點(diǎn)來看的角度，即，交互表面的X-Y平面位于相對(duì)于成像系統(tǒng)的X-Y平面的預(yù)定角度范圍內(nèi)，例如，在O和45度之間。
[0018]有利地，當(dāng)考慮到嵌入式系統(tǒng)時(shí)，顯示系統(tǒng)將包括作為三維成像裝置的投影儀元件，投影儀元件位于交互表面的同一側(cè)上，圖形用戶界面被顯示到交互表面上。當(dāng)考慮到諸如寫字臺(tái)、桌子或窗戶的交互表面時(shí)，交互系統(tǒng)將優(yōu)選地被配置成使得三維成像系統(tǒng)和投影儀元件分別位于交互表面的相對(duì)側(cè)上，圖形用戶界面被投影到交互表面上，交互表面對(duì)優(yōu)選地被操作成對(duì)波長(zhǎng)范圍大體上與電磁波譜的可見部分相對(duì)應(yīng)的輻射進(jìn)行漫射，并且以有限的漫射對(duì)波長(zhǎng)范圍大體上與電磁波譜中紅外部分相對(duì)應(yīng)的輻射進(jìn)行透射。交互表面的透射系數(shù)高于50%，并且在IR域具有低于20度的有限漫射。
[0019]因此，本發(fā)明的另一目的在于提供一種可由交互系統(tǒng)操作的方法，該方法被存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)介質(zhì)中并且作為由交互系統(tǒng)可執(zhí)行的指令來被操作。
[0020]該方法是提供用于控制計(jì)算機(jī)化系統(tǒng)的多模式觸摸和無觸摸交互，其中所述多模式觸摸和無觸摸交互是使用來自單個(gè)感測(cè)系統(tǒng)的數(shù)據(jù)信息來進(jìn)行檢測(cè)并識(shí)別的。該單個(gè)感測(cè)系統(tǒng)優(yōu)選地為三維成像裝置，并且該方法包括如下步驟:對(duì)三維成像裝置的截頭錐體內(nèi)的至少一個(gè)物體的至少一部分進(jìn)行檢測(cè)并跟蹤；
[0021]通過確定正被跟蹤的至少一個(gè)物體的至少一部分是否正在執(zhí)行下列項(xiàng)中的至少一項(xiàng)來啟動(dòng)交互:在交互表面的預(yù)定交互區(qū)域上的預(yù)定觸摸姿勢(shì)，以及在沿著預(yù)定交互區(qū)域的法線向量軸線上的預(yù)定交互體積中的預(yù)定無觸摸三維姿勢(shì)；
[0022]通過對(duì)所述至少一個(gè)物體的所述至少一部分在三維成像裝置的截頭錐體內(nèi)所執(zhí)行的姿勢(shì)的檢測(cè)和識(shí)別來與計(jì)算機(jī)化系統(tǒng)進(jìn)行交互，并且，其中，所檢測(cè)和識(shí)別的姿勢(shì)是下列項(xiàng)中的至少一項(xiàng):在交互表面的預(yù)定交互區(qū)域上的預(yù)定觸摸姿勢(shì)，以及與預(yù)定交互區(qū)域垂直的向量軸線上的預(yù)定交互體積的預(yù)定無觸摸三維姿勢(shì)。
[0023]有利地，對(duì)交互表面的預(yù)定交互區(qū)域上的觸摸姿勢(shì)的執(zhí)行的檢測(cè)對(duì)應(yīng)于檢測(cè)正被跟蹤的所述至少一個(gè)物體的所述至少一部分何時(shí)在三維空間中與交互表面上的預(yù)定交互區(qū)域位于空間中的同一位置。
[0024]在一種優(yōu)選的實(shí)施例中，對(duì)是否已經(jīng)執(zhí)行觸摸姿勢(shì)的檢測(cè)可以對(duì)應(yīng)于確定在三維空間中正被跟蹤的至少一個(gè)物體的至少一部分距交互表面的距離何時(shí)低于預(yù)定閾值。
[0025]類似地，該方法還包括:通過檢測(cè)正被跟蹤的所述至少一個(gè)物體的至少兩個(gè)部分在空間中的位置何時(shí)到達(dá)屬于交互表面的至少兩個(gè)預(yù)定交互區(qū)域來確定是否執(zhí)行了多重觸摸姿勢(shì)。
[0026]該方法進(jìn)一步包括根據(jù)觸摸姿勢(shì)和多重觸摸姿勢(shì)中的至少之一的多個(gè)相繼位置和持續(xù)時(shí)間來確定觸摸姿勢(shì)交互控制命令。
[0027]此外，本發(fā)明還包括根據(jù)被正被跟蹤的所述至少一個(gè)物體的所述至少一部分所執(zhí)行的三維姿勢(shì)來檢測(cè)三維無觸摸姿勢(shì)交互并且在情境上確定控制命令。通過情境上意味著何時(shí)、多長(zhǎng)時(shí)間并且在空間上相對(duì)于交互表面的交互區(qū)域和體積的位置。
[0028]在一種優(yōu)選的實(shí)施例中，該方法還包括如下步驟:當(dāng)預(yù)定事件被觸發(fā)時(shí)，結(jié)束基于姿勢(shì)而啟動(dòng)的交互，所述預(yù)定事件為下列項(xiàng)中的至少一項(xiàng):過了預(yù)定時(shí)間段、在交互表面上的預(yù)定觸摸姿勢(shì)的識(shí)別、在三維成像裝置的截頭錐體中的預(yù)定三維無觸摸姿勢(shì)的識(shí)別、以及所述至少一個(gè)物體從三維空間中的預(yù)定交互體積中離開。
[0029]該方法可以使用至少一個(gè)第一物體的至少一個(gè)第一被檢測(cè)和跟蹤的部分來啟動(dòng)交互，以及使用所述至少一個(gè)第一物體的至少一個(gè)第二被檢測(cè)和跟蹤的部分來執(zhí)行交互。該方法還使用一個(gè)物體的單個(gè)被檢測(cè)和跟蹤的部分來執(zhí)行姿勢(shì)交互的啟動(dòng)和姿勢(shì)交互本身。該方法還可以使用來自一個(gè)或多個(gè)物體中的所檢測(cè)和跟蹤的多個(gè)物體來確定是否為觸摸姿勢(shì)、多重觸摸姿勢(shì)或三維姿勢(shì)，三維姿勢(shì)是靜態(tài)的(例如，手的姿勢(shì))或者動(dòng)態(tài)的(例如，手的姿勢(shì)，手的姿勢(shì)具有手上的被檢測(cè)和跟蹤的至少一個(gè)部分在空間中的至少布置的變化)。
[0030]有利地，該方法包括將預(yù)定視覺反饋顯示在交互表面的至少一部分上的圖形用戶界面上，該視覺反饋與下列項(xiàng)中的至少一項(xiàng)相關(guān):所述至少一個(gè)物體的所述至少一部分的位置，以及正被跟蹤的所述至少一個(gè)物體的所述至少一部分的被識(shí)別出的姿勢(shì)。
[0031]具體地，本發(fā)明的目的在于提供一種方法，其中，與圖形用戶界面的交互被顯示在交互表面上，該方法還包括操作如下步驟:
[0032]使用三維成像裝置確定交互表面的拓?fù)浣Y(jié)構(gòu)以及在空間中的位置；
[0033]根據(jù)交互表面的拓?fù)浣Y(jié)構(gòu)和尺寸確定交互表面上的預(yù)定的一組交互區(qū)域；以及
[0034]將至少一個(gè)觸摸姿勢(shì)交互控制與每個(gè)交互區(qū)域相關(guān)聯(lián)。
[0035]將更有利地，該方法還包括如下步驟:
[0036]將至少一個(gè)交互體積與這組預(yù)定的交互區(qū)域相關(guān)聯(lián)，每個(gè)交互體積位于所述交互區(qū)域的上方并且沿著該交互區(qū)域的法向量；以及
[0037]將每個(gè)交互體積與預(yù)定的三維無觸摸姿勢(shì)交互控制相關(guān)聯(lián)。
[0038]最后，該方法包括如下步驟:根據(jù)前述實(shí)施例中的任意實(shí)施例將預(yù)定視覺反饋顯示在交互表面上的圖形用戶界面上，該步驟還可以使用下列項(xiàng)中的至少一項(xiàng)來進(jìn)行操作:用戶的身體的一個(gè)部位、寫字臺(tái)、墻、紅外半透明表面以及物體，所述圖像用戶界面被投影到所述交互表面上。
【附圖說明】
[0039]為了更好地理解本發(fā)明，現(xiàn)在將通過示例來參考附圖，在附圖中:
[0040]圖1示出了根據(jù)本發(fā)明的交互系統(tǒng)的示意性側(cè)視圖，該交互系統(tǒng)包括其上投影有圖形用戶界面的交互表面、附加的顯示屏、以及具有頂部安裝組件的投影和深度感測(cè)元件；[0041 ]圖2示出了圖1中的交互系統(tǒng)的示意性正視圖；
[0042]圖3示出了與圖1和圖2中的交互系統(tǒng)相關(guān)聯(lián)的表面的平面圖，其中，在交互表面的表面內(nèi)嵌入有交互區(qū)域；
[0043]圖4示出了用于利用本發(fā)明的交互系統(tǒng)來控制三維交互的所跟蹤的要素的四種不同位置，其中，所跟蹤的要素的位置是根據(jù)交互表面確定的，并且，其中，四種不同的位置分別確定一種觸摸姿勢(shì)交互控制和三種三維姿勢(shì)交互控制；
[0044]圖5示出了本發(fā)明的交互系統(tǒng)的一種實(shí)施例，其中，彩色漫射表面顯示了后部投影圖形用戶界面，并且所跟蹤的第一手的觸摸姿勢(shì)交互與所跟蹤的第二手的三維姿勢(shì)交互相結(jié)合來使用；以及
[0045]圖6示出了本發(fā)明的交互系統(tǒng)的另一種實(shí)施例，其中，彩色漫射表面顯示了后部投影圖形用戶界面，并且緊接著根據(jù)所跟蹤的第二手的一部分所確定的另一單個(gè)觸摸姿勢(shì)交互，使用所跟蹤的第一手的至少兩個(gè)部分的多重觸摸姿勢(shì)交互。
【具體實(shí)施方式】
[0046]將針對(duì)特定實(shí)施例并參考某些附圖對(duì)本發(fā)明進(jìn)行描述，但本發(fā)明并非被限定于此。所描述的附圖僅為示意性的而非限制性的。在附圖中，出于示意性目的，一些要素的尺寸可能被擴(kuò)大而沒有按比例繪制。
[0047]本發(fā)明提供了一種方法及系統(tǒng)，該方法及系統(tǒng)用于使能:與具有用于顯示視覺反饋信息的至少一個(gè)圖像用戶界面(GUI)的計(jì)算機(jī)化系統(tǒng)進(jìn)行基于多模式觸摸和無觸摸人類姿勢(shì)的交互。圖形用戶界面可以顯示如下參數(shù)，諸如:按鈕、滾動(dòng)條、旋鈕、指針、窗口、媒體內(nèi)容或現(xiàn)有技術(shù)所公知的那些參數(shù)中的任何其他參數(shù)?？刂泼羁梢耘c所顯示的每個(gè)參數(shù)相關(guān)聯(lián)、用于對(duì)交互系統(tǒng)進(jìn)行操作。每個(gè)控制命令可以與觸發(fā)事件相關(guān)聯(lián)，并且所述觸發(fā)事件受到至少一個(gè)預(yù)定特定姿勢(shì)的檢測(cè)和識(shí)別的控制。
[0048]所述預(yù)定特定姿勢(shì)可以是觸摸或無觸摸人類姿勢(shì)。基于觸摸姿勢(shì)的交互形成多模式姿勢(shì)交互中的第一模式，以及基于無觸摸姿勢(shì)的交互形成多模式姿勢(shì)交互中的第模式。按照順序或同時(shí)使用這兩種模式的交互形成基于多模式姿勢(shì)的交互系統(tǒng)，該基于多模式姿勢(shì)的交互系統(tǒng)是根據(jù)單個(gè)感測(cè)系統(tǒng)所獲得的信息數(shù)據(jù)進(jìn)行操作的。
[0049]例如，預(yù)定的特定姿勢(shì)可以是所跟蹤的手的基于三維姿態(tài)的姿勢(shì)，其中，成像系統(tǒng)所捕獲的手的三維(3D)點(diǎn)云具有與特定姿態(tài)相對(duì)應(yīng)的特定布置。該姿態(tài)的確定是使用用于圖像處理和計(jì)算機(jī)視覺的分類器和機(jī)器學(xué)習(xí)技術(shù)來執(zhí)行的。神經(jīng)網(wǎng)絡(luò)、SVM分類器或隨機(jī)森林分類器(或其他合適的分類器)中的任意一個(gè)都表現(xiàn)良好，即，對(duì)于一組預(yù)定義的特定三維姿勢(shì)和專用的描述符具有高于85%的檢測(cè)率。
[0050]預(yù)定的特定姿勢(shì)可以是所跟蹤的手的基于三維運(yùn)動(dòng)的姿勢(shì)，其中，成像系統(tǒng)所捕獲的該手的3D點(diǎn)云或者至少一個(gè)相關(guān)聯(lián)的興趣點(diǎn)(諸如，但不限于，與手掌中心點(diǎn)或者指尖相對(duì)應(yīng)的點(diǎn))表明了空間中特定動(dòng)態(tài)移動(dòng)的性能，與所述特定動(dòng)態(tài)移動(dòng)相關(guān)聯(lián)的三維路徑被統(tǒng)計(jì)地分析以根據(jù)一組描述符確定執(zhí)行了哪種形狀。每個(gè)形狀都可以與三維姿勢(shì)相關(guān)聯(lián)。例如，如果所跟蹤的移動(dòng)的手的運(yùn)動(dòng)在成像系統(tǒng)的截頭錐體中的預(yù)定區(qū)域內(nèi)執(zhí)行圓周運(yùn)動(dòng)，則可以相應(yīng)地檢測(cè)到圓圈姿勢(shì)。應(yīng)當(dāng)注意的是，描述符的質(zhì)量很關(guān)鍵。高質(zhì)量的相關(guān)物體運(yùn)動(dòng)描述符可以是時(shí)間上的平均速度、一組位置(在這些位置處的移動(dòng)表明沿著坐標(biāo)系統(tǒng)的軸線之一的方向發(fā)生變化)、加速度、持續(xù)時(shí)間、運(yùn)動(dòng)的大小等。
[0051]基于三維運(yùn)動(dòng)的姿勢(shì)和基于三維姿態(tài)的姿勢(shì)在下文中一起被稱為三維姿勢(shì)?？梢酝瑫r(shí)執(zhí)行基于三維運(yùn)動(dòng)的姿勢(shì)和基于三維姿態(tài)的姿勢(shì)從而同時(shí)對(duì)他們進(jìn)行檢測(cè)，并且如果交互系統(tǒng)啟用了這些姿勢(shì)，則這些姿勢(shì)可以觸發(fā)控制命令。實(shí)際上，針對(duì)每種類型的交互，可以具體地預(yù)定一種姿勢(shì)或另一種姿勢(shì)。例如，如果被應(yīng)用程序所啟用，則在場(chǎng)景內(nèi)從左到右快速地移動(dòng)手可以觸發(fā)向右“猛擊”的控制命令。在這種情況下，例如，可以使用另一種內(nèi)容代替媒體內(nèi)容。在另一示例中，如果在圖形用戶界面(GUI)顯示的滾動(dòng)條或按鈕的特定位置處進(jìn)行了基于“抓取”三維姿態(tài)的姿勢(shì)的檢測(cè)并且當(dāng)手的位置沿著GUI的滾動(dòng)條的軸線移動(dòng)時(shí)一直保持著該“抓取”姿勢(shì)，則滾動(dòng)條或按鈕的顯示將相應(yīng)地移動(dòng)并且所顯示的內(nèi)容(諸如，地圖)將相應(yīng)地滾動(dòng)直到檢測(cè)到“抓取”姿勢(shì)被釋放或者不在執(zhí)行“抓取”姿勢(shì)為止。
[0052]對(duì)觸摸姿勢(shì)的執(zhí)行的檢測(cè)是相對(duì)于交互表面上的預(yù)定交互區(qū)域進(jìn)行的。多個(gè)觸摸姿勢(shì)是以相同的方式確定的，但是是相對(duì)于交互表面的多個(gè)交互區(qū)域的。該檢測(cè)包括對(duì)所跟蹤的至少一個(gè)物體的至少一部分關(guān)于時(shí)間或者隨著時(shí)間的變化的三維位置進(jìn)行跟蹤。該檢測(cè)還包括如下步驟:不斷地確定物體的每個(gè)被跟蹤的部分(可以是手的指尖)距離交互表面上所預(yù)定的最近的交互區(qū)域的距離。該檢測(cè)還包括如下步驟:當(dāng)所跟蹤的物體的至少一部分與交互區(qū)域的距離低于預(yù)定閾值時(shí)，在每個(gè)交互區(qū)域處觸發(fā)觸摸姿勢(shì)或多重觸摸姿勢(shì)，例如，閾值可以是0.1mm，或者如果距離等于零(O)。每個(gè)單個(gè)觸摸姿勢(shì)根據(jù)與該觸摸姿勢(shì)相關(guān)聯(lián)的或者所歸屬的交互區(qū)域來觸發(fā)控制命令。
[0053]例如，使用顯示有鍵盤的GUI可以進(jìn)行利用多重觸摸姿勢(shì)的同時(shí)控制，其中，在該GUI上的三種同時(shí)觸摸姿勢(shì)以及其相關(guān)聯(lián)的交互區(qū)域?qū)?yīng)于:“控制(CTRL)”按鈕、“更改(ALT)”按鈕、以及“刪除(DEL)”按鈕，當(dāng)這三個(gè)按鈕被一起執(zhí)行時(shí)，這些按鈕運(yùn)行控制命令以顯示新的菜單。
[0054]也可以使用相同模式或不同模式的至少兩種姿勢(shì)的組合來進(jìn)行同時(shí)控制，例如，一只手執(zhí)行多重觸摸控制，而另一只手執(zhí)行基于三維運(yùn)動(dòng)的姿勢(shì)。還可以使能不同的姿勢(shì)交互模式的順序組合。
[0055]本發(fā)明的特征在于:其使用了一種交互系統(tǒng)，該交互系統(tǒng)僅包括作為計(jì)算裝置或處理器的數(shù)據(jù)信息提供方的一個(gè)感測(cè)系統(tǒng)，該感測(cè)系統(tǒng)確定兩種不同的交互模式兩者，即，觸摸姿勢(shì)交互和無觸摸姿勢(shì)交互。無觸摸姿勢(shì)交互在下文中還可以被稱為“無接觸姿勢(shì)”、“三維(3D)姿勢(shì)”或“三維(3D)無觸摸姿勢(shì)”。
[0056]如上所述，所顯示的⑶I可以包括多個(gè)參數(shù)，這些參數(shù)可以與至少一個(gè)交互控制裝置在情境上相關(guān)聯(lián)。交互控制方法是計(jì)算機(jī)化系統(tǒng)指令，當(dāng)所述計(jì)算機(jī)化系統(tǒng)指令被觸發(fā)時(shí)，將執(zhí)行預(yù)定計(jì)算。該預(yù)定計(jì)算的結(jié)果可以通過至少利用來自GUI的圖形視覺反饋根據(jù)計(jì)算機(jī)化系統(tǒng)的反饋方式來任選地被渲染為反饋信息，或者，任選地，如果多模式交互系統(tǒng)中包括有音頻渲染系統(tǒng)時(shí)，被渲染為音頻反饋。例如，用戶界面上的按鈕可以與計(jì)算機(jī)化系統(tǒng)將操作的“關(guān)閉窗口”操作或“讀取媒體”動(dòng)作相關(guān)聯(lián)。如果用戶交互觸發(fā)所述操作的啟動(dòng)，則計(jì)算機(jī)化系統(tǒng)將操作成關(guān)閉所打開的窗口并且關(guān)閉其在GUI內(nèi)的渲染，并且發(fā)起媒體播放器以通過音頻系統(tǒng)生成音頻反饋，同時(shí)GUI將顯示并更新媒體播放器進(jìn)程欄的狀態(tài)。
[0057]要由用戶交互所控制的每個(gè)參數(shù)都可以與交互表面的表面處的至少一個(gè)預(yù)定交互區(qū)域相關(guān)聯(lián)，所述至少一個(gè)預(yù)定交互區(qū)域是用戶打算與之進(jìn)行交互的區(qū)域。
[0058]每個(gè)如此定義的交互區(qū)域意欲被用于進(jìn)行觸摸姿勢(shì)交互。優(yōu)選地，與參數(shù)相關(guān)聯(lián)的區(qū)域的尺寸與該參數(shù)在交互表面經(jīng)渲染的表示相對(duì)應(yīng)。這可以防止:如果參數(shù)相互靠得太近，造成觸發(fā)本屬于鄰近參數(shù)的基于姿勢(shì)的交互。然而，為了便于使用，一些參數(shù)可以在情境上具有不同尺寸的交互區(qū)域，這些交互區(qū)域要么大于或要么小于這些參數(shù)在交互表面上的圖形表示。
[0059]類似地，由用戶交互所控制的每個(gè)參數(shù)或該參數(shù)的子參數(shù)可以與至少一個(gè)預(yù)定交互體積相關(guān)聯(lián)，即，三維交互區(qū)域，該三維交互區(qū)域的位置優(yōu)選地位于交互表面上所渲染的視覺反饋的交互區(qū)域的頂部。交互體積的大小、位置和形狀可以是根據(jù)應(yīng)用程序所支持的交互而在情境上進(jìn)行定義的。交互體積控制優(yōu)選地意圖結(jié)合三維姿勢(shì)交互一起使用。
[0060]例如，交互體積可以與音頻系統(tǒng)的音量的控制相關(guān)聯(lián)。交互體積可以位于GUI上所顯示的揚(yáng)聲器表示的頂部上。當(dāng)用戶使用他的手的至少一部分來與交互表面上與揚(yáng)聲器表示相關(guān)聯(lián)的交互區(qū)域執(zhí)行觸摸交互時(shí)，計(jì)算機(jī)化系統(tǒng)被指示開始音量控制交互，其中，交互區(qū)域的尺寸為揚(yáng)聲器表示的尺寸。用戶的手在觸摸交互之后的位移構(gòu)成了連續(xù)的三維姿勢(shì)交互控制，對(duì)于該連續(xù)的三維姿勢(shì)交互控制，手的至少一部分(例如，手掌或一個(gè)預(yù)定的手指)之間的距離確定了音頻音量調(diào)節(jié)(或控制)參數(shù)的值，即，手距離交互表面越遠(yuǎn)(或越高)，則音頻音量越大，以及手距離交互表面越近(或越低)，則音頻音量越小。
[0061]在另一種實(shí)施例中，音頻音量的值可以根據(jù)手向上移動(dòng)直到從與交互區(qū)域相關(guān)聯(lián)的交互音量(因此，為音頻音量控制)離開為止的移動(dòng)來持續(xù)地被調(diào)節(jié)。在另一種實(shí)施例中，可以根據(jù)手與交互表面的距離連續(xù)地設(shè)置音頻音量，并在預(yù)定時(shí)間段之后將音頻音量固定。在另一種優(yōu)選的實(shí)施例中，可以根據(jù)手與交互表面的距離來連續(xù)地設(shè)置音頻音量，并且當(dāng)交互體積內(nèi)的所述跟蹤的手執(zhí)行預(yù)定的三維姿勢(shì)，即，靜態(tài)姿勢(shì)或姿勢(shì)(諸如，“捏”或“抓”姿勢(shì))時(shí)，將音頻音量固定，其中，預(yù)定的手指(例如，但不限于食指和拇指)在彼此接近并且其距離低于預(yù)定距離閾值時(shí)被檢測(cè)。在一種實(shí)施例中，距離閾值可以低至1mm。
[0062]在后一示例中，應(yīng)當(dāng)理解的是，GUI上的揚(yáng)聲器表示是與開始“音頻音量控制”交互操作相關(guān)聯(lián)的交互區(qū)域的GUI參數(shù)，其中，當(dāng)觸摸交互被檢測(cè)到時(shí)，所述開始“音頻音量控制”交互操作被觸發(fā)，并且應(yīng)當(dāng)理解的是，音頻交互與“音頻值控制”子參數(shù)相關(guān)聯(lián)，“音頻值控制”子參數(shù)是根據(jù)預(yù)定后續(xù)的三維姿勢(shì)交互來進(jìn)行操作的。
[0063]如本文所描述的，本發(fā)明包括一種方法，該方法包括對(duì)三維成像系統(tǒng)的截頭錐體內(nèi)的至少一個(gè)物體的至少一部分進(jìn)行跟蹤。物體可以是手，以及物體的一部分可以是手指或指尖。應(yīng)當(dāng)理解的是，感興趣點(diǎn)的檢測(cè)和跟蹤并不是本發(fā)明的目的，以及多個(gè)技術(shù)可以被應(yīng)用于獲取所請(qǐng)求的類似的輸入。例如，一旦設(shè)定了交互系統(tǒng)設(shè)置，就可以應(yīng)用靜態(tài)背景學(xué)習(xí)技術(shù)來注冊(cè)所捕獲的場(chǎng)景背景，以及可以在運(yùn)行時(shí)應(yīng)用背景移除技術(shù)(諸如，形態(tài)數(shù)學(xué)深度圖像減法(morpho-mathematical depth image subtract1n))以一幀一幀地將所捕獲的場(chǎng)景中的前景中的移動(dòng)的感興趣物體從靜態(tài)背景分離?？紤]到成像傳感器裝置的深度圖像采集，可以獲取用戶的手的3D點(diǎn)云。然后可以將至少受限于群集大小的3D點(diǎn)云群集技術(shù)應(yīng)用于與手對(duì)應(yīng)的前景點(diǎn)以及鄰近的圖形，所述鄰近的圖形用于通過檢測(cè)哪些群集僅與另一個(gè)群集連接來確定端點(diǎn)。可以使用分類技術(shù)(諸如，隨機(jī)森林分類器)來高效地執(zhí)行物體或物體的部分的識(shí)別和跟蹤，如果使用例如K均值和領(lǐng)導(dǎo)-隨從聚類的混合來將分類技術(shù)應(yīng)用于經(jīng)合適分段的數(shù)據(jù)。將背景移除技術(shù)與聚類和分類技術(shù)的結(jié)合提供了一種方式來對(duì)每個(gè)已知物體的每個(gè)部分進(jìn)行檢測(cè)、跟蹤以及識(shí)別，該已知物體具有意在用于交互的已知或?qū)W習(xí)到的3D形狀。
[0064]如果交互方法符合任意類型的具有至少一個(gè)顯示屏的顯示系統(tǒng)，則可以結(jié)合多種顯示器一起使用，諸如，如圖1所示，其中，傳統(tǒng)的顯示屏110(諸如LCD屏)與交互表面120相關(guān)聯(lián)，可以使用投影裝置將GUI投影到交互表面120上?；谧藙?shì)的交互使得用戶能夠?qū)?shù)(諸如，媒體內(nèi)容)從一個(gè)顯示屏的⑶I遞送至另一個(gè)顯示屏的⑶I。更精確地，在第一⑶I上顯示過參數(shù)的位置處已經(jīng)檢測(cè)到觸摸姿勢(shì)之后，遞送命令可以被觸發(fā)，隨后將被允許并且執(zhí)行的交互的啟動(dòng)是通過檢測(cè)朝向第二GUI的方向的“抓-滑動(dòng)-釋放”的姿勢(shì)序列的執(zhí)行，內(nèi)容參數(shù)要被遞送至第二⑶I。
[0065]在本發(fā)明的優(yōu)選實(shí)施例中，由于使用了投影裝置(諸如，投影儀或微投影儀)，因此可以使用單個(gè)顯示系統(tǒng)顯示GUI，在交互期間，投影裝置向用戶提供視覺反饋。這在下面參考圖5和圖6進(jìn)行了說明和描述。
[0066]所述投影可以被操作到各種各樣的表面和材料上。本文中所使用的術(shù)語“表面”指代可以將圖像投影到其上的任意表面。合適的表面包括但不限于:屏幕、平坦表面、曲面以及透明表面。
[0067]在本發(fā)明的最簡(jiǎn)化的實(shí)施例中，GUI可以被投影到平坦的桌面或平坦的墻上，該平坦的桌面或平坦的墻可以被用作限定人-計(jì)算機(jī)交互表面的顯示支持物。然而，GUI還可以被投影到非平面的表面(諸如，具有圓形形狀的物體，例如，氣球)或者用戶的身體的一部分(諸如，前臂或手掌的內(nèi)側(cè)部分)。
[0068]在一種優(yōu)選的實(shí)施例中，同時(shí)用作顯不屏和交互表面的材料可以表露出對(duì)于波長(zhǎng)位于電磁波譜的(人類)可見部分內(nèi)的電磁輻射的實(shí)質(zhì)性的漫射屬性。實(shí)質(zhì)性的漫射屬性意味著:該材料漫射入射光的至少百分之十(10%)以使得待被顯示的視覺反饋能夠被適當(dāng)?shù)劁秩?。可以相?yīng)地調(diào)節(jié)投影系統(tǒng)光功率輸出。
[0069]優(yōu)選地，可以通過“朗伯(Lambertian)”方式，S卩，對(duì)于當(dāng)用戶位于與投影裝置相對(duì)于交互表面的相同側(cè)時(shí)的所有可能的反射角度以及對(duì)于當(dāng)用戶位于投影裝置相對(duì)于交互表面的相對(duì)側(cè)時(shí)所有可能的透射角度都是一樣的，來對(duì)屬于波長(zhǎng)范圍介于400nm至680nm之間的入射光束的電磁輻射進(jìn)行漫射。
[0070]“朗伯”反射率是一種定義理想的“無光”或漫射地反射表面的屬性。不管觀察者的視角如何，這樣的表面的視亮度(apparent brightness)都是一樣的。更具體地，該表面的亮度是等方向性的，并且發(fā)光強(qiáng)度遵循朗伯余弦定律。
[0071]在本發(fā)明的甚至更優(yōu)選的實(shí)施例中，具有大于680nm的波長(zhǎng)的(S卩，在紅外域中)入射的投影光束的電磁輻射可以被傳送，具有高透射系數(shù)比率(例如，大于20%)并且沒有實(shí)質(zhì)性的漫射，即，當(dāng)用戶位于交互表面相對(duì)于三維相機(jī)的相對(duì)側(cè)時(shí)，位于小于20度的立體角內(nèi)。當(dāng)用戶位于交互表面相對(duì)于三維相機(jī)的相同側(cè)時(shí)，優(yōu)選地使用具有低于20%的低紅外(IR)發(fā)射系數(shù)比率的材料，而表露了具有高于60度的立體角的實(shí)質(zhì)性高漫射比率以避免IR鏡面反射進(jìn)入成像系統(tǒng)，IR鏡面反射進(jìn)入成像系統(tǒng)能夠?qū)ι疃葴y(cè)量值的可靠性造成破壞。
[0072]用于使得能夠與計(jì)算機(jī)化系統(tǒng)進(jìn)行基于多模式觸摸和無觸摸人類姿勢(shì)的交互的本系統(tǒng)的特征在于:該系統(tǒng)包括單個(gè)感測(cè)系統(tǒng)。本文所使用的作為數(shù)據(jù)信息提供方的單個(gè)感測(cè)系統(tǒng)包括三維感測(cè)系統(tǒng)，例如，三維感測(cè)系統(tǒng)可以是三維(3D)成像系統(tǒng)或相機(jī)。優(yōu)選地，該基于多模式觸摸和無觸摸人類姿勢(shì)的交互的計(jì)算機(jī)化系統(tǒng)將利用3D相機(jī)，該3D相機(jī)使用場(chǎng)景的IR照明來獲得更好的深度測(cè)量。無源IR 3D相機(jī)(諸如，立體視覺或結(jié)構(gòu)化光3D相機(jī))可以適合于計(jì)算機(jī)化系統(tǒng)，然而，優(yōu)選的是基于有源照明的3D相機(jī)，諸如，深度感測(cè)或飛行時(shí)間(ToF)相機(jī)。甚至更優(yōu)選地，成像系統(tǒng)還可以被嵌入到3D相機(jī)以及具有相似的或更高的分辨率的彩色相機(jī)中。深度感測(cè)或ToF相機(jī)以及彩色相機(jī)中的每一個(gè)具有截頭錐體(frustum)，該截頭錐體至少彼此重疊，并且使得能夠?qū)φ麄€(gè)交互表面進(jìn)行捕獲，在該交互表面中，可以對(duì)至少一只手或物體的至少一部分的移動(dòng)或姿勢(shì)進(jìn)行檢測(cè)、跟蹤并且用于確定所投影的GUI的控制參數(shù)。
[0073]本文所使用的術(shù)語“截頭錐體”指代成像元件的視野，S卩，從鏡頭向表面延伸的棱錐體體積。該術(shù)語“截頭錐體”還指代來自投影儀的圖像的被投影的視圖，例如，從投影儀鏡頭到表面延伸的棱錐體。在每種情況下，如果投影是同樣準(zhǔn)直的，則表面上的區(qū)域可以由橢圓、圓或矩形來定義。
[0074]本文所使用的術(shù)語“三維相機(jī)”、“深度感測(cè)相機(jī)”或“飛行時(shí)間(ToF)相機(jī)”指代為所捕獲的場(chǎng)景中的圖像中的每個(gè)像素提供三維坐標(biāo)的攝像機(jī)或靜物照相機(jī)。兩個(gè)維度(X和Y)是由與相機(jī)的軸線垂直的X-Y平面來確定的，以及第三維度(Z)是從相機(jī)到所成像的表面的像素的距離。這樣的相機(jī)產(chǎn)生了三維點(diǎn)云，其中，在云中的每個(gè)點(diǎn)對(duì)應(yīng)于具有三維坐標(biāo)的像素。當(dāng)使用了來自現(xiàn)有技術(shù)中的校準(zhǔn)方法來應(yīng)用轉(zhuǎn)換矩陣以將數(shù)據(jù)值從一個(gè)坐標(biāo)系統(tǒng)投影到另一個(gè)坐標(biāo)系統(tǒng)時(shí)，3D點(diǎn)云或相對(duì)應(yīng)的深度圖像提供了與相機(jī)坐標(biāo)系統(tǒng)相關(guān)聯(lián)的和與交互表面(或世界)坐標(biāo)系統(tǒng)相關(guān)聯(lián)的值。
[0075]此外，本文所使用的術(shù)語“彩色相機(jī)”或“RGB相機(jī)”指代可以提供所捕獲的場(chǎng)景的彩色圖像的攝像機(jī)或靜物照相機(jī)。這樣的相機(jī)針對(duì)所捕獲的場(chǎng)景中的每個(gè)像素產(chǎn)生了二維彩色圖像。當(dāng)使用現(xiàn)有技術(shù)中的圖形配準(zhǔn)技術(shù)時(shí)，彩色相機(jī)和三維相機(jī)將每個(gè)深度測(cè)量值(如果參考相機(jī)坐標(biāo)系統(tǒng)的話)或3D點(diǎn)(如果參考世界坐標(biāo)系統(tǒng)的話)與顏色相關(guān)聯(lián)。在一種實(shí)施例中，成像系統(tǒng)至少包括用于從場(chǎng)景中提取深度信息的三維相機(jī)以及具有更高分辨率的彩色相機(jī)。相對(duì)于對(duì)同一場(chǎng)景進(jìn)行成像的深度感測(cè)單元，具有更高分辨率的彩色感測(cè)單元可以用于對(duì)用于顯示圖形用戶界面的交互表面上觸摸姿勢(shì)進(jìn)行精確地定位和確定。傳統(tǒng)的圖像配準(zhǔn)技術(shù)可以用于將每個(gè)深度感測(cè)像素與每個(gè)顏色感測(cè)像素相關(guān)聯(lián)，高分辨率的彩色感測(cè)單元被用于對(duì)從較低分辨率深度感測(cè)相機(jī)所獲得的原始X-Y位置進(jìn)行提煉以在也具有高分辨率的顯示表面上提供更精確的X-Y位置。
[0076]現(xiàn)在將針對(duì)圖1至圖6對(duì)本發(fā)明進(jìn)行更詳細(xì)的描述，圖1至圖6與包括本發(fā)明的保護(hù)范圍的具體實(shí)施例有關(guān)。
[0077]本發(fā)明的方法包括:對(duì)在觸摸表面上相對(duì)于預(yù)定交互表面的觸摸姿勢(shì)的執(zhí)行進(jìn)行檢測(cè)。該方法還包括如下步驟:利用待被顯示的圖形用戶界面和被使能用于與之交互的控制命令在情境上預(yù)先確定交互區(qū)域。在預(yù)備的步驟中，對(duì)交互表面進(jìn)行檢測(cè)，并且對(duì)交互表面的位置、形狀以及拓?fù)浣Y(jié)構(gòu)中的至少一個(gè)，即表面的建模，進(jìn)行配準(zhǔn)。
[0078]根據(jù)用于操作該方法的系統(tǒng)，例如，當(dāng)交互表面是固定的(S卩，不移動(dòng))并且具有已知的形狀，諸如，平板、桌子或者表面時(shí)，可以在基于多模式姿勢(shì)的交互系統(tǒng)的啟動(dòng)時(shí)，執(zhí)行一次對(duì)交互表面的檢測(cè)，可以手動(dòng)地或自動(dòng)地執(zhí)行檢測(cè)過程。當(dāng)交互表面能夠移動(dòng)并且具有可變的形狀時(shí)，例如，當(dāng)交互表面是用戶的前臂時(shí)，必須自動(dòng)地實(shí)時(shí)執(zhí)行該檢測(cè)。
[0079]在第一實(shí)施例中，其中，在該系統(tǒng)中檢測(cè)是通過手動(dòng)執(zhí)行的并且靜態(tài)平面被設(shè)置在空間中使得該靜態(tài)平面位于成像系統(tǒng)的截頭錐體內(nèi)，在第一步驟中，交互系統(tǒng)的用戶使用位于表面的頂部的簡(jiǎn)單的白紙片，該白紙片的尺寸被限定為交互表面的尺寸。該白紙片對(duì)來自有源IR深度感測(cè)相機(jī)(例如，ToF三維相機(jī))的IR照明進(jìn)行反射。然而，如果在沒有白紙片的情況下，表面的IR反射屬性足夠強(qiáng)，即，為入射光的至少20%，則白紙片并非強(qiáng)制性的。
[0080]在第二步驟中，使用感測(cè)系統(tǒng)對(duì)所指定的交互表面與感測(cè)系統(tǒng)之間的距離進(jìn)行測(cè)量。所獲取的深度數(shù)據(jù)可以用于第三步驟，在第三步驟中，使用計(jì)算機(jī)視覺方法來確定所獲取的3D數(shù)據(jù)集合、3D點(diǎn)云或深度映射內(nèi)的平面?？梢允褂闷矫鏅z測(cè)方法，諸如，傳統(tǒng)的平面擬合算法(例如，3D最小二乘平面、隨機(jī)抽樣一致性算法(Ransac)或者任何其他基于線性代數(shù)的方法)。確定平面的幾何屬性所需要的輸入必須包括在交互表面的表面上分布的至少四個(gè)點(diǎn)。優(yōu)選地，如果被限制到這四個(gè)點(diǎn)，則這些點(diǎn)必須被選取為交互表面的拐角。一旦平面被確定，則可以根據(jù)每個(gè)點(diǎn)與成像系統(tǒng)的距離以及根據(jù)成像系統(tǒng)中的截頭錐體內(nèi)的任意點(diǎn)來對(duì)平面的每個(gè)點(diǎn)進(jìn)行定位。提供實(shí)時(shí)距離測(cè)量的深度測(cè)量可以用作確定被用于在后續(xù)的步驟中的姿勢(shì)識(shí)別目的的閾值的準(zhǔn)則。
[0081]類似地，可以自動(dòng)地執(zhí)行同樣的交互表面檢測(cè)和確定步驟，靜態(tài)平面被設(shè)置在系統(tǒng)的空間中使得它的表面位于成像系統(tǒng)的截頭錐體內(nèi)。如圖3所示，平坦的交互表面可以包括對(duì)于IR照明具有高度反射性的四個(gè)點(diǎn)的集合，這四個(gè)點(diǎn)代替在手動(dòng)檢測(cè)和確定步驟中的白紙片上所測(cè)量的至少四個(gè)點(diǎn)，每個(gè)點(diǎn)再次位于被限定為交互表面的區(qū)域的拐角處。
[0082]在交互表面檢測(cè)和確定步驟的另一個(gè)手動(dòng)實(shí)現(xiàn)中，對(duì)于IR照明具有高反射性的四個(gè)點(diǎn)的集合可以不在交互表面上。用戶可以使用他的手指按照順序及時(shí)地找準(zhǔn)交互表面的四個(gè)拐角。此外，成像系統(tǒng)將被操作成檢測(cè)并跟蹤特定的指尖，或者按照順序?qū)λ膫€(gè)拐角中的每個(gè)拐角在空間中的三維位置進(jìn)行配準(zhǔn)。
[0083]在任意先前所描述的實(shí)現(xiàn)中，可以在沿著與交互表面垂直的垂直方向(Z)上施加例如3mm的偏移量。這為3D成像裝置的深度測(cè)量精確問題提供了補(bǔ)償，并且確保被感測(cè)為幾乎與交互區(qū)域接觸的移動(dòng)物體(例如，在2mm的距離處)仍然能夠在可能的情況下觸發(fā)姿勢(shì)事件。
[0084]在本發(fā)明的另一實(shí)施例中，其中，已知投影儀的三維位置是相對(duì)于三維相機(jī)的位置的，例如，如果投影儀和三維相機(jī)都位于交互區(qū)域的同一側(cè)，并且被靜態(tài)地嵌入到硬件系統(tǒng)(諸如，膝上型計(jì)算機(jī)、頭盔)上，或者被嵌入到智能眼鏡中，則投影參數(shù)設(shè)置，即，焦點(diǎn)、梯度調(diào)節(jié)(keystone)、縮放以及圖形用戶界面布局尺寸可以通過提取與潛在的移動(dòng)交互表面有關(guān)的距離、拓?fù)浣Y(jié)構(gòu)和幾何信息來自動(dòng)地進(jìn)行修改，以適用于圖形用戶界面布局尺寸的渲染。這可以通過使用三角測(cè)量方法恢復(fù)幾何失真來進(jìn)行。
[0085]可以連續(xù)地對(duì)交互表面以及顯示表面進(jìn)行檢測(cè)和確定，甚至當(dāng)顯示表面隨著時(shí)間移動(dòng)時(shí)也是如此。例如，當(dāng)顯示表面是特定的物體或用戶的身體的一部分(例如，上臂或手掌的內(nèi)側(cè))時(shí)，并且如果三維相機(jī)和投影儀被安裝到頭盔上或者智能眼鏡中，則使用圖像處理方法(諸如，模式識(shí)別和分類器技術(shù))，提供對(duì)用作三維空間內(nèi)的交互表面的前臂的可靠的檢測(cè)和跟蹤。所跟蹤的前臂的位置和方位可以通過逐步地使用任何同時(shí)位置和映射算法(SLAM)來對(duì)所跟蹤的移動(dòng)物體進(jìn)行拓?fù)浣磉M(jìn)一步地確定，該拓?fù)淠Ｐ褪墙换ケ砻娴娜S表示，所述三維表示的精確位置和方位可以一幀一幀地被確定，并且可以使用簡(jiǎn)單的三維幾何計(jì)算(諸如，三角測(cè)量)來確顯示表面的任何位置。
[0086]首先參考圖1，示出了根據(jù)本發(fā)明的交互系統(tǒng)100的示意性側(cè)視圖。系統(tǒng)100包括位于表面120上的屏幕110以及與該屏幕110相關(guān)聯(lián)的成像單元130。該屏幕110可以是能夠與數(shù)據(jù)源(未示出)連接的、用于顯示圖像的任意合適的屏幕。成像單元130被設(shè)置成具有延伸至支撐表面120的截頭椎體140。
[0087]在圖1所示的實(shí)施例中，成像單元130被直接地安裝在屏幕110上。然而，應(yīng)當(dāng)理解的是，可以以任意其他合適的方式安裝成像單元130使得該成像單元130具有相同的截頭錐體，相對(duì)于屏幕，成像單元要么被嵌入要么被單獨(dú)安裝。此外，所示出的屏幕110受表面120的支撐。此外，應(yīng)當(dāng)理解的是，還可以通過其他方式來支撐屏幕。
[0088]在圖2中，示出了交互系統(tǒng)100的示意性正視圖。成像單元130包括三個(gè)獨(dú)立的成像元件150、160、170。盡管成像元件150、160、170被示出為集成到單個(gè)成像單元130中，但是應(yīng)當(dāng)理解的是，這些元件中的每個(gè)元件可以分別相對(duì)于屏幕110以及相對(duì)于表面120進(jìn)行設(shè)置，同時(shí)提供如下面所更詳細(xì)描述的相同功能。
[0089]成像元件150可以包括彩色或RGB相機(jī)，該彩色或RGB相機(jī)可以捕獲該成像元件150的截頭錐體180(由兩條劃-點(diǎn)-點(diǎn)-劃線表示)內(nèi)的場(chǎng)景的二維彩色圖像。成像元件150產(chǎn)生了用于與成像元件170的圖像進(jìn)行圖像配準(zhǔn)的圖像，成像元件150、170都位于本發(fā)明的交互系統(tǒng)內(nèi)，并且將在下面被更詳細(xì)地描述。
[0090]成像元件170可以包括深度感測(cè)或ToF相機(jī)，該深度感測(cè)或ToF相機(jī)可以捕獲該成像元件170的截頭錐體190(由兩條劃-點(diǎn)-劃線表示)內(nèi)的場(chǎng)景的三維圖像。成像元件170所產(chǎn)生的圖像經(jīng)處理后可以提供成像元件170的截頭錐體190內(nèi)的物體的三維位置信息，如下面將更詳細(xì)描述的，該三維位置信息可以用于與被投影到表面120上的圖像用戶界面(GUI)的交互。
[0091]成像元件160包括與計(jì)算機(jī)化系統(tǒng)連接的投影儀。該投影儀可以將與被提供至屏幕110的相同的圖像投影至表面120上。成像元件160將圖像投影至截頭錐體200(由兩條虛線表示)中。在一種實(shí)施例中，所投影的圖像是彩色圖像，該彩色圖像包括被顯示到表面120上的具有至少一個(gè)參數(shù)的⑶I。
[0092]如圖2所示，成像元件150的截頭錐體180、成像元件160的截頭錐體190以及成像元件170的截頭錐體200在表面120上具有重疊。
[0093]圖3示出了表面120的平面圖，其指示出成像元件150、170的截頭錐體內(nèi)的各個(gè)區(qū)域以及區(qū)域200，其中，成像元件160將圖像投影到該區(qū)域200上。如圖所示，通過圖2所示的相同類型的線描繪了每個(gè)區(qū)域的輪廓，并且每個(gè)區(qū)域包括例如矩形。自然地，截頭錐體可以是不同的，例如，橢圓形或圓形，這取決于特定的成像元件。
[0094]如圖3所示，區(qū)域210是截頭錐體180、190、200的公共區(qū)域。交互區(qū)域或區(qū)220還被示出在公共區(qū)域210內(nèi)。該交互區(qū)域或區(qū)有效地包括沿著朝向ToF成像系統(tǒng)的方向從交互表面延伸出的體積。一旦交互系統(tǒng)已經(jīng)被校準(zhǔn)，則交互區(qū)220內(nèi)的任意物體的移動(dòng)都可以用于控制屏幕上的圖像。
[0095]在本發(fā)明的一種實(shí)施例中，其中，平面表面(諸如，桌面)被用作交互表面，交互區(qū)220的校準(zhǔn)是通過對(duì)與公共區(qū)域內(nèi)的表面上的矩形的拐角相對(duì)應(yīng)的四個(gè)點(diǎn)220A、220B、220C、220D的子集進(jìn)行限定來實(shí)現(xiàn)的。校準(zhǔn)過程可以是預(yù)備步驟，其中，只有當(dāng)用戶按照順序?qū)⒅辽僖恢皇值闹辽僖徊糠?例如，手指)放置在每個(gè)拐角以限定表面120上的交互區(qū)域時(shí)，用戶才可以執(zhí)行該預(yù)備步驟，其中，圖形用戶界面(GUI)通過成像元件或投影儀160被投影到所述交互表面上。在校準(zhǔn)過程中，按照順序針對(duì)四個(gè)點(diǎn)中的每一點(diǎn)記錄手指在三維空間中的位置，并且通過幾何計(jì)算將一個(gè)平面確定為由四個(gè)點(diǎn)所限定的表面。任意位置都屬于所確定的表面，即，這些位置具有與該表面相同的高度，并且，在表面的限制內(nèi)的橫坐標(biāo)和縱坐標(biāo)是形成交互表面以及其相關(guān)聯(lián)的交互區(qū)域的點(diǎn)。
[0096]在本發(fā)明的另一實(shí)施例中，其中，平面(諸如，桌面)被用作交互表面，交互區(qū)220的校準(zhǔn)可以在啟動(dòng)時(shí)根據(jù)自動(dòng)過程來實(shí)現(xiàn)。該自動(dòng)過程可以包括:使用模式識(shí)別技術(shù)來檢測(cè)先前粘在交互表面上的四張貼紙的模式以在物理上確定交互表面的界限。模式識(shí)別可以包括使用這四張貼紙的下列項(xiàng)中的至少一項(xiàng):形狀、顏色以及紋理。一旦利用每個(gè)成像系統(tǒng)檢測(cè)到這些貼紙，則所述校準(zhǔn)包括將來自每個(gè)成像系統(tǒng)的位置數(shù)據(jù)變換成另一個(gè)成像系統(tǒng)的位置數(shù)據(jù)。例如，來自彩色相機(jī)的橫軸X數(shù)據(jù)和縱軸Y數(shù)據(jù)可以通過使用常規(guī)圖像配準(zhǔn)變換模型(諸如，簡(jiǎn)單線性變換或優(yōu)選地為薄板或曲面樣條函數(shù)變換)被投影到三維相機(jī)坐標(biāo)系中。
[0097]彩色相機(jī)、3D相機(jī)以及投影儀的X-Y位置相對(duì)于彼此被配準(zhǔn)使得來自這些坐標(biāo)系中任意坐標(biāo)系的參數(shù)的任意X-Y位置可以與深度信息相關(guān)聯(lián)。將參數(shù)的X-Y 二維(2D)坐標(biāo)與第三坐標(biāo)(第三坐標(biāo)與深度信息相關(guān))相關(guān)聯(lián)形成了 3D坐標(biāo)。因此，該校準(zhǔn)，相對(duì)于形成交互區(qū)域220的一部分的所確定的交互表面上的任意位置，使得來自成像系統(tǒng)130的每個(gè)參數(shù)能夠與空間中的三維位置相關(guān)聯(lián)并且與顏色相關(guān)聯(lián)。
[0098]如上所述，在本發(fā)明的一種實(shí)施例中，GUI可以包括至少一部分，在該至少一部分上，物體相對(duì)于該至少一部分沿著與表面120的平面垂直的方向的移動(dòng)可以控制諸如音頻音量控制的參數(shù)。在圖4中，音量控制的實(shí)現(xiàn)的示例被示出并且將在下面更加詳細(xì)地被描述。
[0099]交互區(qū)220內(nèi)的物體的識(shí)別是通過使用成像元件170，即，深度感測(cè)或ToF相機(jī)來確定的。首先對(duì)三維點(diǎn)云進(jìn)行處理以識(shí)別出物體，然后一幀一幀地跟蹤物體的移動(dòng)。跟蹤物體提供了用于控制GUI的交互;物體240遠(yuǎn)離于表面120且沿著與該表面120垂直的方向的移動(dòng)被跟蹤，從而為音量控制器提供控制信號(hào)。
[0100]更精確地，GUI的一部分230，即，與⑶I參數(shù)的位置對(duì)應(yīng)的交互區(qū)域，可以被認(rèn)為是控制器，并且，當(dāng)物體240(諸如，手指或手)被放置成與該部分230上方的表面接觸并且沿著遠(yuǎn)離于表面120的方向移動(dòng)時(shí)，控制器被操作成改變與所投影的圖像相關(guān)聯(lián)的音量的級(jí)別，其中，GUI按照預(yù)定方向被投影到表面120上。在由0%表示的位置處，音量為O或者被關(guān)閉。當(dāng)物體240從0%位置移動(dòng)至距離部分230的第一預(yù)定距離的時(shí)候，則音量增大至最大音量的25%。當(dāng)物體240移動(dòng)至距離部分230的第二預(yù)定距離的時(shí)候，則音量增大至最大音量的50%。當(dāng)物體240移動(dòng)至距離部分230的第三預(yù)定距離的時(shí)候，則音量增大至最大音量。自然地，盡管在圖4中僅通過示例的方式示出了三個(gè)級(jí)別，但是應(yīng)當(dāng)理解的是，可以根據(jù)距離于表面的其他預(yù)定距離來實(shí)現(xiàn)任意合適數(shù)量的級(jí)別。
[0101]盡管可以描述物體沿著垂直于表面的方向上的移動(dòng)，但是應(yīng)當(dāng)理解的是，相對(duì)于表面的任意其他移動(dòng)也可以被用來控制GUI，例如，當(dāng)考慮到用戶的手時(shí)，可以根據(jù)一組至少三個(gè)興趣點(diǎn)(可以是拇指尖、食指尖以及手腕的中間點(diǎn))的位置的變化來檢測(cè)動(dòng)態(tài)移動(dòng)，諸如，旋轉(zhuǎn)。興趣點(diǎn)的檢測(cè)和跟蹤可以根據(jù)多種方法來執(zhí)行，諸如，對(duì)手或任意其他合適的肢體檢測(cè)的遮蔽進(jìn)行的主成分分析(principal component analysis)。
[0102]在圖5中，本發(fā)明的交互系統(tǒng)的實(shí)施例包括后部投影顯示器，該后部投影顯示器用于使用投影儀160來漫射圖形用戶界面的顏色。交互表面120用于結(jié)合三維姿勢(shì)交互來在第一所跟蹤的手240a的情境上預(yù)定的觸摸姿勢(shì)交互區(qū)域230a處進(jìn)行觸摸姿勢(shì)交互，該三維姿勢(shì)交互是根據(jù)第二所跟蹤的手240b所確定的并且發(fā)生在預(yù)定尺寸的交互體積中，交互體積在第二在情境上確定的交互區(qū)域230b上沿著交互表面120的法線延伸，所述跟蹤使用前置深度感測(cè)相機(jī)170來實(shí)現(xiàn)，感測(cè)相機(jī)170位于交互表面120頂部并且相對(duì)于交互表面120在投影儀的相對(duì)側(cè)上。
[0103]在圖5所示的實(shí)施例中，交互表面必須表明針對(duì)光的特定屬性。該表面必須漫射電磁波譜中的可見部分中的波長(zhǎng)，使得所投影的圖形用戶界面可以被用戶看到，但是對(duì)于紅外線是透明的以避免在使用有源IR深度感測(cè)相機(jī)(諸如，ToF 3D相機(jī))時(shí)由于來自制成交互表面的材料的鏡面反射或高反射對(duì)IR傳感器造成多深度測(cè)量的飽和和干擾。
[0104]這樣的表面的這樣的光子屬性很難獲得，并且僅能提供幾個(gè)方案。例如，這些方案包括但不限于:使用玻璃窗口或聚碳酸酯窗口，這些窗口具有可以將涂層施加至其上的表面。該涂層可以由硫化鋅(ZnS)顏料顆?；蛄蛩徜\(ZnS04)顆粒制成，硫化鋅(ZnS)顏料顆?；蛄蛩徜\(ZnSO4)顆粒占用于施加涂層的物質(zhì)的1 %的比例。硫酸鋇(BaSO4)顏料也可以是適合的，硫酸鋇(BaSO4)顏料被認(rèn)為是最好的可見波譜的光漫射器，并且，因?yàn)楫?dāng)硫酸鋇(BaS04)顏料在被用作以朗伯(Lambertian)方式均勾地反射電磁波譜中的可見光部分中的波長(zhǎng)的物質(zhì)時(shí)，硫酸鋇(BaSO4)顏料不會(huì)產(chǎn)生任何色差。
[0105]—種實(shí)施例將包括被涂覆至玻璃或聚碳酸酯窗口上的涂層，將使用該物質(zhì)來噴印該窗口以形成涂覆到窗口上的涂層物質(zhì)的網(wǎng)格?？梢愿鶕?jù)所預(yù)期的顏色漫射屬性來調(diào)整窗口上所涂覆的小區(qū)域之間的距離(P i tch)以及所涂覆的小區(qū)域的尺寸和布置。
[0106]在圖6中，本發(fā)明的交互系統(tǒng)的另一實(shí)施例包括后部投影顯示器，該后部投影顯示器用于使用投影儀160來漫射圖形用戶界面的顏色。所確定的交互表面120被用于在情境上預(yù)先確定的觸摸姿勢(shì)交互區(qū)域230處進(jìn)行觸摸姿勢(shì)交互。第一被跟蹤的手240c執(zhí)行單個(gè)觸摸姿勢(shì)交互，同時(shí)第二被跟蹤的手240d正在執(zhí)行向兩個(gè)不同的交互區(qū)域230上執(zhí)行多重觸摸姿勢(shì)交互，所述跟蹤是使用深度感測(cè)相機(jī)170來執(zhí)行的，該深度感測(cè)相機(jī)170具有位于交互表面120的頂部的截頭錐體140。
[0107]更適合于使能魯棒且強(qiáng)大的多重觸摸姿勢(shì)的優(yōu)選實(shí)施例應(yīng)當(dāng)是具有以下成像感測(cè)裝置，該成像感測(cè)裝置位于用戶相對(duì)于交互表面的一側(cè)的相對(duì)側(cè)上。這樣的實(shí)施例可以提供一種系統(tǒng)，其中，用戶的手的主要交互部位(用于觸摸姿勢(shì))，即，指尖，絕不會(huì)被掩蓋。
[0108]盡管已經(jīng)參考具體實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解的是，本發(fā)明并不被限定于這些實(shí)施例，并且可以按照其他方式來實(shí)現(xiàn)本發(fā)明。
【主權(quán)項(xiàng)】
1.一種用于與計(jì)算機(jī)化系統(tǒng)進(jìn)行多模式觸摸和無觸摸交互的方法，其中，所述多模式觸摸和無觸摸交互是使用來自單個(gè)感測(cè)系統(tǒng)的數(shù)據(jù)信息來執(zhí)行的，所述單個(gè)感測(cè)系統(tǒng)是三維成像裝置，所述方法包括如下步驟: a)對(duì)所述三維成像裝置的截頭錐體內(nèi)的至少一個(gè)物體的至少一部分進(jìn)行檢測(cè)和跟蹤； b)通過確定正被跟蹤的所述至少一個(gè)物體的所述至少一部分是否正在執(zhí)行下列項(xiàng)的至少一項(xiàng)來啟動(dòng)所述交互:在交互表面的預(yù)定交互區(qū)域上的預(yù)定觸摸姿勢(shì)，以及在與預(yù)定交互區(qū)域垂直的向量軸線上的預(yù)定交互體積中的預(yù)定無觸摸三維姿勢(shì)； c)通過對(duì)所述至少一個(gè)物體的所述至少一部分在所述三維成像裝置的截頭錐體內(nèi)所執(zhí)行的所述姿勢(shì)進(jìn)行檢測(cè)和識(shí)別來與所述計(jì)算機(jī)化系統(tǒng)進(jìn)行交互，所檢測(cè)和識(shí)別的姿勢(shì)為下列項(xiàng)中的至少一項(xiàng):在所述交互表面的預(yù)定交互區(qū)域上的預(yù)定觸摸姿勢(shì)，以及在與預(yù)定交互區(qū)域垂直的向量軸線上的預(yù)定交互體積中的預(yù)定無觸摸三維姿勢(shì)。2.根據(jù)權(quán)利要求1所述的方法，其中，對(duì)所述交互表面的預(yù)定交互區(qū)域上的觸摸姿勢(shì)的執(zhí)行進(jìn)行檢測(cè)對(duì)應(yīng)于檢測(cè)正被跟蹤的所述至少一個(gè)物體的所述至少一部分何時(shí)在三維空間中與所述交互表面上的預(yù)定交互區(qū)域位于空間中的同一位置。3.根據(jù)權(quán)利要I或2所述的方法，其中，檢測(cè)是否已經(jīng)執(zhí)行觸摸姿勢(shì)是確定在三維空間中正被跟蹤的所述至少一個(gè)物體的所述至少一部分距所述交互表面的距離何時(shí)低于預(yù)定閾值。4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，當(dāng)正被跟蹤的所述至少一個(gè)物體的至少兩個(gè)部分在空間中的位置到達(dá)屬于所述交互表面的至少兩個(gè)預(yù)定交互區(qū)域時(shí)，則確定執(zhí)行了多重觸摸姿勢(shì)。5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，還包括如下步驟:根據(jù)觸摸姿勢(shì)和多重觸摸姿勢(shì)的至少之一的多個(gè)相繼位置和持續(xù)時(shí)間來確定觸摸姿勢(shì)交互控制。6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，還包括如下步驟:根據(jù)由正被跟蹤的所述至少一個(gè)物體的所述至少一部分所執(zhí)行的所述三維姿勢(shì)來確定三維無觸摸姿勢(shì)交互控制。7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其中，步驟c)還包括如下步驟:當(dāng)預(yù)定事件被觸發(fā)時(shí)結(jié)束所述交互，所述預(yù)定事件包括下列項(xiàng)中的至少一項(xiàng):過了預(yù)定的時(shí)間段、識(shí)別所述交互表面上的預(yù)定觸摸姿勢(shì)、識(shí)別所述三維成像裝置的所述截頭錐體中的預(yù)定三維無觸摸姿勢(shì)，以及所述至少一個(gè)物體從所述三維空間中的預(yù)定體積中離開。8.根據(jù)權(quán)利要求7所述的方法，其中，步驟b)包括使用所述至少一個(gè)物體的第一被檢測(cè)和跟蹤的部分，以及步驟c)包括使用所述至少一個(gè)物體的第二被檢測(cè)和跟蹤的部分。9.根據(jù)權(quán)利要求7所述的方法，其中，通過使用一個(gè)物體的單個(gè)被檢測(cè)和跟蹤的部分來按照順序控制步驟b)和C)。10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法，還包括:將預(yù)定視覺反饋顯示在所述交互表面的至少一部分上的圖形用戶界面上，所述視覺反饋與下列項(xiàng)中的至少一項(xiàng)有關(guān):所述至少一個(gè)物體的所述至少一部分的位置，以及正被跟蹤的所述至少一個(gè)物體的所述至少一部分的被識(shí)別出的姿勢(shì)。11.根據(jù)權(quán)利要求10所述的方法，其中，將與所述圖形用戶界面的交互顯示在所述交互表面上還包括操作如下步驟: d)使用所述三維成像裝置來確定所述交互表面的拓?fù)浣Y(jié)構(gòu)以及在空間中的位置； e)根據(jù)所述交互表面的拓?fù)浣Y(jié)構(gòu)和尺寸來確定所述交互表面上的預(yù)定的一組交互區(qū)域；以及 f)將至少一個(gè)觸摸姿勢(shì)交互控制與每個(gè)所述交互區(qū)域相關(guān)聯(lián)。12.根據(jù)權(quán)利要求11所述的方法，還包括如下步驟: g)將至少一個(gè)交互體積與所述預(yù)定的一組交互區(qū)域相關(guān)聯(lián)，其中，每個(gè)交互體積位于所述交互區(qū)域的上方并且沿著所述交互區(qū)域的法向量；以及 h)將預(yù)定的三維無觸摸姿勢(shì)交互控制與每個(gè)交互體積相關(guān)聯(lián)。13.根據(jù)權(quán)利要求11或12所述的方法，其中，所述交互表面為下列項(xiàng)中的至少一項(xiàng):用戶的身體的一個(gè)部位、寫字臺(tái)、墻、紅外半透明表面以及物體，所述圖形用戶界面被投影到所述交互表面上。14.一種用于與圖形用戶界面交互的系統(tǒng)，所述系統(tǒng)包括: 顯示系統(tǒng)，其用于將所述圖形用戶界面顯示到交互表面上； 三維成像系統(tǒng)，其被操作用于至少對(duì)在所述三維成像系統(tǒng)的截頭錐體內(nèi)的、用戶的至少一只手的至少一部分進(jìn)行跟蹤；以及 計(jì)算機(jī)系統(tǒng)，其被配置成:對(duì)所述顯示系統(tǒng)和所述三維成像裝置進(jìn)行控制，以及使用來自所述三維成像裝置的數(shù)據(jù)輸出來確定基于姿勢(shì)的交互控制； 所述系統(tǒng)的特征在于，用于顯示所述圖形用戶界面的顯示表面包括所述三維成像裝置的所述截頭錐體的至少一部分并且所述顯示表面大體上與所述成像系統(tǒng)對(duì)準(zhǔn)。15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述顯示系統(tǒng)包括作為所述三維成像裝置的投影儀元件，所述投影儀元件位于所述交互表面的同一側(cè)上，所述圖形用戶界面被顯示到所述交互表面上。16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述三維成像系統(tǒng)和所述投影儀元件分別位于所述交互表面的相對(duì)側(cè)，所述圖形用戶界面被投影到所述交互表面上，所述交互表面可操作用于:對(duì)波長(zhǎng)范圍大體上與電磁波譜的可見光部分相對(duì)應(yīng)的輻射進(jìn)行漫射，以及以有限的漫射對(duì)波長(zhǎng)范圍大體上與所述電磁波譜中的紅外部分相對(duì)應(yīng)的輻射進(jìn)行透射，所述交互表面的透射系數(shù)高于50%，并且所述有限的漫射低于20度。17.根據(jù)權(quán)利要求14至16中任一項(xiàng)所述的系統(tǒng)，所述系統(tǒng)可操作用于執(zhí)行根據(jù)權(quán)利要求I至13中任一項(xiàng)所述的方法。18.—種非暫時(shí)性計(jì)算機(jī)介質(zhì)，所述非暫時(shí)性計(jì)算機(jī)介質(zhì)可操作用于存儲(chǔ)可執(zhí)行指令，所述可執(zhí)行指令用于執(zhí)行根據(jù)權(quán)利要求1至13中任一項(xiàng)所述的方法。
【文檔編號(hào)】G06F3/01GK106030495SQ201580003683
【公開日】2016年10月12日
【申請(qǐng)日】2015年1月30日
【發(fā)明人】阿歷山大·卡莫維徹, J·托洛, 勞倫特·季格斯
【申請(qǐng)人】索弗特凱耐提克軟件公司