專利名稱：使用增強(qiáng)型交互系統(tǒng)操縱虛擬對象的制作方法
技術(shù)領(lǐng)域：
本申請一般地涉及運(yùn)動檢測，并且至少一個特定結(jié)構(gòu)涉及在用戶表示和 顯示器上的對象之間提供交互。
背景技術(shù)：
相機(jī)已被用來捕獲對象的圖像。已經(jīng)開發(fā)了這樣的技術(shù)分析存在于一 個或更多個圖像內(nèi)的對象的一個或更多個圖像，以便檢測該對象的位置。例 如，已經(jīng)使用光流(optical flow)，通過分析在時間上連續(xù)拍攝的對象的多個 圖像來檢測所述對象的運(yùn)動。

發(fā)明內(nèi)容
根據(jù)一個一般性實(shí)施方案，接收至少對象的第一圖像，并在所述第一圖 像中檢測對象?；谠诘谝粓D像中檢測對象，產(chǎn)生對象數(shù)據(jù)地圖。該對象數(shù) 據(jù)地圖針對第一圖像中的每一個像素，指示在每一個像素處是否4全測到對象。 產(chǎn)生運(yùn)動歷史。該運(yùn)動歷史針對所述對象數(shù)據(jù)地圖中所包括的每一個像素， 指示自從在每一個像素處檢測到對象時起的時間的指示?；谒鲞\(yùn)動歷史 控制應(yīng)用。
實(shí)施方案可以包括下列特征中的一個或更多個。例如，運(yùn)動歷史可以針 對所述對象數(shù)據(jù)地圖中所包括的每一個像素，指示與自從在每一個像素處檢 測到對象時起的時間相對應(yīng)的不透明度(opacity )值。該運(yùn)動歷史還可以針 對對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到對 象時起的幀數(shù)。該運(yùn)動歷史還可以針對所述對象數(shù)據(jù)地圖中所包括的每一個 像素，指示自從在每一個像素處檢測到對象時起的時間的度量。
6在某些實(shí)施方案中，所述運(yùn)動歷史可以通過訪問先前的運(yùn)動歷史并基于 對象數(shù)據(jù)地圖更新先前的運(yùn)動歷史來產(chǎn)生?？梢曰谠谒龅谝粓D像之前接 收到的對象的圖像產(chǎn)生先前的運(yùn)動歷史?？梢酝ㄟ^針對第一圖像中已經(jīng)檢測 到對象的每一個像素，將對自從檢測到所述對象時起的時間的指示設(shè)置為指
示在該像素處最新近^r測到對象的時間的指示，并且針對第一圖像中未檢測 到對象的每一個像素，使對自從檢測到對象時起的時間的指示老化，基于所
述對象數(shù)據(jù)地圖更新所述先前的運(yùn)動歷史。
可以通過更新對自從^r測到對象時起的時間的指示，以指示自從檢測到 對象時起的時間已經(jīng)增加，使對自從檢測到對象時起的時間的指示老化。也 可以通過針對第一圖像中未檢測到對象的每一個像素，確定先前的運(yùn)動歷史 中對自從檢測到對象時起的時間的指示是否大于閾值時間量，使對自從檢測 到對象時起的時間的指示老化。在確定了在先前的運(yùn)動歷史中對自從;險測到 對象時起的時間的指示不大于閾值時間量的條件下，可以更新對自從檢測到 對象時起的時間的指示，以便指示自從;險測到對象時起的時間已經(jīng)增加。在 確定了在先前的運(yùn)動歷史中對自從^r測到所述對象時起的時間的指示大于所 述閾值時間量的條件下，可以維持對自從檢測到所述對象時起的時間的指示。
在某些實(shí)施方案中，可以過濾運(yùn)動歷史，并且基于過濾后的運(yùn)動歷史控 制應(yīng)用?？梢酝ㄟ^針對每一個像素基于每一個像素的值和與所述每一個像素 相鄰的像素的值計算每一個像素的值來過濾運(yùn)動歷史。
在某些例子中，可以接收至少用戶的第一圖像?？梢酝ㄟ^在與所述應(yīng)用 相關(guān)聯(lián)的顯示圖像中顯示對象的表示來控制所述應(yīng)用。可以控制在與所述應(yīng) 用相關(guān)聯(lián)的顯示圖像中對象的表示的移動。在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中，可以將對象的表示顯示為粒子系統(tǒng)的一個或更多個粒子?？梢酝ㄟ^基于 所述運(yùn)動歷史產(chǎn)生表示對象的運(yùn)動的輪廓(outline contour),并基于所產(chǎn)生的 輪廓，確定所述顯示圖像中的對象的表示是否觸摸了由所述應(yīng)用在所述顯示 圖像中繪制的虛擬對象，來在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示所述對象 的表示。
在某些實(shí)施方案中，可以在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示對象的 表示，以使得與所述運(yùn)動歷史中對時間的指示指示最新近檢測到對象的像素 相對應(yīng)的像素被以比與運(yùn)動歷史中對時間的指示指示在較久遠(yuǎn)的過去檢測到 對象的像素相對應(yīng)的像素更強(qiáng)的不透明度顯示。例如，可以顯示所述對象的表示，以使得與所述運(yùn)動歷史中的像素相對應(yīng)的像素被以基于與該像素相關(guān)聯(lián)的時間的指示的不透明度顯示。還可以顯示所述對象的表示，以〗吏得第一像素的不透明度顯得強(qiáng)于第二像素的不透明度，其中，所述第一像素所關(guān)聯(lián)的時間的指示指示，與所述第二像素相比，在所述第一像素在更新近的時刻檢測到對象。
在進(jìn)一步的例子中，可以通過基于運(yùn)動歷史產(chǎn)生alpha通道，并基于alpha通道在顯示圖像中顯示對象的表示，來在與應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示對象的表示。可以顯示效果圖像。所述效果圖像可以是基于動畫或粒子系統(tǒng)的動畫效果圖像，并且該動畫效果圖像可以表示水波紋、血漿、火或煙其中之一。也可以顯示對象的摳像圖像；
此外，可以基于運(yùn)動歷史確定顯示圖像中的對象的表示是否觸摸了顯示圖像中由應(yīng)用繪制的虛擬對象，并且可以基于確定結(jié)果控制應(yīng)用。虛擬對象可以是下列中的至少一個按鈕、球，或者粒子系統(tǒng)中的粒子?？梢曰谶\(yùn)動歷史計算虛擬對象的速度，并且可以基于運(yùn)動歷史控制應(yīng)用，并且可以基于所確定的虛擬對象的速度控制應(yīng)用?？梢酝ㄟ^基于與運(yùn)動歷史相關(guān)聯(lián)的光流數(shù)據(jù)計算虛擬對象的運(yùn)動速度和方向來計算速度，并且可以基于所確定的虛擬對象的運(yùn)動的速度和方向控制應(yīng)用。虛擬對象可以是粒子系統(tǒng)的粒子。
而且，可以接收包括第一圖像的對象的多個圖像，并且基于所述多個圖像確定對象的運(yùn)動。可以通過將第一圖像與背景圖像比較，在第一圖像中檢測對象。
根據(jù)另一個一般性實(shí)施方案，接收至少用戶的第一圖像和用戶的第二圖像的圖像。所述用戶的第二圖像在所述用戶的第一圖像之后捕獲，并且所述第二圖像被與所述第 一 圖像比較。基于所述第二圖像與第 一 圖像的比較檢測圖像中的運(yùn)動，并且基于在所述圖像中檢測到的運(yùn)動確定所述第二圖像中的用戶的位置。響應(yīng)于確定所述第二圖像中的用戶的位置，產(chǎn)生用戶數(shù)據(jù)地圖。用戶數(shù)據(jù)地圖對應(yīng)于第二圖像中所包括的像素，并且指示第二圖像中的用戶的位置。訪問所述用戶的先前運(yùn)動歷史。所述先前的運(yùn)動歷史針對用戶數(shù)據(jù)地圖中所包括的每一個像素，指示對自從在與該像素相對應(yīng)的位置處檢測到用戶時起的時間的指示，并且基于在第二圖像之前接收到的用戶的圖像產(chǎn)生所述先前的運(yùn)動歷史。通過針對所述先前的運(yùn)動歷史中所包括的每一個像素增加對自從在與該像素相對應(yīng)的位置處檢測到所述用戶時起的時間的指示，使所述先前的運(yùn)動歷史老化。通過針對用戶數(shù)據(jù)地圖中所包括的斥企測到用戶的位置的每一個像素，將老化的運(yùn)動歷史中的相應(yīng)像素設(shè)置為指示當(dāng)前在該像素檢測到用戶的位置的時間指示，來基于用戶數(shù)據(jù)地圖更新所述老化的運(yùn)動歷史?；诟碌倪\(yùn)動歷史在與應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示用戶的表示，以使與顯示圖像中的用戶表示相關(guān)聯(lián)的像素的不透明度基于對自從在與更新
的運(yùn)動歷史中所包括的像素相對應(yīng)的位置處^r測到用戶時起的時間的指示。
根據(jù)另一個一般性實(shí)施方案， 一種系統(tǒng)包括相機(jī)，被配置成捕獲至少對象的第一圖像，以及處理器，被配置成從所述相機(jī)接收所述對象的第一圖像。所述處理器還被配置成在所述第一圖像中檢測所述對象，并響應(yīng)于在所述第一圖像中檢測對象，產(chǎn)生對象數(shù)據(jù)地圖。所述對象數(shù)據(jù)地圖可以針對第一圖像中的每一個像素，指示在每一個像素處是否檢測到所述對象。所述處理器還被配置成產(chǎn)生運(yùn)動歷史，并基于所述運(yùn)動歷史控制應(yīng)用。該運(yùn)動歷史針對所述對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到對象時起的時間的指示。所述系統(tǒng)還包括顯示器，被配置成繪制與所述應(yīng)用相關(guān)聯(lián)的顯示圖像。
根據(jù)另一個一般性實(shí)施方案， 一種計算機(jī)可讀存儲介質(zhì)，其上具體實(shí)施計算機(jī)程序。所述計算機(jī)程序包括指令用于接收至少對象的第一圖像，并在所述第一圖像中檢測所述對象。所述計算機(jī)程序還包括指令用于響應(yīng)于在所述第一圖像中檢測對象，產(chǎn)生對象數(shù)據(jù)地圖。所述對象數(shù)據(jù)地圖針對所述第一圖像中的每一個像素，指示在每一個像素處是否檢測到所述對象。所述計算機(jī)程序還包括指令用于產(chǎn)生運(yùn)動歷史并基于所述運(yùn)動歷史控制應(yīng)用。所述運(yùn)動歷史針對對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到所述對象時起的時間的指示。
根據(jù)另 一個一般性實(shí)施方案， 一種系統(tǒng)包括用于接收至少對象的第 一 圖像的裝置和用于在所述第一圖像中檢測對象的裝置。所述系統(tǒng)還包括用于響應(yīng)于在所述第一圖像中檢測對象，產(chǎn)生對象數(shù)據(jù)地圖的裝置。所述對象數(shù)據(jù)地圖針對所述第一圖像中的每一個像素，指示在每一個像素處是否檢測到所述對象。所述系統(tǒng)還包括用于產(chǎn)生運(yùn)動歷史的裝置和用于基于所述運(yùn)動歷史控制應(yīng)用的裝置。所述運(yùn)動歷史針對對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到所述對象時起的時間的指示。
已提供了這個簡要概述以實(shí)現(xiàn)快速理解本文檔所描述的各種概念和實(shí)施
9方案。通過結(jié)合附圖參考下列的詳細(xì)描述，能夠獲得更為全面的理解。應(yīng)當(dāng)理解，可以采用其他的實(shí)施方案并且可以做出變化。


圖l是框圖，示出了被配置成基于運(yùn)動歷史控制應(yīng)用的系統(tǒng)的例子。
圖2是流程圖，示出了基于運(yùn)動歷史控制應(yīng)用的過程的例子。
圖3到圖5是流程圖，示出了用于在圖像中檢測對象的過程的例子。
圖6是流程圖，示出了用于產(chǎn)生動態(tài)背景模型的過程的例子。
圖7是流程圖，示出了用于在圖像中檢測對象的過程的例子。
圖8到圖ll是流程圖，示出了用于產(chǎn)生運(yùn)動歷史的過程的例子。
圖12到圖22示出了在應(yīng)用中操縱虛擬對泉的例子。
圖23示出了映射過程的例子。
圖24到圖28示出了被配置成基于運(yùn)動歷史控制應(yīng)用的交互系統(tǒng)的例子。圖29是流程圖，示出了用于基于運(yùn)動歷史控制應(yīng)用的過程的例子。圖30根據(jù)另一個一般性實(shí)施方案示出了示范性系統(tǒng)的外觀。圖31是框圖，示出了圖30中所示的設(shè)備的內(nèi)部架構(gòu)。相同的參考數(shù)字通篇表示對應(yīng)的部分。
具體實(shí)施例方式
圖1示出了被配置成基于運(yùn)動歷史控制應(yīng)用的系統(tǒng)100的例子。系統(tǒng)100包括相機(jī)IIO、顯示設(shè)備120、照明器130和計算設(shè)備140。
相機(jī)IIO是捕獲圖像的設(shè)備。例如，相機(jī)IIO可以是數(shù)碼相機(jī)、數(shù)字?jǐn)z影機(jī)，或者任何其他類型的捕獲圖像的設(shè)備。相機(jī)110可以包括一個或更多個相機(jī)。相機(jī)110可以捕獲與應(yīng)用交互的對象的圖像。例如，相機(jī)110可以捕獲在相機(jī)110的視場內(nèi)通過肢體與應(yīng)用交互的用戶或人的圖像。
顯示設(shè)備120繪制(render)視覺顯示圖像。例如，顯示設(shè)備120可以是監(jiān)視器、電視機(jī)、液晶顯示器(LCD)、等離子體顯示設(shè)備、具有投影屏幕的投影儀、自動立體顯示器、陰極射線管(CRT)顯示器、數(shù)字光處理(DLP)顯示器，或者任何其他類型的被配置成繪制視覺顯示圖像的顯示設(shè)備。顯示設(shè)備120可以包括一個或更多個顯示設(shè)備。顯示設(shè)備120可以顯示與應(yīng)用相關(guān)聯(lián)的圖〗象。例如，顯示i殳備120可以繪制應(yīng)用產(chǎn)生的顯示圖i^象。應(yīng)用產(chǎn)生的顯示圖像可以包括基于由相機(jī)110捕獲的圖像通過肢體與應(yīng)用交互的用戶或人的表示。
照明器130是提供光源的設(shè)備。例如，照明器130可以是閃光燈設(shè)備、白熾燈泡、熒光燈泡、發(fā)光二極管(LED)、卣素光源、氖光源、氙光源、紅外光源，或者任何其他類型的被配置成向相機(jī)110成像的對象照明的設(shè)備。照明器130可以包括一個或更多個照明器。照明器130可以產(chǎn)生光，用以輔助捕獲由相機(jī)110正在捕獲的對象的高質(zhì)量圖像。在某些實(shí)施方案中，系統(tǒng)100可以不包括照明器130,或者照明器130可以^5l在特定情況下^f吏用。例如，照明器130可以僅在夜間或者黑暗的房間中使用。
計算設(shè)備140通過有線或者無線途徑電連接到相機(jī)110、顯示^L備120和照明器130，并且可以控制系統(tǒng)100的操作。在某些例子中，計算設(shè)備140可以包括被配置成執(zhí)行應(yīng)用的處理器或其他控制電路。在這些例子中，計算設(shè)備140可以接收由相機(jī)110捕獲的圖像，并處理所接收的圖像以檢測圖像內(nèi)對象(例如，用戶)的位置。所檢測的圖像內(nèi)對象的位置可以被追蹤，并用來控制應(yīng)用的執(zhí)行。例如，由計算設(shè)備140執(zhí)行的應(yīng)用可以基于所追蹤的圖像內(nèi)對象的位置產(chǎn)生包括對象的表示的顯示圖像，或者可以基于所追蹤的圖像內(nèi)對象的位置產(chǎn)生用戶輸入命令或者其他類型的用戶交互。
計算設(shè)備140也可以控制相機(jī)110、顯示設(shè)備120和照明器130的操作和設(shè)置。計算設(shè)備140可以是通用計算機(jī)(例如桌上型個人計算機(jī)、工作站或者膝上型計算機(jī))、服務(wù)器、游戲設(shè)備或者控制臺，或者任何其他類型的包括被配置成執(zhí)行指令的處理器或其他控制電路的電子設(shè)備。
圖2是流程圖，示出了基于運(yùn)動歷史控制應(yīng)用的過程200的例子。為了方便，引用針對圖1描述的具體部件執(zhí)行過程200。但是，類似的方法可以被用于其他的實(shí)施方案，在這些實(shí)施方案中，使用不同的部件來限定系統(tǒng)的結(jié)構(gòu)，或者，在這些實(shí)施方案中，功能以不同的方式分布在部件之間。
計算設(shè)備140接收至少對象的第一圖像(210)。例如，計算設(shè)備140接收由相機(jī)110捕獲的一個或更多個圖像。在這個例子中，由相機(jī)110捕獲的一個或更多個圖像可以是與應(yīng)用交互的對象(例如用戶或用戶操縱的對象)的圖像。應(yīng)用可以是正由計算設(shè)備140執(zhí)行的應(yīng)用，并且應(yīng)用可以產(chǎn)生供在顯示設(shè)備120上顯示的顯示圖像。對象(例如用戶或用戶操縱的對象)可以基于在顯示設(shè)備120上顯示的圖像與應(yīng)用交互。
ii計算設(shè)備140在第一圖像中檢測對象(220 )。例如，計算設(shè)備140可以 處理或者分析第一圖像以檢測第一圖像中包括的對象的位置。在這個例子中， 計算設(shè)備140可以使用任何類型的技術(shù)來在單個圖像內(nèi)或者在對象的多個圖 像的集合內(nèi)檢測對象。計算設(shè)備140可以在在時間上連續(xù)捕獲的一系列圖像 中才企測并追蹤對象的運(yùn)動。
計算設(shè)備140可以使用各種技術(shù)來在第一圖像中檢測對象(220 )。例如， 針對圖3到圖7描述的過程代表了計算設(shè)備140可以用來在第一圖像中檢測 對象(220)的過程。
圖3示出了用于在圖像中檢測對象的過程300的例子。用于在圖像中檢 測對象的過程300可被用于在執(zhí)行過程200時在第一圖像中檢測對象(220 )。
過程300包括訪問第一圖像集合(301 )和訪問第二圖像集合(302)。例 如，計算設(shè)備140訪問包括由相機(jī)IIO捕獲的一個或更多個圖像的第一圖像 集合，并且訪問包括由相機(jī)110捕獲的一個或更多個圖像的第二圖像集合。 第一圖像集合和第二圖像集合可以表示連續(xù)的已處理的相機(jī)圖像，或者可以 表示還未被處理的連續(xù)的相機(jī)圖像集合。
在某些實(shí)施方案中，第一圖像集合和第二圖像集合中包括的圖像可以被 多緩沖(multi-buffered )。在多緩沖的圖像中，圖像可以包括多個圖像緩沖器。 圖像緩沖器被以循環(huán)方式填充。例如，在具有兩個圖像緩沖器的多緩沖的圖 像中， 一個圖像被寫入第一圖像緩沖器，則下一個圖像被寫入第二圖像緩沖 器。
接下來的圖像(例如第三圖像)被寫入第一圖像緩沖器，替換第一圖像 緩沖器的內(nèi)容。下一個圖像(例如第四圖像)被寫入第二圖像緩沖器，替換 第二圖像緩沖器的內(nèi)容。對附加的圖像重復(fù)這個過程，以使第一和第二圖像 緩沖器包含最新近的圖像和次新近的圖像。這個過程可以改善系統(tǒng)效率，因 為圖像數(shù)據(jù)沒有被不必要地復(fù)制。在相機(jī)110包括產(chǎn)生多個圖像的多個相機(jī) 的實(shí)施方案中，第一圖像集合可以包括來自多個相機(jī)的圖像，并且第二圖像 集合可以包括來自多個相機(jī)的圖像。
計算設(shè)備140比較第一圖像集合和第二圖像集合(303 )。例如，計算設(shè) 備140可以比較第一圖像集合和第二圖像集合以產(chǎn)生用來檢測在圖像集合中 捕獲的對象的運(yùn)動的值。在這個例子中，計算設(shè)備可以計算第一圖像集合中 所包括的一個或更多個圖像與第二圖像集合中所包括的一個或更多個圖像之間的差(例如絕對差)。所計算的差可被計算設(shè)備140用來檢測貫穿第一圖像 集合和第二圖像集合中所包括的圖像的對象的運(yùn)動。
圖像集合可以包含多個通道(channel),如同在彩色圖像的情況中那樣。 像素值可以包括多個通道的數(shù)據(jù)值?？梢葬槍γ恳粋€通道進(jìn)行差計算(例如 絕對差)，并將結(jié)果合并。圖像集合可以包含來自多個相機(jī)的數(shù)據(jù)。像素值可 以包括來自多個相機(jī)的數(shù)據(jù)值?？梢葬槍γ恳粋€相機(jī)的像素數(shù)據(jù)進(jìn)行差計算 (例如絕對差)，并將結(jié)果合并。圖像集合可以包含來自多個相機(jī)曝光水平的 數(shù)據(jù)。像素值可以包括來自多個曝光水平的數(shù)據(jù)值?？梢葬槍γ恳粋€曝光水 平的像素數(shù)據(jù)進(jìn)行差計算(例如絕對差)，并將結(jié)果合并。
合并結(jié)果的過程包括計算各個部分的和。替代的合并結(jié)果的過程包括選 擇各個部分中的最大值。另一個合并結(jié)果的過程包括選擇從圖像集合的預(yù)定 部分(例如通道、圖像或曝光)產(chǎn)生的結(jié)果。
計算設(shè)備140使用過濾操作(304 )處理差結(jié)果。過濾操作可以是平均內(nèi) 核(averaging kernel )。在過濾才喿作的一個實(shí)施方案中，對于每一個4象素，可 以計算以該像素為中心的鄰近范圍內(nèi)的所有像素的和。平均內(nèi)核可以被用于 模糊圖像。在這個實(shí)施方案中，該操作可以具有下列效果。像素的差可以被 其鄰近像素加強(qiáng)或者削弱。可以抑制具有大的差值的孤立像素。而且，可以 增強(qiáng)具有相對較小差值的像素群，并且可以平滑群的形狀。
計算設(shè)備140使用閾值操作處理過濾后的差結(jié)果(305 )。閾值操作可以 將過濾后的差結(jié)果的每一個像素與閾值進(jìn)行比較。如果像素的值大于或等于 閾值，則該像素被分類為具有運(yùn)動，否則該像素被分類為不具有運(yùn)動。
在執(zhí)行閾值操作(305 )時，計算設(shè)備140可以基于與用來捕獲第一圓像 集合和第二圖像集合中所包括的圖像的相機(jī)110相關(guān)聯(lián)的相機(jī)控制數(shù)據(jù)調(diào)整 閾值。相機(jī)控制數(shù)據(jù)可能導(dǎo)致相機(jī)以如下方式捕獲圖像(例如當(dāng)相機(jī)曝光時 間或增益水平被調(diào)整時)在被捕獲的場景中不存在差異的情況下，連續(xù)的相 機(jī)圖像可能包含差異。閾值操作可以即時調(diào)整閾值，將其增加為在被捕獲的 場景中不存在差異的情況下在連續(xù)的圖像中所預(yù)期的最大差。這具有減少在 調(diào)整相機(jī)時的錯誤運(yùn)動檢測的效果。
計算設(shè)備140將在執(zhí)行閾值操作時獲得的像素分類作為運(yùn)動數(shù)據(jù)來提供 (306 )。該運(yùn)動數(shù)據(jù)可以被用于控制應(yīng)用。例如，在運(yùn)動數(shù)據(jù)表示對象(例 如用戶)運(yùn)動的實(shí)施方案中，可以將對象(例如用戶)的表示作為應(yīng)用的一部分顯示在顯示設(shè)備120上。
除了針對圖3描述的過程以外，計算設(shè)備140還可以使用其他技術(shù)在第 一圖像中檢測對象(220)。例如，針對圖4到圖7描述的過程代表了計算設(shè) 備140可以用來在第一圖像中檢測對象(220)的其他過程。
在檢測圖像內(nèi)的對象的其他的實(shí)施方案中，計算光流。 一般來說，光流 算法識別圖像內(nèi)的運(yùn)動(例如圖像位置改變的對象)，并構(gòu)造矢量，該矢量代 表在圖像中識別出的運(yùn)動的速度(例如方向/取向和幅值(magnitude ))。因此， 光流算法不僅確定在圖像內(nèi)存在運(yùn)動，而且確定圖像內(nèi)運(yùn)動的方向和幅值。 除了方向和幅值以外，光流實(shí)施方案還可以報告對每一個位置的置信度 (confidence)的度量。
圖4示出了用于檢測圖像中的對象的過程400的另一個例子。用于檢測 圖像中的對象的過程400可被用于在執(zhí)行過程200時在第一圖像中檢測對象 (220 )。
過程400包括訪問第一圖像集合(401 )和訪問第二圖像集合(402)。訪 問第一圖像集合(401)和訪問第二圖像集合(402)可以被以類似于上面針 對圖3描述的訪問第一圖像集合(301)和訪問第二圖像集合(302)的方式 執(zhí)行。第一圖像集合和第二圖像集合可以表示連續(xù)的已處理的相機(jī)圖像，或 者可以表示還未被處理的連續(xù)的相機(jī)圖像集合。在某些實(shí)施方案中，第一圖 像集合和第二圖像集合中所包括的圖像可以如上面針對圖3描述的那樣被多 緩沖。
在光流過程的一個實(shí)施方案中，計算設(shè)備140把圖像劃分為基準(zhǔn)塊 (403 )。例如，計算設(shè)備140把圖像劃分為一個或更多個像素的塊。在某些 實(shí)施方案中，計算設(shè)備140把每一個被訪問的圖像劃分為塊。基準(zhǔn)塊可以是 大小相等的，或者也可以具有不同的大小。例如，基準(zhǔn)塊可以基于基準(zhǔn)塊中 所包括的內(nèi)容的獨(dú)特性(uniqueness)而具有不同的大小。
對于每一個基準(zhǔn)塊，計算設(shè)備140識別在其他圖像中具有相似外觀的塊， 例如，最相似的塊(404)。塊的相似性可以被計算為塊內(nèi)像素的像素值差的 和，其中，像素值差是基準(zhǔn)塊中的像素與相似塊中的對應(yīng)像素的像素值之間
的差。所述差可以被計算為從相似像素值減去基準(zhǔn)像素值的絕對值?？梢赃x 擇具有最小的像素值差的和的塊作為最相似的塊。
在某些實(shí)施方案中，計算設(shè)備140將圖像中的基準(zhǔn)塊與另一個圖像中的
14塊進(jìn)行比較。計算設(shè)備140可以首先比較其他圖像中與基準(zhǔn)塊在所述圖像中
的位置相距預(yù)定義距離內(nèi)的位置處的塊。如果未找到唯一匹配，則計算設(shè)備
140可以動態(tài)地改變塊的大小。
計算設(shè)備基于每一個相似塊相對于其對應(yīng)基準(zhǔn)塊的相對位置，確定描述 運(yùn)動的方向和幅值的向量(405 )。運(yùn)動向量可以被計算為基準(zhǔn)塊與最相似匹 配塊之間位置的差，以使該向量指示在獲取基準(zhǔn)圖像與獲取另 一圖像之間的 時間內(nèi)圖像中的對象移動的方向和距離。計算設(shè)備還可以確定置信度度量。 置信度度量可以被計算為像素差的和，以使該置信度指示塊內(nèi)圖像的外觀的 相似性。
光流計算的其他實(shí)施方案可被用來檢測相機(jī)110所捕獲的圖像內(nèi)對象的 運(yùn)動。圖像集合可以包含多個通道，如同在彩色圖像的情況中那樣。像素值 可以包括多個通道的數(shù)據(jù)值?？梢葬槍γ恳粋€通道進(jìn)行差計算(例如絕對差)， 并將結(jié)果合并。圖像集合可以包含來自多個相機(jī)的數(shù)據(jù)。像素值可以包括來 自多個相機(jī)的數(shù)據(jù)值?？梢葬槍γ恳粋€相機(jī)的像素數(shù)據(jù)進(jìn)行差計算(例如絕 對差)，并將結(jié)果合并。圖像集合可以包含來自多個相機(jī)曝光水平的數(shù)據(jù)。像 素值可以包括來自多個曝光水平的數(shù)據(jù)值?？梢葬槍γ恳粋€曝光水平的像素 數(shù)據(jù)進(jìn)行差計算(例如絕對差)，并且將結(jié)果合并。合并結(jié)果的過程包括計算 各個部分的和。替代的合并結(jié)果的過程包括選擇各個部分中的最大值。另一 個合并結(jié)果的過程包括選擇從圖像集合的預(yù)定部分(例如通道、圖像或曝光) 產(chǎn)生的結(jié)果。
計算設(shè)備140可以基于閾值確定運(yùn)動的存在(406)。例如，第一閾值可 以^皮應(yīng)用于運(yùn)動的幅值，以便如果位移的幅值大于或等于第一閾.值，則將塊 分類為運(yùn)動。第二閾值可以被應(yīng)用于塊匹配的相似性，以便如果位移的幅值 大于或等于第一閾值，并且塊匹配的質(zhì)量比第二閾值更相似，則將塊分類為 運(yùn)動。
計算設(shè)備140提供像素運(yùn)動的分類、方向和幅值作為運(yùn)動數(shù)據(jù)(407)。 運(yùn)動數(shù)據(jù)可以包括用戶的運(yùn)動，并且可以;陂用來控制應(yīng)用。
除了上面針對圖3和圖4描述的過程以外，計算設(shè)備140還可以使用其 他技術(shù)來在第一圖像中檢測對象(220)。例如，針對圖5描述的過程代表了 計算設(shè)備140可以用來在第一圖像中檢測對象(220)的另一過程。
圖5示出了用于檢測圖像中的對象的另一個過程500的例子。用于檢測圖像中的對象的過程500可被用于在執(zhí)行過程200時在第一圖像中檢測對象 (220 )。過程500使用相機(jī)110所捕獲的圖像的背景模型來檢測相機(jī)110所 捕獲的圖像內(nèi)的對象(例如用戶)。
過程500包括訪問圖像集合(501 )。訪問圖像集合(501 )可以被以類似 于上面針對圖3和圖4描述的訪問第一圖像集合(301 )和訪問第一圖像集合 (401 )的方式執(zhí)行。
計算設(shè)備140產(chǎn)生背景模型(502)。在某些實(shí)施方案中，計算設(shè)備140 可以基于在相機(jī)110的視場內(nèi)只存在靜態(tài)或永久性背景元素的時間內(nèi)由相機(jī) 110拍攝的圖像產(chǎn)生背景模型。在這些實(shí)施方案中，背景模型可以被配置成 使得可以基于圖像與背景模型之間的比較來檢測圖像中的對象。在某些例子 中，背景模型可以是靜態(tài)的，并且可以基于在為了基于運(yùn)動歷史控制應(yīng)用而 拍攝的圖像之前拍攝的圖像而產(chǎn)生。在其他的例子中，背景模型可以是動態(tài) 的，并且可以基于在為了基于運(yùn)動歷史控制應(yīng)用而拍攝的圖像之前和/或與之 同時拍攝的圖像而產(chǎn)生。例如，以下針對圖6描述用于產(chǎn)生動態(tài)背景模型的 過程。
計算設(shè)備140將所訪問的圖像集合與背景模型進(jìn)行比較以識別圖像中的 差(503 )。差指示對象或用戶的存在。所述差操作可以針對每一個像素計算 像素值的絕對差。
在某些實(shí)施方案中，圖像集合可以包含多個通道，如同在彩色圖像的情 況中那樣。像素值可以包括多個通道的數(shù)據(jù)值?？梢葬槍γ恳粋€通道進(jìn)行差 計算(例如絕對差)，并將結(jié)果合并。圖像集合可以包含來自多個相機(jī)的數(shù)據(jù)。 像素值可以包括來自多個相機(jī)的數(shù)據(jù)值?？梢葬槍γ恳粋€相機(jī)的像素數(shù)據(jù)進(jìn) 行差計算(例如絕對差)，并將結(jié)果合并。圖像集合可以包含來自多個相機(jī)曝 光水平的數(shù)據(jù)。像素值可以包括來自多個曝光水平的數(shù)據(jù)值?？梢允轻槍γ?一個曝光水平的像素數(shù)據(jù)進(jìn)行差計算(例如絕對差)，并且將結(jié)果合并。
合并結(jié)果的過程包括計算各個部分的和。替代的合并結(jié)果的過程包括選 擇各個部分中的最大值。另一個合并結(jié)果的過程包括選擇從圖像集合的預(yù)定 部分(例如通道、圖像或曝光)產(chǎn)生的結(jié)果。
計算設(shè)備140可以使用過濾操作(504)處理差結(jié)果。過濾操作(504) 可以被以類似于上面針對圖3所描述的過濾操作(304)的方式執(zhí)行。
計算設(shè)備140使用閾值操作處理過濾后的差結(jié)果(505 )。閾值操作(505 )可以被以類似于上面針對圖3所描述的閾值操作(305 )的方式執(zhí)行。
計算設(shè)備140提供在執(zhí)行閾值操作時獲得的像素分類作為對象數(shù)據(jù)(例 如用戶數(shù)據(jù))(506)。該對象數(shù)據(jù)可以在控制應(yīng)用時使用。例如，在對象數(shù)據(jù) 表示對象(例如用戶)的實(shí)施方案中，可以將對象(例如用戶)的表示作為 應(yīng)用的一部分顯示在顯示i殳備120上。
圖6示出了用于產(chǎn)生動態(tài)背景模型的過程600的例子。用于產(chǎn)生動態(tài)背 景模型的過程600可以用于在執(zhí)行過程500時產(chǎn)生背景模型(502)。由過程 600產(chǎn)生的背景模型可以是動態(tài)的，以使其根據(jù)場景中的變化自動更新。
計算設(shè)備140訪問圖像集合(602)。被訪問的圖像集合可以是上面針對 圖5所描述的步驟501中訪問的圖^f象集合。
計算設(shè)備140使用采樣過程采樣被訪問的圖像集合(603 )。除了背景以 外，采樣還可以包括用戶。在某些實(shí)施方案中，針對祐:訪問的圖像集合中所 包含的圖像的每一個像素，采樣單個像素值。在其他的實(shí)施方案中，針對被 訪問的圖像集合中所包含的圖像的每一個像素，采樣一系列值(a range of values )。所述一 系列值可以表示在較短時間段內(nèi)針對該像素觀測到值的范圍 (range)。
通過在背景模型中包括這個范圍的影響，可以對信號噪聲建模。通過將 多個幀的數(shù)據(jù)用于采樣可以觀測到這個范圍，但是，如果在幀被采樣時用戶 處于運(yùn)動中，則將多個幀的數(shù)據(jù)用于采樣會增加可能被用戶遮擋的那部分背 景。要使用的最佳幀數(shù)取決于預(yù)期的用戶運(yùn)動。盡管可以使用最佳幀數(shù)，但 是取決于特定配置，也可以使用不同于最佳幀數(shù)的幀數(shù)。例如，可以使用小 于最佳幀數(shù)的幀數(shù)，以便降低與檢測用戶相關(guān)聯(lián)的處理功率。在一個實(shí)施方 案中，對十幀進(jìn)行采樣，因?yàn)槭畮阋杂^測所述范圍的大部分，而又不會使 用戶的運(yùn)動遮擋背景過多的部分。
圖像集合可以包含多個通道，如在彩色圖像的情況中那樣。采樣像素值 可以包括多個通道的數(shù)據(jù)值。圖像集合可以包含來自多個相機(jī)的數(shù)據(jù)。采樣 像素值可以包括來自多個相機(jī)的數(shù)據(jù)值。圖像集合可以包含來自多個相機(jī)曝 光水平的數(shù)據(jù)。像素值可以包括來自多個曝光水平的數(shù)據(jù)值。
計算設(shè)備140將從采樣過程(603 )獲得的采樣添加到緩沖器604，緩沖 器604具有存儲多個(例如n個)采樣的存儲位置，其中，當(dāng)添加新的采樣 時，替代在歷史上最老的采樣。因此，所述歷史包含針對每一個像素的n個
17采樣值。采樣值可以包括代表圖像的多個彩色通道或者來自多個相機(jī)的數(shù)據(jù)
的多個數(shù)據(jù)值。如果采樣過程(603 )產(chǎn)生了一個范圍，則采樣值還可以包括
所述范圍的表示。如等式(l)所表示的那樣，緩沖器中所表示的時間跨度J取
決于獲取新的采樣并將其添加到所述歷史的速率r:
<formula>formula see original document page 18</formula>(1)
在這個動態(tài)背景模型的實(shí)施方案中，計算設(shè)備140執(zhí)行選擇過程(605 ), 以便針對每一個像素選擇一個值，該值被確定為代表該像素所表示的位置處 的背景。選擇代表背景的值的一個過程是選擇每一個像素的n個采樣的中值 (median value )。對于任何像素，緩沖器中n個采樣值的數(shù)量可以表示用戶。 可以選擇持續(xù)時間(duration) d，以使在任意時間跨度d內(nèi)，用戶不可能在 累積的持續(xù)時間d/2或更長時間中遮擋背景的任何一個像素。因此，對于任 何像素，大部分采樣值將代表背景，并且因此，采樣值的中值將是代表背景 的值。
緩沖器604中的多個采樣可以被初始化為第一組;故產(chǎn)生的采樣。或者， 緩沖器604中的多個采樣可以被初始化為預(yù)定義的數(shù)據(jù)。預(yù)定義的數(shù)據(jù)可以 表示在已知場景中不存在用戶時獲取的采樣。
計算設(shè)備140提供動態(tài)產(chǎn)生的背景模型(606)。例如，可以在過程500 中使用動態(tài)產(chǎn)生的背景模型來檢測圖像集合內(nèi)的對象。
除了上面針對圖3到圖6描述的過程以外，計算設(shè)備140也可以使用其 他技術(shù)來檢測第一圖像中的對象(220)。例如，針對圖7描述的過程代表了 計算設(shè)備140可以用來檢測第一圖像中的對象(220)的另一個過程。
圖7示出了用于檢測圖像中的對象的過程700的另一個例子。在執(zhí)行過 程200時，用于檢測圖像中的對象的過程700可被用于在第一圖像中檢測對 象(220 )。
計算設(shè)備140訪問圖像集合(701 )。訪問圖像集合(701 )可以被以類似 于上面針對圖5描述的訪問圖像集合(501)的方式4丸行。
計算設(shè)備140使用閾值操作處理被訪問的圖像集合中包括的圖像(702 )。 例如，閾值操作可以將圖像的每一個像素與閾值比較。如果像素的值大于或 等于閾值，則該像素被分類為具有運(yùn)動，否則該像素被分類為不具有運(yùn)動。
計算設(shè)備140基于閾值操作產(chǎn)生對象數(shù)據(jù)(例如用戶數(shù)據(jù))(703 )。計算 設(shè)備提供像素的分類作為對象數(shù)據(jù)。在某些實(shí)施方案中，計算設(shè)備140可以給相機(jī)110提供相機(jī)控制數(shù)據(jù)， 以便控制相機(jī)捕獲圖像所使用的參數(shù)。計算設(shè)備140可以控制相機(jī)110的參 數(shù)，以提高檢測由相機(jī)捕獲的圖像中的對象或者用戶的能力。例如，相機(jī)控 制數(shù)據(jù)影響包括曝光時間、增益和光圏的相機(jī)參數(shù)。在某些實(shí)施方案中，計 算設(shè)備140計算相機(jī)圖像集合或其一部分內(nèi)的平均像素值。如果平均像素密 度低于閾值，則計算設(shè)備140產(chǎn)生導(dǎo)致相機(jī)提高其靈敏度(例如圖像亮度) 的相機(jī)控制數(shù)據(jù)。如果平均像素密度高于閾值，則計算設(shè)備140產(chǎn)生導(dǎo)致相 機(jī)降低其靈敏度(例如圖像亮度)的相機(jī)控制數(shù)據(jù)。
可以以微細(xì)(fine)步長調(diào)整相機(jī)，以便使靈敏度(例如圖像亮度)的變 化足夠小，不至于破壞在圖像集合內(nèi)檢測對象的正確操作。在采用過程300 來;f企測圖像內(nèi)的對象的實(shí)施方案中，步長大小應(yīng)該足夠微細(xì)，以使亮度上的 有效變化小于閾值過程(305 )的閾值。類似地，在采用其他過程(例如過程 400、 500或700)來檢測圖像內(nèi)的對象的實(shí)施方案中，步長大小可以足夠微 細(xì)，以使亮度上的有效變化小于閾值過程的閾值(例如在參考數(shù)字406、 505 或702中使用的閾值)。在替代的實(shí)施方案中，包括曝光時間、增益和光圈的 相機(jī)參數(shù)可以由內(nèi)建于相機(jī)110中的自動曝光過程確定。在這種情況下，相 機(jī)控制數(shù)據(jù)可以由相機(jī)110產(chǎn)生。
相機(jī)控制數(shù)據(jù)可以被用于檢測圖像內(nèi)的對象的過程。例如，在采用過程 300的實(shí)施方案中，閾值過程(305 )的閾值可以被暫時提高，以使閾值大于 相機(jī)控制數(shù)據(jù)導(dǎo)致的像素值的差。類似地，在采用其他過程(例如過程400、 500或700)的實(shí)施方案中，閾值過程的閾值(例如在參考數(shù)字406、 505或 702中使用的閾值)可以被暫時提高，以使閾值大于相機(jī)控制數(shù)據(jù)導(dǎo)致的像 素值的差。
增益水平可能影響相機(jī)圖像集合的信噪比。在采用過程300的實(shí)施方案 中，閾值過程(305 )的閾值可以被自動調(diào)整，以使闞值大于在相機(jī)的增益水 平預(yù)期的噪聲水平。類似地，在采用其他過程(例如過程400、 500或700) 的實(shí)施方案中，閾值過程的閾值(例如在參考數(shù)字406、 505或702中使用的 閾值)可以被自動調(diào)整，以使閾值大于在相機(jī)的增益水平預(yù)期的噪聲水平。
相機(jī)控制數(shù)據(jù)也可以用來檢測環(huán)境光水平。在某些實(shí)施方案中，計算設(shè) 備140或者相機(jī)110將(例如由相機(jī)控制數(shù)據(jù)指示的)相機(jī)曝光時間與閾值 時間進(jìn)行比較，并將(例如由相機(jī)控制數(shù)據(jù)指示的)相機(jī)增益水平與閾值增
19益水平進(jìn)行比較。如果曝光時間比閾值時間短，或者增益低于閾值增益水平， 則可以觸發(fā)日光處理模式。如果相機(jī)控制數(shù)據(jù)指示相機(jī)正使用比閾值時間長 的曝光時間，或者比閾值水平高的增益，則可以觸發(fā)使用夜間處理模式。相
機(jī)控制數(shù)據(jù)還可以包括控制照明器130的操作的照明器130控制數(shù)據(jù)。
在由陽光照明的場景中，對比度可能非常高。在這些條件下，某些攝影 機(jī)可能不能在陰影區(qū)檢測到足夠的對比度來檢測圖像中的對象(例如用戶)。
在某些實(shí)施方案中，相機(jī)110可以包括高動態(tài)范圍相機(jī)。高動態(tài)范圍相機(jī)具
有高動態(tài)范圍，因此可以提供必要的對比度，以便同時在陰影和日照區(qū)域中 檢測圖像中的對象。高動態(tài)范圍相機(jī)可能具有比其他相機(jī)更高的成本，并且
對于明亮的陽光操作可能具有不足的動態(tài)范圍。相機(jī)IIO可以使用其他技術(shù) 來擴(kuò)展任何類型相機(jī)的動態(tài)范圍。
在某些實(shí)施方案中，為了擴(kuò)展相機(jī)的動態(tài)范圍，可以控制相機(jī)快速地連 續(xù)在兩個或更多個曝光時間之間交替。在這些實(shí)施方案中，第一相機(jī)圖像被 以第 一曝光持續(xù)時間捕獲，并且第二相機(jī)圖像被以第二曝光持續(xù)時間捕獲。 第一曝光持續(xù)時間較短，以使場景的日照部分在第一相機(jī)圖像中顯得具有高 對比度。場景的陰影部分在第一相機(jī)圖像中可以顯得非常暗。第二曝光持續(xù) 時間比第 一曝光持續(xù)時間長，以使場景的陰影部分在第二相機(jī)圖像中顯得具 有高對比度。場景的日照部分在第二相機(jī)圖像中可能表現(xiàn)為純白色。
在這些實(shí)施方案中，相機(jī)圖像集合和處理過的相機(jī)圖像集合包括以第一 曝光持續(xù)時間捕獲的第 一相機(jī)圖像、和以第二曝光持續(xù)時間捕獲的第二相機(jī) 圖像。檢測圖像中的對象的過程(220)既可以利用圖像集合的第一圖像也可 以利用圖像集合的第二圖像。其他過程，例如應(yīng)用控制過程和摳像(keying) 過程，可以只使用第一圖像。
在其他實(shí)施方案中，為了擴(kuò)展相機(jī)的動態(tài)范圍，相機(jī)110可以包括兩個 或更多個相機(jī)。在這些實(shí)施方案中，第一相機(jī)圖像由第一相機(jī)捕獲，并且第 二相機(jī)圖像由第二相機(jī)捕獲。第一相機(jī)使用短曝光持續(xù)時間或者其他的手段， 例如濾光透鏡，以使場景的日照部分在第一相機(jī)圖像中顯得具有高對比度。 場景的陰影部分在第一相機(jī)圖像中可以顯得非常暗。第二相機(jī)使用比第一曝 光持續(xù)時間長的曝光持續(xù)時間，或者其他手段，例如更高的增益水平，以使 場景的陰影部分在第二相機(jī)圖像中顯得具有高對比度。場景的日照部分在第 二相機(jī)圖像中可以以純白色出現(xiàn)。在這些實(shí)施方案中，相機(jī)圖像集合和處理過的相機(jī)圖像集合可以包括由第 一相機(jī)捕獲的第 一相機(jī)圖像和由第二相機(jī)捕 獲的第二相機(jī)圖像。檢測圖像中的對象的過程(220)既可以利用圖像集合的 第一圖像也可以利用圖像集合的第二圖像。其他的過程，例如應(yīng)用控制過程 和摳像過程，可以只使用第一圖像。
在進(jìn)一步的實(shí)施方案中，為了擴(kuò)展相機(jī)的動態(tài)范圍，相機(jī)110可以包括
能夠向傳感器元件集合應(yīng)用獨(dú)特的增益水平的相機(jī)。這可以包括很多彩色相 機(jī)，其中，獨(dú)特的增益水平可以被應(yīng)用到傳感器元件的紅色集合、綠色集合 和藍(lán)色集合。第一傳感器元件集合的增益水平可以被設(shè)置到低水平，并且相 機(jī)的曝光可以被設(shè)置成使得場景的日照部分在該集合的數(shù)據(jù)中顯得具有高對 比度。例如，在彩色相機(jī)中，第一集合可以是藍(lán)色傳感器元件集合，因?yàn)樗{(lán) 色元件可以比其他元件靈敏度低。第二傳感器元件集合的增益水平被設(shè)置到 較高水平，以使場景的陰影部分在第二相機(jī)圖像中顯得具有高對比度。例如
在彩色相機(jī)中，第二集合可以是綠色傳感器元件集合，因?yàn)榫G色元件可以非 常靈敏。另外的傳感器元件集合的增益水平可以被設(shè)置成獲得中間靈敏度。 在彩色相機(jī)中，可以安裝彩色濾光透鏡，其中，濾光透鏡抑制(但不完全阻 擋)綠色光，從而進(jìn)一步擴(kuò)展第一和第二傳感器元件集合之間靈敏度的差。 在這些實(shí)施方案中，相機(jī)圖像集合和處理過的相機(jī)圖像集合可以包括多個通
道的數(shù)據(jù)。檢測圖像內(nèi)的對象的過程(220)可以利用多個通道的圖像數(shù)據(jù)。 在這些實(shí)施方案中，圖像的外觀可以顯得被著色(tinted)?？梢允褂玫诙?機(jī)來獲取另一在視覺上令人滿意的圖像。其他的過程，例如應(yīng)用控制過程和 摳像過程，可以使用在視覺上令人滿意的圖像。
在微弱照明的場景中，例如在室內(nèi)或夜間操作期間遇到的那樣，亮度可 能非常低。在這些條件下，可以利用照明器130。照明器130可以提供可見 光，以使相機(jī)110所捕獲的圖像在視覺上令人滿意，并且可以向用戶顯示。 或者，照明器130可以提供相機(jī)能夠檢測的紅外光。紅外光的波長可以是850 納米，因?yàn)楹芏嘞鄼C(jī)能夠感測這個波長而用戶不能。在利用紅外照明的實(shí)施 方案中，可以使用灰階相機(jī)(grayscale camera )?？梢允褂玫诙鄼C(jī)來獲取第 二圖像，例如彩色相^^,并且其他的過程，例如應(yīng)用控制過程和摳^象過程， 可以使用第二圖像。
在某些實(shí)施方案中，照明器130可以被與相機(jī)110同步，以使照明器130 在交替的幀期間閃光。相機(jī)IIO捕獲被照明器130照明的第一圖像、以及未被照明器130照明的第二圖像。捕獲過程可以從第一圖像的像素值中減去第二圖像的對應(yīng)像素值。在處理過的相機(jī)圖像集合中可以包括作為結(jié)果的圖像。這個過程分離了被照明器130照明的圖像部分，同時有效地去除了被環(huán)境光照明的圖像部分。
照明器130可以位于顯示設(shè)備120附近。所發(fā)射的光的強(qiáng)度隨著從照明器130到被成像的對象的距離的增加而減小。在某些實(shí)施方案中，所發(fā)射的投射在背景中的人物或?qū)ο笊系墓獾牧匡@著少于所發(fā)射的投射在用戶上的光的量。例如在這些實(shí)施方案中，如圖7中所示的用于檢測圖像中的對象(例如用戶)的過程700可以足夠檢測所述用戶。在閾值過程(702)中使用的閾值可以被設(shè)置為大于嘴景人物和對象的預(yù)期像素值的值。因?yàn)檎彰髌?30對用戶的照明比對背景中的人物或者對象的照明強(qiáng)，所以作為更多照明的結(jié)果，閾值可以被設(shè)置成使得任何大于閾值的像素被假設(shè)為用戶。
照明器130可以位于上方，以使所發(fā)射的光照明用戶而不照明背景中的人物或者對象。例如在這個實(shí)施方案中，如圖7中所示的用于檢測圖像中的對象(例如用戶)的過程700可以足夠檢測所述用戶。在閾值過程(702)中使用的閾值可以被設(shè)置為大于未被照明的背景人物和對象的預(yù)期像素值的值。
再次參考圖2,計算設(shè)備140基于在第一圖像中檢測對象產(chǎn)生對象數(shù)據(jù)地圖(object data map ) ( 230 )。例如，計算設(shè)備140可以把圖像劃分為多個部分(例如像素)，并且對于圖像中的每一個部分，提供有關(guān)在圖像的那個部分中是否檢測到對象(例如用戶)的指示。在這個例子中，對象數(shù)據(jù)地圖可以包括與圖像中所包括的每一個像素相關(guān)聯(lián)的信息。例如，對象數(shù)據(jù)地圖可以包括指示在圖像中的每一個像素處是否檢測到對象(例如用戶)的信息。計算設(shè)備140可以基于上面針對圖3到圖5以及圖7描述的過程300、 400、500和/或700提供的運(yùn)動數(shù)據(jù)和/或?qū)ο髷?shù)據(jù)(例如用戶數(shù)據(jù))產(chǎn)生對象數(shù)據(jù)地圖。
計算設(shè)備140產(chǎn)生運(yùn)動歷史，運(yùn)動歷史指示自從在對象數(shù)據(jù)地圖中所包括的圖像的每一個部分檢測到對象時起的時間(240)。例如，計算設(shè)備140可以分析對象數(shù)據(jù)地圖中所包括的多個部分，并且對于對象數(shù)據(jù)地圖中的每一個部分，更新自從在圖像的該部分中檢測到對象(例如用戶)時起的時間的指示。在這個例子中，計算設(shè)備140可以基于在對象數(shù)據(jù)地圖的對應(yīng)部分中是否檢測到對象，來更新運(yùn)動歷史中所包括的信息。例如，可以更新運(yùn)動 歷史，以便對于對象數(shù)據(jù)地圖中所有檢測到對象的部分，指示在最新近的檢
測過程中檢測到對象。對于對象數(shù)據(jù)地圖中所有未^r測到對象的部分，計算
設(shè)備可以增加或維持自從在對應(yīng)部分檢測到對象時起的時間量。
在某些實(shí)施方案中，自從;險測到對象時起的時間可以具有最大值，以使 超過最大值的任何時間都不會導(dǎo)致對該部分運(yùn)動歷史的更新。運(yùn)動歷史可以 包括與圖像中所包括的每一個像素相關(guān)聯(lián)的信息。例如，運(yùn)動歷史可以包括 指示自從在圖像中的每一個像素處檢測到對象(例如用戶)時起的時間的信 息。運(yùn)動歷史可以被作為像素地圖來維護(hù)，所述像素地圖包括對自從在對象 數(shù)據(jù)地圖中所包括的每一個像素處檢測到對象(例如用戶)時起的時間的指 示。對自從檢測到對象(例如用戶)時起的時間的指示可以包括自從最后檢 測到對象時起的幀計數(shù)、指示最后檢測到用戶的時間的時間值，或者指示自 從最后片全測到用戶時起的時間的時間值。
圖8示出了用于產(chǎn)生運(yùn)動歷史的過程800的例子。在執(zhí)行過程200時， 用于產(chǎn)生運(yùn)動歷史的過程800可以用于產(chǎn)生運(yùn)動歷史(240)。在某些實(shí)施方 案中，對于每一個像素，所產(chǎn)生的運(yùn)動歷史包括自從在該位置檢測到對象(例 如用戶)時起的幀凄t的表示。
計算設(shè)備140使先前計算的運(yùn)動歷史老化(age ) ( 802 ),以產(chǎn)生被老化 的(aged)運(yùn)動歷史(803 )。例如，計算設(shè)備140增大先前計算的運(yùn)動歷史 中所包括的與每一個像素相關(guān)聯(lián)的幀計數(shù)，以產(chǎn)生被老化的運(yùn)動歷史，在被 老化的運(yùn)動歷史中，每一個像素的幀計數(shù)指示該位置被對象或者用戶占據(jù)的 最后時間在過去又遠(yuǎn)離了 一巾貞。
計算設(shè)備140把對象數(shù)據(jù)地圖(例如用戶數(shù)據(jù))中所包括的數(shù)據(jù)添加到 被老化的運(yùn)動歷史(804)。例如，對于已被分類為對象(例如用戶)的一部 分的對象數(shù)據(jù)地圖的像素(例如用戶數(shù)據(jù))，在運(yùn)動歷史中的對應(yīng)像素被設(shè)置 成具有指示所述像素當(dāng)前被對象(例如用戶)占據(jù)的幀計數(shù)。在這個例子中， 計算設(shè)備140可以把被確定為當(dāng)前被對象(例如用戶)占據(jù)的像素設(shè)置為零 值，并且對于被確定為當(dāng)前未被對象(例如用戶)占據(jù)的像素維持老化的幀 計數(shù)。產(chǎn)生的結(jié)果作為當(dāng)前運(yùn)動歷史，覆蓋先前計算的運(yùn)動歷史。
圖9示出了用于產(chǎn)生運(yùn)動歷史的過程900的例子。在執(zhí)行過程200時， 用于產(chǎn)生運(yùn)動歷史的過程900可以用于產(chǎn)生運(yùn)動歷史(240)。在某些實(shí)施方
23案中，對于每一個像素，所產(chǎn)生的運(yùn)動歷史包括自從在該位置檢測到對象(例 如用戶)時起的幀凄t的表示。
計算設(shè)備140訪問先前計算的中間運(yùn)動歷史(905 )，并使先前計算的中 間運(yùn)動歷史老化(902)以產(chǎn)生老化的運(yùn)動歷史(903 )。例如，計算設(shè)備140 增大先前計算的中間運(yùn)動歷史中所包括的與每一個像素相關(guān)聯(lián)的幀計數(shù)，以 產(chǎn)生老化的運(yùn)動歷史，其中，每一個像素的幀計數(shù)指示該位置被對象或者用 戶占據(jù)的最后時間在過去又遠(yuǎn)離了一幀。
計算設(shè)備140把對象數(shù)據(jù)地圖(例如用戶數(shù)據(jù))中所包括的數(shù)據(jù)添加到 被老化的運(yùn)動歷史(904)。例如，對于已被分類為對象(例如用戶)的一部 分的對象數(shù)據(jù)地圖(例如用戶數(shù)據(jù))的像素，在運(yùn)動歷史中的對應(yīng)像素被設(shè) 置成具有指示該像素當(dāng)前被對象(例如用戶)占據(jù)的幀計數(shù)。在這個例子中， 計算設(shè)備140可以把被確定為當(dāng)前被對象(例如用戶)占據(jù)的像素設(shè)置為零 值，并且對于被確定為未被對象(例如用戶)占據(jù)的像素維持被老化的幀計 數(shù)。產(chǎn)生的結(jié)果作為當(dāng)前中間運(yùn)動歷史，覆蓋先前計算的中間運(yùn)動歷史。
計算設(shè)備140過濾當(dāng)前中間運(yùn)動歷史以產(chǎn)生運(yùn)動歷史(906)。過濾過程 (906)可以包括平均內(nèi)核。在這個例子中，對于每一個像素，對以該像素為 中心的鄰近范圍內(nèi)的所有像素進(jìn)行求和計算。平均內(nèi)核通常用于使圖像模糊。 在這個例子中，總體形狀可以更光滑，邊緣可以顯得更柔和，并且階躍可以 更不明顯。
圖IO示出了用于產(chǎn)生運(yùn)動歷史的過程IOOO的例子。用于產(chǎn)生運(yùn)動歷史 的過程1000可以在4丸行過程200時用于產(chǎn)生運(yùn)動歷史(240)。在某些實(shí)施方 案中，對于每一個像素，所產(chǎn)生的運(yùn)動歷史包括在該位置中檢測到用戶的時 間的表示。
計算設(shè)備140把對象數(shù)據(jù)地圖(例如用戶數(shù)據(jù))中所包括的數(shù)據(jù)添加到 先前的運(yùn)動歷史(1012)。例如，對于已被分類為對象(例如用戶)的一部分 的對象數(shù)據(jù)地圖(例如用戶數(shù)據(jù))的像素，在運(yùn)動歷史中的對應(yīng)像素被設(shè)置 成具有當(dāng)前時間的表示。對于與未被分類為對象(例如用戶)的一部分的對 象數(shù)據(jù)地圖(例如用戶數(shù)據(jù))中的像素相對應(yīng)的先前運(yùn)動歷史的像素，時間 數(shù)據(jù)被維持，以反映在該位置檢測到對象(例如用戶)的最后時間。產(chǎn)生的 結(jié)果作為當(dāng)前運(yùn)動歷史。
圖11示出了用于產(chǎn)生運(yùn)動歷史的過程1100的例子。在執(zhí)行過程 時，用于產(chǎn)生運(yùn)動歷史的過程IIOO可以用于產(chǎn)生運(yùn)動歷史(240)。在某些實(shí)施方 案中，對于每一個像素，所產(chǎn)生的運(yùn)動歷史包括在該位置中檢測到用戶的時 間的表示。
計算設(shè)備140訪問先前計算的中間運(yùn)動歷史(1105 )，并把對象數(shù)據(jù)地圖 (例如用戶數(shù)據(jù))中所包括的數(shù)據(jù)添加到先前計算的中間運(yùn)動歷史(1112)。 例如，對于已被分類為對象(例如用戶)的一部分的對象數(shù)據(jù)地圖的像素(例 如用戶數(shù)據(jù))，在先前計算的中間運(yùn)動歷史中的對應(yīng)像素被設(shè)置成具有當(dāng)前時 間的表示。對于與對象數(shù)據(jù)地圖(例如用戶數(shù)據(jù))的未被分類為對象(例如 用戶)的一部分的像素相對應(yīng)的先前計算的中間運(yùn)動歷史的像素，時間數(shù)據(jù) 被維持，以反映在該位置檢測到對象(例如用戶)的最后時間。產(chǎn)生的結(jié)果 作為當(dāng)前中間運(yùn)動歷史。
計算設(shè)備140過濾當(dāng)前中間運(yùn)動歷史以產(chǎn)生運(yùn)動歷史(1106 )。過濾過程 (1106)可以包括平均內(nèi)核。在這個例子中，對于每一個像素，對以該像素 為中心的鄰近范圍內(nèi)的所有像素進(jìn)行求和計算。平均內(nèi)核通常用于使圖^# 糊。在這個例子中，總體形狀可以更光滑，邊緣可以顯得更柔和，并且階躍 可以更不明顯。
再次參考圖2,計算設(shè)備140基于運(yùn)動歷史控制應(yīng)用(250)。例如，計 算設(shè)備140可以控制應(yīng)用以便在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中繪制對象 (例如用戶)的表示。在這個例子中，對象的表示可以是和應(yīng)用交互的用戶 的表示。用戶可以基于應(yīng)用在顯示設(shè)備120上繪制的顯示圖像通過肢體進(jìn)行 交互。
在某些實(shí)施方案中，繪制對象(例如用戶)的表示可以包括繪制被處理 過或未被處理的相機(jī)圖像作為應(yīng)用的顯示圖像中的對象(例如用戶)的表示。 繪制對象(例如用戶)的表示也可以包括繪制被摳像的圖像作為應(yīng)用的顯示 圖像中的對象(例如用戶)的表示。繪制對象(例如用戶)的表示還可以包 括繪制效果圖像作為應(yīng)用的顯示圖像中的對象(例如用戶)的表示。
對象(例如用戶)的表示可以基于運(yùn)動歷史，以使所述表示包括對應(yīng)于 對象(例如用戶)的過去的運(yùn)動的特性。例如，在對象是用戶的實(shí)施方案中， 顯示圖像中的用戶的表示可能包括用戶運(yùn)動的拖尾效果。在這個例子中，當(dāng) 用戶移動(例如手臂或腿)時，用戶的表示可以包括示出用戶的運(yùn)動(例如 用戶的手臂或腿的運(yùn)動)的拖尾效果。例如，用戶的表示可以包括完全不透
25明的用戶的當(dāng)前位置的顯示，以及不透明度降低的用戶的過去位置的顯示， 以使用戶的運(yùn)動被顯示為具有隨著時間逐漸淡出的拖尾效果。所述表示可以 是用戶的實(shí)際圖像，或者可以基于對應(yīng)于用戶的動畫圖像(例如游戲應(yīng)用中 對應(yīng)于玩游戲的用戶的人物)。拖尾效果可以成為在視覺上令人滿意的對用戶 表示的顯示。
在其他實(shí)施方案中，粒子(particle)系統(tǒng)可以顯示具有用戶的過去運(yùn)動 的特性的用戶表示。在這些實(shí)施方案中，和用戶相關(guān)聯(lián)的運(yùn)動歷史可以被輸 入粒子系統(tǒng)，并且粒子系統(tǒng)可以基于運(yùn)動歷史繪制顯示。例如，在流體仿真 (fluid simulation )應(yīng)用中，流體仿真應(yīng)用可以把用戶的表示顯示為水波紋。 在這個例子中，對應(yīng)于用戶的更近來的運(yùn)動的水波紋可以大于對應(yīng)于用戶的 過去運(yùn)動的水波紋。
在某些實(shí)施方案中，計算設(shè)備140可以把運(yùn)動歷史信息作為alpha(阿爾 法)通道中的alpha值提供給應(yīng)用。alpha通道中的信息可以被應(yīng)用直接用來 基于用戶的運(yùn)動歷史繪制包括用戶的表示的顯示圖像。
在某些實(shí)施方案中，基于運(yùn)動歷史控制應(yīng)用可以包括基于運(yùn)動歷史確定 用戶輸入命令。例如，計算設(shè)備140可以基于運(yùn)動歷史確定用戶觸摸應(yīng)用的 顯示圖像中的虛擬對象。在這個例子中，計算設(shè)備140可以基于運(yùn)動歷史確 定用戶觸摸了虛擬球、虛擬人物，或者輸入控制。例如，如果由運(yùn)動歷史捕 獲的用戶的被跟蹤的運(yùn)動與應(yīng)用所繪制的虛擬對象相交，則計算設(shè)備140可 以確定所述虛擬對象一皮觸摸。
在某些例子中，可以控制靈敏度以使觸摸虛擬對象更為困難或者較不困 難。例如，只有用戶的當(dāng)前位置和虛擬對象相交，計算設(shè)備140才會確定用 戶觸摸了所述對象。在另一個例子中，如果運(yùn)動歷史指示用戶的位置在特定 數(shù)目的幀內(nèi)或特定時間段內(nèi)和虛擬對象相交，計算設(shè)備140就可以確定用戶 觸摸了所述對象。
圖12到圖22示出了在應(yīng)用中操縱虛擬對象的例子。在應(yīng)用中操縱虛擬 對象可以是針對圖2描述的基于運(yùn)動歷史控制應(yīng)用(250)的例子。
例如，圖12示出了用戶1201的例子。箭頭1202指示用戶1201正在移 動其手臂和上體的方向。相機(jī)110可以捕獲以這種方式運(yùn)動的用戶1201的圖 像，并且計算設(shè)備可以基于所捕獲的圖像產(chǎn)生運(yùn)動歷史。
圖13示出了對應(yīng)于用戶1201移動的例子的對象數(shù)據(jù)地圖上的表示。例
26如，黑色部分1303表示圖像中最新近檢測到用戶的位置。對象數(shù)據(jù)地圖可以
包括針對圖像中的每一個像素的數(shù)據(jù)值，以使表示黑色部分1303的像素具有 例如1的數(shù)據(jù)值，并且使表示白色部分的像素具有例如0的數(shù)據(jù)值。
圖14示出了運(yùn)動歷史的例子的可視化表示。黑色部分1403對應(yīng)于針對 圖13描述的黑色部分1303。黑色部分1403表示圖像中最新近檢測到用戶的 位置。圖14的灰色部分1404表示在先前的對象數(shù)據(jù)地圖(例如用戶數(shù)據(jù)) (未示出)中檢測到用戶的位置，其中，較暗的灰色是更新近的，而較淺的 灰色是較久遠(yuǎn)的。在某些實(shí)施方案中，針對圖像中的每一個像素，運(yùn)動歷史 包括指示自從在該像素處檢測到對象(例如用戶)時起的時間的值(例如幀 計數(shù)或時間)。在這些實(shí)施方案中，該值對應(yīng)于范圍從白或空(none)(例如 對于在該處從未檢測到對象的像素，或在大于閾值幀數(shù)或時間量的時間內(nèi)在 該處未檢測到對象的像素)到黑(例如，對于最新近在該處檢測到對象的像 素)的特定灰階顏色。此外，在這些實(shí)施方案中，基于運(yùn)動歷史繪制對象的 表示可以包括，通過針對運(yùn)動歷史中所包括的每一個像素繪制對應(yīng)的灰階顏 色來繪制用戶的顯示圖像。
在某些實(shí)施方案中，運(yùn)動歷史中的每一個值可以對應(yīng)于不同的透明度(而 非灰階顏色)，以便在基于運(yùn)動歷史顯示對象的表示時可以使用彩色圖像。例 如，對于最近在該處檢測到對象的像素，在應(yīng)用的顯示圖像中對應(yīng)的像素被 顯示為完全不透明。對于在該處從未檢測到對象的像素，或在大于閾值幀數(shù) 或時間量的時間內(nèi)在該處未檢測到對象的像素，在應(yīng)用的顯示圖像中對應(yīng)的 像素被顯示為完全透明。
圖15示出了過濾后的運(yùn)動歷史的例子的可視化顯示。例如，在圖14中 顯示的數(shù)據(jù)可以凈皮過濾(例如，通過使用類似于上面針對參考數(shù)字906或1106 討論的技術(shù))以產(chǎn)生圖15中所示的可^L化顯示。如圖15中所示，和圖14相 比，總體形狀更平滑，邊緣顯得更柔和，并且階躍不那么明顯。
圖16示出了基于運(yùn)動歷史在應(yīng)用的顯示圖像中顯示的用戶表示的例子。 如圖16中所示，過去的用戶運(yùn)動被示為等級變化的灰階顏色或者等級變化的 不透明度，以使過去的用戶運(yùn)動表現(xiàn)為拖尾效果。
圖17示出了通過基于運(yùn)動歷史控制應(yīng)用產(chǎn)生的顯示圖像的例子。在這個 例子中，用戶的表示是摳像圖像1705,摳像圖像1705被與應(yīng)用圖像1706和 1707 (例如虛擬對象圖像)組合。在這個例子中，摳像圖像1705被在應(yīng)用圖像1706之上繪制，并且應(yīng)用圖像1706在alpha通道中確定為透明的摳像圖像 1705的部分中可見，而摳像圖像1705的不透明部分遮擋了應(yīng)用圖像1706。 此外，應(yīng)用圖像1707可以被在摳像圖像1705之上繪制，以使應(yīng)用圖像1707 可以遮擋摳像圖像1705。
圖18示出了使用輪廓過程(outliningprocess)處理的圖像的例子，在基于 運(yùn)動歷史控制應(yīng)用時可以使用輪廓過程。輪廓過程可以產(chǎn)生表示運(yùn)動歷史的 輪廓(contour)的輪廓數(shù)據(jù)。例如，運(yùn)動歷史可以被作為位圖——包含每一 個像素的元素的多維數(shù)組一一產(chǎn)生。輪廓數(shù)據(jù)可以包括環(huán)繞運(yùn)動歷史中的具 有比預(yù)定義的閾值更近來的運(yùn)動的像素的坐標(biāo)集合。輪廓數(shù)據(jù)可以包含比位 圖表示更少的數(shù)據(jù)元素，這對于某些應(yīng)用是有益的，并且可以提高計算效率。
在某些實(shí)施方案中，輪廓過程還包括減少輪廓數(shù)據(jù)中的數(shù)據(jù)點(diǎn)的數(shù)量的 過程。減少數(shù)據(jù)點(diǎn)的數(shù)量的過程包括去除落入相對較直的線內(nèi)的點(diǎn)。在輪廓 過程的另一個例子中，過程可以去除其大小較小的孤立對象的輪廓。圖18中 示出了示范性輪廓數(shù)據(jù)，其繪出了對應(yīng)于圖15中所示的運(yùn)動歷史的輪廓。如 圖所示，用戶手臂的厚度包括對應(yīng)于運(yùn)動歷史中所包括的并且出現(xiàn)在距當(dāng)前 時間少于閾值的所有用戶運(yùn)動的輪廓。減少的數(shù)據(jù)點(diǎn)被示為沿著輪廓的點(diǎn)。 從輪廓過程獲得的數(shù)據(jù)可以被用于控制應(yīng)用。例如，計算設(shè)備140可以把用 戶的輪廓與虛擬對象的位置進(jìn)行比較以確定兩者是否相交，由此來確定用戶 是否觸摸了虛擬對象。輪廓數(shù)據(jù)可以被提供給粒子仿真應(yīng)用，基于輪廓數(shù)據(jù) 對該粒子仿真應(yīng)用進(jìn)行控制(例如，以便可以從輪廓上的點(diǎn)發(fā)出粒子，或者 可以使粒子被輪廓上的點(diǎn)擊退。)
圖19示出了和應(yīng)用的顯示圖像中所包括的虛擬對象交互的用戶的例子。 在某些實(shí)施方案中，用戶可以通過以導(dǎo)致顯示圖像中的用戶表示"觸摸"顯 示圖像中的虛擬對象的方式移動來交互。確定用戶觸摸虛擬對象可以包括識 別出用戶的4壬意部分與虛擬對象重疊(coincident )。應(yīng)用可以識別出表示虛擬 對象的區(qū)域1908。區(qū)域l卯8可以表示虛擬對象的邊界形狀，或者該區(qū)域可 以大于虛擬對象以便使用戶更容易觸摸虛擬對象。運(yùn)動歷史可以被和區(qū)域 1908比較，并且運(yùn)動歷史的部分1909可以被分類為具有比預(yù)定的閾值更近 來的幀計數(shù)(或時間)的用戶的部分。隨著幀計數(shù)(或時間)增大，對于單 個用戶動作的多個事件(例如從未被觸摸狀態(tài)轉(zhuǎn)換到被觸摸狀態(tài))的可能性 降低。由于這個原因，使用運(yùn)動歷史而非對象數(shù)據(jù)地圖(例如當(dāng)前用戶數(shù)據(jù))可能是有益的，盡管也可以使用對象數(shù)據(jù)地圖。
在其他的實(shí)施方案中，替代運(yùn)動歷史，可以使用摳像圖像的alpha通道 或者輪廓數(shù)據(jù)，因?yàn)樗鼈兲峁┝诉\(yùn)動歷史的表示。在某些例子中，區(qū)域1908 可以是靜態(tài)的(例如"按^組")，或者可以#^居應(yīng)用移動(例如"求")。事件
(例如從未被觸摸狀態(tài)轉(zhuǎn)換到被觸摸狀態(tài))可能觸發(fā)應(yīng)用中的動作。動作可 以包括顯示圖像中對象的激活、選擇或者移動。
圖20示出了用戶和應(yīng)用的顯示圖像中所包括的虛擬對象交互的例子。表 示用戶的運(yùn)動歷史的部分2009和區(qū)域2008更詳細(xì)地表示了運(yùn)動歷史1909的 部分和區(qū)域1908。在運(yùn)動歷史包括運(yùn)動方向的表示的實(shí)施方案中，例如當(dāng)檢 測圖像中的對象的過程利用了光流時，可以計算部分2009在區(qū)域2008內(nèi)的 平均運(yùn)動，以產(chǎn)生代表部分2009的運(yùn)動。
圖21示出了和應(yīng)用的顯示圖像中所包括的虛擬對象交互的用戶的矩心
(centroid)處理的例子。在某些實(shí)施方案中，應(yīng)用可以計算在區(qū)域2108內(nèi) 的部分2109的矩心2110,并把該位置和區(qū)域的矩心2111進(jìn)行比較。即使在 檢測圖像內(nèi)的對象時未使用光流，應(yīng)用也可以估計區(qū)域2111內(nèi)的運(yùn)動的方向 和幅值。
圖22示出了應(yīng)用計算多個矩心的例子。例如，可以確定在區(qū)域2211內(nèi) 并且具有比第一預(yù)定閾值更近來的幀計數(shù)(或時間)的對象(例如用戶)的 運(yùn)動的部分2212的第一矩心2213。此外，可以確定在區(qū)域2211內(nèi)并且具有 比第二預(yù)定閾值更近來的幀計數(shù)(或時間)的對象(例如用戶)的運(yùn)動的部 分2212的第二矩心2214。第一閾值包括短的時間跨度。例如，第一闊值可 以是最新近的幀。第二闊值包括較長的時間跨度，以使第二矩心2214的路徑 追隨第一矩心2213的路徑。第一矩心2213相對于第二矩心2214的位置可以 被視為代表對象(例如用戶)部分2212的運(yùn)動。
第二區(qū)域2211可以大于針對圖21描述的第一區(qū)域2108。應(yīng)用可以才企測 在第一區(qū)域2108中用戶的存在，第一區(qū)域2108和顯示圖像中的對象重疊。 應(yīng)用可以計算以第一區(qū)域2108內(nèi)的用戶部分2109的矩心2110為中心的第二 區(qū)域2211。例如，第一區(qū)域2108可以和顯示圖像中顯示的"球，，重合。當(dāng) 應(yīng)用檢測到用戶觸摸球時，使用第二區(qū)域2211確定用戶擊球的用戶運(yùn)動的方 向，而所述方向可被用來將力施加到球上。
應(yīng)用可以使用計算的用戶部分2109的表示運(yùn)動(representative motion)
29來確定當(dāng)對象被觸摸時施加到對象的幅值和方向。例如，對象可以是"球" 或"粒子"。應(yīng)用可以包括對用戶做出響應(yīng)的很多這種"球"或"粒子"。應(yīng)用可以包括流體仿真，例如水或煙。在某些實(shí)施方案中，應(yīng)用維持表示高度(例如水波紋的)或壓強(qiáng)(例如氣態(tài)云霧(gasous cloud)的)的地圖。給與指示在該位置處近來用戶存在的運(yùn)動地圖元素相對應(yīng)的地圖元素分配 值。 一個過程傳播該值，產(chǎn)生波紋(例如在水中)或旋渦(例如在氣態(tài)云霧 中)。應(yīng)用可以根據(jù)運(yùn)動地圖使摳像圖像變形(例如扭曲)(以使用戶看上去 在水面以下)。應(yīng)用還可以包括速度地圖，其中，用戶的速度通過光流(或者通過上面針對區(qū)域2111描述的過程)計算，并且被分配給速度地圖中的對應(yīng) 元素。應(yīng)用可以有;f艮多變型。應(yīng)用可以是^L頻游戲或者廣告， <旦是，應(yīng)該理解 本公開不局限于視頻游戲或者廣告。應(yīng)用可以包括數(shù)據(jù)記入過程(data logging process )。在某些數(shù)據(jù)記入過 程的實(shí)施方案中，通過比較被用戶占據(jù)并具有比閾值更近來的幀計數(shù)(或時 間)的運(yùn)動歷史(或?qū)ο髷?shù)據(jù)地圖)的部分(例如像素計數(shù))確定用戶的存 在。用戶的存在可以被記錄。在其他的數(shù)據(jù)記入過程實(shí)施方案中，通過聚集對象數(shù)據(jù)地圖)的像素確定用戶的計數(shù)。用戶的計數(shù)可以被記錄。在數(shù)據(jù)記 入過程的進(jìn)一步的實(shí)施方案中，可以記錄事件(例如從未被觸摸轉(zhuǎn)換到被觸 摸狀態(tài))，應(yīng)用的狀態(tài)可以被記錄，和/或顯示圖像可以被記錄。在數(shù)據(jù)記入 過程的某些實(shí)施方案中，記錄包括存儲數(shù)據(jù)。在數(shù)據(jù)記入過程的其他實(shí)施方 案中，記錄包括通過網(wǎng)絡(luò)(例如因特網(wǎng))傳送數(shù)據(jù)。參考圖23，映射過程的例子可被用于追蹤運(yùn)動歷史和基于運(yùn)動歷史控制 應(yīng)用。例如，運(yùn)動歷史中的像素值可以被重新映射，以使表示近來檢測到的 對象的幀計數(shù)(或時間)導(dǎo)致圖像顯得不透明，并且隨著幀計數(shù)增大，不透 明度減弱到透明。在這個例子中，圖23示出了自從在對應(yīng)像素處沖企測到對象 時起給予幀計數(shù)的相對權(quán)重。如圖所示，幀計數(shù)0具有100%的權(quán)重(例如 完全不透明)，幀計數(shù)5具有50%的權(quán)重(例如完全不透明的不透明度的一 半水平)，并且IO或者更大的幀計數(shù)具有0%的權(quán)重(例如完全透明)。此映 射產(chǎn)生對象的運(yùn)動顯得留下拖尾的視覺效果。在某些實(shí)施方案中，在顯示對象的表示時可以使用重新映射的像素信息。如圖16中所示，重新映射的像素信息可以產(chǎn)生基于運(yùn)動歷史的圖像，該圖像 包括等級變化的不透明度。在這個實(shí)施方案中，分配給當(dāng)前被用戶占據(jù)的像 素的值是100%。在使數(shù)據(jù)老化時，減去一個值，被減去的值和持續(xù)的幀數(shù)成反比。例如，在第一幀期間在像素位置檢測到用戶，所以分配100%的像素值。在這個例子中，在第二幀期間在該像素位置處未檢測到用戶，所以像素值被減少10% ,并且以此類推直到其達(dá)到0% 。該值表示alpha水平。但是， 仍可以從該值計算自從近來在該位置檢測到用戶時起的幀數(shù)的計數(shù)。使用重 新映射過程繪制用戶表示的顯示圖像可以提供增強(qiáng)的視覺效果，以便當(dāng)在與 應(yīng)用相關(guān)聯(lián)的顯示圖像中繪制對象的表示時，所述對象的表示顯得留下拖尾。圖24到圖28示出了被配置成基于運(yùn)動歷史控制應(yīng)用的交互系統(tǒng)的例子。 這些系統(tǒng)可以用于執(zhí)行針對圖2描述的過程200。圖24示出了系統(tǒng)2400，它包括顯示設(shè)備2403、捕獲"i殳備2401和計算設(shè) 備2402。顯示設(shè)備2403顯示顯示圖像。顯示設(shè)備2403可以是投影儀和投影 屏幕、等離子顯示器、液晶顯示器(LCD)、自動立體顯示器，或者其他的能 夠顯示計算機(jī)產(chǎn)生的圖像的設(shè)備。顯示設(shè)備2403可以包括多個被排列成顯示 顯示圖像的設(shè)備(例如由多個投影儀組成的視頻墻)。用戶2404和顯示設(shè)備 2403上的顯示圖像交互。捕獲設(shè)備2401捕獲包括用戶2404或者用戶的一部 分的圖像。捕獲設(shè)備2401可以包括產(chǎn)生一個或更多個相機(jī)圖像序列的一個或 更多個相才幾。計算設(shè)備2402處理捕獲設(shè)備2401捕獲的圖像以控制應(yīng)用。應(yīng)用產(chǎn)生在 顯示設(shè)備2403上顯示的顯示圖像。應(yīng)用可以在計算設(shè)備上或單獨(dú)的設(shè)備上執(zhí) 行。交互系統(tǒng)2400的部件可以被以很多不同的配置排列。例如，如圖所示， 捕獲設(shè)備2401可以位于顯示i殳備2403上方。圖25示出了包括照明器2505的交互系統(tǒng)的例子。照明器2505可以用可 見光或者紅外光照明用戶2404。照明器2505可以〃夂人捕獲i殳備2401或者計算 設(shè)備2402接收控制信號。照明器2505可以位于捕獲設(shè)備2401和顯示設(shè)備 2403上方。照明器2505可以對用戶2404 ^是供比對背景2506中的人物或者 對象強(qiáng)的照明。圖26示出了捕獲"i殳備2401位于用戶2404頭頂上方的配置。 圖27示出了照明器2505照明用戶2404而不照明背景2506中的其他人 物和對象的配置。圖27表示可以適合用于上面針對圖7描述的過程700的配31置。圖28示出了設(shè)備被安裝在窗口 2807內(nèi)的配置。顯示設(shè)備2403可以被集 成到窗口 2807中。例如，顯示設(shè)備可以是投影儀和投影屏幕，其中投影屏幕 包括貼附于窗口 2807的薄膜。窗口 2807可以是零售商店窗口。參考圖29，過程2900可以用于確定用戶2404的運(yùn)動并用于4吏用所確定 的用戶2908的運(yùn)動作為對應(yīng)用2915的輸入。過程2900可以用各種系統(tǒng)實(shí)現(xiàn)， 包括針對圖1和圖24到圖28描述的系統(tǒng)。為了清楚地介紹，在系統(tǒng)2400的 上下文中描述過程2900，但也可以使用其他系統(tǒng)。在描述過程2900的實(shí)施 方案時使用系統(tǒng)2400并非打算限制過程2900。捕獲設(shè)備2401捕獲圖像集合序列(例如視頻)。圖像集合可以是圖像序 列的一部分。例如，圖像集合可以包括由一個或更多個捕獲設(shè)備或相機(jī)拍才聶 的一個或多個圖像。捕獲設(shè)備2401可以包括多個相機(jī)。圖像集合可以包括由 多個相機(jī)中的每一個產(chǎn)生的圖像。捕獲設(shè)備2401產(chǎn)生相機(jī)圖像集合2901。相機(jī)圖像集合2901中所包括的 一個或更多個圖像被捕獲處理過程2902處理，這產(chǎn)生了相機(jī)控制^t據(jù)2903 和處理過的相機(jī)圖像集合2904。在某些實(shí)施方案中，處理過的相機(jī)圖像集合 2904可以和相機(jī)圖像集合2901相同。相機(jī)控制數(shù)據(jù)2903被反饋到捕獲設(shè)備 2401中。用戶4全測過程2905分析處理過的相才幾圖像集合2904,并且也可以 使用相機(jī)控制數(shù)據(jù)2903。用戶4企測過程2905產(chǎn)生用戶數(shù)據(jù)2906。過程2卯0還可以包括運(yùn)動歷史過程2卯7,它處理用戶數(shù)據(jù)2906以產(chǎn)生 運(yùn)動歷史2908。在某些實(shí)施方案中，運(yùn)動歷史過程2907和運(yùn)動歷史2908可 以是應(yīng)用2915而非過程2900的一部分。過程2900還可以包括摳〗象過程2909, 它使用運(yùn)動歷史2908 (或者用戶數(shù)據(jù)2906)和處理過的相機(jī)圖像2904集合 (或者相機(jī)圖像集合2901 )。摳像過程2909產(chǎn)生摳像圖像2910。在某些實(shí)施 方案中，摳像過程2909和摳像圖像2910可以是應(yīng)用2915而非過程2900的 一部分。過程2900還可以包括效果過程2911 ，它4吏用運(yùn)動歷史2908 (或用戶凄丈 據(jù)2906)并產(chǎn)生效果圖像2912。在某些實(shí)施方案中，效果過程2911和效果 圖像2912可以是應(yīng)用2915而非過程2900的一部分。過程2900還可以包括 輪廓過程2913,它使用運(yùn)動歷史2908 (或者用戶數(shù)據(jù)2906)并產(chǎn)生輪廓數(shù) 據(jù)2914。在某些實(shí)施方案中，輪廓過程2913和摳像數(shù)據(jù)2914可以是應(yīng)用2915而非過程2900的一部分。應(yīng)用2915可以處理用戶數(shù)據(jù)2906、運(yùn)動歷史2908、相機(jī)圖^f象集合2卯1、 處理過的相機(jī)圖像集合2904、摳像圖像2910、效果圖像2912和輪廓數(shù)據(jù)2914 中的任何一個。應(yīng)用產(chǎn)生在顯示設(shè)備2403上顯示的顯示圖像2916。用戶檢測過程2905可以利用運(yùn)動。在很多場景中，圖像內(nèi)的大部分運(yùn)動 歸結(jié)于用戶。上面針對圖3到圖7描述的技術(shù)可以用于執(zhí)行用戶檢測過程 2905。捕獲處理2卯1可以包括產(chǎn)生用于控制捕獲設(shè)備2401的相機(jī)控制數(shù)據(jù) 2903。相機(jī)控制數(shù)據(jù)2903可以影響相機(jī)參數(shù)，包括曝光時間、增益和光圈。 在這個過程的一個例子中，可以計算相機(jī)圖像集合2901,或其一部分內(nèi)的平 均像素值。如果平均像素密度低于閾值，則產(chǎn)生導(dǎo)致相機(jī)增大其靈敏度(例 如圖像亮度)的相機(jī)控制數(shù)據(jù)2903。如果平均像素密度高于闞值，則產(chǎn)生導(dǎo) 致相機(jī)降低其靈敏度(例如圖像亮度)的相機(jī)控制數(shù)據(jù)2卯3。相機(jī)可以被以微細(xì)步長調(diào)整，該調(diào)整造成的靈敏度(例如圖像亮度)變 化足夠小，以至于不干擾用戶檢測過程2905的正常操作。在替代的實(shí)施方案 中，包括曝光時間、增益和光圈的相機(jī)參數(shù)可以由內(nèi)建于相機(jī)中的自動曝光 過程確定。在這種情況下，相機(jī)控制數(shù)據(jù)2903可以由捕獲設(shè)備2401產(chǎn)生。相機(jī)控制數(shù)據(jù)2903 (例如由捕獲處理2902或由捕獲i殳備2401產(chǎn)生)可 以被傳送到用戶檢測過程2905?？梢允褂蒙厦驷槍D8到圖11描述的技術(shù)執(zhí)行產(chǎn)生運(yùn)動歷史2908的運(yùn) 動歷史處理2907。摳像過程2909可以把處理過的相機(jī)圖像集合2904 (或相機(jī)圖像集合 2901 )的圖像和運(yùn)動歷史2908 (或者用戶數(shù)據(jù)2906)組合以產(chǎn)生摳像圖傳_ 2910。摳像圖像2910包括alpha通道，其確定當(dāng)圖像與應(yīng)用產(chǎn)生的其他圖形 組合時顯現(xiàn)的不透明度。從處理過的相機(jī)圖像集合2904 (或者相機(jī)圖像集合2901 )產(chǎn)生摳像圖像 2910的基本通道。基本通道可以是紅、綠和藍(lán)色通道，但是，應(yīng)該理解，可 以使用其他的顏色空間，例如YUV。在某些實(shí)施方案中，相機(jī)圖像的基本通 道被復(fù)制到摳像圖像的對應(yīng)通道中。在捕獲設(shè)備2401產(chǎn)生包括多個相機(jī)圖像的相機(jī)圖像集合的實(shí)施方案中 (例如包括多個相機(jī)的捕獲設(shè)備2401的實(shí)施方案)，相才幾圖像可以被選擇并復(fù)制到摳像圖像的對應(yīng)通道中。在捕獲設(shè)備和捕獲過程的各種實(shí)施方案中描述了相機(jī)圖像的選擇。在捕獲設(shè)備2401產(chǎn)生包括多個相機(jī)圖像的相機(jī)圖像集 合的另一個實(shí)施方案中(例如包括多個相機(jī)的捕獲設(shè)備2401的實(shí)施方案)， 相機(jī)圖像可以被組合。組合相機(jī)圖像的過程可以包括扭曲(warp)相機(jī)圖4象。對象可以出現(xiàn)在 多個相機(jī)圖j象內(nèi)的不同位置。這可以作為相才幾物理對準(zhǔn)以及每一個相機(jī)具有 略微不同的^L點(diǎn)的事實(shí)(例如，通過使用光學(xué)，兩個相才幾可以在同一視點(diǎn)獲 取圖像，但是這種結(jié)構(gòu)可能很昂貴)的結(jié)果出現(xiàn)。扭曲過程重新映射像素的 位置，以使對象在集合的多個圖像中在位置上顯得重合。在從相機(jī)的不同視點(diǎn)產(chǎn)生的圖像之間可能存在視差，其中，所述視差依 賴于距相機(jī)的距離而變化。扭曲過程可以重新映射像素的位置，以使在用戶 的預(yù)期距離處的對象顯得在集合的多個圖像中在位置上重合。組合相機(jī)圖像的過程也可以包括混和(例如被扭曲的)相機(jī)圖像?；旌?過程可以平均(例如被扭曲的)相機(jī)圖像的像素值，針對圖像內(nèi)的每一個像 素位置產(chǎn)生組合像素值?？梢詮倪\(yùn)動歷史2908 (或者用戶數(shù)據(jù)2906)產(chǎn)生摳 像圖像2910的alpha通道。運(yùn)動歷史2908包括表示在該像素位置檢測到用戶 的幀計數(shù)(或時間)的像素值。那些像素值被重新映射成alpha值。上面針對 圖23描述的過程可以用于把像素值映射成alpha值。在某些實(shí)施方案中，運(yùn)動歷史2908^^皮扭曲。在某些實(shí)施方案中，不同的 相機(jī)可被用于產(chǎn)生用戶數(shù)據(jù)2906和運(yùn)動歷史2908，可以使用和提供摳像圖 像2910的基本(例如顏色)通道時。對象可以出現(xiàn)在多個相機(jī)圖像內(nèi)的不同 位置。這可能是相機(jī)物理對準(zhǔn)(例如每一個相機(jī)具有略微不同的視點(diǎn))的結(jié) 果。扭曲過程可以用來避免使用光學(xué)來光學(xué)對準(zhǔn)相機(jī)的視點(diǎn)的需要。扭曲過程重新映射像素的位置，以使對象在集合的多個圖像中的位置顯 得重合。運(yùn)動歷史2908可以被重新映射成和提供摳像圖像2910的基本(例 如紅-綠-藍(lán))通道時使用的圖像對準(zhǔn)，以便維持最高圖像質(zhì)量。在從相機(jī) 的不同視點(diǎn)產(chǎn)生的圖像之間可能存在視差，其中，所述^見差依賴于距相機(jī)的 距離而變化。扭曲過程重新映射像素的位置，以使在用戶的預(yù)期距離處的對 象在集合的多個圖像的位置顯得重合。在某些實(shí)施方案中，應(yīng)用2915產(chǎn)生包括摳像圖^象2910的顯示圖像2916。 摳像圖像2910可以與應(yīng)用產(chǎn)生的圖像組合。在某些實(shí)施方案中，應(yīng)用2915使用alpha通道把摳像圖像2910和顯示圖像組合。上面針對圖17描述過包括 摳像圖像的顯示圖像的例子。
在某些實(shí)施方案中，執(zhí)行效果過程2911，效果過程2911將視覺效果圖 像與運(yùn)動歷史2908 (或用戶數(shù)據(jù)2906)組合以產(chǎn)生效果圖像2912。效果圖 像2912包括alpha通道，alpha通道確定當(dāng)圖像與應(yīng)用產(chǎn)生的其他圖形組合時 該圖像可以顯現(xiàn)的不透明度。產(chǎn)生效果圖像2912的基本(例如紅、綠和藍(lán)色) 通道以產(chǎn)生動畫效果。動畫效果的例子包括"血漿"(plasma)和"水波紋"。 動畫效果可以由預(yù)先繪制的動畫序列或粒子系統(tǒng)產(chǎn)生。以與產(chǎn)生摳像圖像 2910的alpha通道相同的方式，從運(yùn)動歷史2908 (或用戶數(shù)據(jù)2906)產(chǎn)生效 果圖像2912的alpha通道。
應(yīng)用2915可以產(chǎn)生包括效果圖像2912的顯示圖像2916,并把效果圖傳— 與應(yīng)用圖像組合，這與組合和顯示摳像圖像2910的方式相同。
在某些實(shí)施方案中，可以執(zhí)行輪廓過程2913。輪廓過程2913產(chǎn)生表示 運(yùn)動歷史2908 (或用戶數(shù)據(jù)2906)的輪廓的輪廓數(shù)據(jù)2914。運(yùn)動歷史可以 被作為位圖一一 包含針對每一個像素的元素的多維數(shù)組一 一產(chǎn)生。輪廓數(shù)據(jù) 2914包括環(huán)繞運(yùn)動歷史2908中的具有比預(yù)定義的閾值更近來的運(yùn)動的像素 (或用戶數(shù)據(jù)2906中被分類為用戶的一部分的像素)的坐標(biāo)集合。輪廓數(shù)據(jù) 2914可以包含比位圖表示更少的數(shù)據(jù)元素，這對于某些應(yīng)用是有益的。
輪廓過程2913還可以包括減少輪廓數(shù)據(jù)中的數(shù)據(jù)點(diǎn)的數(shù)量的過程。減少 數(shù)據(jù)點(diǎn)的數(shù)量的過程包括去除落入相對較直的線內(nèi)的點(diǎn)。輪廓過程2913還可 以包括去除其尺寸較小的孤立對象的輪廓的過程。在上面描述的圖16中示出 了輪廓數(shù)據(jù)2914的例子。
在某些實(shí)施方案中，系統(tǒng)包括相機(jī)、顯示設(shè)備和處理器。處理器可以處 理相機(jī)捕獲的圖像、控制應(yīng)用(例如計算機(jī)或視頻游戲)的執(zhí)行，并在顯示 設(shè)備上繪制與應(yīng)用相關(guān)聯(lián)的顯示圖像。在某些例子中，相機(jī)捕獲與應(yīng)用(例 如計算機(jī)或視頻游戲)交互的用戶的圖像。在這些例子中，相機(jī)捕獲響應(yīng)于
在顯示設(shè)備上顯示的并與應(yīng)用相關(guān)聯(lián)的顯示圖像進(jìn)行肢體運(yùn)動的用戶的圖 像。處理器可以處理進(jìn)行肢體運(yùn)動的用戶的圖像，并檢測圖像內(nèi)用戶的位置。 處理器也可以追蹤在圖像中捕獲的用戶肢體運(yùn)動的運(yùn)動歷史。追蹤運(yùn)動歷史 可以包括把圖像劃分為多個部分并追蹤自從在圖像中的多個部分的每一個處 ^r測到用戶時起的時間。例如，處理器可以維護(hù)像素地圖，所述^象素地圖4十
35對圖像中的每一個像素存儲與自從在像素地圖中的每一個像素處檢測到用戶 時起的時間相關(guān)的信息。
在某些實(shí)施方案中，運(yùn)動歷史信息(例如像素地圖)可以被用來控制由 處理器執(zhí)行的應(yīng)用。例如，處理器可以訪問運(yùn)動歷史信息(例如像素地圖)， 并基于所述運(yùn)動歷史信息在顯示設(shè)備上繪制和應(yīng)用(例如計算機(jī)或視頻游戲) 相關(guān)聯(lián)的、包括用戶的表示的顯示圖像。在上面討論的使用像素地圖的例子 中，在應(yīng)用中顯示的用戶的表示可以對應(yīng)于自從在每一個像素處岸企測到用戶 時起的時間。在這個例子中，用戶的表示可以包括具有針對所有檢測到用戶 的像素的特殊效果(例如煙或火)的用戶顯示，或者可以包括具有僅針對最 近未被檢測到的用戶運(yùn)動部分的特殊效果(例如煙或火)的用戶顯示(例如， 如果用戶移動手臂，則隨著手臂移動，煙或火顯得追隨用戶的手臂)。在某些 例子中，在顯示圖像中顯示的像素的不透明度可以與像素地圖相對應(yīng)，并且 對于一定時間段內(nèi)未檢測到用戶的圖像部分，不透明度可以隨著時間減弱(例 如，煙或移動其手臂的用戶的陰影可以在手臂從運(yùn)動開始的位置移開時淡 出)。其他的實(shí)施方案可以使用被追蹤的運(yùn)動歷史信息以其他方式來控制應(yīng) 用。例如，運(yùn)動歷史信息可以被提供給粒子仿真應(yīng)用，以使粒子仿真應(yīng)用可 以使用粒子仿真技術(shù)將用戶的表示顯示為效果圖像(例如煙、火、水，等等)。 運(yùn)動歷史信息也可以用來確定對應(yīng)用的用戶輸入命令。
圖30示出了計算設(shè)備2402或計算設(shè)備140的外觀的例子。簡要地說， 系統(tǒng)3000包括計算設(shè)備3001,計算設(shè)備3001包括基于運(yùn)動歷史控制應(yīng)用的 處理器。設(shè)備3001可以通過網(wǎng)絡(luò)3006與包括服務(wù)器3002和服務(wù)器3004的 一個或更多個服務(wù)器交換電子通信。
更具體地，計算設(shè)備3001的硬件環(huán)境包括用于向用戶顯示文本和圖像的 顯示監(jiān)視器3008、用于向計算設(shè)備3001輸入文本數(shù)據(jù)和用戶命令的鍵盤 3009、用于指示、選擇和操縱在顯示監(jiān)視器3008上顯示的對象的鼠標(biāo)3010、 固定;茲盤驅(qū)動器3011、可移動,茲盤驅(qū)動器3012、 f茲帶驅(qū)動器3014、硬拷貝 輸出設(shè)備3015、計算機(jī)網(wǎng)絡(luò)連接3016和數(shù)字輸入設(shè)備3017。
顯示監(jiān)視器3008顯示圖形、圖像和文本，包括計算設(shè)備3001所使用的 軟件應(yīng)用以及運(yùn)行計算設(shè)備3001所必需的操作系統(tǒng)程序的用戶接口。用戶使 用鍵盤3009輸入命令和數(shù)據(jù)以操作和控制計算機(jī)操作系統(tǒng)程序和應(yīng)用程序。 鼠標(biāo)3010可以是任何類型的指示設(shè)備，并且可以是游戲桿、跟蹤球、觸摸板、或者其他的指示設(shè)備。用來提供對虛擬對象的操縱的軟件被本地存儲在計算 機(jī)可讀存儲介質(zhì)上，例如存儲在固定^f茲盤驅(qū)動器3011上。
在進(jìn)一步的實(shí)施方案中，固定磁盤驅(qū)動器3011自身可以包括許多物理驅(qū) 動器單元，寸列^口《蟲立,茲盤冗余卩車歹1] (redundant array of independent disks, "RAID")，或者可以是在物理上位于分離的計算單元中的》茲盤驅(qū)動器場或》茲 盤陣列。這些計算機(jī)可讀存儲介質(zhì)允許計算設(shè)備3001訪問存儲在可移動和非 可移動存儲介質(zhì)上的計算機(jī)可執(zhí)行處理步驟、應(yīng)用程序等等。
計算機(jī)網(wǎng)絡(luò)連接3016可以是調(diào)制解調(diào)器連接、包括以太網(wǎng)的局域網(wǎng) ("LAN")連接，或者寬帶廣域網(wǎng)(WAN)連接，例如數(shù)字用戶線路("DSL"), 電纜高速互聯(lián)網(wǎng)連接、撥號連接、T-l線路、T-3線路、光纖連接，或者衛(wèi)星 連接。網(wǎng)絡(luò)3006可以是LAN網(wǎng)絡(luò)、公司或者政府WAN網(wǎng)絡(luò)、因特網(wǎng)，或 者其他網(wǎng)絡(luò)。
計算機(jī)網(wǎng)絡(luò)連接3016可以是有線或無線連接器。示范性無線連接器包括 例如INFRARED DATA ASSOCIATION ("IrDA "，紅外數(shù)據(jù)協(xié)會)無線連 接器、光無線連接器、INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS ("IEEE "，電子和電氣工程師協(xié)會)標(biāo)準(zhǔn)802.11無線連接器、 BLUETOOTH (藍(lán)牙)無線連接器、正交頻分復(fù)用("OFDM")超寬帶 ("UWB")無線連接器、時間調(diào)制超寬帶("TM- UWB")無線連接器，或 者其他的無線連接器。示范性有線連接器包括例如正EE⑧-1394FIREWIRE⑧ 連接器、通用串行總線("USB")連接器、串行端口連接器、并行端口連接 器，或者其他的有線連接器。
可移動磁盤驅(qū)動器3012是可移動存儲設(shè)備，它用來從計算設(shè)備3001下 載數(shù)據(jù)，或者把數(shù)據(jù)上載到計算設(shè)備3001上?？梢苿哟疟P驅(qū)動器3012可以 是軟盤驅(qū)動器、IOMEGA ZIP⑧驅(qū)動器、致密盤只讀存儲器("CD-ROM") 驅(qū)動器、可記錄CD驅(qū)動器("CD-R")、可重寫CD驅(qū)動器("CD-RW")、快 閃存儲器、USB快閃驅(qū)動器、拇指驅(qū)動器(thumb drive )、筆型驅(qū)動器(pen drive )、鑰匙驅(qū)動器(key drive )、高密度數(shù)字多功能盤("HD-DVD")光盤 驅(qū)動器、藍(lán)光光盤驅(qū)動器、全息數(shù)字?jǐn)?shù)據(jù)存儲("HDDS")光盤驅(qū)動器，或 者各種可記錄或可重寫數(shù)字多功能盤("DVD")驅(qū)動器中的任何一種，例如 可記錄DVD ( "DVD-R"或"DVD+R")、可重寫DVD ( "DVD-RW"或 "DVD+RW")，或者DVD-RAM。沖乘作系統(tǒng)程序、應(yīng)用和各種凝:據(jù)文件^皮存儲在盤上，它們被存儲在固定磁盤驅(qū)動器3011上或者可移動磁盤驅(qū)動器3012 的可移動介質(zhì)上。
磁帶驅(qū)動器3014是磁帶存儲設(shè)備，它用來從計算設(shè)備3001下載數(shù)據(jù)， 或者把數(shù)據(jù)上載到計算設(shè)備3001上。磁帶驅(qū)動器3014可以是四分之一英寸 磁帶盒(quarter-inch cartridge, "QIC" )、 4mm數(shù)字音頻石茲帶("DAT" )、 8mm 數(shù)字線性磁帶(digital linear tape, "DLT")驅(qū)動器，或者其他類型的磁帶。
硬拷貝輸出設(shè)備3015為操作系統(tǒng)程序和應(yīng)用提供輸出功能。硬拷貝輸出 設(shè)備3015可以是打印機(jī)或產(chǎn)生有形的輸出對象，包括文本或圖像數(shù)據(jù)或者文 本或圖像數(shù)據(jù)的圖形表示的任何輸出設(shè)備 雖然硬拷貝輸出設(shè)備3015被圖示 為直接連接到計算設(shè)備3001,但是無需如此。例如，硬拷貝輸出設(shè)備可以通 過例如有線或無線網(wǎng)絡(luò)的網(wǎng)絡(luò)接口連接到計算設(shè)備3001。
此外，盡管上面將計算設(shè)備3001描述為桌面PC，但是在進(jìn)一步的實(shí)施 方案中，計算設(shè)備3001可以是膝上型計算機(jī)、工作站、中型計算機(jī)、大型機(jī)、 嵌入式系統(tǒng)、電話、手持或平版計算機(jī)、PDA，或者其他類型的計算機(jī)。
圖31是框圖，示出了圖30中所示的計算機(jī)內(nèi)部架構(gòu)。現(xiàn)在描述計算設(shè) 備3001的示范性內(nèi)部架構(gòu)。計算環(huán)境包括計算機(jī)中央處理單元("CPU") 3101，在計算機(jī)中央處理單元3101處理包括操作系統(tǒng)或應(yīng)用的計算機(jī)指令； 顯示接口 3102,它提供用于在顯示監(jiān)視器3008上繪制圖形、圖像和文本的 通信接口和處理功能；鍵盤接口 3104，它為鍵盤3009提供通信接口；指示 設(shè)備接口 3105，它為鼠標(biāo)3010或等效的指示設(shè)備提供通信接口；數(shù)字輸入 接口 3106，它為數(shù)字輸入設(shè)備3017提供通信接口；硬拷貝輸出設(shè)備接口 3108， 它為硬拷貝輸出設(shè)備3015提供通信接口；隨機(jī)訪問存儲器("RAM") 3110， 其中，計算機(jī)指令和數(shù)據(jù)被存儲在易失性存儲器設(shè)備中，以供計算機(jī)CPU 3101處理；只讀存儲器("ROM") 3111，其中，用于諸如基本輸入和輸出 ("I/O")、啟動或從鍵盤3009接收鍵擊的基本系統(tǒng)功能的不變的低層系統(tǒng)代 碼或數(shù)據(jù)被存儲在非易失性存儲器設(shè)備中；和，存儲裝置3120或其他適當(dāng)類 型的存儲器(例如隨^f幾訪問存儲器("RAM")、只讀存儲器("ROM")、可編 程只讀存儲器("PROM")、可擦除可編程只讀存儲器("EPROM")、電可擦 除可編程只讀存儲器("EEPROM")、磁盤、光盤、軟盤、硬盤、可移動磁帶 盒、快閃驅(qū)動器)，其中存儲包括操作系統(tǒng)3121、應(yīng)用程序3122 (包括虛擬 對象#:縱應(yīng)用3123和其他必要的應(yīng)用3124)和數(shù)據(jù)文件3125的文件；計算
38機(jī)網(wǎng)絡(luò)接口 3116,它提供通過計算才幾網(wǎng)絡(luò)連接3016到網(wǎng)絡(luò)3006的通信4妄口 。 構(gòu)成設(shè)備和計算機(jī)CPU 3101通過計算機(jī)總線3127相互通信。
RAM 3110和計算機(jī)總線3127連接，以便在執(zhí)行諸如操作系統(tǒng)應(yīng)用程序 的軟件程序期間為計算機(jī)CPU 3101和設(shè)備驅(qū)動器提供快速RAM存儲。更具 體地說，計算機(jī)CPU 3101將計算機(jī)可執(zhí)行處理步驟從固定磁盤驅(qū)動器3011 或其他的存儲介質(zhì)加載到RAM 3110的區(qū)段中，以便執(zhí)行軟件程序。數(shù)據(jù)存 儲在RAM3110中，其中，在執(zhí)行期間計算機(jī)CPU3101訪問所述數(shù)據(jù)。
計算設(shè)備3001存儲用于操作系統(tǒng)3121、應(yīng)用程序3122的計算機(jī)可執(zhí)行 代碼，應(yīng)用程序3122例如字處理、電子數(shù)據(jù)表、演示、游戲，或者其他應(yīng)用。 盡管有可能使用上述實(shí)施方案提供對虛擬對象的操縱，但是，也有可能將根 據(jù)本公開的功能實(shí)現(xiàn)為動態(tài)鏈接庫("DLL")，或者實(shí)現(xiàn)為其他應(yīng)用程序的插 件，例如互聯(lián)網(wǎng)網(wǎng)頁瀏覽器的插件，互聯(lián)網(wǎng)網(wǎng)頁瀏覽器例如MICROSOFT Internet Explorer網(wǎng)頁瀏覽器。
計算機(jī)CPU 3101是多種高性能計算機(jī)處理器其中之一，所述高性能計 算機(jī)處理器包括INTEL⑧或AMD⑧處理器、POWERPC⑧處理器、MIPS⑧精 簡指令集計算機(jī)("RISC")處理器、SPARC⑧處理器、ACORN RISC Machine ("ARM ")架構(gòu)處理器、HP ALPHASERVER⑧處理器，或者用于大型才幾的 專用計算機(jī)處理器。在另外的結(jié)構(gòu)中，計算機(jī)CPU3101是多于一個的處理單 元，包括在高性能工作站和服務(wù)器中可見的多CPU配置，或者在大型才幾中可 見的多重可擴(kuò)展處理單元。
操作系統(tǒng)3121可以是MICROSOFT WINDOWS NT /WINDOWS 2000/WINDOWS XP 工作站；WINDOWS NT /WINDOWS 2000/WINDOWS XP服務(wù)器；各種UNIX⑧風(fēng)格的操作系統(tǒng)，包括用于IBM 工作站和服務(wù)器的ATX 、用于SUN⑧工作站和服務(wù)器的SUNOS 、用于基 于INTEL CPU的工作站和服務(wù)器的LINUX 、用于HP⑧工作站和服務(wù)器 的HP UX WORKLOAD MANAGER ,用于SGI⑥工作站和服務(wù)器的IRIX 、 用于數(shù)字設(shè)備公司計算機(jī)的VAX/VMS、用于基于HP ALPHASERVER⑧的計 算機(jī)的OPENVMS⑧、用于基于POWERPC⑧的工作站和服務(wù)器的MAC OS 、 用于移動設(shè)備的SYMBIAN OS 、 WINDOWS MOBILE⑧或者WINDOWS CE 、 PALM 、 NOKIA OS ( "NOS" )、 OSE⑧或者EPOC ,或者用于計 算機(jī)或嵌入式系統(tǒng)的專用操作系統(tǒng)。用于操作系統(tǒng)3121的應(yīng)用開發(fā)平臺或框架可以是BINARY RUNTIME ENVIRONMENT FOR WIRELESS ("BREW " ); Java Platform, Micro Edition ( "Java ME")或者Java 2 Platform, Micro Edition ( " J2ME ，， ) 、 PYTHON 、 FLASH LITE 或者 MICROSOFT .NET Compact。
雖然圖30和圖31示出了計算設(shè)備的一種可能的實(shí)施方案，所述計算設(shè) 備執(zhí)行程序代碼，或者程序或處理步驟，被配置成基于運(yùn)動歷史完成對應(yīng)用 的控制，但是也可以使用其他類型的計算機(jī)。
已經(jīng)描述了許多實(shí)施方案。盡管如此，將會理解，可以做出各種修改而 不偏離本公開的精神和范圍。因此，其他的實(shí)施方案在權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種計算機(jī)實(shí)施的方法，包括接收至少對象的第一圖像；在所述第一圖像中檢測對象；基于在第一圖像中檢測對象，產(chǎn)生對象數(shù)據(jù)地圖，該對象數(shù)據(jù)地圖針對第一圖像中的每一個像素，指示在每一個像素處是否檢測到對象；產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對所述對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到對象時起的時間的指示；和基于所述運(yùn)動歷史控制應(yīng)用。
2. 如權(quán)利要求1所述的方法，其中，"產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對 所述對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到 對象時起的時間的指示"包括產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對所述對象數(shù) 據(jù)地圖中所包括的每一個像素，指示與自從在每一個像素處檢測到對象時起 的時間相對應(yīng)的不透明度值。
3. 如權(quán)利要求1所述的方法，其中，"產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對 所述對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到 對象時起的時間的指示"包括產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對所述對象數(shù) 據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到對象時起的 幀數(shù)。
4. 如權(quán)利要求1所述的方法，其中，"產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對 所述對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到 對象時起的時間的指示"包括產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對所述對象數(shù) 據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到對象時起的 時間的度量。
5. 如權(quán)利要求l所述的方法，其中"產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對所述對象數(shù)據(jù)地圖中所包括的每一個 像素，指示自從在每一個像素處檢測到對象時起的時間的指示，，包括過濾 所述運(yùn)動歷史；并且基于所述運(yùn)動歷史控制應(yīng)用包括基于過濾后的運(yùn)動歷史控制應(yīng)用。
6. 如權(quán)利要求5所述的方法，其中，過濾所述運(yùn)動歷史包括針對每一個像素，基于所述每一個像素的值和與所述每一個像素相鄰的像素的值，計 算用于所述每一個像素的值。
7. 如權(quán)利要求l所述的方法，其中，接收至少對象的第一圖像包括接 收至少用戶的第一圖像。
8. 如權(quán)利要求l所述的方法，其中，基于所述運(yùn)動歷史控制應(yīng)用包括 在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中顯示對象的表示。
9. 如權(quán)利要求8所述的方法，其中，基于所述運(yùn)動歷史控制應(yīng)用包括 控制在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中對象的表示的移動。
10. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示所述對象的表示包括在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像中，將對象的 表示顯示為粒子系統(tǒng)的 一個或更多個粒子。
11. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示所述對象的表示包括基于所述運(yùn)動歷史，產(chǎn)生表示所述對象的運(yùn)動的輪廓；和 基于所產(chǎn)生的輪廓，確定所述顯示圖像中的對象的表示是否觸摸了由所 述應(yīng)用在所述顯示圖像中繪制的虛擬對象。
12. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示對象的表示包括顯示對象的表示，以使得與所述運(yùn)動歷史中對時間 的指示指示最新近檢測到對象的像素相對應(yīng)的像素被以比與運(yùn)動歷史中對時 間的指示指示在較久遠(yuǎn)的過去檢測到對象的像素相對應(yīng)的像素更強(qiáng)的不透明 度顯示。
13. 如權(quán)利要求12所述的方法，其中，"顯示對象的表示，以使得與所 述運(yùn)動歷史中對時間的指示指示最新近檢測到對象的像素相對應(yīng)的像素被以 比與運(yùn)動歷史中對時間的指示指示在較久遠(yuǎn)的過去斥企測到對象的像素相對應(yīng) 的像素更強(qiáng)的不透明度顯示，，包括顯示所述對象的表示，以使得與所述運(yùn) 動歷史中的像素相對應(yīng)的像素被以基于與該像素相關(guān)聯(lián)的時間的指示的不透 明度顯示。
14. 如權(quán)利要求13所述的方法，其中，"顯示所述對象的表示，以使得 與所述運(yùn)動歷史中的像素相對應(yīng)的像素被以基于與該像素相關(guān)聯(lián)的時間的指 示的不透明度顯示，，包括顯示所述對象的表示，以使得第一像素的不透明 度顯得強(qiáng)于第二像素的不透明度，其中，所述第一像素所關(guān)聯(lián)的時間的指示指示，與所述第二像素相比，在所述第一像素在更新近的時刻檢測到對象。
15. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示對象的表示包括基于所述運(yùn)動歷史產(chǎn)生alpha通道；和基于所述alpha通道在所述顯示圖像中顯示所述對象的表示。
16. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示對象的表示包括基于動畫或粒子系統(tǒng)顯示動畫的效果圖像。
17. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示對象的表示包括顯示所述對象的摳像圖像。
18. 如權(quán)利要求8所述的方法，其中，在與所述應(yīng)用相關(guān)聯(lián)的顯示圖像 中顯示所述對象的表示包括基于所述運(yùn)動歷史確定所述顯示圖像中的對象的表示是否觸摸了所述顯 示圖像中由所述應(yīng)用繪制的虛擬對象；和 基于確定結(jié)果控制所述應(yīng)用。
19. 如權(quán)利要求18所述的方法，其中，基于確定結(jié)果控制所述應(yīng)用包括 基于所述運(yùn)動歷史計算所述虛擬對象的速度；和 基于所確定的虛擬對象的速度控制所述應(yīng)用。
20. 如權(quán)利要求19所述的方法，其中計算所述虛擬對象的速度包括基于與所述運(yùn)動歷史相關(guān)聯(lián)的光流數(shù)據(jù)， 計算所述虛擬對象的運(yùn)動速度和方向；和基于所確定的所述虛擬對象的速度控制所述應(yīng)用包括基于所確定的所 述虛擬對象的運(yùn)動速度和方向控制所述應(yīng)用。'
21. 如權(quán)利要求18所述的方法，其中，所述虛擬對象包括粒子系統(tǒng)的粒子。
22. 如權(quán)利要求l所述的方法，其中，在所述第一圖像中檢測對象包括 將所述第 一 圖像與背景圖像進(jìn)行比較。
23. —種計算機(jī)實(shí)施的方法，包括基于運(yùn)動歷史控制應(yīng)用，該運(yùn)動歷史 針對對象數(shù)據(jù)地圖中所包括的每一個像素，指示自從在每一個像素處檢測到 對象時起的時間的指示，所述對象數(shù)據(jù)地圖針對所接收到的所述對象的第一 圖像中的每一個像素，指示在所述每一個像素處是否檢測到所述對象。
24. —種系統(tǒng)，包括相機(jī)，被配置成捕獲至少對象的第一圖像； 處理器，；陂配置成從所述相機(jī)接收所述對象的第 一 圖像，在所述第 一 圖像中檢測所述對象，響應(yīng)于在所述第一圖像中^r測對象，產(chǎn)生對象數(shù)據(jù)地圖，所述對象 數(shù)據(jù)地圖針對第一圖像中的每一個像素，指示在每一個像素處是否檢測 到所述對象，產(chǎn)生運(yùn)動歷史，該運(yùn)動歷史針對所述對象數(shù)據(jù)地圖中所包括的每一 個像素，指示自從在每一個像素處檢測到對象時起的時間的指示；基于所述運(yùn)動歷史控制應(yīng)用；和 顯示器，被配置成繪制與所述應(yīng)用相關(guān)聯(lián)的顯示圖像。
25. —種計算機(jī)可讀存儲介質(zhì)，其上具體實(shí)施計算機(jī)程序，所述計算機(jī) 程序包括指令用于接收至少對象的第一圖像； 在所述第一圖像中檢測所述對象；響應(yīng)于在所述第一圖像中檢測對象，產(chǎn)生對象數(shù)據(jù)地圖，所述對象數(shù)據(jù) 地圖針對所述第 一圖像中的每一個像素，指示在每一個像素處是否檢測到所 述對象；產(chǎn)生運(yùn)動歷史，所述運(yùn)動歷史針對對象數(shù)據(jù)地圖中所包括的每一個像素， 指示自從在每一個像素處檢測到所述對象時起的時間的指示；和 基于所述運(yùn)動歷史控制應(yīng)用。
26. —種系統(tǒng)，包括用于接收至少對象的第 一 圖像的裝置； 用于在所述第一圖像中檢測對象的裝置；用于響應(yīng)于在所述第一圖像中檢測對象，產(chǎn)生對象數(shù)據(jù)地圖的裝置，所 述對象數(shù)據(jù)地圖針對所述第 一 圖像中的每一個像素，指示在每一個像素處是 否沐企測到所述對象；用于產(chǎn)生運(yùn)動歷史的裝置，所述運(yùn)動歷史針對對象凝:據(jù)地圖中所包括的 每一個像素，指示自從在每一個像素處檢測到所述對象時起的時間的指示；和用于基于所述運(yùn)動歷史控制應(yīng)用的裝置。
全文摘要
通過相機(jī)檢測用戶的運(yùn)動，并在顯示器上產(chǎn)生用戶的動態(tài)虛擬表示，其中，檢測到的用戶運(yùn)動導(dǎo)致所述動態(tài)虛擬表示與所述顯示器上的虛擬對象交互。計算所檢測到的用戶運(yùn)動的幅值和方向，以確定由所述動態(tài)虛擬表示施加到所述虛擬對象的力的幅值和方向。進(jìn)一步的結(jié)構(gòu)包括水或煙流體仿真，以便增強(qiáng)用戶體驗(yàn)。
文檔編號G06K9/00GK101636745SQ200780051911
公開日2010年1月27日 申請日期2007年12月27日 優(yōu)先權(quán)日2006年12月29日
發(fā)明者埃文·希爾德雷思 申請人:格斯圖爾泰克股份有限公司