背景技術(shù)：

目前存在如下人機(jī)界面，即，該人機(jī)界面使用基于深度的圖像來作為用于對輸入進(jìn)行確定的機(jī)制。諸如由惠普公司(hewlettpackardcompany)制造的sprout等一些計(jì)算機(jī)系統(tǒng)為了對放置在指定或相關(guān)聯(lián)的表面上的對象進(jìn)行檢測和分析而采用基于深度的攝像機(jī)。

附圖說明

圖1示出用于對與交互平面相關(guān)聯(lián)的深度圖像進(jìn)行處理的示例系統(tǒng)。

圖2示出用于對一系列圖像進(jìn)行處理以確定對象與交互平面的交互的示例方法。

圖3示出用于將圖像分割成交互平面和感興趣的對象的示例方法。

圖4a-圖4d示出用于對放置在交互平面上的手的深度圖像進(jìn)行識(shí)別的處理的示例。

圖5示出用于實(shí)現(xiàn)一個(gè)或多個(gè)示例的示例性計(jì)算機(jī)系統(tǒng)。

具體實(shí)施方式

本文所描述的示例包括用于對一系列深度圖像進(jìn)行處理的系統(tǒng)及方法，所述深度圖像捕獲感興趣的對象(例如，用戶的手)在交互平面之上或相對于交互平面的交互。根據(jù)一些方面，對深度圖像處理系統(tǒng)及方法進(jìn)行了描述，該深度圖像處理系統(tǒng)及方法能夠?qū)ο笙鄬τ诮换テ矫婊蛟诮换テ矫嬷系囊苿?dòng)進(jìn)行分析和檢測，所述移動(dòng)包括導(dǎo)致對象接觸或接近交互平面的移動(dòng)。相較于一些傳統(tǒng)方法，感興趣的對象相對于交互平面的接近不會(huì)妨礙相關(guān)聯(lián)的計(jì)算機(jī)系統(tǒng)對對象相對于交互平面的姿態(tài)或移動(dòng)進(jìn)行解釋的能力。

根據(jù)一個(gè)方面，對一系列圖像中的初始圖像進(jìn)行了分析。針對初始圖像，(i)確定出與交互平面相對應(yīng)的像素的平面近似，以及(ii)確定出與對象相對應(yīng)的像素的對象近似?？梢灾辽俨糠值鼗谟沙跏紙D像的各個(gè)像素所攜帶的深度信息來確定像素的平面近似?？梢灾辽俨糠值鼗诔跏紙D像的像素的平面近似在跟隨初始圖像的一個(gè)或多個(gè)圖像中確定出像素的對象近似。

關(guān)于所描述的示例，“交互平面”是指在其上可以通過深度圖像分析來使對象交互成像并加以解釋的指定表面。所描述的諸多示例可以用提供的或者以其他方式與所定義的在其上可以接收用戶交互的表面相關(guān)聯(lián)的計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)。在這樣的示例中，交互對象(有時(shí)被稱為感興趣的對象)可以與用戶的手或者手或手臂的一部分(例如手指)、相對應(yīng)，并且交互平面對在其上用戶為了提供輸入而形成手勢或執(zhí)行其他移動(dòng)動(dòng)作的表面進(jìn)行標(biāo)記。相較于傳統(tǒng)方法，當(dāng)對象接近于或者位于交互平面上時(shí)，如所描述的示例能夠?qū)崿F(xiàn)相對于交互平面的對象檢測。這使得與相關(guān)聯(lián)的計(jì)算機(jī)系統(tǒng)之間的人機(jī)交互的輸入范圍以及級別更為強(qiáng)大且多樣化。雖然本文所描述的諸多示例提供了與用戶的手相對應(yīng)的感興趣的對象，但是變形提供了可以檢測和單獨(dú)識(shí)別替代類型的對象(例如，觸控筆或鋼筆、各種類型的三維對象等)的系統(tǒng)。

本文所描述的示例提供由計(jì)算設(shè)備以編程方式執(zhí)行的方法、技術(shù)和動(dòng)作，或者作為計(jì)算機(jī)實(shí)現(xiàn)的方法。示例可以被實(shí)現(xiàn)為硬件、或者硬件(例如，處理器(多個(gè)))與可執(zhí)行指令(例如，被存儲(chǔ)在機(jī)器可讀存儲(chǔ)介質(zhì)上)的組合。這些指令可以存儲(chǔ)在計(jì)算設(shè)備的一個(gè)或多個(gè)存儲(chǔ)器資源中。以編程方式執(zhí)行的步驟可以是自動(dòng)的也可以是非自動(dòng)的。

可以使用程序化的模塊或組件來實(shí)現(xiàn)本文所描述的示例。程序化的模塊或組件可以是硬件(例如，處理器(多個(gè)))和用于實(shí)現(xiàn)本文所描述的模塊或組件的功能的編程這兩者的任何組合。在本文所描述的示例中，可以以多種不同的方式來實(shí)現(xiàn)硬件與編程的這種組合。例如，針對組件的編程可以是在至少一個(gè)非瞬態(tài)機(jī)器可讀存儲(chǔ)介質(zhì)上存儲(chǔ)的處理器可執(zhí)行指令，針對組件的硬件可以包括用以執(zhí)行那些指令的至少一個(gè)處理資源。在這種示例中，至少一個(gè)機(jī)器可讀存儲(chǔ)介質(zhì)可以對當(dāng)被至少一個(gè)處理資源執(zhí)行時(shí)會(huì)實(shí)現(xiàn)組件的指令進(jìn)行存儲(chǔ)。

本文所描述的一些示例通常會(huì)涉及計(jì)算設(shè)備的使用，并且包括處理和存儲(chǔ)器資源。例如，本文所描述的示例可以全部或部分地在諸如臺(tái)式計(jì)算機(jī)、蜂窩或智能電話、個(gè)人數(shù)字助理(pda)、膝上型計(jì)算機(jī)、打印機(jī)、數(shù)字相框和平板設(shè)備等計(jì)算設(shè)備上實(shí)現(xiàn)。存儲(chǔ)器、處理和網(wǎng)絡(luò)資源可以全部與本文所描述的任何示例的建立、使用或執(zhí)行相關(guān)聯(lián)地使用(包括執(zhí)行任何方法或執(zhí)行任何系統(tǒng))。

此外，本文所描述的示例可以通過使用可由一個(gè)或多個(gè)處理器執(zhí)行的指令來實(shí)現(xiàn)。這些指令可以在計(jì)算機(jī)可讀介質(zhì)上執(zhí)行。以下用附圖示出或描述的機(jī)器提供了處理資源和計(jì)算機(jī)可讀介質(zhì)的示例，在該處理資源和計(jì)算機(jī)可讀介質(zhì)上可以攜帶和/或執(zhí)行用于實(shí)現(xiàn)本文所描述的示例的指令。特別地，用示例示出的諸多機(jī)器包括用于保持?jǐn)?shù)據(jù)和指令的處理器(多個(gè))和各種形式的存儲(chǔ)器。計(jì)算機(jī)可讀介質(zhì)的示例包括諸如個(gè)人計(jì)算機(jī)或服務(wù)器上的硬盤驅(qū)動(dòng)器等永久存儲(chǔ)器存儲(chǔ)設(shè)備。計(jì)算機(jī)存儲(chǔ)介質(zhì)的其他示例包括諸如cd或dvd單元等便攜式存儲(chǔ)單元、閃存(被攜帶在諸如智能電話、多功能設(shè)備或平板電腦上)、以及磁性存儲(chǔ)器。計(jì)算機(jī)、終端、網(wǎng)絡(luò)化設(shè)備(例如，諸如蜂窩電話等移動(dòng)設(shè)備)全部為利用處理器、存儲(chǔ)器和在計(jì)算機(jī)可讀介質(zhì)上存儲(chǔ)的指令的機(jī)器和設(shè)備的示例。另外，示例可以以計(jì)算機(jī)程序或能夠承載這種程序的計(jì)算機(jī)可用載體介質(zhì)的形式來實(shí)現(xiàn)。

系統(tǒng)描述

圖1示出用于對與交互平面相關(guān)聯(lián)的深度圖像進(jìn)行處理的示例系統(tǒng)。更詳細(xì)地，深度圖像處理系統(tǒng)100可以關(guān)于相關(guān)聯(lián)的計(jì)算機(jī)系統(tǒng)(例如，參見圖5)操作，以便檢測和處理在感興趣的對象和指定的交互平面105之間的交互。作為示例，系統(tǒng)100可以用處理相對于與交互平面105對應(yīng)的指定表面提供的手勢輸入的計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)或者作為該計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)。用戶可以例如用他的手/或手指來作手勢，或執(zhí)行相對于交互平面105的其他運(yùn)動(dòng)，其單獨(dú)地或與其他運(yùn)動(dòng)組合作為用于控制計(jì)算機(jī)系統(tǒng)的應(yīng)用程序、處理或其他機(jī)制的輸入。雖然描述的示例使得能夠更好地檢測和解釋手勢輸入，但是對所描述的示例的變更可以包括可替代的用途和目的。作為示例，系統(tǒng)100可被編程為識(shí)別和/或分割放置在交互平面105上的對象。

參考圖1，如圖1所示，系統(tǒng)100包括圖像接口110、過濾器120、平面檢測部件130、分割部件140、對象確定部件150、運(yùn)動(dòng)解釋部件160和系統(tǒng)輸入接口170。圖像接口110可以與可以監(jiān)視包括交互平面105的場景的一個(gè)或多個(gè)深度攝像機(jī)103通信。交互平面105可以與例如物理地位于攝像機(jī)103的位置的下面并/或與攝像機(jī)103的位置鄰近的桌面或表面的區(qū)域?qū)?yīng)。在變型中，交互平面105可以與多個(gè)傳感器區(qū)域?qū)?yīng)，多個(gè)傳感器區(qū)域諸如在相對于深度攝像機(jī)103的位置中以光學(xué)方式提供的觸摸表面，以便捕獲與交互平面105交互的對象。在操作中，圖像接口110可以從深度攝像機(jī)103接收一系列圖像幀107。例如，圖像接口110可以從深度攝像機(jī)103中的每個(gè)接收包括多個(gè)經(jīng)排序的圖像幀107的視頻剪輯。圖像接口110可以從每個(gè)圖像幀107提取圖像像素?cái)?shù)據(jù)111，并且圖像幀107的各個(gè)像素可以包括深度數(shù)據(jù)113和圖像值115或者與深度數(shù)據(jù)113和圖像值115相關(guān)聯(lián)。與每個(gè)像素相關(guān)聯(lián)的圖像值115可以與例如顏色(和/或色度)或其他基于圖像的值對應(yīng)。

在許多應(yīng)用中，圖像幀107可以檢測與交互平面105交互的感興趣的手或其他對象。像素?cái)?shù)據(jù)111可以是像素云的形式，其基于相對于交互平面105的深度信息來空間地分布像素。雖然當(dāng)感興趣的對象離交互平面足夠的距離時(shí)，像素云可以能夠從交互平面105充分地描繪感興趣的對象，但是圖1的示例承認(rèn)，當(dāng)對象與平面的接近度在閾值內(nèi)時(shí)，需要額外的處理和邏輯來破譯包括感興趣的對象的像素，其中系統(tǒng)誤差和噪聲可以從交互平面的像素屏蔽感興趣的對象的像素。具體地，圖1的示例承認(rèn)，在許多上下文和使用方案中，當(dāng)用戶提供手勢或其他期望的輸入時(shí)，手或其他感興趣的對象可以被放置為與交互平面105的接觸或靠得很近。因此，系統(tǒng)100包括功能和邏輯，該功能和邏輯基于：感興趣的對象和交互平面105之間的交互可以包括感興趣的對象與交互平面105接觸或以其他方式充分接近于交互平面使得對象和交互平面的辨別變得困難(例如，基于深度攝像機(jī)103的測量誤差)的可能性。作為示例，用戶可以將手放置在交互平面105上并/或使模擬的按鈕或鍵與交互平面接觸。取決于實(shí)施方式，系統(tǒng)100可以確定：(i)在交互平面附近或之上移動(dòng)的對象是否是感興趣的對象；(ii)感興趣的對象是否實(shí)際上與交互平面105接觸；以及/或者(iii)在特定圖像幀數(shù)據(jù)107中的感興趣的對象的空間特征。

根據(jù)一個(gè)方面，過濾器120可以實(shí)現(xiàn)一個(gè)或多個(gè)過濾處理以降低像素云的噪聲水平。圖1的示例承認(rèn)，當(dāng)感興趣的對象在交互平面105上或非常接近于交互平面105時(shí)，噪聲水平的降低可能是特別有用的。經(jīng)濾波的像素?cái)?shù)據(jù)121可以被提供給平面檢測部件130。

平面檢測部件130實(shí)現(xiàn)一個(gè)或多個(gè)處理，以從經(jīng)過濾的像素?cái)?shù)據(jù)121檢測平面。平面檢測部件130可以包括平面檢測邏輯132，以從當(dāng)前正在分析的圖像幀107接近交互平面105的像素。在一個(gè)實(shí)施方式中，平面檢測邏輯132執(zhí)行迭代處理(例如，諸如通過隨機(jī)抽樣共識(shí)(“ransac”)方法提供)，其中針對深度以及可選的圖像值(例如，顏色)而分析隨機(jī)選擇的像素，以便會(huì)聚在限定圖像內(nèi)的平面的足夠數(shù)量的像素上。平面檢測邏輯132可以實(shí)現(xiàn)關(guān)于圖像幀107中的交互平面105的位置的一些假設(shè)，具體地說，交互平面可以具有均勻的顏色，并且進(jìn)一步地，交互平面是圖像中最遠(yuǎn)物體的深度方向。平面檢測邏輯132可以確定平面方程以近似表示交互平面105的圖像幀數(shù)據(jù)的那些像素。

根據(jù)一些方面，系統(tǒng)100利用平面數(shù)據(jù)131作為公共對象交互(例如，視頻剪輯)或會(huì)話的連續(xù)或連續(xù)圖像幀107之間，以便促進(jìn)在所捕獲的交互的任何給定圖像幀中包括交互平面105的那些像素的近似。通過示例方式，平面數(shù)據(jù)131可以對應(yīng)于平面方程。在變型中，平面數(shù)據(jù)可以與被認(rèn)為是交互平面105的一部分的一些或所有像素的識(shí)別對應(yīng)。在利用連續(xù)或順序的圖像幀之間的平面數(shù)據(jù)131時(shí)，平面檢測組件130可以在假設(shè)交互平面105的位置相對于圖像幀107的給定序列是靜態(tài)的。因此，對于給定的圖像幀107，平面檢測部件130可以在確定當(dāng)前圖像幀107的交互平面105時(shí)首先檢查來自先前相關(guān)圖像幀107的平面數(shù)據(jù)131，其中先前相關(guān)圖像幀107對應(yīng)于：(i)來自相同對象交互的一系列圖像幀(例如，捕獲用戶手勢動(dòng)作的視頻剪輯)的先前圖像幀107(例如，緊接在前)；(ii)來自當(dāng)前會(huì)話的先前圖像幀；或者(iii)來自在閾值時(shí)間幀內(nèi)的先前時(shí)間實(shí)例的先前圖像幀。在實(shí)現(xiàn)平面檢測邏輯132之前，平面檢測部件130可以針對先前相關(guān)圖像幀107的平面數(shù)據(jù)131檢查平面緩沖器135。如果先前在相同序列的圖像幀107中檢測到平面，則使用對應(yīng)的平面數(shù)據(jù)131來確定更新的平面數(shù)據(jù)133。當(dāng)前的平面數(shù)據(jù)133可以被處理以便關(guān)于當(dāng)前圖像幀107進(jìn)行細(xì)化。如果沒有識(shí)別出來自先前相關(guān)圖像幀的平面數(shù)據(jù)，則可以實(shí)現(xiàn)平面檢測邏輯132以從像素點(diǎn)數(shù)據(jù)121檢測平面。平面檢測部件130可將當(dāng)前平面數(shù)據(jù)131存儲(chǔ)在平面緩沖器中用于隨后的使用。

分割部件140可以實(shí)現(xiàn)使用更新的平面數(shù)據(jù)133的處理，以便將與感興趣的對象對應(yīng)的圖像幀的像素與交互平面105的像素分割。在一個(gè)實(shí)施方式中，分割部件140可以執(zhí)行分析以識(shí)別相似圖像值115的像素，其可以共同地識(shí)別感興趣的對象的位置和形狀。如用圖3的示例所描述的，一旦形成交互平面105的像素被近似，則分割部件140可以基于顏色或色度的像素比較，利用能量函數(shù)來近似與感興趣的對象對應(yīng)的剩余像素集。分割部件140可以產(chǎn)生與感興趣的對象的近似對應(yīng)的前景圖像141。前景圖像141可以排除近似為屬于交互平面105的那些像素以及已經(jīng)用過濾部件120的實(shí)現(xiàn)來過濾的那些像素，以便減小各個(gè)像素值的噪聲(例如，使各個(gè)像素的深度數(shù)據(jù)中的噪聲變化平滑)。

在一些實(shí)施方式中，為了確定形狀、位置、空間特征(例如，對象的表面的二維尺寸和/或深度圖)、對象類型或其他感興趣的特征，對前景圖像141進(jìn)行對象確定部件150的一個(gè)或多個(gè)對象確定處理。對象類型可以與關(guān)于所檢測到的對象是否是應(yīng)當(dāng)被分析或進(jìn)一步處理以用于解釋的對象的確定對應(yīng)。例如，系統(tǒng)100可以被實(shí)現(xiàn)為處理在交互平面之上進(jìn)行的手勢，并且所檢測的對象可以被認(rèn)為具有不是用戶手的形狀，在這種情況下，交互平面中的對象的存在可以被忽略(例如，諸如當(dāng)感興趣的對象是無意中放置在交互平面上的對象時(shí)的情況)。此外，可以在解釋三維運(yùn)動(dòng)(例如，三維手勢)的應(yīng)用的上下文中實(shí)現(xiàn)系統(tǒng)100，并且因此，可能需要對象數(shù)據(jù)的歷史以便解釋三維動(dòng)作。在一個(gè)實(shí)施方式中，對象數(shù)據(jù)緩沖器165維護(hù)對象信息151。對象信息151可以包括：(i)對于給定圖像幀107近似于感興趣的對象的像素的對象像素?cái)?shù)據(jù)153(例如，深度信息，圖像值)；(ii)對象特征155，諸如形狀、空間特征或物體類型。

在一些變型中，對象數(shù)據(jù)緩沖器165還可以將置信度值與對象像素?cái)?shù)據(jù)153或?qū)ο筇卣?55相關(guān)聯(lián)。置信度值可以記錄在各種上下文中，諸如從圖像攝像機(jī)103在其對用各個(gè)像素提供的深度信息的近似的上下文中記錄，或者通過在平面檢測和/或分割方面的近似來記錄。

運(yùn)動(dòng)解釋部件160可以利用緩沖對象數(shù)據(jù)161，以便確定用于系統(tǒng)輸入170的對應(yīng)輸入171。緩沖對象數(shù)據(jù)161可以與包括在感興趣的對象的手勢或其他移動(dòng)或手勢/移動(dòng)的部分的持續(xù)時(shí)間以內(nèi)捕獲的對象信息151的多個(gè)檢測到的實(shí)例的表示對應(yīng)。運(yùn)動(dòng)解釋部件160可以訪問規(guī)則162和其他邏輯，以便解釋被緩存的對象數(shù)據(jù)161。作為示例，規(guī)則162可以是應(yīng)用或上下文特定的，使得可以基于移動(dòng)的手勢被應(yīng)用的所確定的應(yīng)用或上下文來不同地解釋感興趣的對象的手勢或移動(dòng)。

系統(tǒng)170可以響應(yīng)于對應(yīng)的輸入171執(zhí)行編程動(dòng)作。在一些實(shí)施方式中，系統(tǒng)輸入170可以與系統(tǒng)100集成。在變型中，系統(tǒng)100可以被實(shí)現(xiàn)為與系統(tǒng)輸入170所駐留的計(jì)算機(jī)系統(tǒng)通信的附件或外部部件。

在一個(gè)變型中，一個(gè)或多個(gè)接觸傳感器可以與交互平面105組合，以便確定感興趣的物體何時(shí)與交互平面接觸。接觸傳感器可以包括例如電容傳感器，聲傳感器或振動(dòng)傳感器。與交互平面105接觸的對象的檢測使得能夠從用戶的手或其他感興趣的對象檢測更多樣化和細(xì)粒度的運(yùn)動(dòng)和手勢范圍。

方法

圖2示出了用于處理一系列圖像以確定對象與交互平面的交互的示例方法。圖3示出了用于將圖像分割成交互平面和感興趣的對象的示例方法。在描述圖2或圖3的示例時(shí)，為了示出用于執(zhí)行所描述的步驟或子步驟的合適的部件或處理的目的，可以參考圖1的元件。

如圖2所示，可以處理捕獲對象和交互平面的交互的一系列深度圖像(di)(210)。一系列深度圖像可以與由深度攝像機(jī)103捕獲的視頻輸入對應(yīng)。例如，系統(tǒng)100可以對應(yīng)于用戶相對于交互平面105三維地移動(dòng)他的手或手指而從深度攝像機(jī)103接收視頻輸入。

對于給定的深度圖像(din)(例如，視頻捕獲的初始圖像或第一圖像)，系統(tǒng)100可以確定可與交互平面對應(yīng)的像素的近似值(220)。例如，平面檢測部件130可以以平面等式的形式確定在深度圖像(din)中形成交互平面105的像素的近似值。一旦確定了像素的平面近似值，就可以確定感興趣的對象的像素(222)。與深度圖像(din)中的感興趣的對象對應(yīng)的像素的近似值可以部分地取決于排除接近于交互平面105的像素。在一個(gè)實(shí)施方式中，分割部件140使用能量分量來近似與感興趣的對象對應(yīng)的那些像素。能量方程可以部分地基于諸如顏色或色度以及深度的像素值來使像素相等以與感興趣的對象對應(yīng)。

一旦給定圖像被處理，則深度圖像(din+1)上的下一個(gè)或緊隨其后的可以被處理為當(dāng)前圖像(din+1＝din)，并且從現(xiàn)有圖像形成交互平面的像素的近似值可以被用作對當(dāng)前圖像(din)中的交互平面105的像素的初步猜測或估計(jì)(230)。在一些實(shí)施方式中，可以確定來自先前深度圖像(din-1)的交互平面105的近似值是否對于當(dāng)前深度圖像(din)有效(232)。

如果近似值為有效(234)，則可以將先前深度圖像(din-1)的近似值(例如，平面方程)繼承并在當(dāng)前深度圖像(din)中使用。然后可以在(230)處對下一個(gè)深度圖像重復(fù)該處理。如果近似值為無效(236)，則可以在(220)處重復(fù)該處理，并重新近似于形成交互平面105的像素和感興趣的對象。

參考圖3的示例，深度攝像機(jī)103可以捕獲視頻剪輯的圖像幀，并且可以針對像素信息處理每個(gè)圖像幀(310)。在一個(gè)實(shí)現(xiàn)中，深度攝像機(jī)103對應(yīng)于rgb-d(紅藍(lán)綠深度)照相機(jī)。在變型中，深度攝像機(jī)103可以對應(yīng)于可替代的深度圖像捕獲設(shè)備，例如與圖像處理組合以捕獲深度信息的非深度攝像機(jī)的立體對(或其他組合)。像素信息可以將圖像像素表示為u＝(u；v)t。每個(gè)圖像像素可以包括圖像值(312)和深度信息(314)。每個(gè)圖像像素u＝(u,v)t的深度信息可以由三維空間點(diǎn)x(u)＝(x(u，v),y(u，v),z(u，v)))t提供。在一個(gè)實(shí)現(xiàn)中，rgb顏色空間中的每個(gè)像素的圖像值可以表示為c(u)＝(r(u,v),g(u,v),b(u,v))t。

可以實(shí)現(xiàn)過濾器以從像素信息中減少像素噪聲(320)。在一個(gè)實(shí)現(xiàn)中，應(yīng)用快速過濾器來平滑每個(gè)圖像幀的圖像像素的點(diǎn)云表示。特別地，由現(xiàn)成的rgb-d攝像機(jī)獲得的點(diǎn)云傾向于包含可以使用濾波方法來減小或歸一化的測量誤差。過濾器可以由例如具有基于從對象到攝像機(jī)的距離的自適應(yīng)窗口尺寸的平均(盒)過濾器來實(shí)現(xiàn)。

可以進(jìn)一步分析圖像幀的像素信息以檢測交互平面(330)。交互平面可以根據(jù)以一組隨機(jī)選擇的像素(332)或者以先前根據(jù)相關(guān)圖像幀(例如，視頻剪輯的先前圖像幀)確定的關(guān)于交互平面的信息開始的過程來確定(334)。在一個(gè)變型中，在開始時(shí)，可以使用時(shí)間一致的版本的ransac(隨機(jī)樣本一致性)算法從隨機(jī)選擇的點(diǎn)提取交互平面，從而可以檢測離面對象。在提取交互平面中，可以假設(shè)，除非被離面物體(例如，包括手)遮擋時(shí)，交互平面對于rgb-d攝像機(jī)是可見的。該假設(shè)可以用來把在圖像幀中定位交互平面的問題建模為在rgb攝像機(jī)103獲取的點(diǎn)云中找到最大平面。通常，屬于平面的點(diǎn)的百分比很高，并且ransac的應(yīng)用傾向于在幾次迭代中就收斂以確定交互平面。

根據(jù)一個(gè)實(shí)施方案，交互平面可以由a^tx＝1表示，其中a＝(al，a2，a3)^t是平面的法向量，x是3d點(diǎn)。在執(zhí)行ransac過程之后，隨機(jī)選擇一組三個(gè)點(diǎn)，并計(jì)算由隨機(jī)選擇的點(diǎn)形成的平面的法向量a。對于所有x，計(jì)算距離：

并且如果它們中的至少一部分p(例如，20％)呈現(xiàn)小于閾值t(例如，1厘米)的距離，則使用例如平均最小二乘法擬合來以所有這些有效點(diǎn)重新計(jì)算平面。否則，選擇另一組3d點(diǎn)，并重復(fù)該方法。

假設(shè)攝像機(jī)通常是靜態(tài)的(這樣一來，不預(yù)計(jì)a會(huì)在時(shí)間上急劇變化)，則在給定幀處獲得的平面方程被用作下一幀的初始估計(jì)，從而避免了點(diǎn)的初始隨機(jī)選擇。如果平面方程沒有改變(或只是改變一個(gè)小的量)，平面可以以單次迭代來重新估計(jì)。用于估計(jì)交互平面的流水線示出在圖1中。關(guān)于圖4c，在分割之前，示出檢測到的平面。

一旦確定了交互平面，就可以使用分割過程來檢測離面對象(340)。當(dāng)感興趣對象離開交互平面105時(shí)，交互平面本身可以提供對平面外對象的良好估計(jì)。然而，當(dāng)離面物體非常接近交互平面或在交互平面上時(shí)，手的深度與平面之間只有很小的差異，并且這可能導(dǎo)致離面物體的一部分被錯(cuò)誤檢測。

在一些變型中，可以執(zhí)行分割處理以檢測離開交互平面(229)的離面對象。例如，分割部件140可以實(shí)現(xiàn)一個(gè)過程，以確定何時(shí)感興趣的對象在交互平面105上或非常接近交互平面105。在一個(gè)方面，分割過程可以是可以被實(shí)現(xiàn)來組合深度和像素值(例如，顏色或色度信息)的基于標(biāo)記的分水嶺程序。為了獲得離線對象(例如，手)的輪廓或形狀，可以使用基于標(biāo)記的分水嶺變換?？梢允褂胷ansac過程再次估計(jì)交互平面，但是是以較低的閾值(在這種情況下為0.25厘米)，以避免誤報(bào)(即，被檢測為平面的非平面物體)。然后，所得到的二值圖像被侵蝕以進(jìn)一步將交互平面與感興趣對象分開。背景和前景標(biāo)記的選擇的一個(gè)示例示出在圖4d中。給定適當(dāng)?shù)臉?biāo)記，下一步可以對應(yīng)于定義用于引導(dǎo)分水嶺的能量函數(shù)。示例認(rèn)識(shí)到，當(dāng)感興趣的對象距離平面表面足夠遠(yuǎn)時(shí)，從點(diǎn)到平面的距離的梯度大小可以足以捕獲感興趣對象的輪廓或形狀。然而，感興趣的對象的能量可以隨著感興趣的對象越來越接近交互平面而變得越來越小，在這種情況下，可以使用附加的顏色信息來捕獲感興趣對象的形狀或顏色。

應(yīng)該注意的是，在涉及與被動(dòng)平坦表面(例如桌子)的交互的某些使用場景中，光源通常位于交互平面之上。這種布置可以將感興趣的物體的陰影投射到表面上。示例進(jìn)一步認(rèn)識(shí)到，在這種情況下，基于顏色的像素值也可以捕獲陰影。因此，在一些示例中，所使用的像素值包括色度信息。更準(zhǔn)確地說，我們使用ciel*a*b顏色空間和由以下公式給出的所需的色度圖：

其中a和b是顏色對手的尺寸(亮度l被丟棄)。另外，提出的能量圖e由下式給出:

其中d是控制色度項(xiàng)的影響，并且控制與平面有多接近時(shí)，顏色信息開始相關(guān)的至平面距離函數(shù)。

示例

圖4a-圖4d示出了用于識(shí)別放置在交互平面上的手的深度圖像的過程的示例?？梢岳美缰T如以圖1示例描述的系統(tǒng)100,或諸如以圖2和圖3的示例描述的方法，來實(shí)現(xiàn)圖4a-圖4d的示例。在圖4a中，將對應(yīng)于感興趣對象的手放置在交互平面405上。定位一個(gè)或多個(gè)深度攝像機(jī)410以從交互平面405捕獲圖像(例如，視頻或一系列圖像)。

圖4b示出當(dāng)手放置在交互平面405上時(shí)，如攝像機(jī)410所捕獲的手的基于深度的圖像。在圖4c中，基于深度的圖像用于(i)確定對應(yīng)于交互平面405的像素420的平面近似，以及(ii)對應(yīng)于放置在交互平面405上的手的像素430的近似。例如，平面檢測部件130可以確定像素420的平面近似以及像素430的物體近似。

在圖4d中，從交互平面405的背景中提取對應(yīng)于手的像素430的近似。可以分析手到交互平面405的形狀、位置和/或接近度，并可以將其與輸入和其它數(shù)據(jù)相關(guān)聯(lián)。手的特征可以根據(jù)從單獨(dú)圖像，或者對于其中手在交互平面405上方或在交互平面405上移動(dòng)或作手勢的一系列圖像，確定的像素430的物體近似來確定。

圖5示出了用于實(shí)現(xiàn)一個(gè)或多個(gè)示例的示例計(jì)算機(jī)系統(tǒng)。具體地，示例計(jì)算機(jī)500可以用于實(shí)現(xiàn)諸如以圖1的示例描述的深度圖像處理系統(tǒng)100，或者諸如以圖2或圖3描述的示例方法。計(jì)算機(jī)系統(tǒng)500包括用于處理指令的至少一個(gè)處理器504。計(jì)算機(jī)系統(tǒng)500還包括用于存儲(chǔ)由處理器504執(zhí)行的信息和指令的、諸如隨機(jī)存取存儲(chǔ)器(ram)或其他動(dòng)態(tài)存儲(chǔ)設(shè)備的存儲(chǔ)器506。存儲(chǔ)器506可以包括永久存儲(chǔ)設(shè)備510，例如磁盤或光盤。存儲(chǔ)器506還可以包括只讀存儲(chǔ)器(rom)。通信接口518使得計(jì)算機(jī)系統(tǒng)500能夠通過網(wǎng)絡(luò)鏈路520，使用例如無線gsm網(wǎng)絡(luò)或公共交換電話網(wǎng)絡(luò)(pstn)與其它計(jì)算機(jī)或數(shù)據(jù)處理部件或各個(gè)無線設(shè)備進(jìn)行通信。作為替代或補(bǔ)充，通信接口518使得計(jì)算機(jī)系統(tǒng)500能夠與諸如管理服務(wù)或其他服務(wù)提供商的服務(wù)器之類的其它服務(wù)進(jìn)行通信。

在圖5的示例中，計(jì)算機(jī)系統(tǒng)500還包括用于捕獲深度圖像519的深度攝像機(jī)540。如通過一些其它示例所描述的，深度攝像機(jī)540可以被定向或指向交互平面(圖5中未示出)，以便捕獲相對于交互平面105或在交互平面105上方的物體的移動(dòng)或姿態(tài)。在圖5的示例中，存儲(chǔ)器存儲(chǔ)用于處理檢測相對于交互平面或在交互平面上的對象交互的深度圖像的指令526。指令526可由處理器504執(zhí)行，以便分析由深度攝像機(jī)540捕獲的深度圖像519。

在圖5的示例中，處理器504執(zhí)行存儲(chǔ)在存儲(chǔ)器506中的一個(gè)或多個(gè)指令序列。這樣的指令可以從諸如存儲(chǔ)設(shè)備的另一機(jī)器可讀介質(zhì)讀入存儲(chǔ)器506。執(zhí)行包含在主存儲(chǔ)器506中的指令序列使得處理器504執(zhí)行本文所述的處理步驟。在替代實(shí)施例中，可以使用硬連線電路代替或與軟件指令組合以實(shí)現(xiàn)本文所述的實(shí)施例。因此，所描述的實(shí)施例不限于硬件電路和軟件的任何特定組合。

盡管在此參照附圖詳細(xì)描述了說明性實(shí)施例，但是本公開涵蓋了具體實(shí)施例和細(xì)節(jié)的變化。意圖是這里描述的實(shí)施例的范圍由權(quán)利要求及其等同物來限定。此外，預(yù)期的是，單獨(dú)地或作為實(shí)施例的一部分描述的特定特征可以與其他單獨(dú)描述的特征或其他實(shí)施例的部分組合。因此，沒有描述的組合不應(yīng)排除發(fā)明人對這種組合的權(quán)利的要求。