專利名稱：自動深度相機對準的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自動深度相機對準。
背景技術(shù)：
深度相機可被用于捕捉深度信息以及用于像素矩陣的諸如亮度、色彩等之類的附加信息。然后，這樣的信息可被用于對存在于所查看的場景中的目標進行建模。概述提供本概述是為了以簡化的形式介紹將在以下詳細描述中進一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標識出所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于限定所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本發(fā)明的任一部分中提及的任何或所有缺點的實現(xiàn)。根據(jù)本公開的一個方面，提供了一種用于自動地將深度相機與感興趣點對準的方法。該方法包括從所述深度相機接收場景的一個或多個所觀測的深度圖像。該方法進一步包括如果目標的感興趣點在所述場景內(nèi)被找到，則確定所述感興趣點是否在相對于深度相機的遠范圍內(nèi)。該方法進一步包括如果所述目標的感興趣點處于遠范圍內(nèi)，則用遠邏輯操作所述深度相機，或者如果所述目標的感興趣點未處于遠范圍內(nèi)，則用近邏輯操作所述深度相機。


圖IA示出了包括深度相機的計算機系統(tǒng)的示例性實施例，該深度相機跟蹤玩拳擊游戲的游戲玩家。圖IB示出了圖IA的游戲玩家揮出重拳，該重拳被跟蹤并且被解釋成致使玩家化身在拳擊游戲的游戲空間中揮出重拳的游戲控制。圖2示意性地示出了由定位在不同高度處的深度相機跟蹤的玩家目標的示例。圖3示意性地示出了深度相機在不同對準矢量下的各種示例性視圖。圖4示出了自動將深度相機與感興趣點對準的示例性方法的流程圖。圖5示出了用于決定深度相機是將使用遠邏輯還是近邏輯被操作的示例性方法的流程圖。圖6示出了根據(jù)本公開的實施例實現(xiàn)遠邏輯的示例性方法的流程圖。圖7示出了根據(jù)本公開的實施例實現(xiàn)近邏輯的示例性方法的流程圖。圖8示出了執(zhí)行移動玩家選項的示例方法的流程圖。圖9示意性地示出了示例性缺省遠焦點和示例性缺省近焦點。圖IOA示意性地示出了圖9的深度相機的示例性視圖。圖IOB示意性地示出了圖9的深度相機的其他示例性視圖。圖11示出根據(jù)本公開的實施例的示例性計算系統(tǒng)的框圖。
具體實施方式
圖IA示出了目標跟蹤系統(tǒng)10的非限制性示例。具體而言，圖IA示出了計算機游戲系統(tǒng)12，該計算機游戲系統(tǒng)12可以用于玩各種各樣不同的游戲、播放一個或多個不同的媒體類型、和/或控制或操縱非游戲應(yīng)用。圖IA 還示出了高清晰度電視或HDTV 16形式的顯示器14，該高清晰度電視可以用于向諸如游戲玩家18之類的游戲玩家呈現(xiàn)游戲視覺。此外，圖IA示出了深度相機20形式的捕獲設(shè)備，其可以用于視覺地監(jiān)視諸如游戲玩家18之類的一個或多個游戲玩家。圖IA中所示的示例是非限制性的。如下面參考圖11 所述，在不偏離本公開的范圍的情況下可以使用各種不同類型的目標跟蹤系統(tǒng)。目標跟蹤系統(tǒng)可以用于識別、分析和/或跟蹤諸如游戲玩家18之類的一個或多個目標。圖IA示出了如下的場景使用深度相機20跟蹤游戲玩家18，使得游戲玩家18的運動可以被游戲系統(tǒng)12解釋成可以用于影響由游戲系統(tǒng)12執(zhí)行的游戲的控制。換言之，游戲玩家18可以使用其運動來控制游戲。游戲玩家18的運動基本上可以被解釋成任何類型的游戲控制。圖IA中示出的示例場景示出了游戲玩家18正在玩正由游戲系統(tǒng)12執(zhí)行的拳擊游戲。游戲系統(tǒng)使用HDTV 16來在視覺上向游戲玩家18呈現(xiàn)拳擊對手22。此外，游戲系統(tǒng)使用HDTV 16來在視覺上呈現(xiàn)游戲玩家18用其運動控制的玩家化身24。如圖IB中所示， 游戲玩家18可以在物理/現(xiàn)實世界空間中揮出重拳來作為對玩家化身24在游戲/虛擬空間中揮出重拳的指令。游戲系統(tǒng)12和深度相機20可以用于識別和分析游戲玩家18在物理空間中的重拳，從而使得該重拳可以被解釋成使得游戲化身24在游戲空間中揮出重拳的游戲控制。例如，圖IB示出了 HDTV 16響應(yīng)于游戲玩家18在物理空間中揮出重拳而在視覺上呈現(xiàn)游戲化身24揮出襲擊拳擊對手22的重拳。游戲玩家18的其他運動也可以被解釋成其他控制，諸如上下快速擺動、閃避、滑步、格擋、用拳猛擊或揮動各種不同力度的重拳等控制。此外，一些運動可以被解釋成用于除了控制游戲化身24之外的目的的控制。例如，玩家可以使用運動來結(jié)束、暫停或保存游戲、選擇級別、查看高分、與朋友交流等。目標跟蹤系統(tǒng)還可以用于將目標運動解釋成游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用控制?；旧?，操作系統(tǒng)和/或諸如圖IA和IB中所示拳擊游戲之類的應(yīng)用的任何可控制的方面都可以由諸如游戲玩家18之類的目標的運動來控制。所示出的拳擊場景是作為示例來提供的，但決不意味著以任何方式進行限制。相反，所示出的場景旨在展示可以在不背離本公開的范圍的情況下應(yīng)用于各種各樣不同的應(yīng)用程序的一般概念。游戲系統(tǒng)12或另一合適的計算設(shè)備可以被配置為利用模型來表示通過深度相機被觀測的一個或多個目標。該模型可以由一個或多個多邊形網(wǎng)、由一組數(shù)學(xué)原語、由包括多個關(guān)節(jié)位置的骨骼模型、和/或通過建模目標的其他合適的機器表示來表示。在一些場景中，目標的一個或多個方面可能是目標跟蹤系統(tǒng)特別感興趣的。作為非限制性的示例，玩家目標的頭部可能在一些場景中是特別感興趣的。目標的特別感興趣的這些方面可以被稱為目標的感興趣點。這樣的感興趣點可以是玩家目標的特定身體部分、特定的物品或道具、或者在場景內(nèi)可以被查看的基本上任何其他方面。如上面所介紹的那樣，這樣的感興趣點可以被建模。例如，玩家目標的頭部可以通過頭部的機器表示(例如多邊形網(wǎng)、骨骼構(gòu)件、指示位置和體積的數(shù)據(jù)結(jié)構(gòu)等等)來建模。
感興趣的點可以基于特定目標的各種不同特性以不同方式來定位。例如，繼續(xù)上面介紹的示例，根據(jù)玩家目標的身高，玩家目標的頭部可處于不同位置。此外，根據(jù)頭部的高度、深度相機的高度、和/或玩家目標站在與深度相機相距多遠之處，玩家目標的頭部可相對于深度相機成不同角度。圖2 —定程度示意性地示出了具有深度相機34的房間32中的4個玩家目標30a、 30b、30c、以及30d。圖2還示出了將深度相機34分別直接與玩家目標30a、30b、30c和30d 的頭部對準的示例性對準矢量36a、36b、36c和36d。圖2還示出了處于可替代高度的深度相機38、以及將深度相機38分別直接與玩家目標30a、30b、30c和30d的頭部對準的對準矢量40a、40b、40c和40d?？梢钥闯?，對準矢量隨著感興趣點(例如玩家目標的頭部)的高度和前/后定位、以及深度相機的高度而變化。根據(jù)深度相機對準到何處，玩家目標的感興趣點可能未處于深度相機的視野內(nèi)。 為了示出該方案，圖3 —定程度示意性地示出了兒童玩家目標30e和成人玩家目標30f。具體而言，圖3示出了兒童玩家目標30e和成人玩家目標30f的全視圖42，在該全視圖中，兩個玩家目標都完全可見。如果深度相機具有寬視野和/或玩家目標站在與深度相機相距相對遠之處，則深度相機可以實現(xiàn)這樣的全視圖。圖3還示出了高視圖44，其中深度相機指向相對高的對準矢量。圖3還示出了低視圖46，其中深度相機指向相對低的對準矢量。此外，圖3還示出了中視圖48，其中深度相機指向中間對準矢量。從圖3的高視圖44、低視圖46和中視圖48中可以看出，根據(jù)對準矢量，玩家目標的大部分可能處于深度相機的視野之外。此外，在考慮到圖2時能夠理解，特定的對準矢量將允許深度相機根據(jù)目標的前/后定位和/或深度相機的高度來查看目標的不同部分。因此，深度相機的對準矢量可以被改變以使感興趣點(例如玩家目標的頭部)進入深度相機的視野中。圖4示出了自動將深度相機與感興趣點對準的方法50。在一些實施例中，方法50 可以由諸如圖1的跟蹤系統(tǒng)10之類的計算系統(tǒng)來實施。在51，方法50包括從深度相機接收場景的一個或多個所觀測的深度圖像。例如，圖1的游戲系統(tǒng)12可以從圖1的深度相機20接收一個或多個深度圖像。在52，方法50包括確定目標的感興趣點(POI)是否在場景內(nèi)被找到。作為示例， 感興趣點可以是目標游戲玩家的頭部。在這樣的場景中，圖1的游戲系統(tǒng)12或另一合適的設(shè)備可以分析該場景并且對該場景內(nèi)的一個或多個目標游戲玩家進行建模以確定頭部是否處于視圖內(nèi)。在54，如果感興趣點在場景內(nèi)被找到，則方法50包括保持深度相機的對準矢量。 換言之，如果感興趣點已經(jīng)處于視野內(nèi)，則方法50可以通過維持當前的對準矢量來避免不必要的深度相機運動。保持深度相機使得對準矢量不運動可以包括阻止將“運動”指令發(fā)送給深度相機和/或被配置為選擇性地改變深度相機的對準矢量的對準部件。在56，方法50包括確定是否已經(jīng)丟失感興趣點。在一些實施例中，確定是否丟失感興趣點包括確定感興趣點是否以至少預(yù)先確定的公差處于視野的中心附近和/或處于視野的邊緣內(nèi)。如果感興趣點未處于中心附近和/或被認為過于接近邊緣，則認為丟失感興趣點，并且深度相機的對準矢量可以被輕推以將感興趣點移動得更接近視野的中心。然而在一些實施例中，深度相機將保持對準矢量，直到感興趣點離開視野。如果未丟失感興趣點，則方法50可以在54繼續(xù)保持深度相機并且在56監(jiān)視感興趣點。在58，方法50包括如果目標的感興趣點在52在場景內(nèi)未找到和/或感興趣點在56被丟失，則移動深度相機的對準矢量。如上面所解釋的那樣，用于移動深度相機的邏輯可以根據(jù)一個或多個因素而不同。作為示例，根據(jù)目標是處于附近范圍內(nèi)、相對接近深度相機(例如圖2中的玩家目標30a)、還是遠范圍、與深度相機相距較遠(例如圖2中的玩家目標30d)，深度相機對準可以被不同地處理。下面參考圖5-8提供用于根據(jù)目標是處于附近范圍還是遠范圍內(nèi)來對準深度相機的示例性邏輯。圖5示出了用于決定深度相機是將使用遠邏輯還是近邏輯被操作的方法60。方法60可以與圖4的方法50結(jié)合使用。在62，方法60包括確定深度相機是否被初始化。這樣的確定可以包括確定深度相機的相對位置和/或取向是否是已知的。在64，方法60包括如果深度相機當前未被初始化，則初始化深度相機。作為示例，深度相機在地面以上的相對高度可以是在作出隨后的對準決策時所考慮的參數(shù)。因此，初始化深度相機可以包括確定深度相機在地面以上的相對高度。在一些實施例中，這可以至少部分地通過如下方式來完成利用地面尋找算法分析場景的一個或多個深度圖像以對場景內(nèi)的地面進行定位。換言之，地面表面可以在場景內(nèi)被找到，并且深度相機在地面表面以上的高度可以使用來自深度相機的深度信息被計算出。在不偏離本公開的范圍的情況下，可以使用任何合適的地面尋找算法。作為一個非限制性示例，深度圖像的多行可以在屏幕空間中被掃描，并且針對每行，深度直線可以通過圖像左側(cè)和右側(cè)的所觀測的最深的點被插值。然后，邊界直線對可以固定到深度直線的端點處，并且地面平面可以被定義為包括這些邊界直線。在一些實施例中，用戶可以人工地輸入深度相機的位置。 在不偏移本公開的范圍的情況下，可以使用用于初始化深度相機的其他方法。在66，方法60包括確定感興趣點是否處于場景內(nèi)。作為非限制性示例，如果玩家目標的頭部對于特定應(yīng)用而言是感興趣點，則可以檢查場景以確定玩家目標的頭部是否在該場景內(nèi)可見。在不偏離本公開的范圍的情況下，這可以通過任何合適的圖像分析和/或建模技術(shù)來實現(xiàn)。作為非限制性示例，所觀測的深度圖像的每個像素都可以被標記為屬于目標的前景像素或者不屬于目標的背景像素。然后，每個前景像素都可以被標記上身體部分信息，該身體部分信息指示該前景像素屬于目標的一個或多個身體部分的可能性。然后， 目標可以用包括多個骨骼點的骨骼來建模，每個骨骼點都包括從一個或多個前景像素的身體部分信息中導(dǎo)出的三維位置。然后，可以確定感興趣點(例如頭部)是否處于視圖內(nèi)并且由骨骼來建模。在68，方法60包括確定感興趣點是相對于深度相機處于遠范圍內(nèi)還是相對于深度相機處于近范圍內(nèi)。近范圍和遠范圍的參數(shù)可以基于包括深度相機的視野在內(nèi)的各種不同的考慮因素來設(shè)置。在一個實施例中，近范圍被設(shè)置成與深度相機相距0至2. 0水平米， 遠范圍是與深度相機相距比2. 0水平米任何更遠的距離。在70，如果目標的感興趣點處于遠范圍內(nèi)，則深度相機利用遠邏輯被操作，這通過示例的方式參考圖6予以描述。在72，如果目標的感興趣點未處于遠范圍內(nèi)，則深度相機利用近邏輯被操作，這通過示例的方式參考圖7予以描述。此外，如果感興趣點不能在場景內(nèi)找到，則深度相機可以利用遠邏輯被操作。如上所述，方法60可以與圖4的方法50結(jié)合使用。具體而言，如下所述，近邏輯和遠邏輯可以用于在感興趣點不能被找到或變?yōu)閬G失的情況下確定如何移動相機來找到感興趣點。圖6示出了根據(jù)本公開的實施例實現(xiàn)遠邏輯的非限制性示例性方法80。方法80 可以與圖4的方法50和/或圖5的方法60結(jié)合使用。在82，方法80包括確定是否在場景內(nèi)找到目標的感興趣點(POI)。在84，如果感興趣點在場景內(nèi)被找到，則方法80可以包括繼續(xù)用遠邏輯進行操作。如在85所示，這可以包括如果目標的感興趣點處于當前對準矢量下的場景內(nèi)，則保持深度相機，使得對準矢量不移動，這在上面參考圖4的54予以了描述。在86，如果目標的感興趣點未處于當前對準矢量下的場景內(nèi)，則方法80包括確定在場景內(nèi)是否存在任何運動(例如像素的深度值在目標相對于靜態(tài)背景移動時隨著幀而改變)。在88，如果在場景內(nèi)存在運動，則方法80包括確定該運動是否處于遠視野中 (例如目標像素處于遠視野內(nèi))。在90，如果運動處于遠視野內(nèi)，則方法80包括對準深度相機，使得深度相機的對準矢量指向場景中所檢測到的運動。通過這種方式，處于深度相機的視野邊緣附近的玩家目標可以向視野中心偏移，由此給深度相機提供找到感興趣點的良好機會。在92，如果運動未處于遠視野內(nèi)(例如目標像素處于近視野內(nèi))，則方法80包括 切換到近邏輯，這將在下面參考圖7予以描述。例如，這樣的場景可能在玩家目標從遠視野移動到近視野的情況下發(fā)生。如果感興趣點不能在82被找到并且在86沒有運動在場景中被檢測到，則這可以指示玩家目標未處于場景中。在94，方法80包括確定深度相機是否與缺省遠焦點對準。 缺省遠焦點可以是參考地面被垂直測量和參考深度相機被水平測量的三維坐標。缺省遠焦點可以基于感興趣點在某個范圍內(nèi)的估計位置來選擇。例如，如果玩家目標的頭部是感興趣點，則可以估計通常的頭部將位于地面以上1.5米處，并且通常的玩家站在與深度相機相距3. 0米處。因此，缺省遠焦點可以位于與深度相機相距3. 0米并且在地面以上1. 5米處。圖9示出了示例性缺省遠焦點140。圖9還示出了站在與缺省遠焦點相同的范圍內(nèi)的示例性成人玩家目標142和示例性兒童玩家目標144?？梢钥闯?，缺省遠焦點140處于成人玩家目標142的頭部以下并且處于兒童玩家目標144的頭部以上。缺省遠焦點在地面以上的高度可以基于目標人口統(tǒng)計中的人的平均身高(例如8 歲至40歲之間的游戲玩家的平均身高)來設(shè)置。缺省遠焦點與深度相機相距的水平距離可以基于玩家相對于深度相機和顯示器(HDTV)的所估計的玩游戲位置來設(shè)置。例如，如果估計游戲玩家常常站在與顯示器和深度相機相距3. 0米之處，則缺省遠焦點可以被設(shè)置為與深度相機相距3. 0水平米。上面提供的示例是非限制性的。應(yīng)當理解，缺省遠焦點可以設(shè)置在任何位置處。一般而言，缺省遠焦點可以被選擇為以提供具有如下視野的深度相機該視野很可能捕獲可能大小不同和/或站在不同位置處的玩家目標的感興趣點。在一些實施例中，缺省遠焦點可以對應(yīng)于深度相機在地面以上的高度。也就是說， 缺省遠焦點取決于深度相機的在初始化期間確定的高度。在這些實施例中，處于第一高度處的深度相機將與處于第二高度處的深度相機具有不同的缺省遠焦點。這樣的變動可以促進深度相機沿著不同角度進行對準，所述角度至少部分取決于深度相機的高度?；氐綀D6，在96，方法80包括如果目標的感興趣點未處于當前對準矢量下的場景內(nèi)，則對準深度相機，使得深度相機的對準矢量指向缺省遠焦點。如上所述，選擇缺省遠焦點來改善深度相機將感興趣點包括在其視野內(nèi)的幾率。因此，將相機移動到缺省遠焦點可以增加將找到感興趣點的可能性。圖9示出了深度相機148在對準矢量指向缺省遠焦點140時的對準矢量146。圖 9還示出了深度相機148的視野的上限150和下限152。圖IOA—定程度示意性地示出了深度相機148在深度相機的對準矢量指向缺省遠焦點140時對兒童玩家目標144和成人玩家目標142所具有的視圖154。作為比較點，圖IOA還示出了深度相機148在深度相機的對準矢量指向缺省近焦點158時對兒童玩家目標144和成人玩家目標142的具有的視圖156?；氐綀D6，如在98所示，方法80可以任選地包括執(zhí)行一個或多個搜索例程，其中深度相機的對準矢量被改變。搜索例程例如可以在找出感興趣點的其他嘗試失敗了預(yù)先確定的迭代次數(shù)時執(zhí)行。例如，如果圖6的邏輯已經(jīng)兩次循環(huán)返回到82，并且感興趣點未能被找到，則可以執(zhí)行搜索例程，其中深度相機的對準矢量被掃描。現(xiàn)在轉(zhuǎn)到圖7，圖7示出了根據(jù)本公開的實施例實現(xiàn)近邏輯的非限制性示例性方法100。方法100可以與圖4的方法50、圖5的方法60和/或圖6的方法80結(jié)合使用。在102，方法100包括確定是否在場景內(nèi)找到目標的感興趣點(POI)。在104，如果感興趣點在場景內(nèi)被找到，則方法100可以包括探索移動目標選項，這將在下面參考圖 8予以討論?？赡苡欣氖牵瑢⒛繕藦慕曇耙苿拥竭h視野，因為深度相機在更遠的范圍處具有更大的視野，由此降低感興趣點將移動到視野之外的可能性。圖8示出了用于執(zhí)行移動玩家選項的示例性方法130。在132，方法130包括確定玩家目標之前是否已經(jīng)被要求從近視野移動到遠視野。如果玩家之前已經(jīng)被要求從近視野移動到遠視野，則近邏輯繼續(xù)執(zhí)行，這如在134所指示的那樣。然而，如果玩家還未被要求從近視野移動到遠視野，則通過用戶消息要求該玩家從近視野移動到遠視野，這如在136 所指示的那樣。如果在138確定用戶同意并且移動到遠視野，則遠視野邏輯被執(zhí)行，這如在139所指示的那樣。另一方面，如果在138確定用戶不同意移動到遠視野并且停留在近視野中，則近邏輯繼續(xù)執(zhí)行，這如在134所指示的那樣?；氐綀D7，在106，如果目標從近視野移動到遠視野，則方法100包括切換到遠邏輯。在108，如果目標未從近視野移動到遠視野，則方法100包括繼續(xù)近邏輯。如在110所示，這可以包括如果目標的感興趣點處于當前對準矢量下的場景內(nèi)，則保持深度相機，使得對準矢量不移動，這在上面參考圖4的54予以了描述。在112，如果目標的感興趣點未處于當前對準矢量下的場景內(nèi)，則方法100包括 確定在場景內(nèi)是否存在任何運動(例如像素的深度值在目標相對于靜態(tài)背景移動時隨著幀而改變)。在114，如果在場景內(nèi)存在運動，則方法100包括確定該運動是否處于近視野中(例如目標像素處于近視野內(nèi))。在116，如果運動處于近視野內(nèi)，則方法100包括對準深度相機，使得深度相機的對準矢量指向場景中的所檢測到的運動。通過這種方式，處于深度相機的視野邊緣附近的玩家目標可以向視野中心偏移，由此給深度相機提供找到感興趣點的良好機會。在118，如果運動未處于近視野內(nèi)(例如目標像素處于遠視野內(nèi))，則方法100包括切換到遠邏輯，這將在下面參考圖6予以描述。例如，這樣的場景可能在玩家目標從近視野移動到遠視野的情況下發(fā)生。如果感興趣點不能在102被找到并且在112沒有運動在場景中被檢測到，則這可以指示玩家目標未處于場景中。在120，方法100包括確定深度相機是否與缺省近焦點對準。類似于缺省遠焦點，缺省近焦點可以是參考地面被垂直測量和參考深度相機被水平測量的三維坐標。缺省近焦點可以基于感興趣點在某個范圍內(nèi)的估計位置來選擇。圖9示出了示例性缺省近焦點158。圖9還示出了站在與缺省近焦點相同的范圍內(nèi)的示例性成人玩家目標160和示例性兒童玩家目標162?？梢钥闯觯笔〗裹c158處于成人玩家目標160的頭部以下并且處于兒童玩家目標162的頭部以上。與缺省遠焦點類似，缺省近焦點可以設(shè)置在任何位置處。一般而言，缺省近焦點可以被選擇為以提供具有如下視野的深度相機該視野在可能大小不同和/或站在不同位置處的玩家目標相對接近深度相機時很可能捕獲這些玩家目標的感興趣點。此外，與缺省遠焦點類似，缺省近焦點可以對應(yīng)于深度相機在地面以上的高度?；氐綀D7，在122，方法100包括如果目標的感興趣點未處于當前對準矢量下的場景內(nèi)，則對準深度相機，使得深度相機的對準矢量指向缺省近焦點。圖9示出了深度相機148在對準矢量指向缺省近焦點158時的對準矢量164。圖 9還示出了深度相機148的視野的上限166和下限168。圖IOB—定程度示意性地示出了深度相機148在深度相機的對準矢量指向缺省近焦點158時對兒童玩家目標162和成人玩家目標160所具有的視圖170。作為比較點，圖IOB還示出了深度相機148在深度相機的對準矢量指向缺省遠焦點140時對兒童玩家目標162和成人玩家目標160所具有的視圖172。回到圖7，如在124所示，方法100可以任選地包括執(zhí)行一個或多個搜索例程，其中深度相機的對準矢量被改變。搜索例程例如可以在找出感興趣點的其他嘗試失敗了預(yù)先確定的迭代次數(shù)時執(zhí)行。例如，如果圖7的邏輯已經(jīng)兩次循環(huán)返回到102，并且感興趣點未能被找到，則可以執(zhí)行搜索例程，其中深度相機的對準矢量被掃描。在一些實施例中，搜索例程可以包括如果感興趣點不能用近邏輯找到，則從近邏輯切換到遠邏輯。在此所述的方法和過程可以綁定到各種不同類型的計算系統(tǒng)。圖IA和IB示出了游戲系統(tǒng)12、HDTV 16和深度相機20形式的非限制性示例。作為另一更一般的示例，圖11 示意性地示出可以執(zhí)行上述方法和過程的計算系統(tǒng)180。計算系統(tǒng)180可以采取各種不同的形式，尤其是包括但不限于游戲控制臺、個人計算系統(tǒng)、公共計算系統(tǒng)、人類交互式機器人、軍用跟蹤和/或命中系統(tǒng)、以及提供綠屏或者運動捕獲功能的特征采集系統(tǒng)。計算系統(tǒng)180包括邏輯子系統(tǒng)182、數(shù)據(jù)保持子系統(tǒng)184、深度相機186、以及對準子部件188。計算系統(tǒng)180可以任選地包括顯示子系統(tǒng)190和/或圖11中未示出的其他組件。邏輯子系統(tǒng)182可以包括被配置成執(zhí)行一個或多個指令的一個或多個物理設(shè)備。 例如，邏輯子系統(tǒng)可以被配置成執(zhí)行一個或多個指令，該一個或多個指令是一個或多個程序、例程、對象、組件、數(shù)據(jù)結(jié)構(gòu)或其它邏輯構(gòu)造的一部分?？梢詫崿F(xiàn)這樣的指令以執(zhí)行任務(wù)、實現(xiàn)數(shù)據(jù)類型、變換一個或多個設(shè)備的狀態(tài)、或以其它方式得到所需結(jié)果。邏輯子系統(tǒng)可以包括被配置為執(zhí)行軟件指令的一個或多個處理器。附加地或可替代地，邏輯子系統(tǒng)可包括被配置為執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機器。邏輯子系統(tǒng)可以任選地包括分布在兩個或多個設(shè)備上的獨立組件，這些獨立組件在某些實施例中可遠程放置。數(shù)據(jù)保持子系統(tǒng)184可以包括一個或多個物理的、非瞬態(tài)設(shè)備，該一個或多個設(shè)備被配置為保持可由邏輯子系統(tǒng)執(zhí)行以實現(xiàn)此處所述的方法和過程的數(shù)據(jù)和/或指令。在實現(xiàn)了此類方法和過程時，可以變換數(shù)據(jù)保持子系統(tǒng)184的狀態(tài)(例如，保持不同數(shù)據(jù))。 數(shù)據(jù)保持子系統(tǒng)184可以包括可移動介質(zhì)和/或內(nèi)置設(shè)備。數(shù)據(jù)保持子系統(tǒng)184尤其是可以包括光學(xué)存儲器設(shè)備、半導(dǎo)體存儲器設(shè)備、和/或磁存儲器設(shè)備。數(shù)據(jù)保持子系統(tǒng)184可以包括具有以下特性中的一個或多個的設(shè)備易失性、非易失性、動態(tài)、靜態(tài)、讀/寫、只讀、 隨機存取、順序存取、位置可尋址、文件可尋址、以及內(nèi)容可尋址。在某些實施例中，可以將邏輯子系統(tǒng)182和數(shù)據(jù)保持子系統(tǒng)184集成到一個或多個常見設(shè)備中，如專用集成電路或片上系統(tǒng)。圖11還示出使用計算機可讀可移動介質(zhì)192形式的數(shù)據(jù)保持子系統(tǒng)的一方面，該方面可以用于存儲和/或傳送可執(zhí)行以實現(xiàn)此處所述的方法和過程的數(shù)據(jù)和/或指令。在被包括在內(nèi)時，顯示子系統(tǒng)190可以用于呈現(xiàn)由數(shù)據(jù)保持子系統(tǒng)184保持的數(shù)據(jù)的可視表示。由于此處所描述的方法和過程改變了由數(shù)據(jù)保持子系統(tǒng)保持的數(shù)據(jù)，并由此變換數(shù)據(jù)保持子系統(tǒng)的狀態(tài)，因此同樣可以變換顯示子系統(tǒng)190的狀態(tài)以視覺地表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)190可以包括使用基本上任何類型的技術(shù)的一個或多個顯示設(shè)備。可以將這樣的顯示設(shè)備與邏輯子系統(tǒng)182和/或數(shù)據(jù)保持子系統(tǒng)184 —起組合在共享封裝中，或者這樣的顯示設(shè)備可以是外圍顯示設(shè)備。計算系統(tǒng)180還包括深度相機186，該深度相機186被配置為獲得一個或多個目標的深度圖像。深度相機186可以被配置為通過任何合適的技術(shù)(例如，飛行時間、結(jié)構(gòu)化光、立體圖像等等)捕獲具有深度信息的視頻。例如在飛行時間分析中，深度相機186可以向目標發(fā)射紅外光，并且然后使用傳感器來檢測從目標的表面被后向散射的光。在一些情況下，可以使用脈沖式紅外光，其中可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間差并將其用于確定從深度相機到目標上的特定位置的物理距離。在一些情況下，出射光波的相位可以與入射光波的相位相比較， 以確定相移，并且該相移可以用于確定從深度相機到目標上的特定位置的物理距離。在另一例子中，飛行時間分析也可用于通過經(jīng)由諸如快門式光脈沖成像之類的技術(shù)分析反射光束隨時間的強度，來間接地確定從深度相機到目標上的特定位置的物理距罔。在另一例子中，結(jié)構(gòu)化光分析可以被深度相機186用于捕獲深度信息。在這樣的分析中，圖案化光(即被顯示為諸如網(wǎng)格圖案、條紋圖案或星座點之類的已知圖案或不同圖案的光)可以被投影到目標上。在落到目標的表面上以后，該圖案可能變?yōu)樽冃蔚?，并且圖案的該變形可以被研究以確定從深度相機到目標上的特定位置的物理距離。在另一示例中，深度相機可以包括兩個或更多個物理上分開的相機，所述相機從不同角度查看目標以獲得視覺立體數(shù)據(jù)。這這種情況下，視覺立體數(shù)據(jù)可以被解析以生成深度圖像。在其他實施例中，深度相機186可以使用其他技術(shù)來測量和/或計算深度值。附加地，深度相機186可以將所計算的深度信息組織為“Z層”、即與從深度相機沿其視線延伸到觀察者的Z軸垂直的層。在一些實施例中，兩個或更多個相機可以被合并到集成深度相機中。例如，深度相機和攝像機(例如RGB攝像機)可以被合并到共同的深度相機中。在一些實施例中，可以協(xié)作式地使用兩個或更多個分開的深度相機。例如，可以使用深度相機和分開的攝像機。當使用攝像機時，可以將其用于提供目標跟蹤數(shù)據(jù)、用于對目標跟蹤進行糾錯的確認、圖像捕獲、面部識別、高精度手指(或其他小特征)跟蹤、光感測和/或其他功能。對準部件188被配置為選擇性地改變深度相機的對準矢量。對準部件可以包括物理上移動相機的一個或多個機器。在不同的實施例中，對準部件可以被配置為改變相機的上/下傾斜、左/右搖擺、順時針/逆時針滾動、上/下升降、和/或左/右平移。作為非限制性示例，對準部件可以包括1至3個具有或不具有上/下升降或右/左滑動的軸萬向接頭。對準部件可以包括各種電機、傳動裝置、升降裝置、滑動裝置以及用于改變深度相機的對準矢量的其他組件。在此所述的對準方法可以減少重復(fù)使用這樣的組件的需要。因此，軸承、引線、傳動裝置、電機和其他組件的物理磨損可以被降低。通過降低對準部件的各種組件上的物理磨損，深度捕獲系統(tǒng)的商業(yè)價值被增強，因為系統(tǒng)的壽命可以被增加和/ 或系統(tǒng)的維護成本可以被降低。能夠理解，至少一些目標分析和跟蹤操作可以由一個或多個深度相機的邏輯機來執(zhí)行。深度相機可以包括一個或多個板載處理單元，所述板載處理單元被配置為執(zhí)行一個或多個目標分析和/或跟蹤功能。深度相機可以包括固件以促進更新這樣的板載處理邏輯。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上示例性的，且這些具體實施例或示例不是局限性的，因為多個變體是可能。此處所述的具體例程或方法可表示任何數(shù)量的處理策略中的一個或多個。由此，所示出的各個動作可以按所示順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行、或者在某些情況下省略。同樣，可以改變上述過程的次序。本發(fā)明的主題包括各種過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合、和此處所公開的其它特征、功能、動作、和/或特性、以及其任何和全部等效物。
權(quán)利要求
1.一種計算系統(tǒng)(180)，包括:深度相機(186)，所述深度相機(186)被配置為捕獲深度信息；對準部件(188)，所述對準部件(188)被配置為選擇性地改變深度相機(186)的對準矢量；邏輯子系統(tǒng)(182)，所述邏輯子系統(tǒng)(182)可操作地與深度相機(186)和對準部件 (188)通信；數(shù)據(jù)保持子系統(tǒng)(184)，所述數(shù)據(jù)保持子系統(tǒng)(184)保持可由邏輯子系統(tǒng)(182)執(zhí)行的指令以從深度相機(186)接收場景的一個或多個所觀測的深度圖像；如果目標處于遠范圍內(nèi)，則指示對準部件(188)對準深度相機(186)，使得對準矢量指向缺省遠焦點；以及如果目標處于比遠范圍相對更接近深度相機(186)的近范圍內(nèi)，則指示對準部件 (188)對準深度相機(186)，使得對準矢量指向比缺省遠焦點相對更接近深度相機(186)的缺省近焦點。
2.如權(quán)利要求1所述的計算系統(tǒng)，其特征在于，所述數(shù)據(jù)保持子系統(tǒng)進一步保持如下指令所述執(zhí)行能夠被所述邏輯子系統(tǒng)執(zhí)行以在所述目標的感興趣點處于所述場景內(nèi)的情況下指示所述對準部件保持所述深度相機，使得對準矢量不移動。
3.如權(quán)利要求1所述的計算系統(tǒng)，其特征在于，所述指令指示所述對準部件在所述目標處于遠范圍內(nèi)以及所述目標的感興趣點未處于當前對準矢量下的場景內(nèi)的情況下對準所述深度相機，使得對準矢量指向缺省遠焦點，并且其中所述指令指示所述對準部件在所述目標的感興趣點處于當前對準矢量下的場景內(nèi)的情況下保持所述深度相機，使得對準矢量不移動。
4.如權(quán)利要求1所述的計算系統(tǒng)，其特征在于，所述指令指示所述對準部件在所述目標處于近范圍內(nèi)以及所述目標的感興趣點未處于當前對準矢量下的場景內(nèi)的情況下對準所述深度相機，使得對準矢量指向缺省近焦點，并且其中所述指令指示所述對準部件在所述目標的感興趣點處于當前對準矢量下的場景內(nèi)的情況下保持所述深度相機，使得對準矢量不移動。
5.如權(quán)利要求1所述的計算系統(tǒng)，其特征在于，所述數(shù)據(jù)保持子系統(tǒng)進一步保持如下指令所述指令能夠被所述邏輯子系統(tǒng)執(zhí)行以在所述目標的感興趣點未處于所述場景內(nèi)的情況下指示所述對準部件對準所述深度相機，使得對準矢量指向所述場景中的所檢測到的運動。
6.如權(quán)利要求1所述的計算系統(tǒng)，其特征在于，所述數(shù)據(jù)保持子系統(tǒng)進一步保持如下指令所述指令能夠被所述邏輯子系統(tǒng)執(zhí)行以在所述目標處于近范圍的情況下輸出請求目標從近范圍移動到遠范圍的用戶消息。
7.如權(quán)利要求1所述的計算系統(tǒng)，其特征在于，所述數(shù)據(jù)保持子系統(tǒng)進一步保持如下指令所述指令能夠被所述邏輯子系統(tǒng)執(zhí)行以初始化深度相機的位置。
8.如權(quán)利要求7所述的計算系統(tǒng)，其特征在于，所述深度相機的位置通過找到所述場景內(nèi)的地面表面以及計算所述深度相機在所述地面表面以上的高度而被初始化。
9.如權(quán)利要求8所述的計算系統(tǒng)，其特征在于，所述數(shù)據(jù)保持子系統(tǒng)進一步保持如下指令所述指令能夠被所述邏輯子系統(tǒng)執(zhí)行以計算缺省遠焦點的位置，該缺省遠焦點的位置是在與深度相機相距的預(yù)先確定的距離處的所述地面表面以上的預(yù)先確定的距離。
10.如權(quán)利要求8所述的計算系統(tǒng)，其特征在于，所述數(shù)據(jù)保持子系統(tǒng)進一步保持如下指令所述指令能夠被所述邏輯子系統(tǒng)執(zhí)行以計算缺省近焦點的位置，該缺省近焦點的位置是在與深度相機相距的預(yù)先確定的距離處的所述地面表面以上的預(yù)先確定的距離。
11.一種用于自動將深度相機與感興趣點對準的方法(50)，包括從深度相機接收(51)場景的一個或多個所觀測的深度圖像；如果目標的感興趣點在所述場景內(nèi)被找到，則確定(68)所述感興趣點是否相對于所述深度相機處于遠范圍內(nèi)；以及如果所述目標的感興趣點處于遠范圍內(nèi)，則用遠邏輯操作(70)所述深度相機；或者如果所述目標的感興趣點未處于遠范圍內(nèi)，則用近邏輯操作(72)所述深度相機。
12.如權(quán)利要求11所述的方法，其特征在于，用遠邏輯操作所述深度相機包括在所述目標的感興趣點未處于當前對準矢量下的場景內(nèi)的情況下對準所述深度相機，使得所述深度相機的對準矢量指向缺省遠焦點，并且在所述目標的感興趣點處于當前對準矢量下的場景內(nèi)的情況下保持所述深度相機，使得對準矢量不移動。
13.如權(quán)利要求11所述的方法，其特征在于，用近邏輯操作所述深度相機包括在所述目標的感興趣點未處于當前對準矢量下的場景內(nèi)的情況下對準所述深度相機，使得所述深度相機的對準矢量指向缺省近焦點，并且在所述目標的感興趣點處于當前對準矢量下的場景內(nèi)的情況下保持所述深度相機，使得對準矢量不移動。
14.如權(quán)利要求11所述的方法，其特征在于，用遠邏輯操作所述深度相機包括在所述目標的感興趣點未處于當前對準矢量下的場景內(nèi)的情況下對準所述深度相機，使得所述深度相機的對準矢量指向所述場景中的所檢測到的運動，并且在所述目標的感興趣點處于當前對準矢量下的場景內(nèi)的情況下保持所述深度相機，使得對準矢量不移動。
15.如權(quán)利要求11所述的方法，其特征在于，用近邏輯操作所述深度相機包括在所述目標的感興趣點未處于當前對準矢量下的場景內(nèi)的情況下對準所述深度相機，使得所述深度相機的對準矢量指向所述畫面中的所檢測到的運動，并且在所述目標的感興趣點處于當前對準矢量下的場景內(nèi)的情況下保持所述深度相機，使得對準矢量不移動。
全文摘要
本發(fā)明涉及自動相機深度對準。通過包括從深度相機接收場景的一個或多個所觀測的深度圖像來提供自動深度相機對準。該方法進一步包括如果目標的感興趣點在場景內(nèi)被找到，則確定所述感興趣點是否相對于深度相機處于遠范圍內(nèi)。該方法進一步包括如果所述目標的感興趣點處于遠范圍內(nèi)，則用遠邏輯操作所述深度相機，或者如果所述目標的感興趣點未處于遠范圍內(nèi)，則用近邏輯操作所述深度相機。
文檔編號G06T7/00GK102222338SQ20111015993
公開日2011年10月19日 申請日期2011年6月3日 優(yōu)先權(quán)日2010年6月4日
發(fā)明者K·D·李, K·蓋斯納, O·O·G·桑托斯, R·馬爾科維奇, S·拉塔 申請人:微軟公司