專利名稱：具有折射光學元件的照明器的制作方法
技術領域：
本發(fā)明涉及具有折射光學元件的照明器。
背景技術：
相機光電傳感器所收集和成像的電磁福射(例如光)的量可能依賴于物體在相機的視野(FOV)中的位置。簡言之，處于相機的 光軸上的物體可能在其他因素都相同的情況下在該相機的光電傳感器看來比離軸的物體更明亮。術語“輻照度”統(tǒng)指入射到諸如光電傳感器之類的表面上的電磁輻射。術語“輻射出射度(exitance) ”或“輻射發(fā)射度(emittance)”統(tǒng)指從物體射出(例如，反射)的電磁輻射。輻照度以及出射度可以每秒針對每單位面積進行測量。對于相對于相機的光軸具有角位移“ Θ ”的物體而言，輻照度一般而言可以按cos40減小。對于各種應用而言可能有利的是，處于由相機成像的場景中的物體與角位移Θ無關地在相機光電傳感器上具有基本上相同的輻照度。例如，飛行時間(TOF)三維(3D)相機通過對該相機發(fā)射的光傳播到該相機所成像的場景中的物體并回到該相機要花費多少時間進行計時來確定與該物體相距的距離。對于ー些系統(tǒng)而言，照明系統(tǒng)以非常短的光脈沖將光發(fā)射到物體。相機對被物體反射并且被光電傳感器收集的光進行成像以確定光的往返傳播時間。精確的距離測量依賴于與光電傳感器所捕捉的物體的圖像相關聯(lián)的輻照度。此外，精確度可以隨著輻照度上升而改善。

發(fā)明內容
提供了ー種照明系統(tǒng)，其具有補償光電傳感器所捕捉的物體的圖像的輻照度的依賴性的折射光學元件。具有給定出射度的物體的圖像的輻照度可以依賴于同光軸的角位移。折射光學元件可以用在諸如飛行時間(TOF)相機之類的成像設備中。折射光學元件可以將光結構化，使得該相機的視野內的相同球面中的相似物體在相機光電傳感器上具有相同的輻照度。一個實施例是ー種包括圖像傳感器、光源以及折射光學元件的照明系統(tǒng)。該圖像傳感器具有捕捉視野中的物體的圖像的光電傳感器。由光電傳感器所捕捉的具有給定出射度的物體的圖像的輻照度依賴于同該圖像傳感器的光軸的角位移。折射光學元件接收來自光源的光，并且將該光結構化以照射視野以補償輻照度對同光軸的角位移的依賴性。一個實施例是ー種包括圖像傳感器、光源、準直器以及折射漫射器的深度相機系統(tǒng)。光電傳感器捕捉視野中的物體的圖像。準直器將來自光源的光準直化。折射漫射器接收來自光源的光井且根據(jù)Ι/cos4 Θ將視野內的光結構化，其中Θ是同該圖像傳感器的光軸的角位移。該深度相機系統(tǒng)還具有用于基于光電傳感器所接收的光來生成深度圖像的邏輯?！獋€實施例是ー種用于生成深度圖像的方法，該方法包括以下步驟。使用折射漫射器將光折射到視野中的物體上。在具有光軸的光電傳感器處捕捉從該視野中的物體反射的光。由該光電傳感器所捕捉的具有給定出射度的物體的圖像的輻照度依賴于同該光軸的角位移。折射該光包括結構化該光以補償輻照度對同該光軸的角位移的依賴性?；谒蹲降墓馍缮疃葓D像。提供本發(fā)明內容以便以簡化形式介紹將在以下的具體實施方式
中進ー步描述的ー些概念。本發(fā)明內容并不g在標識出所要求保護的主 題的關鍵特征或必要特征，也不旨在用于限定所要求保護的主題的范圍。


在附圖中，相同編號的元件彼此對應。圖I示出了圖像相機組件內的圖像傳感器的一個實施例。圖2A示出了圖像相機組件內的照明器的一個實施例。圖2B示出了由照明器的一個實施例創(chuàng)建的照明強度。圖3A描繪了具有一對透鏡陣列的折射漫射器的側視圖。圖3B描繪了圖3A的透鏡陣列之一的前視圖。圖3C描繪了基于微透鏡陣列的折射漫射器的側視圖。圖3D示出了透鏡的位置與圖3A相比具有不同取向的一個實施例。圖3E示出了兩個透鏡陣列處于單個透鏡的相對側的一個實施例。圖4A描繪了準直器的一個實施例。圖4B描繪了準直器的另ー實施例。圖5描繪了運動捕捉系統(tǒng)的示例性實施例。圖6描繪了圖5的運動捕捉系統(tǒng)的示例性框圖。圖7是用于生成深度圖像的過程的一個實施例的流程圖。圖8描繪了可以在圖5的運動捕捉系統(tǒng)中使用的計算環(huán)境的示例框圖。圖9描繪了可以在圖5的運動捕捉系統(tǒng)中使用的計算環(huán)境的另ー個示例框圖。
具體實施例方式公開了ー種具有折射光學元件的照明器。該照明器可以用在相機或具有光電傳感器的其他設備中，或者與其結合使用。該折射光學元件可以被配置為以補償光電傳感器所捕捉的圖像的輻照度與角位移相關的依賴性方式來照射該相機的視野(FOV)。具體而言，具有相同出射度的物體的圖像的輻照度可以依賴于該物體同光軸的角位移。在一些實施例中，折射光學元件是折射漫射器，其將光結構化為隨著同相機的光軸的角位移增加而具有増加的強度。増加的強度可以補償輻照度對角位移的依賴性。圖I示出了圖像相機組件22內的圖像傳感器26的一個實施例。相機傳感器26包括光電傳感器5和聚焦透鏡7。注意，圖像相機組件22還可以包括可以照明FOV的照明器。圖2A示出了圖像相機組件22內的照明器24的一個實施例。注意，照明器24和圖像傳感器26 二者都可以存在于同一圖像相機組件22中。然而，不絕對要求照明器24和圖像傳感器26被容納在同一設備內。出于討論的目的,將首先討論圖I的圖像傳感器26。在一些實施例中，圖像相機組件22是深度相機系統(tǒng)的一部分，該深度相機系統(tǒng)的示例將在下面予以描述。然而，圖像相機組件22可以使用采用光電傳感器5的其他設備。
相對于其他附圖，圖I不一定是以正確比例示出的。一般而言，從FOV中的物體15a、15b所反射的光由透鏡7聚焦到光電傳感器5上。為了便于演示，F(xiàn)OV中的與相機組件的光軸9垂直的平面表面3被稱為“F0V成像平面”。類似地,相機組件22的FOV中的中心處于相機組件22的光學中心處的球面11被稱為“F0V成像球面。”如所述那樣，物體的輻照度可以依賴于其 在FOV中的位置。例如，物體15a被描繪為處于光軸9上，而物體15b被描繪為離開光軸大致角度Θ。然而，二者都處于球面11上，并且因此與相機組件22相距相同的距離。如果為辯論起見，物體15a和15b的出射度是相同的，則由光電傳感器5捕捉的物體15b的圖像的輻照度可能顯著低于物體15a的圖像的輻照度。換言之，對于光電傳感器5而言，物體15b的圖像將比物體15a的圖像的強度更低。輻照度可以隨著同光軸9的角位移Θ而下降。在一些情況下，該下降可以是大約cos4 Θ。在FOV成像球面11的左邊示出了表示R( Θ ) = cos4 Θ的虛線曲線61。如所述那樣，輻照度的下降可以是大約cos40，其中Θ是相對于光軸9的角位移。標簽“下降的輻照度”是為了表示在光電傳感器5處捕捉的物體的圖像在遠離光軸9的情況下具有下降的輻照度。因此，下降的輻照度是參照光電傳感器5所捕捉的圖像而言的。因此注意，下降的輻照度不是參照FOV中的物體15的出射度而言的。對于各個應用有利的可能是，實際上具有相同出射度的物體與同光軸9的角位移無關地在相機光電傳感器上具有基本上相同的輻照度。例如，飛行時間(TOF)三維(3D)相機通過對該相機發(fā)射的光傳播到該相機所成像的場景中的特征并回到該相機要花費多少時間進行計時來提供與該特征相距的距離。對于ー些技術而言，飛行時間實際上基于光的強度，這將在下面的討論中予以解釋。為了對光傳播進行計時，該照明系統(tǒng)可以將多個非常短的光脈沖發(fā)射到FOV中。這些光脈沖從物體15反射離開并且回到圖像傳感器26，該圖像傳感器26在某個時間段內捕捉該光。光電傳感器5可以包括像素陣列，每個像素都生成光強值。每個像素都表示FOV中的不同位置。然后，光脈沖的飛行時間可以基于每個像素處的光強來確定。由于飛行時間依賴于光強，能夠精確地補償輻照度對同光軸9的角位移的依賴性可以允許精確得多地確定與物體15相距的距離。因此，精確確定到物體15的距離測量可能依賴于與光電傳感器5所捕捉的物體的圖像相關聯(lián)的輻照度。此外，距離測量的精確確定可能隨著輻照度的增加而改善。此外，能夠用較高的光強來照明FOV可以改善距離確定。如前面所暗示的那樣，對于3D TOF相機的應用(比如涉及姿勢識別、和/或將計算機與同時在運行在該計算機上的相同計算機游戲中交互的人對接的應用)而言，通常有利的可能是，處于相機的FOV中的相同平面3或球面11中的物體在相機光電傳感器上具有相同的輻照度。為了補償輻照度與同光軸9的角位移的依賴性，照明系統(tǒng)可以被配置為隨著同光軸9的角位移Θ増加而增加照明。結果，同光軸9具有更大角位移的物體15可以被用更強的光照明，使得它們具有更大的出射度。作為ー個示例，照明器可以用比物體15a更大的光強來照明物體15b以增加物體15a的出射度。在一個實施例中，照明系統(tǒng)用具有與I/cos4 Θ基本上成比例的強度的光來照明相機的F0V。因此，照明系統(tǒng)可以補償可能與cos4 Θ成比例的輻照度的前述依賴性，其中Θ是同光軸9的角位移。然而，注意，在FOV之外，光強可能是非常低的，使得能量未被浪費。圖2A示出了具有照明器24的圖像相機組件22的一個實施例。在該實施例中，照明器24具有光源24、準直器25、以及折射光學元件40。在一些實施例中，折射光學元件40也可以被稱為折射漫射器。折射光學元件40可以接收來自光源23的光，并且將該光結構化以照明FOV以補償輻照度對同光軸的角位移的依賴性。也就是說，折射光學元件40可以隨著對象同光軸(比如圖I的光軸9)的角度増加而補償光電傳 感器5所捕捉的物體圖像的輻照度的依賴性。在圖2A的實施例中，準直器25處于折射光學元件40與光源24之間。然而，折射光學元件40可以位于光源24與準直器25之間。盡管準直器25和折射光學元件40在圖2的實施例中被描繪成分開的物理元件，但是在其他實施例中，它們形成ー個集成的組件。盡管未在圖2A中明確不出，但是圖像相機組件22可以具有光電傳感器(比如圖I的光電傳感器5)。曲線62表示照明器24所提供的光的強度。曲線62旨在示出照明器24所提供的光的強度隨著同照明軸109的角位移増加而增加。例如，F(xiàn)OV內的最低光強可以沿著照明軸109。光強可以在FOV內隨著同照明軸109的角位移更大而增加。因此，物體15b可以被用比物體15a更大的強度照明。因此，物體15b可以在其他因素相等的情況下具有比物體15a更大的出射度。然而，注意，在FOV之外，光強可能是非常低的，使得能量未被浪費于照明不必要的地方。作為ー個示例，折射光學元件40可以具有約為95%的光效率。圖2B示出了與同光軸的角位移有關的相對照明強度的圖形化表示。該強度可以是針對與照明器24相距某個任意距離的球面11而言的。在該示例中，F(xiàn)OV的范圍可以是從-30到+30度。在該范圍內，光強可以為大致l/COs4 0。然而，在該范圍之外，光強可以非常迅速地下降。注意，F(xiàn)OV之外的光下降僅僅是ー個示例，并且相對照明強度可以在FOV之外具有顯著不同的形狀。再次參考圖2A，照明器24被配置為照明FOV以為在FOV中位于FOV成像球面11上的物體的圖像補償輻照度對角位移Θ的依賴性。在FOV成像球面11的左邊示出了表示R(0) = cos4 Θ的虛線曲線61。曲線61還參照圖I予以示出和討論。如所述那樣，輻照度的下降可以是大約cos4 Θ，其中Θ是相對于光軸9的角位移。接著將討論折射光學元件40的某個示例。在一個實施例中，折射漫射器40包括ー對透鏡陣列43。圖3A描繪了具有ー對透鏡陣列43的折射漫射器40的側視圖。圖3B描繪了圖3A的透鏡陣列43之一的前視圖。每個透鏡陣列43都具有透鏡42。作為ー個示例，透鏡42可以直徑為大約幾百微米，然而，透鏡42可以具有更大或更小的直徑。透鏡42還可以被稱為小透鏡(Ienslet)?，F(xiàn)在參考圖3A，折射光學元件40可以包括兩個透鏡43a、43b，每個透鏡都容納透鏡42的一個陣列。經(jīng)準直化的光束在透鏡43a處被接收并且穿過透鏡43a中的小透鏡42。在該實施例中，小透鏡42被描繪為具有凸面，但是諸如凹進之類的其他選項是可能的。在被透鏡43a中的小透鏡42折射以后，光線在進入透鏡43b中的小透鏡42以前穿過間隙。該間隙可以是氣隙，但是該間隙可以由氣體以外的物質形成。然后，光線傳入透鏡43b上的小透鏡42的凸面中。因此，該光線可以再次被折射。然后，該光線從透鏡43b中傳出。兩個示例性光線被示為從透鏡43b發(fā)散。如上所述，折射光學元件40可以以補償輻照度對角位移的依賴性的方式來將光結構化。在一些實施例中，折射光學元件40可以將光漫射得使得其強度隨著同照明軸的角位移更大而更高。然而，在FOV之外，光強可以顯著地降低，使得能量未被浪費。現(xiàn)在參考圖3B，一個透鏡43的前視圖示出 了 在該實施例中，透鏡42的陣列可以具有矩形形狀。然而，其他形狀是可能的。如上所述，透鏡42的ー個表面可以具有凸出形狀。透鏡42的相対的表面可以具有多種形狀。在一個實施例中，該相對的表面是基本上平坦的。注意，透鏡42不需要全部都為相同的曲率、大小和/或形狀。在一些實施例中，陣列中的透鏡42具有多種不同的曲率。因此，不同的小透鏡42可以以不同的角度折射光。在一些實施例中，陣列中的透鏡42具有多種不同的形狀。例如，ー些小透鏡42可能為矩形的，其他為三角形的，等等。在一些實施例中，陣列中的透鏡42具有多種不同的大小。圖3C描繪了其中透鏡42具有不同曲率以及不同大小的折射光學元件40的一個實施例。圖3C中的透鏡42可以直徑為幾十微米，然而，透鏡42可以具有更大或更小的直徑。圖3C中的透鏡42可以被稱為微透鏡。在一個實施例中，照明強度是通過選擇合適的多個透鏡曲率、大小和/或形狀來創(chuàng)建的。注意，可以使用這些或其他屬性中的ー個或多個來生成所期望的照明強度譜。圖3A示出了 一個陣列41的透鏡42朝向另ー陣列41的透鏡42。然而，其他配置是可能的。例如，可能如圖3C中那樣僅僅存在透鏡42的單個陣列。在這種情況下，折射光學元件40可以看上去更像透鏡43a或43b任一。而且，可以存在小透鏡的兩個以上的陣列41。例如，可能存在三個陣列41、四個陣列41、等等。另ー可能的變型方案是顛倒透鏡43a、43b的位置。圖3D示出了其中透鏡43a、43b的位置與圖3A相比具有不同取向的一個實施例。圖3E示出了其中透鏡42的兩個陣列41處于單個透鏡43的相對側的一個實施例。圖4A和4B描繪了照明器24的兩個其他實施例。每個照明器24都具有光源23、折射光學元件40以及準直器25。在圖4A中，在設備的輸入處可以存在折射光學元件40，該折射光學元件40折射來自光源23的非準直化的光。準直器25通過內反射將光準直化。該凈效應是產(chǎn)生經(jīng)結構化的光輸出，該光輸出補償在此所述的輻照度的依賴性。從準直器25內部的光束可以得知,ー些光束被折射光學兀件40向準直器25的內壁折射,并且可以從準直器25的內壁反射離開。這些經(jīng)內反射的光束可以用于將光準直化。其他光束可以被折射光學元件40折射并穿過準直器25，而沒有進ー步的反射。如果期望對光束進行其它折射以合適地結構化光，則該設備可以在輸出側具有透鏡42。圖4B的實施例具有在輸出處具有微透鏡陣列的準直器25。準直器25可以接收來自光源23的非準直化的光。因此，到光到達折射光學元件40的時間為止，該光可能已經(jīng)被準直化。在該實施例中，折射元件40中的微透鏡不是大小統(tǒng)ー的。也就是說，ー些微透鏡比其他微透鏡更大，而另ー些更小。而且，這些微透鏡具有彼此不同的曲率。因此，微透鏡的折射率可以彼此不同。注意，大小和/或曲率的模式可以是規(guī)則模式或者可以以某種方式為隨機或不規(guī)則的。從圖4B中可以得知，該模式可以是不規(guī)則的。圖3-4的示例性折射光學元件是出于圖解說明的目的而呈現(xiàn)的?？梢允褂么罅科渌渲?。一般而言，折射光學元件40可以被配置為將來自將準直化的射束26的光進行分布，使得來自該射束的非常少的光傳播到FOV之外，并且FOV中的光的強度反比于為FOV中的物體實現(xiàn)的輻照度對所述物體的角位移的依賴性。如上所述，對于3D TOF相機的應用(比如涉及姿勢識別、和/或將計算機與同時在運行在該計算機上的相同計算機游戲中交互的人對接的應用)而言，有利的可能是，處于相機的FOV中的相同平面或球面中的物體在相機光電傳感器上具有相同的輻照度。在一些實施例中，折射漫射器40用在運動捕捉系統(tǒng) 10中。運動捕捉系統(tǒng)獲取關于物理空間中的人體或其他物體的位置及運動的數(shù)據(jù)，并且可以使用該數(shù)據(jù)作為計算系統(tǒng)中的應用程序的輸入?？梢杂性S多應用，例如用于軍事、娛樂、體育和醫(yī)學目的。例如，可以將人的運動映射到三維(3-D)人骨架模型，并用于創(chuàng)建動畫化的人物或化身。運動捕捉系統(tǒng)可包括包含使用可見和不可見(例如，紅外)光的系統(tǒng)在內的光學系統(tǒng)，運動捕捉系統(tǒng)使用相機來檢測視野中的人的存在。通常，運動捕捉系統(tǒng)包括照明視野的照明器、以及感測來自視野的光以形成圖像的圖像傳感器。圖5描繪了運動捕捉系統(tǒng)10的示例實施例，其中，人8如在用戶的家中與應用程序進行交互。運動捕捉系統(tǒng)10包括顯示器196、深度相機系統(tǒng)20、以及計算環(huán)境或裝置12。深度相機系統(tǒng)20可包括圖像相機組件22，其具有諸如紅外線(IR)發(fā)射器之類的照明器24、諸如紅外相機之類的圖像傳感器26、以及紅-綠-藍(RGB)相機28。人8，也被稱為用戶或玩家，站在深度相機的視野6內。線2和4表示視野6的邊界。照明器24可以將該光結構化，使得光強隨著同光軸9的角位移増加而增加。準直器24可以如已經(jīng)討論的那樣將該光結構化為使得補償輻照度對角位移的依賴性。注意，光強可以在FOV 30之外非常低。在該示例中，光軸9與圖像傳感器26對準。照明器24可以具有不一定精確地與光軸9對準的照明軸(圖5中未示出)。在此示例中，深度相機系統(tǒng)20以及計算環(huán)境12提供應用程序，其中，顯示器196上的化身197追蹤人8的移動。例如，當人抬起手臂時，化身可以抬起手臂?；?97站在
3-D虛擬世界的公路198上?？梢远x笛卡兒世界坐標系，其包括沿著深度相機系統(tǒng)20的焦距例如水平地延伸的z軸；垂直地延伸的Y軸；以及側向地且水平地延伸的X軸。注意，因為顯示器196在y軸方向垂直地延伸，且z軸從深度相機系統(tǒng)垂直于y軸和x軸并平行于用戶8所站立的地面地伸出，附圖的透視被修改為簡化。一般而言，運動捕捉系統(tǒng)10被用來識別、分析、和/或跟蹤ー個或多個人目標。計算環(huán)境12可包括計算機、游戲系統(tǒng)或控制臺等等，以及執(zhí)行應用的硬件組件和/或軟件組件。深度相機系統(tǒng)20可包括被用來在視覺上監(jiān)視ー個或多個諸如人8之類的人的相機，以便可以捕捉、分析、以及跟蹤由人執(zhí)行的姿勢和/或移動，以在應用程序內執(zhí)行ー個或多個控制或動作，如動畫化化身或屏幕上人物或選擇用戶界面(UI)中的ー個菜單項。運動捕捉系統(tǒng)10可以連接到諸如顯示器196之類的視聽設備，例如，電視機、監(jiān)視器、高清晰度電視機(HDTV)等等，或者甚至向用戶提供視覺和音頻輸出的墻或其他表面上的投影。還可以經(jīng)由單獨的設備來提供音頻輸出。為驅動顯示器，計算環(huán)境12可包括提供與應用相關聯(lián)的視聽信號的諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器。顯示器196可以通過例如S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等等連接到計算環(huán)境12?？梢允褂蒙疃认鄼C系統(tǒng)20來跟蹤人8，以使得用戶的姿勢和/或移動被捕捉并用于動畫化化身或屏幕上人物，和/或被解釋為對正在由計算機環(huán)境12執(zhí)行的應用程序的輸入控制。人8的一些移動可被解釋為可對應于除了控 制化身之外的動作的控制。例如，在一個實施方式中，玩家可以使用運動來結束、暫?；虮４嬗螒颍x擇級別，查看高分，與朋友進行交流等等。玩家可以使用移動來從主用戶界面中選擇游戲或其他應用，或以別的方式導航選項菜単。如此，可以有人8的全套運動可用，可使用它們，并以任何合適的方式分析它們，以與應用程序進行交互。運動捕捉系統(tǒng)10還可以用于將目標移動解釋成處于游戲或g在娛樂和休閑的其他應用的領域之外的操作系統(tǒng)和/或應用控制。例如，操作系統(tǒng)和/或應用程序的實質上任何可控方面都可以由人8的移動來控制。圖6描繪了圖5的運動捕捉系統(tǒng)10的示例性框圖。深度相機系統(tǒng)20可以被配置為通過任何合適的技術捕捉帶有深度信息(包括可以包括深度值的深度圖像)的視頻，這些技術包括例如飛行時間、結構化光、立體圖像等等。深度相機系統(tǒng)20可將深度信息組織為“Z層”，即可與從深度相機沿其視線延伸的Z軸垂直的層。深度相機系統(tǒng)20可包括圖像相機組件22，該圖像相機組件22捕捉物理空間中的場景的深度圖像。深度圖像可包括所捕捉的場景的ニ維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每ー像素都可具有表示與圖像相機組件22的直線距離的相關聯(lián)的深度值，從而提供3-D深度圖像。圖像相機組件22可包括諸如紅外線(IR)發(fā)射器24之類的照明器24、諸如紅外相機之類的圖像傳感器26、以及紅-綠-藍(RGB)相機28，它們可以用于捕捉場景的深度圖像或者為其他應用提供附加的相機。照明器24可以被配置為補償圖像傳感器26所捕捉的物體的輻照度的依賴性。因此，照明器24可以具有諸如、但不限于此處任何示例的折射光學元件40。通過紅外發(fā)射器24和紅外像機26的組合來形成3_D深度照像機。例如，在飛行時間分析中，照明器24可以將紅外光發(fā)射到物理空間上，并且圖像傳感器26檢測從物理空間中的一個或多個目標和物體的表面反向散射的光。在某些實施方式中，可以使用脈沖式紅外光，從而可以測量出射光脈沖和相應的入射光脈沖之間的時間差并將其用于確定從深度相機系統(tǒng)20到物理空間中的目標或物體上的特定位置的物理距離。可將入射光波的相位與出射光波的相位進行比較來確定相移。然后可以使用該相移來確定從深度相機系統(tǒng)到目標或物體上的特定位置的物理距離。也可使用飛行時間分析，通過經(jīng)由包括例如快門式光脈沖成像的各種技術來分析反射光束隨時間的強度變化以間接地確定從深度相機系統(tǒng)20到目標或物體上的特定位置的物理距離。在另ー示例實施方式中，深度相機系統(tǒng)20可使用結構化光來捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示成諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可以通過例如照明器24被投影到場景上。在落到場景中的一個或多個目標或物體的表面上以后，作為響應，圖案可以變?yōu)樽冃蔚?。圖案的這種變形可由例如圖像傳感器26和/或RGB相機28來捕捉，然后可被分析以確定從深度相機系統(tǒng)到目標或物體上的特定位置的物理距離。深度相機系統(tǒng)20還可以包括話筒30，其包括例如接收聲波并將其轉換成電信號的換能器或傳感器。另外，話筒30可用于接收也可由人提供的諸如聲音之類的音頻信號，以控制可由計算環(huán)境12運行的應用程序。音頻信號可包括人的ロ聲，如說的話、ロ哨聲、喊聲及其他發(fā)聲，以及非ロ聲，如掌聲或跺腳。深度相機系統(tǒng)20可包括與3-D深度相機22 進行通信的處理器32。處理器32可包括可執(zhí)行指令的標準化處理器、專用處理器、微處理器等，這些指令可包括例如用于接收深度圖像的指令；用于基于深度圖像來生成體元網(wǎng)格的指令；用于移除體元網(wǎng)格中所包括的背景以隔離與人類目標相關聯(lián)的一個或多個體元的指令；用于確定被隔離的人類目標的ー個或多個肢端的位置或定位的指令；用于基于ー個或多個肢端的位置或定位來調整模型的指令；或任何其他合適的指令，下面將對它們進行更詳細的描述。深度相機系統(tǒng)20還可以包括存儲器組件34，該存儲器組件34可以存儲可以由處理器32執(zhí)行的指令，以及存儲由3-D像機或RGB像機捕捉到的圖像或圖像的幀，或任何其他合適的信息、圖像等等。根據(jù)ー個示例實施方式，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤或任何其他合適的有形計算機可讀存儲組件。存儲器組件34可以是經(jīng)由總線21與圖像捕捉組件22和處理器32通信的単獨的組件。根據(jù)另ー實施例，存儲器組件34可被集成到處理器32和/或圖像捕捉組件22中。 深度相機系統(tǒng)20可以通過通信鏈路36與計算環(huán)境12進行通信。通信鏈路36可以是有線和/或無線連接。根據(jù)ー個實施方式，計算環(huán)境12可以經(jīng)由通信鏈路36向深度相機系統(tǒng)20提供時鐘信號，該時鐘信號指出何時從位于深度相機系統(tǒng)20的視野中的物理空間捕捉圖像數(shù)據(jù)。另外，深度相機系統(tǒng)20可以通過通信鏈路36向計算環(huán)境12提供深度信息和由例如圖像傳感器26和/或RGB相機28捕捉到的圖像，和/或可以由深度相機系統(tǒng)20所生成的骨架模型。然后，計算環(huán)境12可以使用模型、深度信息、以及捕捉到的圖像來控制應用程序。例如，如圖2所示，計算環(huán)境12可包括諸如姿勢過濾器的集合之類的姿勢庫190，每ー個過濾器都具有關于可以由骨架模型(隨著用戶移動)執(zhí)行的姿勢的信息。例如，可以為各種手勢(如手的劃動或投擲)提供姿勢過濾器。通過將檢測到的運動與每ー個過濾器進行比較，可以標識由人執(zhí)行的指定的姿勢或運動。還可以確定執(zhí)行動作的程度?？梢詫⒂缮疃认鄼C系統(tǒng)20以骨架模型的形式捕捉的數(shù)據(jù)以及與它相關聯(lián)的移動與姿勢庫190中的姿勢過濾器進行比較，以標識(如由骨架模型所表示的)用戶何時執(zhí)行了ー個或多個特定移動。那些移動可以與應用程序的各種控制相關聯(lián)。計算環(huán)境也可以包括處理器192，其用于執(zhí)行存儲在存儲器194中的指令，以向顯示設備196提供音頻-視頻輸出信號，并實現(xiàn)如此處所描述的其他功能。圖7是用于生成深度圖像的過程700的一個實施例的流程圖。該過程可以在諸如圖5和6的示例之類的深度相機中執(zhí)行。在過程700，可以使用具有折射光學元件40的照明器24。因此，可以補償輻照度對角位移的依賴性。步驟702包括使用折射漫射器40將光折射到視野中的物體上。步驟702可以包括結構化該光以補償輻照度對角位移的依賴性。在一個實施例中，步驟702包括發(fā)射光(例如IR)脈沖序列。步驟704包括在光電傳感器5處捕捉從該視野中的物體15反射的光。光電傳感器5所捕捉的物體的圖像的輻照度可以依賴于角位移。如在此所述的那樣，如果兩個物體具有相同的出射度，則與光軸相距更遠的物體的圖像的輻照度可能更低。如所述那樣，步驟702可以結構化該光以補償輻照度對角位移的該依賴性。在一些實施例中，步驟704包括在某個預先確定的時間段內捕捉IR脈沖的反射。例如，光電傳感器5可以被開閉快門(shuttered)，使得該光電傳感器被允許在某個預先確定的時間段內收集光并且在某個預先確定的時間段內被遮擋而不能接收光。步驟706包括基于所捕捉的光來生成深 度圖像。深度圖像可以包含深度值(例如與FOV中的物體相距的距離)。深度圖像可包括所捕捉的場景的ニ維(2-D)像素區(qū)域，其中該2-D像素區(qū)域中的每個像素具有代表距離圖像相機組件22的線性距離(徑向距離)的或由像素觀察的3D位置的Z分量(垂直距離)的相關聯(lián)的深度值。在一些實施例中，步驟706包括分析光電傳感器5的每個像素的亮度值。由于折射光學元件40補償輻照度與角位移相關的依賴性，因此深度圖像的確定得到改善。圖8描繪了可以在圖5的運動捕捉系統(tǒng)中使用的計算環(huán)境的示例框圖。可以使用計算環(huán)境來解釋ー個或多個姿勢或其他移動，并作為響應，更新顯示器上的視覺空間。上文所描述的諸如計算環(huán)境12等的計算環(huán)境可包括諸如游戲控制臺等的多媒體控制臺100。多媒體控制臺100包括具有I級高速緩存102、2級高速緩存104和閃存ROM(只讀存儲器)106的中央處理單元(CPU) 101。ー級高速緩存102和ニ級高速緩存104臨時存儲數(shù)據(jù)，并且因此減少存儲器訪問周期的數(shù)量，由此改進處理速度和呑吐量。CPU 101可被提供為具有一個以上的核，并且由此具有附加的ー級高速緩存102和ニ級高速緩存104。諸如閃存ROM之類的存儲器106可存儲當多媒體控制臺100通電時在引導過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元108向視頻編碼器/視頻編解碼器114運送數(shù)據(jù)。視頻處理流水線向A/V(音頻/視頻)端ロ 140輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲器控制器110連接到GPU 108，以便于處理器對各種類型的存儲器112，比如RAM(隨機存取存儲器)的處理器訪問。多媒體控制臺100包括優(yōu)選地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡接ロ 124、第一 USB主控制器126、第二 USB控制器128以及前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (I)-142 (2)、無線適配器148、以及外置存儲器設備146(例如，閃存、外置CD/DVD ROM驅動器、可移動介質等)的主機。網(wǎng)絡接ロ(NW IF) 124和/或無線適配器148提供對網(wǎng)絡(例如，因特網(wǎng)、家庭網(wǎng)絡等)的訪問并且可以是包括以太網(wǎng)卡、調制解調器、藍牙模塊、電纜調制解調器等的各種不同的有線或無線適配器組件中任何ー種。提供系統(tǒng)存儲器143來存儲在引導過程期間加載的應用數(shù)據(jù)。提供了媒體驅動器144，其可以包括DVD/⑶驅動器、硬盤驅動器、或其他可移動媒體驅動器。媒體驅動器144可內置或外置于多媒體控制臺100。應用數(shù)據(jù)可經(jīng)由媒體驅動器144訪問，以供多媒體控制臺100執(zhí)行、回放等。媒體驅動器144經(jīng)由諸如串行ATA總線或其他高速連接等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺100的可用性相關的各種服務功能。音頻處理単元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理単元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端ロ 140，以供外置音頻播放器或具有音頻能力的設備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風扇138冷卻多 媒體控制臺100內的電路。CPU 101、GPU 108、存儲器控制器110、以及多媒體控制臺100內的各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線體系結構中的任一種的處理器或局部總線。當多媒體控制臺100通電時，應用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和/或高速緩存102、104中并在CPU 101上執(zhí)行。應用可在導航到多媒體控制臺100上可用的不同媒體類型時呈現(xiàn)提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅動器144中所包含的應用和/或其他媒體可從媒體驅動器144啟動或播放，以將附加功能提供給多媒體控制臺100。多媒體控制臺100可通過簡單地將該系統(tǒng)連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺100允許ー個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，在通過網(wǎng)絡接ロ 124或無線適配器148可用的寬帶連接集成的情況下，多媒體控制臺100還可作為更大網(wǎng)絡社區(qū)中的參與者來操作。當多媒體控制臺100通電時，可以保留指定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5% )、網(wǎng)絡帶寬的保留量(諸如，8kbs)，等等。因為這些資源是在系統(tǒng)引導時間保留的，所保留的資源從應用的視角而言是不存在的。具體而言，存儲器保留量優(yōu)選地足夠大，以包含啟動內核、并發(fā)系統(tǒng)應用程序和驅動程序。CPU保留量優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留，通過使用GPU中斷來調度代碼以將彈出窗ロ呈現(xiàn)為覆蓋圖，從而顯示由系統(tǒng)應用程序生成的輕量消息(例如，彈出窗ロ)。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應用使用完整用戶界面的情況下，優(yōu)選使用獨立于應用分辨率的分辨率。定標器可用于設置該分辨率，從而無需改變頻率和引起TV重新同歩。在多媒體控制臺100引導且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內執(zhí)行的ー組系統(tǒng)應用中。操作系統(tǒng)內核標識出作為系統(tǒng)應用線程或者游戲應用線程的線程。系統(tǒng)應用優(yōu)選地被調度為在預定時間并以預定時間間隔在CPU 101上運行，以便提供對應用而言一致的系統(tǒng)資源視圖。調度是為了使在控制臺上運行的游戲應用的高速緩存分裂最小化。當并發(fā)系統(tǒng)應用需要音頻時，由于時間敏感性而將音頻處理異步地調度給游戲應用。多媒體控制臺應用管理器(如下所描述的)在系統(tǒng)應用活動時控制游戲應用的音頻級別(例如，靜音、衰減)。
輸入設備(例如，控制器142(1)和142(2))由游戲應用和系統(tǒng)應用共享。輸入設備不是保留資源，而是在系統(tǒng)應用和游戲應用之間切換以使其各自具有設備的焦點。應用管理器較佳地控制輸入流的切換，而無需知曉游戲應用的知識，并且驅動程序維護有關焦點切換的狀態(tài)信息。控制臺100可以從圖6的包括照像機26和28的深度相機系統(tǒng)20接收附加的輸入。圖9描繪了可以在圖5的運動捕捉系統(tǒng)中使用的計算環(huán)境的另ー個示例框圖。在運動捕捉系統(tǒng)中，可以使用計算環(huán)境來確定深度圖像 以及解釋ー個或多個姿勢或其他移動，并作為響應，更新顯示器上的視覺空間。計算環(huán)境220包括通常包括各種有形計算機可讀存儲介質的計算機241。這可以是能由計算機241訪問的任何可用介質，而且包含易失性和非易失性介質、可移動和不可移動介質。系統(tǒng)存儲器222包括易失性和/或非易失性存儲器形式的計算機存儲介質，如只讀存儲器(ROM) 223和隨機存取存儲器(RAM) 260。包含諸如在啟動期間幫助在計算機241內的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)224(BIOS)通常儲存儲在ROM 223中。RAM 260通常包含處理單元259可立即訪問和/或當前正在操作的數(shù)據(jù)和/或程序模塊。圖形接ロ 231與GPU229進行通信。作為示例而非限制，圖4描繪了操作系統(tǒng)225、應用程序226、其他程序模塊227，以及程序數(shù)據(jù)228。計算機241也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質，例如，讀寫不可移動、非易失性磁性介質的硬盤驅動器238，讀寫可移動、非易失性磁盤254的磁盤驅動器239，以及讀寫諸如⑶ROM或其他光學介質之類的可移動、非易失性光盤253的光盤驅動器240?？梢栽谠撌纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性有形計算機可讀存儲介質包括但不限干，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅動器238通常由例如接ロ 234等不可移動存儲器接ロ連接至系統(tǒng)總線221，而磁盤驅動器239和光盤驅動器240通常由例如接ロ 235等可移動存儲器接ロ連接至系統(tǒng)總線221。上文所討論的并且在圖9中所描繪的驅動器以及其相關聯(lián)的計算機存儲介質為計算機241提供了計算機可讀指令、數(shù)據(jù)結構、程序模塊及其他數(shù)據(jù)的存儲。例如，硬盤驅動器238被描繪為存儲了操作系統(tǒng)258、應用程序257、其他程序模塊256、以及程序數(shù)據(jù)255。注意，這些組件可與操作系統(tǒng)225、應用程序226、其他程序模塊227和程序數(shù)據(jù)228相同，也可與它們不同。在此給操作系統(tǒng)258、應用程序257、其他程序模塊256、以及程序數(shù)據(jù)255提供了不同的編號，以說明至少它們是不同的副本。用戶可以通過輸入設備，例如鍵盤251和定點設備252——通常是指鼠標、跟蹤球或觸摸墊——向計算機241輸入命令和信息。其他輸入設備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設備通常通過耦合到系統(tǒng)總線的用戶輸入接ロ 236連接到處理單元259，但也可通過諸如并行端ロ、游戲端ロ或通用串行總線(USB)之類的其他接口和總線結構來連接。圖6的深度相機系統(tǒng)20，包括像機26和28，可以為控制臺100定義附加的輸入設備。監(jiān)視器242或其他類型的顯示器也通過接ロ，諸如視頻接ロ 232，連接至系統(tǒng)總線221。除監(jiān)視器之外，計算機還可以包括可以通過輸出外圍接ロ 233連接的諸如揚聲器244和打印機243之類的其他外圍輸出設備。計算機241可使用到一個或多個遠程計算機(諸如，遠程計算機246)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠程計算機246可以是個人計算機、服務器、路由器、網(wǎng)絡PC、對等設備或其他常見的網(wǎng)絡節(jié)點，通常包括上文相對于計算機241所描述的許多或全部元件，但是圖4中只描繪了存儲器存儲設備247。邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng)(WAN) 249，但也可以包括其他網(wǎng)絡。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計算機網(wǎng)絡、內聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通過網(wǎng)絡接ロ或適配器245連接到LAN237。當在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通常包括調制解調器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他手段。調制解調器250可以是內置的或外置的，可經(jīng)由用戶輸入接ロ 236或其他適當?shù)臋C制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相對于計算機241所示的程序模塊或其部分可被存儲在遠程存儲器存儲設備中 。作為示例而非限制，圖9描繪了駐留在存儲器設備247上的遠程應用程序248。應當理解，所示的網(wǎng)絡連接是示例性的，并且可使用在計算機之間建立通信鏈路的其他手段。前面的對本技術的詳細描述只是為了說明和描述。它不是為了詳盡的解釋或將本技術限制在所公開的準確的形式。鑒于上述教導，許多修改和變型都是可能的。所描述的實施例只是為了最好地說明本技術的原理以及其實際應用，從而使精通本技術的其他人在各種實施例中最佳地利用本技木，適合于特定用途的各種修改也是可以的。本技術的范圍由所附的權利要求進行定義。
權利要求
1.一種照明系統(tǒng)，包括 圖像傳感器(26)，所述圖像傳感器(26)具有捕捉視野中的物體的圖像的光電傳感器(5)，所述圖像傳感器具有光軸，由所述光電傳感器捕捉的具有給定出射度的物體的圖像的輻照度依賴于同所述光軸的角位移； 光源(23);以及 折射光學元件(40)，所述折射光學元件(40)接收來自所述光源的光，并且將所述光結構化以照明所述視野以補償輻照度對同所述光軸的角位移的依賴性。
2.如權利要求I所述的照明系統(tǒng)，其特征在于，所述折射光學元件包括多個透鏡。
3.如權利要求I或2所述的照明系統(tǒng)，其特征在于，所述折射光學元件包括矩形透鏡的ー個或多個陣列。
4.如權利要求I至3之一所述的照明系統(tǒng)，其特征在于，還包括準直器，所述準直器接收來自所述光源的光，所述折射光學元件接收經(jīng)準直化的光井且結構化所述經(jīng)準直化的光以照明所述視野以補償輻照度對所述光軸的角位移的依賴性。
5.如權利要求4所述的照明系統(tǒng)，其特征在于，所述折射光學元件是充當折射光學元件和準直器的單個組件的一部分。
6.如權利要求I至5之一所述的照明系統(tǒng)，其特征在于，還包括用于基于由所述光電傳感器接收的光來生成深度圖像的邏輯。
7.如權利要求I至6之一所述的照明系統(tǒng)，其特征在于，所述折射光學元件根據(jù)I/COS4 Θ來漫射所述光以照明所述視野內的物體，其中Θ是同所述光軸的角位移。
8.一種用于生成深度圖像的方法，包括 使用折射漫射器將光折射到視野中的物體上(702)； 在具有光軸的光電傳感器處捕捉從所述視野中的物體反射的光，由所述光電傳感器所捕捉的具有給定出射度的物體的圖像的輻照度依賴于同所述光軸的角位移，折射所述光包括結構化所述光以補償輻照度對同所述光軸的角位移的依賴性(704);以及 基于所捕捉的光生成深度圖像(706)。
9.如權利要求8所述的方法，其特征在于，折射所述光包括根據(jù)公式Ι/cos4Θ來漫射所述光，其中Θ是同所述光軸的角位移。
10.如權利要求8或9所述的方法，其特征在于，使用折射漫射器將光折射到視野中的物體上包括結構化所述光以在所述視野之外降低強度。
全文摘要
本發(fā)明涉及具有折射光學元件的照明器。提供了一種照明系統(tǒng)，其具有補償光電傳感器所捕捉的物體的圖像的輻照度的依賴性的折射光學元件。折射光學元件可以將光結構化，使得該相機的視野內的相同球面處的相似物體在相機光電傳感器上具有相同的輻照度。該照明系統(tǒng)可以包括圖像傳感器、光源以及折射光學元件。該圖像傳感器具有捕捉視野中的物體的圖像的光電傳感器。由光電傳感器所捕捉的具有給定出射度的物體的圖像的輻照度可以依賴于同該圖像傳感器的光軸的角位移。折射光學元件接結構化來自光源的光以照明視野以補償輻照度對同光軸的角位移的依賴性。
文檔編號G02B27/30GK102681293SQ20121005639
公開日2012年9月19日 申請日期2012年3月6日 優(yōu)先權日2011年3月7日
發(fā)明者A·佩爾曼, D·科恩, G·葉海弗 申請人:微軟公司