本申請(qǐng)涉及圖像處理，并更具體地，涉及用于估計(jì)場景中的反射參數(shù)和至少一個(gè)光源的位置的方法和設(shè)備。

背景技術(shù)：

典型地，圖像處理基于通過捕獲圖像在成像元件上記錄的對(duì)象的“外表”。成像元件通過接收在對(duì)象表面處反射之后的來自光源的光，而獲得對(duì)象的外表。然而，當(dāng)前，圖像處理還包括其中在真實(shí)圖像上放置作為虛擬圖像的計(jì)算機(jī)生成的圖形圖像的增強(qiáng)現(xiàn)實(shí)圖像的處理。

在這樣的應(yīng)用中，必須估計(jì)場景的光源特性和對(duì)象表面的反射屬性，以能夠正確預(yù)測和應(yīng)用場景中的預(yù)期反射和陰影。一旦已知光源特性，則還可能修改發(fā)光位置和反射屬性。

在用于估計(jì)場景的光源特性和反射屬性的當(dāng)前技術(shù)中，需要捕獲的光源的圖像，即光源圖像。在一些情況中，能結(jié)合場景的成像來獲得這樣的圖像，而在其它情況中，必須捕獲光源的單獨(dú)圖像。在任一情況下，必須捕獲光源的圖像，用于估計(jì)場景的光源特性和反射屬性。

然而，非常有用的是能在不需要捕獲(多個(gè))光源的圖像的情況下、估計(jì)場景的光源特性和反射屬性。

技術(shù)實(shí)現(xiàn)要素：

本原理的實(shí)施例通過提供用于估計(jì)場景中的反射參數(shù)和至少一個(gè)光源的位置的方法和設(shè)備、來解決現(xiàn)有技術(shù)的缺陷。

在本原理的一個(gè)實(shí)施例中，一種用于估計(jì)場景中的反射參數(shù)和至少一個(gè)光源的位置的方法包括：確定用于該場景中的多個(gè)地點(diǎn)的強(qiáng)度配置文件，分離恒定強(qiáng)度配置文件和可變強(qiáng)度配置文件，使用可變強(qiáng)度配置文件來估計(jì)漫反射分量，從該漫反射分量導(dǎo)出鏡面參數(shù)，根據(jù)導(dǎo)出的鏡面參數(shù)來確定光源方向，和使用至少一個(gè)確定的光源方向來估計(jì)至少一個(gè)光源的位置。

在本原理的替換實(shí)施例中，一種用于估計(jì)場景中的反射參數(shù)和至少一個(gè)光源的位置的設(shè)備包括：存儲(chǔ)器，適于存儲(chǔ)控制程序、指令、內(nèi)容和數(shù)據(jù)；和處理器，適于運(yùn)行所述控制程序和指令。當(dāng)運(yùn)行所述控制程序和指令時(shí)，所述處理器促使所述設(shè)備：確定用于該場景中的多個(gè)地點(diǎn)的強(qiáng)度配置文件，分離恒定強(qiáng)度配置文件和可變強(qiáng)度配置文件，使用可變強(qiáng)度配置文件來估計(jì)漫反射分量，從該漫反射分量導(dǎo)出鏡面參數(shù)，根據(jù)導(dǎo)出的鏡面參數(shù)來確定光源方向，和使用至少一個(gè)確定的光源方向來估計(jì)至少一個(gè)光源的位置。

附圖說明

通過結(jié)合附圖考慮以下詳細(xì)描述，能容易地理解本原理的教義，其中：

圖1描繪了考慮表面上的特定點(diǎn)的鏡面反射的標(biāo)準(zhǔn)化向量的圖形表示；

圖2描繪了包括鏡面效應(yīng)的顏色/強(qiáng)度配置文件的圖形表示；

圖3描繪了根據(jù)本原理實(shí)施例的在濾波之后的圖2的顏色/強(qiáng)度配置文件的圖形表示；

圖4描繪了根據(jù)本原理實(shí)施例的用于分離恒定配置文件與可變配置文件的方法的流程圖；

圖5描繪了根據(jù)本原理實(shí)施例的用于從漫射分量導(dǎo)出鏡面參數(shù)的方法的流程圖；

圖6描繪了根據(jù)本原理實(shí)施例的點(diǎn)的法線和反射光向量的圖形表示；

圖7描繪了根據(jù)本原理實(shí)施例的光源3d位置的估計(jì)的圖示表示；

圖8描繪了根據(jù)本原理實(shí)施例的用于估計(jì)場景中的至少一個(gè)光源的位置的方法的流程圖；

圖9描繪了根據(jù)本原理實(shí)施例的用于根據(jù)上述改進(jìn)(refinement)處理估計(jì)光源顏色和鏡面反射參數(shù)的方法的流程圖；和

圖10描繪了根據(jù)本原理實(shí)施例的用于使用rgbd序列估計(jì)場景中的反射參數(shù)和至少一個(gè)光源的位置的設(shè)備的高級(jí)框圖。

具體實(shí)施方式

本原理的實(shí)施例有利地提供了用于使用rgbd序列估計(jì)場景中的反射參數(shù)和至少一個(gè)光源的位置的方法和設(shè)備。盡管將主要在與可變鏡面效應(yīng)關(guān)聯(lián)的結(jié)果顏色變量的上下文中描述本原理，但是本原理的特定實(shí)施例不應(yīng)被處置為限制本發(fā)明的范圍。本領(lǐng)域技術(shù)人員將理解的是，并且本原理的教義將通知的是，本原理的構(gòu)思能有利地應(yīng)用到顏色數(shù)據(jù)以及灰度等級(jí)數(shù)據(jù)。

能與適當(dāng)軟件關(guān)聯(lián)、通過專用硬件以及能夠運(yùn)行軟件的硬件的使用，來提供圖中示出的各個(gè)元素的功能。當(dāng)由處理器提供時(shí)，這些功能能由單一專用處理器、由單一共享處理器、或者由其一些能被共享的多個(gè)個(gè)別處理器提供。此外，術(shù)語“處理器”或“控制器”的顯式使用不應(yīng)被解釋為排他指代能夠運(yùn)行軟件的硬件，并且能沒有限制地隱式包括數(shù)字信號(hào)處理器(“dsp”)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(“rom”)、隨機(jī)存取存儲(chǔ)器(“ram”)、和非易失性儲(chǔ)存器。此外，這里闡明本發(fā)明的原理、方面和實(shí)施例的所有聲明、及其特定示例意欲包含其結(jié)構(gòu)和功能等效物兩者。另外，這樣的等效物意欲包括當(dāng)前知道的等效物以及將來開發(fā)的等效物(即，執(zhí)行相同功能所開發(fā)的任何元件，而不管結(jié)構(gòu))兩者。

由此，例如，本領(lǐng)域技術(shù)人員將理解的是，這里呈現(xiàn)的框圖代表實(shí)施本發(fā)明的原理的示意性系統(tǒng)組件和/或電路的構(gòu)思圖。類似地，將理解的是，任何流程表、流程圖、狀態(tài)轉(zhuǎn)變圖、偽代碼等代表可在計(jì)算機(jī)可讀介質(zhì)中實(shí)質(zhì)表示并由計(jì)算機(jī)或處理器這樣運(yùn)行的各種處理，而不管是否顯式示出這樣的計(jì)算機(jī)或處理器。

此外，因?yàn)楦綀D中描繪的構(gòu)成系統(tǒng)組件和方法中的一些能在軟件中實(shí)現(xiàn)，所以系統(tǒng)組件或處理功能塊之間的實(shí)際連接可取決于其中編程本原理的方式而不同。給定這里的教義，本領(lǐng)域技術(shù)人員將能夠想到本原理的這些和類似實(shí)現(xiàn)或配置。

說明書中指代本原理的“一個(gè)實(shí)施例”或“實(shí)施例”以及其其它變型意味著結(jié)合該實(shí)施例描述的特定特征、結(jié)構(gòu)、特性等被包括在本原理的至少一個(gè)實(shí)施例中。由此，貫穿說明書的各個(gè)地方出現(xiàn)的短語“在一個(gè)實(shí)施例中”或“在實(shí)施例中”以及任何其它變型的出現(xiàn)并非必須全部指代相同實(shí)施例。

簡要來說，根據(jù)本原理的實(shí)施例，提供了用于估計(jì)例如場景中的觀測表面的漫反射和鏡面反射、以及用于估計(jì)場景的鏡面反射的(多個(gè))光源的位置的方法、設(shè)備和系統(tǒng)。本原理的實(shí)施例基于從感興趣的場景前面移動(dòng)的傳感器(例如，kinect)獲取rgb和深度圖的序列。根據(jù)本原理的實(shí)施例，不存在專用于檢測光源和估計(jì)它們的地點(diǎn)的其它傳感器。該傳感器用來觀測感興趣的場景，并且不用來觀測光源。這樣，本發(fā)明的實(shí)施例能夠從示出感興趣的場景的rgb幀和深度圖，來估計(jì)感興趣的場景中觀測的表面的反射屬性和光源。

在本原理的一個(gè)實(shí)施例中，使用感興趣的場景中的光源產(chǎn)生的可變鏡面效應(yīng)來估計(jì)場景的光源的位置。即，取決于檢測場景的傳感器的移動(dòng)、光源的地點(diǎn)、表面的朝向以及它們的反射屬性，一些表面點(diǎn)能顯示從幀到幀變化的顏色。使用這樣的信息，構(gòu)建參考幀的像素的顏色/強(qiáng)度配置文件。該配置文件描述沿著該序列從幀到幀的對(duì)應(yīng)3d點(diǎn)的顏色或強(qiáng)度的演進(jìn)。即，3d點(diǎn)的投影的地點(diǎn)從幀到幀變化，但是當(dāng)深度圖可變并且測量傳感器姿勢時(shí)，能從幀到幀跟蹤3d點(diǎn)，并且測量通過傳感器幀觀測的強(qiáng)度/顏色以創(chuàng)建可變配置文件。根據(jù)本原理，使用可變配置文件的信息來估計(jì)(多個(gè))光源的地點(diǎn)和對(duì)應(yīng)3d點(diǎn)(參考幀的像素)的鏡面參數(shù)。

本征(intrinsic)圖像分解的目的是將圖像分離為其反射和遮蔽分量。反射分量r包括獨(dú)立于照明環(huán)境的表面點(diǎn)的本征顏色或反照率。另一方面，遮蔽分量s包括含有陰影的各種發(fā)光效應(yīng)。圖像i被看作等式一(1)中反映的這兩(2)個(gè)分量的乘積，如下：

i^p＝r^p.s^p(1)

其中p表示圖像空間中的點(diǎn)。應(yīng)注意的是，假設(shè)反射限于漫射分量。所以，在這樣的情況下，分辨率針對(duì)可能鏡面發(fā)射的存在必須魯棒。

存在用于使用rgbd序列(顏色+深度)來估計(jì)反射參數(shù)的已知方案。在這樣的方案中，時(shí)間濾波傾向于隱式隔離漫射分量和鏡面分量，但是鏡面效應(yīng)然后連同陰影被簡單分配(consigned)給遮蔽。然而，需要更多精度來標(biāo)識(shí)和分析鏡面效應(yīng)。

另外，本征圖像的分解被擴(kuò)展到鏡面反射和鏡面發(fā)光圖像的顯式估計(jì)。在該情況下，經(jīng)由鏡面強(qiáng)度圖的分解來表示發(fā)光特性，以獲得鏡面發(fā)光圖像。后一圖像包括發(fā)光信息，而且還包括鏡面表面固有的數(shù)據(jù)。能使用這樣的方案用于不需要3d光源地點(diǎn)的應(yīng)用，但是如果需要該地點(diǎn)，則是不充分的。

甚至進(jìn)一步地，已提出幾個(gè)方案來考慮3d場景中的物理現(xiàn)象。例如，phong反射模型描述了根據(jù)等式二(2)的表面反射光的方式，作為粗糙表面的漫反射和光亮表面的鏡面反射的組合，如下：

在右側(cè)相加的第一分量涉及環(huán)境發(fā)光，第二分量指代漫射發(fā)光(向光源的數(shù)目施加m上的和)，并且第三分量指代鏡面發(fā)光。參數(shù)ka、kd和ks是反射系數(shù)，分別是環(huán)境、漫射(反照率)和鏡面。參數(shù)α指代“光澤”：參數(shù)的值越大，則其越象鏡子。

圖1描繪了考慮表面上的特定點(diǎn)的鏡面反射的標(biāo)準(zhǔn)化向量的圖形表示。即，考慮特定表面點(diǎn)，標(biāo)準(zhǔn)化向量分別指代曲面法線(surfacenormal)、光源的方向、完美反射光線將取自表面上的該點(diǎn)的方向、和指向傳感器的方向。和通過根據(jù)等式三(3)的關(guān)系鏈接，如下：

應(yīng)注意的是，反射圖r^p不應(yīng)與方向參數(shù)混淆混淆。

為了使用這樣的模型，不得不首先估計(jì)對(duì)象表面的反射參數(shù)以及發(fā)光源。光源經(jīng)常經(jīng)由來自位于場景中間的相機(jī)的光源的直接觀測或經(jīng)由反射該光源的光探頭(也位于場景中間)的觀測來標(biāo)識(shí)。另外，典型地應(yīng)存在至少兩個(gè)相機(jī)，以便經(jīng)由立體感對(duì)光源進(jìn)行3d定位(否則，僅經(jīng)由場景的特定3d點(diǎn)來標(biāo)識(shí)光源的方向)。

在現(xiàn)有方案中，已提出了經(jīng)由手持相機(jī)的平面鏡面表面的實(shí)時(shí)表面光場捕獲。在沒有對(duì)于探頭或附加相機(jī)的需求的情況下，恢復(fù)漫反射和鏡面反射分量。實(shí)際上，手持移動(dòng)相機(jī)在各個(gè)視角下捕獲平面對(duì)象的表面。根據(jù)給定3d點(diǎn)的多次觀測，提取漫射分量作為中值，并然后通過從觀測的顏色減去漫射值，而對(duì)于每一次觀測導(dǎo)出鏡面值。使用下面等式四(4)中描繪的phong等式來描述點(diǎn)的鏡面分量如下：

觀測的表面意欲是平面的。參數(shù)ks和α跨越表面是恒定的。此外，假設(shè)光源是遙遠(yuǎn)的(假設(shè)反射光的方向跨越表面是恒定的)。平面表面的4d光場(對(duì)應(yīng)于鏡面分量)根據(jù)各個(gè)觀測(平面上的2d位置和觀測的2d方向)構(gòu)建。不存在鏡面參數(shù)的估計(jì)。

在其它現(xiàn)有方案中，考慮包括不同對(duì)象的場景。在這樣的方案中，使用rgbdkinect傳感器來觀測場景，并且魚眼相機(jī)捕獲光源。然后使用等式五(5)中描繪的phong模型(沒有環(huán)境發(fā)光)，如下：

每一對(duì)象意欲具有反射參數(shù)的唯一集合：kd、ks和α。通過使得等式六(6)最小化、在分段之后、對(duì)于每一對(duì)象單獨(dú)估計(jì)這些參數(shù)，如下：

以上等式表示像素強(qiáng)度及其phong模型分解之間的、在給定對(duì)象的所有像素上求和的均方誤差。

根據(jù)本原理的實(shí)施例，從具有已知幾何形狀的rgb圖像序列來估計(jì)漫射和鏡面表面反射。該幾何形狀能夠已被先前估計(jì)，或者能經(jīng)由rgb+深度傳感器(例如，kinect傳感器)被在線捕獲為深度圖連同rgb幀。在靜態(tài)3d場景中，rgbd傳感器在場景四周移動(dòng)，使得在各個(gè)視角下觀測該場景。沿著傳感器的軌跡獲取rgb和深度幀的集合。針對(duì)向該場景附加的給定坐標(biāo)系的相機(jī)姿勢在每一幀處是可用的。

使用3d幾何學(xué)，能計(jì)算曲面法線，并且能估計(jì)來自給定3d視點(diǎn)的對(duì)象對(duì)表面的任何阻塞(occlusion)。給定場景中表面的特定點(diǎn)，視頻序列的幀中的對(duì)應(yīng)圖像點(diǎn)能被定位并能被分類為可見、阻塞或場外。所以，考慮到輸入視頻序列的幀，可能估計(jì)每一像素的顏色配置文件(只要該點(diǎn)從視點(diǎn)可見)。在一個(gè)實(shí)施例中，該配置文件包括三相曲線，其通過視點(diǎn)集合描述場景中的對(duì)應(yīng)3d點(diǎn)的顏色的漸進(jìn)。能對(duì)于每一像素選擇特定曲線。例如，在一個(gè)實(shí)施例中，該曲線能夠是“綠色”曲線，或者作為選擇，該曲線能對(duì)應(yīng)于可能根據(jù)用來將顏色變換為亮度的公共公式之一所加權(quán)的三(3)個(gè)顏色分量之和。使用phong等式，能根據(jù)等式七(7)來描述該配置文件，如下：

在等式七(7)中，變量“t”指代圖像索引。靜態(tài)環(huán)境和漫射分量在參數(shù)中分組。在鏡面分量中，參數(shù)ks和α對(duì)于點(diǎn)p是特定的并且是時(shí)間上恒定的。向量對(duì)于點(diǎn)p和光源m兩者是特定的。僅作為幀“t”處的3d點(diǎn)p的視點(diǎn)向量的能沿著該序列變化。所以，配置文件的改變指代鏡面效應(yīng)的改變。應(yīng)注意的是，如果在視圖“t”中沒有觀測到3d點(diǎn)，則該值被設(shè)置為“未確定”并且不被處理。

為了估計(jì)通過參考圖像和其它注冊(cè)圖像的像素觀測的場景的3d點(diǎn)的反射參數(shù)，檢查顏色/強(qiáng)度配置文件。為了成功，場景的視點(diǎn)必須足夠多樣化，以提供用于估計(jì)可利用的信息。

對(duì)于每一3d點(diǎn)觀測到，如果顏色/強(qiáng)度配置文件可變，則3d點(diǎn)屬于鏡面表面。另一方面，由于以下原因的至少一個(gè)，配置文件能夠是恒定的：

●該點(diǎn)是純漫射的(沒有鏡面效應(yīng)，不管如果表面是光滑的則將創(chuàng)建這樣的效應(yīng)的光源)

●該點(diǎn)不受到鏡面效應(yīng)(沒有能沿著相機(jī)軌跡創(chuàng)建鏡面效應(yīng)的光源、或者阻塞這些光源的對(duì)象的存在)

●全部沿著該序列的鏡面效應(yīng)(由于例如短軌跡和寬光源)

圖2描繪了包括鏡面效應(yīng)的顏色/強(qiáng)度配置文件的圖形表示。圖2的曲線對(duì)應(yīng)于貫穿場景的不同視點(diǎn)的集合的、特定表面點(diǎn)的三個(gè)rgb顏色通道之和的演進(jìn)。橫坐標(biāo)(水平)軸對(duì)應(yīng)于幀編號(hào)，并且縱坐標(biāo)(垂直)軸對(duì)應(yīng)于三個(gè)rgb顏色通道之和。

根據(jù)本原理的實(shí)施例，可變顏色/強(qiáng)度配置文件與恒定顏色/強(qiáng)度配置文件分離。為了較好分離可變配置文件與恒定配置文件，實(shí)現(xiàn)一連串預(yù)處理步驟。初始地，對(duì)于每一像素，確定其中強(qiáng)度信息丟失的幀的數(shù)目。如果對(duì)于幀的總數(shù)的多于一半、強(qiáng)度信息丟失，則不考慮該配置文件。在本原理的替換實(shí)施例中，能使用除了小于50％之外的其它百分比。對(duì)于剩余配置文件，應(yīng)用1d高斯濾波器以便使得該曲線平滑，并獲得更多可利用的信息。隨后，確定包括用于強(qiáng)度配置文件的最小、最大、均值、中值、方差、和標(biāo)準(zhǔn)偏差的至少一個(gè)的一連串統(tǒng)計(jì)信息。

圖3描繪了根據(jù)本原理并且如上所述的在濾波之后的圖2的顏色/強(qiáng)度配置文件的圖形表示如圖3中描繪的，圖2的濾波后的配置文件提供具有更多可辨別信息的更平滑曲線。使用圖3中的信息，選定閾值以將配置文件分配為恒定配置文件或可變配置文件。例如，在本原理的一個(gè)實(shí)施例中并且參考圖3的配置文件，如果發(fā)現(xiàn)中值和均值之間的差的絕對(duì)值大于第一閾值(例如，th1＝10)或者標(biāo)準(zhǔn)偏差大于另一閾值(例如，th2＝28)，則認(rèn)為該配置文件是可變的配置文件。應(yīng)注意的是，認(rèn)為這些閾值描述了以下事實(shí)，即，在使得這些統(tǒng)計(jì)數(shù)據(jù)之間的差別值得注意的視點(diǎn)集合期間，像素在鏡面發(fā)光的影響之下。認(rèn)為低于閾值的強(qiáng)度配置文件是恒定的配置文件。在本原理的各個(gè)實(shí)施例中，選定閾值以選擇具有鏡面效應(yīng)的所有點(diǎn)。能例如從學(xué)習(xí)階段或第一迭代選定它們。在過度選擇(overselection)的情況下，錯(cuò)誤選擇的點(diǎn)將能夠在迭代步驟中被丟棄。

圖4描繪了根據(jù)本原理實(shí)施例的用于分離恒定配置文件與可變配置文件的方法的流程圖。圖4的方法400開始于步驟402，其間對(duì)于n個(gè)注冊(cè)幀提取顏色/強(qiáng)度配置文件。如上所述，在本原理的一個(gè)實(shí)施例中，在靜態(tài)3d場景中，rgbd傳感器在場景四周移動(dòng)，使得在各個(gè)視角下觀測場景。沿著傳感器的軌跡獲取rgb和深度幀的集合。方法400然后能前進(jìn)到步驟404。

在步驟404，確定是否應(yīng)考慮顏色/強(qiáng)度配置文件。如上所述，在本原理的一個(gè)實(shí)施例中，對(duì)于每一像素，確定其中強(qiáng)度信息丟失的幀的數(shù)目。如果對(duì)于幀的總數(shù)的多于一半、強(qiáng)度信息丟失，則不考慮該配置文件信息。不再對(duì)不應(yīng)考慮的配置文件信息進(jìn)行任何事。對(duì)于要考慮的強(qiáng)度配置文件，方法400然后能前進(jìn)到步驟406。

在步驟406，向要考慮的顏色/強(qiáng)度配置文件的匯編(compilation)應(yīng)用濾波處理。如上所述，在本原理的一個(gè)實(shí)施例中，向要考慮的顏色/強(qiáng)度配置文件應(yīng)用1d高斯濾波，以便使得從要考慮的顏色/強(qiáng)度配置文件的匯編得到的曲線平滑，以便使得該曲線平滑。方法400然后能前進(jìn)到步驟408。

在步驟408，確定濾波的顏色/強(qiáng)度配置文件的統(tǒng)計(jì)數(shù)據(jù)。如上所述，在本原理的一個(gè)實(shí)施例中，確定包括用于強(qiáng)度配置文件的最小、最大、均值、中值、方差、和標(biāo)準(zhǔn)偏差的至少一個(gè)的一連串統(tǒng)計(jì)信息。方法400然后能前進(jìn)到步驟410。

在步驟410，選定閾值以將配置文件分配為恒定配置文件或可變配置文件。如上所述，在本原理的一個(gè)實(shí)施例中，如果發(fā)現(xiàn)中值和均值之間的差的絕對(duì)值大于第一閾值(例如，th1＝10)或者如果標(biāo)準(zhǔn)偏差大于另一閾值(例如，th2＝28)，則認(rèn)為該配置文件是可變的配置文件。方法400然后能退出。

對(duì)于具有可變配置文件的像素，假設(shè)光源是稀疏的，并且在顯著數(shù)目視圖中僅利用漫反射觀測到3d點(diǎn)。

根據(jù)場景分析并且基于先前結(jié)果，每一像素的漫反射分量等于可變和濾波后配置文件的最小值。這樣，如下恢復(fù)漫反射的顏色分量的估計(jì)：

然后，根據(jù)等式八(8)從漫反射估計(jì)導(dǎo)出鏡面配置文件，如下：

當(dāng)光源被看作稀疏的并且被建模為點(diǎn)源時(shí)，一次僅一個(gè)光源創(chuàng)建鏡面效應(yīng)。如果移動(dòng)相機(jī)沿著其軌跡越過給定3d點(diǎn)處的鏡面效應(yīng)，則該點(diǎn)的配置文件將是波瓣(lobe)。但是，如果該軌跡長，則該配置文件可具有多于一個(gè)波瓣。根據(jù)本原理，波瓣在它們之間的最小值處分離。然后，如果存在一個(gè)波瓣，則通過等式九(9)來描述該配置文件，如下：

未知參數(shù)是光澤α、光源的“鏡子”方向以及與光強(qiáng)組合的鏡面反射率ksim,s。索引m標(biāo)識(shí)光源。為了估計(jì)每一配置文件的鏡面參數(shù)，首先假設(shè)僅存在一個(gè)發(fā)光源，然后根據(jù)等式十(10)來估計(jì)鏡面參數(shù)，如下：

在以上等式十(10)中，常數(shù)等于強(qiáng)度配置文件的最大值。此外，由于不存在配置文件已達(dá)到其最大可能值的保證，所以將根據(jù)等式十一(11)稍后在估計(jì)處理中改進(jìn)該估計(jì)，如下：

當(dāng)像素是配置文件曲線的最大值時(shí)，“鏡子”反射對(duì)應(yīng)于該視點(diǎn)向量并且能根據(jù)等式十二(12)確定，如下：

當(dāng)時(shí)(12)

估計(jì)的第三參數(shù)是“光澤”αp(為了簡單在等式中省略指代點(diǎn)p的p)。該參數(shù)對(duì)于每一材料是合適的，并且已知對(duì)于越平滑并且越象鏡子的表面、該參數(shù)越大。算術(shù)上來說，αp越大，則曲線越窄。在本原理的一個(gè)實(shí)施例中，為了估計(jì)“光澤”參數(shù)αp，使用neldermead搜索(nms)方法作為最小化處理。在這樣的實(shí)施例中，使用直接搜索方法，因?yàn)槠淠芴幹闷鋵?dǎo)數(shù)可能不知道的非線性優(yōu)化問題，并且在以上示例中，存在沒有導(dǎo)數(shù)或連續(xù)性的保證的值的集合。該方法使用單形體的概念，其是n維的n+1個(gè)頂點(diǎn)的特定多面體。單形體的示例包括線上的線段、平面上的三角形、三維空間中的四面體等。直接搜索方法利用平滑變化的目標(biāo)函數(shù)，來近似具有n個(gè)變量的問題的局部最優(yōu)。

在本原理的一個(gè)實(shí)施例中，根據(jù)等式十三(13)表示解決上述最小化目標(biāo)的目標(biāo)函數(shù)，如下：

在該等式中，在點(diǎn)p的整個(gè)選擇的鏡面配置文件上，添加幀t中的點(diǎn)p的觀測的鏡面強(qiáng)度與等式(10)中的phong模型所給定的強(qiáng)度之間的誤差。目標(biāo)函數(shù)fp(α)具有最小值的光澤參數(shù)αp將保持為最佳估計(jì)。

圖5描繪了根據(jù)本原理實(shí)施例并且如上所述的用于從漫射分量導(dǎo)出鏡面參數(shù)的方法的流程圖。圖5的方法500開始于步驟502，其間估計(jì)鏡面光強(qiáng)。例如并且如上所述，在本發(fā)明的一個(gè)實(shí)施例中，常數(shù)等于強(qiáng)度配置文件的最大值。方法500然后能前進(jìn)到步驟504。

在步驟504，估計(jì)鏡子反射。即，如上所述并且在本原理的一個(gè)實(shí)施例中，當(dāng)像素為配置文件曲線的最大值時(shí)，“鏡子”反射對(duì)應(yīng)于視點(diǎn)向量，并且根據(jù)等式十二(2)來確定。方法500然后能前進(jìn)到步驟506。

在步驟506，估計(jì)光澤參數(shù)。即，如上所述并且在本原理的一個(gè)實(shí)施例中，為了估計(jì)“光澤”參數(shù)αp，使用neldermead搜索(nms)方法作為最小化處理。方法500然后能退出。

已如上所述估計(jì)了場景的鏡面參數(shù)，能估計(jì)光源的方向。即，因?yàn)橐阎哂锌勺兣渲梦募挠糜诿恳挥^測的3d點(diǎn)p的“鏡子”反射向量所以能根據(jù)等式十四(14)來計(jì)算對(duì)應(yīng)光方向，如下：

圖6描繪了點(diǎn)p的法線和反射光向量的圖形表示。如圖6中描繪的并且如上所述，因?yàn)橐阎糜?d點(diǎn)p的“鏡子”反射向量所以能計(jì)算對(duì)應(yīng)光方向。即，如圖6中描繪的，能根據(jù)場景的可用幾何學(xué)(例如，深度幀)來計(jì)算向與圖像像素對(duì)應(yīng)的3d點(diǎn)附加的法線

在本原理的一個(gè)實(shí)施例中，為了估計(jì)光源的3d位置，連同以下考慮一起使用neldermead搜索方法：

●描述光源的3d位置的向量

●經(jīng)受光源的鏡面效應(yīng)的3d點(diǎn)p的坐標(biāo)的向量

●用于這些3d點(diǎn)的每一個(gè)的光源的方向：

在上述實(shí)施例中，目標(biāo)是估計(jì)向量其在標(biāo)準(zhǔn)化之后使得向量和之間的標(biāo)量積在所選擇的3d點(diǎn)上的和最大化。這等效于使得這些向量之間的角度在所選擇的3d點(diǎn)上的和最小化。在本原理的一個(gè)實(shí)施例中，根據(jù)等式十五(15)表示解決以上最小化目標(biāo)的目標(biāo)函數(shù)，如下：

在等式十五(15)中，索引n指示使得向量標(biāo)準(zhǔn)化。圖7描繪了根據(jù)本原理實(shí)施例的光源3d位置的估計(jì)的圖示表示。如圖7中描繪的，使用場景中的三個(gè)點(diǎn)，如上所述并且根據(jù)本原理的實(shí)施例來估計(jì)光源的3d位置。

圖8描繪了根據(jù)本原理實(shí)施例的用于估計(jì)場景中的至少一個(gè)光源的位置的方法的流程圖。方法800開始于步驟802，其間確定場景中的多個(gè)地點(diǎn)的強(qiáng)度配置文件。例如，如上所述，在本原理的一個(gè)實(shí)施例中，rgbd傳感器在場景四周移動(dòng)，使得在各個(gè)視角下觀測場景。沿著傳感器的軌跡獲取rgb和深度幀的集合。針對(duì)向該場景附加的給定坐標(biāo)系的相機(jī)姿勢在每一幀處是可用的。方法800然后能前進(jìn)到步驟804。

在步驟804，恒定強(qiáng)度配置文件與可變強(qiáng)度配置文件分離。例如并且如上所述，在本原理的一個(gè)實(shí)施例中，對(duì)于用來確定強(qiáng)度配置文件的傳感器的每一像素，計(jì)算其中強(qiáng)度信息丟失的幀的數(shù)目，并且不考慮具有比丟失的強(qiáng)度信息的閾值百分比更大的百分比的強(qiáng)度配置文件的強(qiáng)度信息。隨后對(duì)剩余配置文件應(yīng)用濾波器。然后，確定至少最小強(qiáng)度值、最大強(qiáng)度值、均值強(qiáng)度值、中值強(qiáng)度值、強(qiáng)度配置文件的方差、和強(qiáng)度配置文件的標(biāo)準(zhǔn)偏差，并且向確定的至少一個(gè)強(qiáng)度配置文件的強(qiáng)度值應(yīng)用閾值，以確定強(qiáng)度配置文件是可變配置文件還是恒定配置文件。方法800然后能前進(jìn)到步驟806。

在步驟806，使用可變強(qiáng)度配置文件來確定漫反射分量。例如并且如上所述，在本原理的一個(gè)實(shí)施例中，認(rèn)為漫反射分量等于各個(gè)可變強(qiáng)度配置文件的最小強(qiáng)度值，并且在各個(gè)實(shí)施例中，對(duì)于可變強(qiáng)度配置文件的每一顏色分量估計(jì)漫反射分量。方法800然后能前進(jìn)到步驟808。

在步驟808，使用漫射分量導(dǎo)出鏡面參數(shù)。例如并且如上所述，在本原理的一個(gè)實(shí)施例中，導(dǎo)出諸如鏡面光強(qiáng)、鏡子反射向量、和光澤分量的鏡面參數(shù)，用于估計(jì)光源的光方向向量。方法800然后能前進(jìn)到步驟810。

在步驟810，根據(jù)導(dǎo)出的鏡面參數(shù)來確定光方向向量。方法800然后能前進(jìn)到步驟812。

在步驟812，使用至少確定的光方向向量，來估計(jì)至少一個(gè)光源的位置。例如并且如上所述，在本原理的一個(gè)實(shí)施例中，使用以上圖7中描繪的場景中的三個(gè)點(diǎn)，來估計(jì)光源的3d位置。

方法800然后能退出。

可選地，根據(jù)本原理的各個(gè)實(shí)施例，能改進(jìn)以上確定的估計(jì)。具體地，在本原理的一個(gè)實(shí)施例中，該選項(xiàng)導(dǎo)致利用可變配置文件的每一像素p的元素的改進(jìn)、這些像素p的光源顏色和鏡面反射率的估計(jì)。即，如上所示，在本原理的幾個(gè)實(shí)施例中，光源3d位置的估計(jì)基于最大強(qiáng)度值在配置文件中可用的假設(shè)。然而，由于不存在配置文件在序列獲取期間命中其最大值的保證，所以能實(shí)現(xiàn)改進(jìn)步驟，以改善根據(jù)本原理實(shí)施例的參數(shù)估計(jì)。

更具體地，因?yàn)橄鄼C(jī)的坐標(biāo)系中的每一點(diǎn)的位置以及現(xiàn)在光源位置的估計(jì)已知，所以能更新光方向向量并所以，能根據(jù)等式十六(16)和十七(17)來改進(jìn)用于每一點(diǎn)p的“鏡子”反射向量的值，如下：

應(yīng)注意的是，在以上等式十六(16)和十七(17)中，向量被標(biāo)注為并且索引p指代特定點(diǎn)p。

使用phong的反射模型，能根據(jù)等式十八(18)來導(dǎo)出如下：

在以上等式十八(18)中，是點(diǎn)p的鏡面配置文件中的選擇的觀測的數(shù)目。能通過選擇具有閾值之上的的值的僅那些來限制觀測，即，使得2個(gè)向量之間的角度小于閾值。在本原理的一個(gè)實(shí)施例中，的閾值為30°的余弦。此外，還需要的是，必須不同于零。這樣，在本原理的一個(gè)實(shí)施例中，在觀測的選擇中引入設(shè)置為0.1的第二閾值。

根據(jù)本原理，從導(dǎo)出鏡面反射常數(shù)即，使用與相同光源對(duì)應(yīng)的濾波后的可變配置文件的集合，能確定已影響了每一3d點(diǎn)p的鏡面光源的顏色向量更具體地，鏡面光源的顏色向量等于與最大和最小強(qiáng)度對(duì)應(yīng)的向量之間的差。能根據(jù)鏡面顏色向量的集合導(dǎo)出平均顏色向量鏡面顏色向量的集合限于那些向量，其對(duì)應(yīng)向量(對(duì)應(yīng)于最大強(qiáng)度)不具有飽和分量(即，低于255的所有顏色分量)并使得該最大值具有零一階導(dǎo)數(shù)。

隨后，能從光源顏色向量導(dǎo)出強(qiáng)度is，在一個(gè)實(shí)施例中作為3個(gè)顏色分量之和，并且能根據(jù)等式十九(19)對(duì)于每一點(diǎn)p導(dǎo)出鏡面反射率，如下：

如上面先前描述的，使用上面等式十八(18)中反映的phong的反射模型的等式，來計(jì)算表達(dá)式的值。

圖9描繪了根據(jù)本原理實(shí)施例的用于根據(jù)上述改進(jìn)處理估計(jì)光源顏色和鏡面反射參數(shù)的方法的流程圖。方法900開始于步驟902，其間因?yàn)橄鄼C(jī)的坐標(biāo)系中的每一點(diǎn)的位置和光源位置的估計(jì)已知，所以更新光方向向量方法900然后能前進(jìn)到步驟904。

在步驟904，改進(jìn)每一點(diǎn)p的“鏡子”反射向量的值。例如，在本原理的一個(gè)實(shí)施例中并且如上所述，根據(jù)等式十六(16)和十七(17)來改進(jìn)鏡子反射。方法900然后能前進(jìn)到步驟906。

在步驟906，導(dǎo)出鏡面光強(qiáng)。例如，在本原理的一個(gè)實(shí)施例中并且如上所述，根據(jù)使用phong的反射模型和等式十八(18)，來導(dǎo)出鏡面光強(qiáng)。方法900然后能前進(jìn)到步驟908。

在步驟908，確定已影響了每一3d點(diǎn)p的鏡面光源的顏色向量例如，在本原理的一個(gè)實(shí)施例中并且如上所述，鏡面光源的顏色向量等于與最大和最小強(qiáng)度對(duì)應(yīng)的向量之間的差。方法900然后能前進(jìn)到步驟910。

在步驟910，導(dǎo)出鏡面反射率。例如，在本原理的一個(gè)實(shí)施例中并且如上所述，能根據(jù)等式十九(19)對(duì)于每一點(diǎn)p導(dǎo)出鏡面反射率。

方法900然后能退出。

圖10描繪了根據(jù)本原理實(shí)施例的用于使用rgbd序列估計(jì)場景中的反射參數(shù)和至少一個(gè)光源的位置的設(shè)備的高級(jí)框圖。圖10的設(shè)備10包括處理器1010、以及用于存儲(chǔ)控制程序、指令、軟件、視頻內(nèi)容、數(shù)據(jù)等的存儲(chǔ)器1020。處理器1010與傳統(tǒng)支持電路1030合作，諸如電源、時(shí)鐘電路、緩存等、以及幫助運(yùn)行存儲(chǔ)器1020中存儲(chǔ)的軟件例程的電路。這樣，預(yù)期的是，這里作為軟件處理討論的處理步驟中的一些可在硬件中實(shí)現(xiàn)，例如，作為與處理器1010合作以執(zhí)行各個(gè)步驟的電路。圖10的設(shè)備還包括輸入輸出電路1040，其形成與該設(shè)備通信的各個(gè)相應(yīng)功能元件之間的接口。

盡管圖10的設(shè)備被描繪為編程為執(zhí)行根據(jù)本原理的各個(gè)控制功能的通用目的計(jì)算機(jī)，但是本發(fā)明能在硬件中實(shí)現(xiàn)，例如作為特定用途集成電路(asic)。這樣，這里描述的處理步驟意欲廣泛解釋為由軟件、硬件或其組合等效執(zhí)行。

已描述了用于使用rgbd序列估計(jì)場景中的反射參數(shù)和至少一個(gè)光源的位置的方法、設(shè)備和系統(tǒng)的各個(gè)實(shí)施例(其意欲是解釋性而不是限制性的)，注意的是，本領(lǐng)域技術(shù)人員能考慮到以上教義來進(jìn)行修改和變型。所以，應(yīng)理解的是，可在本發(fā)明的范圍內(nèi)公開的本發(fā)明的特定實(shí)施例中進(jìn)行改變。盡管前面針對(duì)本原理的各個(gè)實(shí)施例，但是可設(shè)計(jì)本發(fā)明的其它和進(jìn)一步實(shí)施例，而不脫離其基本范圍。