邊緣保持深度濾波的制作方法
【專利說明】邊緣保持深度濾波
【背景技術(shù)】
[0001] 深度相機(jī)用于生成包括多個(gè)像素的深度圖像。每一個(gè)像素包括可用于估計(jì)從相機(jī) 到由該像素成像的表面的距離的信息。該距離可以稱為表面的深度。然而，像素信息可能 是有噪聲的或者包括最終導(dǎo)致不太精確的深度估計(jì)的缺陷。

【發(fā)明內(nèi)容】

[0002] 提供本
【發(fā)明內(nèi)容】
來以簡化的形式引入以下在【具體實(shí)施方式】中進(jìn)一步描述的概念 的選擇。本
【發(fā)明內(nèi)容】
不意圖標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或本質(zhì)特征，也不意圖用于 限制所要求保護(hù)的主題的范圍。另外，所要求保護(hù)的主題不限于解決在本公開的任何部分 中所指出的任何或全部缺點(diǎn)的實(shí)現(xiàn)。
[0003] 利用經(jīng)調(diào)制光照光來光照?qǐng)鼍?，?jīng)調(diào)制光照光從場景中的表面反射為經(jīng)調(diào)制反射 光。深度相機(jī)的多個(gè)像素中的每一個(gè)接收經(jīng)調(diào)制反射光并且觀察經(jīng)調(diào)制光照光與經(jīng)調(diào)制反 射光之間的相位差。對(duì)于多個(gè)像素中的每一個(gè)，識(shí)別該像素的邊緣性，并且根據(jù)該像素的邊 緣性來平滑該像素。
【附圖說明】
[0004] 圖1示出依照本公開的實(shí)施例的對(duì)深度信息進(jìn)行濾波的示例方法。
[0005] 圖2示意性地示出對(duì)場景進(jìn)行成像的飛行時(shí)間深度相機(jī)。
[0006] 圖3示意性地示出飛行時(shí)間深度相機(jī)的經(jīng)調(diào)制光照與反射光之間的相位差。
[0007] 圖4A示意性地示出在平滑之前的像素組。
[0008] 圖4B示意性地示出在具有邊緣保持的平滑之后的圖4A的像素。
[0009] 圖4C示意性地示出在沒有邊緣保持的平滑之后的圖4A的像素。
[0010] 圖5A示出從飛行時(shí)間深度相機(jī)的角度來看的圖2的經(jīng)成像的場景。
[0011] 圖5B示出具有邊緣圖重疊的圖5A的場景。
[0012] 圖6A示意性地示出具有合理邊緣的像素的3x3網(wǎng)格。
[0013] 圖6B示意性地示出具有噪聲并且沒有合理邊緣的像素的3x3網(wǎng)格。
[0014] 圖7示意性地示出依照本公開的實(shí)施例的計(jì)算系統(tǒng)。
【具體實(shí)施方式】
[0015] 飛行時(shí)間深度相機(jī)利用經(jīng)調(diào)制光來光照?qǐng)鼍安⑶胰缓蟛东@經(jīng)反射的經(jīng)調(diào)制光。深 度相機(jī)的每一個(gè)像素用于查明光照光與經(jīng)反射光之間的相位差。這樣的相位差可以用于計(jì) 算從相機(jī)到反射經(jīng)調(diào)制光的表面的距離。然而，這樣的經(jīng)計(jì)算距離可能受噪聲和/或由深 度相機(jī)獲得的相位差中的其它所不期望的像素到像素的變化的不利影響。為了減少由這樣 的噪聲和/或其它變化所造成的潛在的不利效果，本公開描述了對(duì)相位差進(jìn)行濾波。另外， 這樣的平滑被選擇性地應(yīng)用以便保持合理的深度邊緣。特別地，向被認(rèn)為對(duì)具有不同深度 的表面之間的邊界進(jìn)行成像的那些像素應(yīng)用極少的平滑或不應(yīng)用平滑。
[0016] 圖1示出對(duì)深度圖像進(jìn)行濾波的方法100。在102處，方法100包括利用經(jīng)調(diào)制光 照光來光照?qǐng)鼍?。?jīng)調(diào)制光照光可以包括具有多個(gè)不同調(diào)制頻率的光。作為一個(gè)非限制性 示例，經(jīng)調(diào)制光照光可以包括具有16兆赫茲分量、80兆赫茲分量和120兆赫茲分量的光。
[0017] 例如，圖2示意性地示出利用經(jīng)調(diào)制光照光206來光照?qǐng)鼍?04的深度相機(jī)202。 特別地，深度相機(jī)202包括將經(jīng)調(diào)制光照光206照耀在場景204上的光照器208。光照器可 以包括一個(gè)或多個(gè)發(fā)光二極管、激光器和/或其它光源。經(jīng)調(diào)制光照光206可以是任何合 適的單數(shù)或復(fù)數(shù)頻率或頻帶。例如，經(jīng)調(diào)制光照光可以完全處于紅外或近紅外光的一個(gè)或 多個(gè)帶內(nèi)。
[0018] 轉(zhuǎn)回到圖1，在104處，方法100包括接收經(jīng)調(diào)制反射光。例如，圖2示出接收經(jīng)調(diào) 制反射光210的深度相機(jī)202,該經(jīng)調(diào)制反射光210從場景204中的表面反射回到深度相機(jī) 202〇
[0019]深度相機(jī)202可以包括被配置成接收經(jīng)調(diào)制反射光210的多個(gè)像素212。多個(gè)像 素212中的每一個(gè)可以被配置成針對(duì)一個(gè)或多個(gè)不同的調(diào)制頻率檢測所接收到的反射光 的時(shí)變幅度。照此，每一個(gè)像素能夠查明到達(dá)該像素的反射光的特定調(diào)制。作為一個(gè)非限 制性示例，每一個(gè)像素可以被配置成在三個(gè)不同時(shí)間處對(duì)經(jīng)調(diào)制光的強(qiáng)度進(jìn)行采樣，因而 允許確定周期性調(diào)制的相位。另外，每一個(gè)像素可以針對(duì)不同調(diào)制頻率中的每一個(gè)進(jìn)行這 樣的米樣。
[0020] 轉(zhuǎn)回到圖1，在106處，方法100包括在多個(gè)像素中的每一個(gè)處觀察經(jīng)調(diào)制光照光 與經(jīng)調(diào)制反射光之間的相位差?？梢葬槍?duì)經(jīng)調(diào)制光照光的每一個(gè)不同的調(diào)制頻率觀察相位 差。作為一個(gè)示例，針對(duì)每一個(gè)像素從深度相機(jī)捕獲的數(shù)據(jù)可以表示為：
其中A是經(jīng)調(diào)制幅度并且^1:是相位差。
[0021] 例如，圖3示意性地示出針對(duì)一個(gè)像素和一個(gè)調(diào)制頻率的經(jīng)調(diào)制光照光206'和經(jīng) 調(diào)制反射光210'的理想化圖線302。時(shí)間（t)在水平軸上表示，并且幅度（A)在豎直軸上 表示?？梢曰谄ヅ鋵?duì)應(yīng)光照和反射光的調(diào)制參數(shù)而將輸出光照光206'的時(shí)間與檢測到 對(duì)應(yīng)反射光210'的時(shí)間比較。例如，如果光照光具有周期性的最大值、最小值和/或其它 可識(shí)別參數(shù)，這樣的參數(shù)可以在反射光中標(biāo)識(shí)。圖3示出經(jīng)調(diào)制光照光206'的局部最大值 304與經(jīng)調(diào)制反射光210'的對(duì)應(yīng)局部最大值306之間的可觀察相位差。雖然圖3示出 相位差可以基于利用最大經(jīng)調(diào)制強(qiáng)度進(jìn)行光照與觀察到在反射光中的對(duì)應(yīng)最大經(jīng)調(diào)制強(qiáng) 度之間的時(shí)滯來確定，但是要理解的是，任何合適的信號(hào)分析都可以用于確定相位差。類似 地，雖然圖3示出正弦波調(diào)制，但是要理解的是，可以使用任何合適的調(diào)制。
[0022] 所檢測到的相位差可以用于計(jì)算從相機(jī)到反射光的表面的距離，因?yàn)楣獾沫h(huán)程飛 行時(shí)間與反射表面的距離成比例。照此，可以將表面的深度表述為所檢測到的相位差的函 數(shù)。
[0023] 圖4Α示出對(duì)于一個(gè)調(diào)制頻率、針對(duì)多個(gè)像素402的相對(duì)相位差的視覺表示。在圖 4Α中，每一個(gè)像素的X和y坐標(biāo)對(duì)應(yīng)于該像素相對(duì)于其它像素的位置。每一個(gè)像素的ζ坐 標(biāo)對(duì)應(yīng)于針對(duì)該像素和該調(diào)制頻率所檢測到的相位差。具有較大z坐標(biāo)的像素具有較大相 位差。在圖4A中未表示出幅度。另外，要理解的是，z坐標(biāo)表示相位差，其可以用于計(jì)算實(shí) 際深度，但是其自身不等于深度。
[0024] 轉(zhuǎn)回到圖1，在108處，方法100包括針對(duì)多個(gè)像素中的每一個(gè)而識(shí)別該像素針對(duì) 該調(diào)制頻率的邊緣性。特定像素的邊緣性是該像素的相對(duì)相位差相比于一個(gè)或多個(gè)相鄰像 素的(多個(gè))相對(duì)相位差的度量。與具有類似相位差的其它像素相鄰的像素將具有相對(duì)低的 邊緣性。另一方面，與具有明顯不同的相位差的像素相鄰的像素將具有相對(duì)高的邊緣性。
[0025]使用圖4A作為示例，像素404具有相對(duì)低的邊緣性，因?yàn)槠渚哂信c其所有相鄰像 素近似相同的相位差（即z坐標(biāo))。另一方面，像素406具有相對(duì)高的邊緣性，因?yàn)槠淙齻€(gè)相 鄰像素(像素408,像素410和像素412)具有明顯不同的相位差（即z坐標(biāo))。
[0026]數(shù)值可以用于表示特定像素的邊緣性。例如，像素相對(duì)于一個(gè)相鄰像素的押可 以計(jì)算如下：
其中#是具有等于針對(duì)特定調(diào)制頻率的像素的相位差的角度的矢量，并且是具有 等于針對(duì)該特定調(diào)制頻率的相鄰像素的相位差的角度的矢量。
[0027]Ed.gq可以取〇和1之間的任何值。當(dāng)相鄰像素之間的相位差逼