本發(fā)明涉及圖像處理和計(jì)算機(jī)視覺的領(lǐng)域，特別是涉及對噪聲深度或視差圖像的處理的領(lǐng)域。

背景技術(shù)：

對圖像中的場景的分析(諸如圖像分割，背景提取，自動(dòng)目標(biāo)識別以及多級檢測)是文獻(xiàn)中已經(jīng)廣泛涉及的領(lǐng)域，其主要用于“單傳感器”(2d)圖像。得益于在3d感知方面的最新進(jìn)展，場景分析也嘗試?yán)蒙疃刃畔?，因?yàn)槟繕?biāo)不只是在顏色和/或紋理方面的相干視覺單元，也是空間緊湊單元。

已知的多種3d感知系統(tǒng)包括：

-諸如3d掃描儀或者飛行時(shí)間(tof)攝像機(jī)的設(shè)備。這種3d傳感器提供深度圖像，其中每一個(gè)像素對應(yīng)于場景中的點(diǎn)與特定點(diǎn)之間的距離。得到的深度圖像一般比較準(zhǔn)確，盡管如此，他們都包含像差(例如在使用tof攝像機(jī)情況下的“斑點(diǎn)”)。它們價(jià)格昂貴，從一千到幾千歐元不等，使得它們的使用只能局限在費(fèi)用不是主要障礙的應(yīng)用里。此外，由于圖像生成的低頻率，許多這種3d傳感器不能用于實(shí)時(shí)應(yīng)用。

-立體系統(tǒng)，一般包括攝像機(jī)和/或投影儀的組合，結(jié)合特定的處理操作(例如視差計(jì)算)。這些都得益于標(biāo)準(zhǔn)的攝像機(jī)，甚至其他應(yīng)用(例如，倒車影像功能)中可能已經(jīng)出現(xiàn)的攝像機(jī)的低成本。但是，這些圖像的噪聲更大(對光照條件的靈敏程度，有關(guān)于輕微紋理表面的問題，等等)，并且從視差圖像推導(dǎo)出的深度圖像不稠密。非線性變換{視差圖像->深度圖像}在深度圖像上表現(xiàn)為非均勻的信息密度。典型地，靠近攝像機(jī)的數(shù)據(jù)會更加稠密，而在目標(biāo)邊界的數(shù)據(jù)將可能不準(zhǔn)確。

深度圖像或視差圖像的圖像質(zhì)量對在此圖像上進(jìn)行的處理操作的性能有極大影響。在立體圖像的情況下，深度圖像中的極大誤差更加不利于進(jìn)行的處理操作。

所以，3d場景分析系統(tǒng)(例如，場景分割)不是昂貴，就是被深度圖像中出現(xiàn)的誤差所負(fù)面地影響。

可以在視差圖像上對與深度相關(guān)聯(lián)的數(shù)據(jù)進(jìn)行濾波。傳統(tǒng)地，采用中值濾波處理異常誤差。這種濾波器唯一的參數(shù)就是模板的尺寸(或者形狀)。典型地使用3*3或5*5的方形模板。

盡管噪聲去除能力隨著模板的尺寸增加而增強(qiáng)，但是這是伴隨著對細(xì)節(jié)的去除，連同在噪聲存在時(shí)可能的邊緣的位移。在圖像分割的情況下，這可能導(dǎo)致不準(zhǔn)確的分割，并且應(yīng)該注意的是這一效果并不是均一的遍布在深度圖像或遍布在視差圖像上。

但是使用小的模板降低濾波的能力。如果噪聲水平在統(tǒng)計(jì)上是顯著的，其濾波只能是部分的。

因此，對濾波器尺寸的選擇是在像差的去除和圖像變形之間的權(quán)衡。這個(gè)選擇是留給用戶的，而且沒有用于自動(dòng)確定“最佳”值的方法。

在命名為“使用來自用于重型設(shè)備操作的距離成像攝像機(jī)的距離數(shù)據(jù)的快速3d目標(biāo)檢測和建?！?rapid3dobjectdetectionandmodelingusingrangedatafromrangeimagingcameraforheavyequipmentoperation，作者son，kim和choi，發(fā)表于“建設(shè)中的自動(dòng)化”(automationinconstruction)，卷19，第898頁至906頁，elsevier，2010))的文章中，作者提出了一種3d場景分割系統(tǒng)，其由飛行時(shí)間攝像機(jī)和處理軟件組成，包括用于深度圖像中的降噪、提取地面元素、分割目標(biāo)以及創(chuàng)建目標(biāo)包圍體的連續(xù)步驟。這種方法的局限在于，系統(tǒng)要求使用飛行時(shí)間攝像機(jī)(它是昂貴的裝置)，并且濾波操作按與傳感器相關(guān)聯(lián)的噪聲類型而進(jìn)行調(diào)整。濾波使用固定的模板，而不考慮信號的局部特征：3*3的均值差分濾波器結(jié)合0.6的固定閾值，用于濾除“丟失”(dropout)類型的異常值(沒有被傳感器接收到的波)；以及，3*3中值濾波器，用于修正斑點(diǎn)噪聲。進(jìn)一步，如上所述，固定的模板尺寸和固定的閾值不允許根據(jù)信號(特別是與3d方法的幾何結(jié)構(gòu)相關(guān)聯(lián)的那些信號)的局部和實(shí)際特征來對信號的濾波/保留之間的權(quán)衡進(jìn)行最優(yōu)化。最后，分割的全局性方法使用允許精細(xì)分割的稠密的3d網(wǎng)格，但是它的計(jì)算時(shí)間始終很長，在秒的量級。

在三星電子(samsungelectronics)提出的專利申請ep2541496(a2)“用于使用深度信息濾除深度噪聲的方法、介質(zhì)和裝置”("procédé,supportetappareilpourfiltrerlebruitdeprofondeurutilisantlesinformationsdeprofondeur")中，用于濾除深度噪聲的方法可以根據(jù)深度信息執(zhí)行空域或時(shí)域?yàn)V波。為了執(zhí)行空域?yàn)V波，所述方法能夠基于深度信息確定空域?yàn)V波器的特征。同樣的，為了執(zhí)行時(shí)域?yàn)V波，所述方法也能夠基于深度信息確定一定數(shù)量的參照系。盡管這種解決方案根據(jù)要處理的區(qū)域的深度調(diào)整應(yīng)用的濾波器的尺寸和系數(shù)，仍然存在缺點(diǎn)，尤其包括濾波器的特征沒有考慮從攝像機(jī)光學(xué)中心至目標(biāo)的距離。

在專利申請wo2013079602(a1)“經(jīng)由聯(lián)合多邊濾波的時(shí)空視差圖像平滑”(lissagedecartededisparitéspatio-temporelleparfiltragemultilatéralconjoint，作者kauffp.等)中，旨在對視差圖像d(p,t0)進(jìn)行濾波的濾波器結(jié)構(gòu)包括第一濾波器、第二濾波器以及濾波器選擇器。第一濾波器是旨在根據(jù)集中趨勢的第一測度對視差圖像的特定部分進(jìn)行濾波。第二濾波器是旨在根據(jù)集中趨勢的第二測度對視差圖像的特定部分進(jìn)行濾波。濾波器選擇器是提供用來選擇第一濾波器或者第二濾波器以對視差圖像的特定部分進(jìn)行濾波，所述選擇基于特定區(qū)域的至少一個(gè)局部性質(zhì)。這種方法僅適用于視差圖像，且取決于用于選擇的濾波器的固定閾值的選取，而這是與物理或幾何現(xiàn)實(shí)不一致的。

因此，在現(xiàn)有技術(shù)中不存在這樣的解決方案，其允許在維持低系統(tǒng)成本的同時(shí)提高深度圖像的質(zhì)量，從而也允許在維持低系統(tǒng)成本的同時(shí)提高后續(xù)處理的質(zhì)量。

進(jìn)一步，不存在考慮了在原有光信號上進(jìn)行的操作的幾何現(xiàn)實(shí)的已知的方法。

于是需要有解決方案來克服已知的方法的缺陷。本發(fā)明解決這一需求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一個(gè)目的是提出用于對視差圖像或深度圖像的像差，使用自適應(yīng)方法進(jìn)行濾波的裝置和方法。

所述提出的方法允許根據(jù)源自在光信號上執(zhí)行的變換的幾何現(xiàn)實(shí)的準(zhǔn)則，對在其3d鄰近區(qū)域中非空間相干的那些點(diǎn)進(jìn)行局部濾波。

本發(fā)明的自適應(yīng)濾波在現(xiàn)有方法上通過在整個(gè)3d空間上穩(wěn)定濾波能力/細(xì)節(jié)的保留之間的權(quán)衡來改進(jìn)，該權(quán)衡調(diào)整到可以由用戶指定的值。

提出的噪聲濾除方法在稠密深度圖像或稠密視差圖像上進(jìn)行，能夠提高后續(xù)處理操作(諸如，對觀測的場景的自動(dòng)分割，也就是，將場景自動(dòng)分解為多個(gè)組成元素)的質(zhì)量和效率。

本發(fā)明的裝置可以插入處理鏈，以作為噪聲深度圖像或噪聲視差圖像的后處理和/或作為使用深度圖像或視差圖像的場景分析應(yīng)用的預(yù)處理。

有利地，提出的解決方案的特點(diǎn)是：

-對3d數(shù)據(jù)的自適應(yīng)濾波，考慮了數(shù)據(jù)的空間相干性和對原始信號(光波)進(jìn)行的操作的幾何現(xiàn)實(shí)；

-受控的系統(tǒng)成本，通過使用立體傳感器；

-要求最小的計(jì)算資源和允許在標(biāo)準(zhǔn)的、廉價(jià)的計(jì)算體系結(jié)構(gòu)上的實(shí)時(shí)調(diào)度的方法。

有利地，濾波參數(shù)是局部最優(yōu)的，考慮了在光信號上的變換的幾何現(xiàn)實(shí)。

因此，在濾波能力和細(xì)節(jié)的保留之間的權(quán)衡實(shí)現(xiàn)了自動(dòng)管理，根據(jù)空間位置(空域均一性)來調(diào)整，并且只取決于一個(gè)直觀的留給用戶選擇的參數(shù)，而且在討論的整個(gè)3d空間中都有效。

有利地，本發(fā)明的濾波器的特征不僅取決于深度，也取決于從攝像機(jī)的光學(xué)中心到目標(biāo)的的距離。

更一般地，濾波器參數(shù)的調(diào)整不是基于經(jīng)驗(yàn)公式(在這種情況下是線性等式)，而是基于幾何變換的現(xiàn)實(shí)。濾波器參數(shù)也動(dòng)態(tài)地取決于數(shù)據(jù)的空間相干準(zhǔn)則。

有利地，濾波器不是直接應(yīng)用于數(shù)據(jù)以輸出濾波的圖像，但是提出的方法允許生成必須濾波的像素的圖像，隨后獨(dú)立地處理這些像素。因此，不以任何方式對那些認(rèn)為有效的像素進(jìn)行修改。

本發(fā)明將在任何實(shí)時(shí)應(yīng)用中都有用，致力于分析全部或部分3d場景，并且使用視差圖像或深度圖像作為輸入。

涉及視頻監(jiān)視、視頻保護(hù)或視頻輔助，以及其應(yīng)用涉及對場景內(nèi)容的信息的反饋的各方，會認(rèn)為本發(fā)明的方法有用。

為了獲得期望的結(jié)果，提出了方法和設(shè)備。

特別地，一種用于對初始3d圖像濾波的方法包括以下步驟：

-為與初始圖像的每一個(gè)像素相關(guān)聯(lián)的每一個(gè)3d點(diǎn)定義局部分析區(qū)域；

-基于對局部分析區(qū)域中的每個(gè)3d點(diǎn)測量的空間相干值，為與初始3d圖像的像素的集合相關(guān)聯(lián)的3d點(diǎn)的集合生成空間相干圖像；

-基于對局部分析區(qū)域中的每個(gè)3d點(diǎn)測量的幾何現(xiàn)實(shí)值，為與初始3d圖像的像素的集合相關(guān)聯(lián)的3d點(diǎn)的集合生成幾何現(xiàn)實(shí)圖像；

-基于空間相干圖像和幾何現(xiàn)實(shí)圖像，生成二值圖像，其中根據(jù)為這個(gè)點(diǎn)獲得的空間相干值和幾何現(xiàn)實(shí)值，把二值圖像中的每一個(gè)點(diǎn)分類為場景點(diǎn)或噪聲點(diǎn)；以及

-將二值圖像與初始3d圖像相結(jié)合以獲得降噪圖像。

有利地，局部分析區(qū)域s(p(u,v))由固定尺寸的3d體組成，所述3d體以與像素相關(guān)聯(lián)的3d點(diǎn)的坐標(biāo)p(u,v)為中心。

在一個(gè)實(shí)施方案中，對3d點(diǎn)測量空間相干值cs(u,v)的步驟包括以下步驟：確定初始圖像的像素集合，所述像素集合中的像素相關(guān)聯(lián)的3d點(diǎn)包含在所述3d點(diǎn)的局部分析區(qū)域中；以及根據(jù)結(jié)果對所述3d點(diǎn)定義空間相干值。

在一個(gè)實(shí)施方案中，對與3d點(diǎn)相關(guān)聯(lián)的像素測量幾何現(xiàn)實(shí)值rg(u,v)的步驟包括以下步驟：將局部分析區(qū)域投影至空的場景中；確定在其投影至空場景的圖像中的局部分析區(qū)域中可見的3d點(diǎn)的集合；以及根據(jù)結(jié)果對所述像素定義幾何現(xiàn)實(shí)值

在一個(gè)實(shí)施方案中，生成二值圖像的步驟包括以下步驟：基于空間相干值和幾何現(xiàn)實(shí)值，為每一個(gè)3d點(diǎn)生成濾波值；將得到的濾波值和與閾值進(jìn)行比較；根據(jù)以上比較的結(jié)果，將3d點(diǎn)分類為場景點(diǎn)或噪聲點(diǎn)；以及生成場景點(diǎn)和噪聲點(diǎn)的集合的圖像。

在一個(gè)實(shí)施方案中，初始圖像是視差圖像。在一個(gè)變形的實(shí)施方案中，初始圖像是深度圖像。

在實(shí)施方案中，局部分析區(qū)域從包含球形、立方體、箱形或圓柱體的表示、或3d網(wǎng)格表面表示、立體像素表示或代數(shù)表示的組中進(jìn)行選擇。

在一個(gè)實(shí)施方案中，幾何現(xiàn)實(shí)值是預(yù)先計(jì)算的。

本發(fā)明也包括了一種用于對初始噪聲圖像濾波的裝置，所述裝置包括用于實(shí)施根據(jù)權(quán)利要求中所述的方法的步驟的裝置。

本發(fā)明可以采用計(jì)算機(jī)程序產(chǎn)品的形式來實(shí)施，所述計(jì)算機(jī)程序產(chǎn)品包括在計(jì)算機(jī)上運(yùn)行程序時(shí)，允許執(zhí)行所要求保護(hù)的方法的步驟的代碼指令。

附圖說明

從以下參照附圖，在支持本發(fā)明的一個(gè)優(yōu)選但是非限制模式的實(shí)施方案的描述中，本發(fā)明的各個(gè)方面和優(yōu)點(diǎn)將變得顯然：

圖1顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于獲得降噪圖像的方法的步驟。

圖2顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于獲得空間相干圖像的方法的步驟。

圖3顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于獲得幾何現(xiàn)實(shí)圖像的方法的步驟。

圖4顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于獲得決策圖像的方法的步驟。

圖5顯示了根據(jù)一個(gè)實(shí)施方案的本發(fā)明的濾波裝置的功能模塊。

圖6顯示了在一個(gè)本發(fā)明的實(shí)施方案中的六個(gè)局部模板的投影。

圖7a至圖7f顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的在圖1中的濾波方法的各個(gè)步驟中獲得的圖像。

具體實(shí)施方案

參考圖1，其以總體的方式顯示了本發(fā)明中允許得到降噪圖像的方法(100)的步驟。這個(gè)方法開始于必須對表示場景的初始圖像降噪時(shí)(102)。初始的3d圖像可以使用立體視覺和3d數(shù)據(jù)處理技術(shù)得到，其中場景由在不同角度拍攝的一對圖像所表示。

有利地，方法(100)可以應(yīng)用于初始視差d或深度p圖像。

已知的是，為了計(jì)算場景中的點(diǎn)的視差，必須具有該點(diǎn)在左圖像和右圖像中的兩個(gè)投影的坐標(biāo)。使用匹配算法以達(dá)到此目的，匹配算法旨在尋找圖像中給定的點(diǎn)在另一幅圖像中的對應(yīng)點(diǎn)。一旦計(jì)算出來場景中的點(diǎn)的視差，就產(chǎn)生了場景的大量的對應(yīng)點(diǎn)。

并且已知場景中點(diǎn)的視差‘d’與其相對于攝像機(jī)的深度‘z’是相關(guān)聯(lián)的。這個(gè)關(guān)聯(lián)由以下等式(1)定義：

z*d＝b*f[等式1]

由于已知‘b’是‘基線’或者是在攝像機(jī)的兩個(gè)光學(xué)中心之間的距離，以及‘f’是焦點(diǎn)距離(對兩個(gè)攝像機(jī)相同)，‘f’具有常數(shù)值，所以，視差‘d’的變化直接取決于在點(diǎn)和攝像機(jī)之間的距離‘z’的變化。

場景中的點(diǎn)的坐標(biāo)(x,y,z)對應(yīng)于具有坐標(biāo)(u,v)和視差‘d’的像素，接下來，根據(jù)以下等式(2,3,4)來計(jì)算坐標(biāo)(x,y,z)：

z＝b*f/d[等式2]

x＝(u-u0)*z/f[等式3]

y＝(v-v0)*z/f[等式4]其中(u0,v0)對應(yīng)于圖像中光學(xué)中心的投影的坐標(biāo)。

類似地，在圖像中的場景的目標(biāo)的視表面的區(qū)域以及在目標(biāo)可視部分的實(shí)際表面的區(qū)域之間存在關(guān)聯(lián)。由目標(biāo)到攝像機(jī)的光學(xué)中心的距離的大的變化會引起視差圖像中目標(biāo)的視表面的區(qū)域的本質(zhì)變化。這一規(guī)律也適用于深度圖像。此外，在使用如現(xiàn)有技術(shù)中的固定尺寸的濾波器(例如，中值濾波器)降噪的情況下，由于朝向中的變化太過巨大，處理會在圖像的有限的區(qū)域進(jìn)行濾波功能，但是在圖像中的其他區(qū)域會濾波失敗。

進(jìn)一步，有利地，本發(fā)明提出了一種使用最佳閾值轉(zhuǎn)換法的適用于3d數(shù)據(jù)的新的濾波方法。所述方法考慮了數(shù)據(jù)的空間相干性和在信號上進(jìn)行的操作的幾何現(xiàn)實(shí)。為了達(dá)到此目的，引入兩種新的測量值：空間相干值cs和幾何現(xiàn)實(shí)值rg。

遍及其余的描述，使用以下注釋：

-對于深度圖像：r(u,v)表示深度圖像中坐標(biāo)為u和v的像素，而p(u,v)表示所述像素相關(guān)聯(lián)的坐標(biāo)為(x,y,z)的3d點(diǎn)。

-對于視差圖像：d(u,v)表示視差圖像中坐標(biāo)為u和v的像素，而p(u,v)表示所述像素相關(guān)聯(lián)的坐標(biāo)為(x,y,z)的3d點(diǎn)，坐標(biāo)(x,y,z)根據(jù)等式(2,3,4)計(jì)算得到。

回到圖1，接收初始視差圖像或深度圖像之后，所述方法使得基于初始圖像生成兩幅新圖像：第一幅圖像，稱為空間相干圖像(104)；以及第二幅圖像，稱為幾何現(xiàn)實(shí)圖像(106)。接下來，所述方法使得空間相干圖像和幾何現(xiàn)實(shí)圖像結(jié)合以生成第三幅圖像(108)，稱為決策圖像，將會參照圖4對其進(jìn)行詳細(xì)描述。

在隨后的步驟中，決策圖像與初始圖像相結(jié)合以生成被分析的場景的降噪圖像(110)。

然后，降噪圖像可以在場景分析方法中使用，諸如圖像分割、背景提取、自動(dòng)目標(biāo)識別或多級檢測。例如，本發(fā)明結(jié)合把場景分解為單獨(dú)真實(shí)物體的3d分割方法，能夠提供例如局部障礙檢測。有利地，本發(fā)明的方法生成質(zhì)量提高的降噪圖像，能夠改善分割操作的計(jì)算時(shí)間，計(jì)算時(shí)間在百分之一(1/100)秒的量級。

降噪圖像也可以有利地用于提供視差圖像或深度圖像的簡單的可視化，提高對于人類用戶的閱讀舒適度和解譯容易程度。

圖7a至圖7f顯示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的在圖1中的濾波方法的各個(gè)步驟中獲得的圖像。

圖2顯示了圖1的方法(104)的步驟，其使得在本發(fā)明的一個(gè)實(shí)施方案中生成空間相干圖像。初始圖像可以是視差圖像或者，在一個(gè)變形的實(shí)施方案中初始圖像可以是深度圖像。

在第一個(gè)步驟(202)中，所述方法使得選擇具有固定尺寸‘s’并且以點(diǎn)p(u,v)為中心的3d體的局部模板s(p(u,v))。尺寸‘s’是用戶對將要分析的場景的元素所要求的體積粒度或精度。

可以采用模板‘s’的各種表示方式。

-基本的球形、立方體、箱形或圓柱體表示；

-3d網(wǎng)格表面表示；

-立體像素表示；或

-代數(shù)表示，諸如類型f(x,y,z)＝0的隱式曲面。

在下一步驟(204)中，所述方法使得確定其3d投影包含在選擇的局部模板s(p(u,v))中的點(diǎn)的集合。

在下一步驟(206)中，根據(jù)所述實(shí)施方案，依據(jù)深度或依據(jù)視差對每一個(gè)坐標(biāo)為(u,v)的像素，基于計(jì)數(shù)的點(diǎn)的數(shù)量進(jìn)行空間相干性測量值的計(jì)算。本領(lǐng)域技術(shù)人員能夠理解，像素周圍的點(diǎn)的數(shù)量越大，空間相干性越好，反之亦然：像素周圍的點(diǎn)的數(shù)量小標(biāo)志著低的空間相干性，而低的空間相干性可以意味著所述像素代表噪聲。

因此，空間相干準(zhǔn)則cs(u,v)構(gòu)造為基于實(shí)際初始圖像的像素的集合的函數(shù)ф(e)，與所述像素的集合相關(guān)聯(lián)的3d點(diǎn)屬于以p(u,v)為中心的選擇的局部模板，諸如：

cs(u,v)＝ф(e)，其中

-在深度圖像的情況下e＝{r(u',v')，以使得p(u',v')∈s(p(u,v))}；以及

-在視差圖像的情況下e＝{d(u',v')，以使得d(u',v')∈s(p(u,v))}。

在一個(gè)優(yōu)選的實(shí)施方案中，空間相干性準(zhǔn)則根據(jù)以下等式定義：

cs(u,v)＝ф(e)＝card(e)[等式5]，其中

所述‘card’函數(shù)表示基數(shù)函數(shù)，也就是e的尺寸。

一旦對初始圖像的所有像素計(jì)算了空間相干值，所述方法使得生成空間相干圖像(208)。

圖3顯示了圖1的方法(106)的步驟，基于可以是視差圖像或者在一個(gè)變形的實(shí)施方案中可以是深度圖像的初始圖像，所述方法在本發(fā)明的一個(gè)實(shí)施方案中使得生成幾何現(xiàn)實(shí)圖像。

在第一個(gè)步驟(302)中，所述方法使得選擇具有固定尺寸‘s’并且以點(diǎn)p(u,v)為中心的3d體的局部模板s(p(u,v))。在一個(gè)優(yōu)選的實(shí)施方案中，為方法(104)和(106)選擇的模板相同。

接下來所述方法使得，對每一個(gè)像素，局部模板投影至空的場景(304)。對位于2d圖像的任意像素位置(u,v)的所有視差值或深度值，并且在預(yù)定義的函數(shù)范圍內(nèi)，以定義的視差(或深度，分別地)的函數(shù)的粒度執(zhí)行投影步驟。因此，投影對應(yīng)于所述“2d至3d”變換的幾何現(xiàn)實(shí)。只要光學(xué)參數(shù)(每一個(gè)攝像機(jī)的內(nèi)部校正、立體圖像對的協(xié)同，立體頭部在其環(huán)境中的高度和方向)保持不變，所述投影在系統(tǒng)的操作的期間內(nèi)保持有效。

下一步驟(306)能夠確定在投影的模板中出現(xiàn)的點(diǎn)(也就是，在空的場景中可見的點(diǎn)的集合)的數(shù)量，以能夠在下一步驟(310)中對坐標(biāo)為(u,v)的每一個(gè)像素，根據(jù)實(shí)施方案的模式依據(jù)深度或視差來計(jì)算幾何現(xiàn)實(shí)的測量值rg(u,v)。

因此，幾何現(xiàn)實(shí)準(zhǔn)則rg(u,v)構(gòu)造為基于與局部模板的可見的點(diǎn)相關(guān)聯(lián)的有效像素(也就是，具有定義的視差或投影的像素)的集合的函數(shù)。

在一個(gè)優(yōu)選的實(shí)施方案中，幾何現(xiàn)實(shí)準(zhǔn)則rg(u,v)定義為這個(gè)集合的基數(shù)函數(shù)，并且對應(yīng)于局部模板s(p(u,v))在模板在空的場景中的投影圖像中的視表面的區(qū)域。

通過圖示的方式，圖6顯示了對于球形模板，對于具有不同位置(u,v)和視差的點(diǎn)的六個(gè)投影。這個(gè)例子能夠顯示每一個(gè)局部模板的視表面的區(qū)域代表坐標(biāo)為(u,v)的對應(yīng)的點(diǎn)的幾何現(xiàn)實(shí)。

可能有幾何現(xiàn)實(shí)準(zhǔn)則的兩種實(shí)施方案：

-或者對每一個(gè)深度或者對每一個(gè)視差進(jìn)行完整的預(yù)計(jì)算，并且存儲上述結(jié)果。這種實(shí)施方案支持更短的處理鏈計(jì)算時(shí)間，但是需要存儲空間；

-或者對每一個(gè)投影進(jìn)行計(jì)算。這種實(shí)施方案支持更小的內(nèi)存，但是需要更長的計(jì)算時(shí)間。

本領(lǐng)域技術(shù)人員能夠領(lǐng)會變形的實(shí)施方案是可能的，諸如，例如利用壓縮和減小的尺寸的存儲進(jìn)行預(yù)計(jì)算。這個(gè)變形需要解壓縮計(jì)算以重新讀取數(shù)據(jù)。

一旦對初始圖像的所有像素計(jì)算了幾何現(xiàn)實(shí)值，所述方法使得生成幾何現(xiàn)實(shí)圖像(312)。

圖4顯示了圖1的方法(108)的步驟，其使得在本發(fā)明的一個(gè)實(shí)施方案中生成決策圖像。一旦生成空間相干圖像和幾何現(xiàn)實(shí)圖像，所述方法就開始。在第一步驟(402)中，所述方法使得基于空間相干準(zhǔn)則‘cs’和幾何現(xiàn)實(shí)準(zhǔn)則‘rg’兩個(gè)準(zhǔn)則，定義濾波準(zhǔn)則。濾波準(zhǔn)則將能夠區(qū)分像素是場景的點(diǎn)還是噪聲點(diǎn)。將對深度圖像(或視差圖像，分別地)的每一個(gè)坐標(biāo)為(u,v)的像素計(jì)算濾波準(zhǔn)則。

濾波準(zhǔn)則f(u,v)由結(jié)合了像素的空間相干值cs(u,v)和幾何現(xiàn)實(shí)值rg(u,v)的函數(shù)‘f’規(guī)定，并且表示為：

f(u,v)＝f(cs(u,v),rg(u,v))

在一個(gè)實(shí)施方案中，根據(jù)以下等式，函數(shù)選擇為cs與rg的冪的比值：

f(u,v)＝cs(u,v)/(rg(u,v))^α[等式6]，其中

使用參數(shù)α來管理在空間相干準(zhǔn)則和幾何現(xiàn)實(shí)準(zhǔn)則兩個(gè)準(zhǔn)則之間的權(quán)衡。因此，α的值越高，準(zhǔn)則中傾向于幾何現(xiàn)實(shí)的程度越大。可以由用戶來參數(shù)化α的規(guī)格，以使得α可以根據(jù)應(yīng)用的目的不同而調(diào)整。

然而，默認(rèn)特殊情況α＝1是本質(zhì)相關(guān)的，并且使得濾波準(zhǔn)則f固定為填充的程度，固定在相干區(qū)域內(nèi)的激活的像素的百分比。

在隨后的步驟(404)中，所述方法使得每一個(gè)點(diǎn)(u,v)的濾波準(zhǔn)則的值與閾值相比較。如果準(zhǔn)則的值低于定義的閾值(分支為否)，則將該點(diǎn)分類為噪聲點(diǎn)(406)。如果準(zhǔn)則的值高于定義的閾值(分支為是)，則將該點(diǎn)分類為屬于場景的點(diǎn)(408)。

下一步驟(410)包括基于分類為‘場景’點(diǎn)或‘噪聲’點(diǎn)的點(diǎn)的集合生成決策圖像‘fδ’。決策圖像是二值圖像，其代表初始數(shù)據(jù)(視差數(shù)據(jù)或深度數(shù)據(jù))的掩膜以將估計(jì)為正確的數(shù)據(jù)的集合(其中點(diǎn)的值賦為‘1’)與估計(jì)為噪聲的數(shù)據(jù)的集合(其中點(diǎn)的值賦為‘0’)分離。

當(dāng)生成決策圖像時(shí)，整體的方法(100)通過把原始圖像(視差圖像d(u,v)或者深度圖像r(u,v))與決策圖像fδ結(jié)合，使得生成降噪圖像(圖1的步驟110)。于是所述兩幅圖像的結(jié)合取決于所考慮的應(yīng)用。

在一個(gè)特殊的實(shí)施方案中，根據(jù)以下等式定義降噪圖像：

在初始視差圖像的情況下；

在初始深度圖像的情況下，

其中

和分別地表示視差(d)數(shù)據(jù)或者深度(r)數(shù)據(jù)的局部估計(jì)。

同樣有利地，本發(fā)明所述的方法使得對于濾波的圖像，或者保留像素的原始數(shù)值，或者用估計(jì)值來取代像素的原始數(shù)值。

在一個(gè)特殊的實(shí)施方案中，估計(jì)函數(shù)取固定的數(shù)值以使得：

由于通過指定圖像(深度圖像或者視差圖像)的像素為特定地可識別的數(shù)值‘k’來隔離所述指定圖像的像素，本實(shí)施方案是有利的。一個(gè)這樣的情景涉及優(yōu)選不考慮初始的噪聲的像素的應(yīng)用。

在一個(gè)典型的實(shí)施方案里，對分解在n個(gè)比特上的信號，k＝0或k＝2ⁿ-1，以不干擾所述像素的可能取值的范圍。

如果k＝0，輸出的像素的取值為：

df(u,v)＝d(u,v)*fδ(u,v)，對于初始視差圖像；以及

rf(u,v)＝r(u,v)*fδ(u,v)，對于初始深度圖像。

在一個(gè)變形的實(shí)施方案中，估計(jì)函數(shù)可以是在(u,v)的鄰域中出現(xiàn)的(非噪聲)數(shù)據(jù)d(u,v)或r(u,v)的局部內(nèi)插。能夠使用雙線性差值或加權(quán)的中值類型的非線性操作。這種方法與稠密的和“平滑的”濾波的圖像的獲得相關(guān)，例如，對于可視化或者壓縮的目的；確實(shí)，諸如判別式固定的k的非典型數(shù)值與熵編碼不兼容。

圖5圖示地顯示了本發(fā)明的裝置(500)的一個(gè)實(shí)施方案的功能性模塊，其用于實(shí)施圖1所述的方法。所述裝置包含模塊(502)，其使得產(chǎn)生場景的初始3d視差圖像或深度圖像。在一個(gè)實(shí)施方案中，從廉價(jià)的校準(zhǔn)的立體傳感器觀測所述場景，并且基于一對校正的圖像構(gòu)造視差圖像(表示所述3d信息)。

模塊(502)聯(lián)接至用于生成空間相干圖像的第一個(gè)圖像生成模塊(504)，并且聯(lián)接至用于生成幾何現(xiàn)實(shí)圖像的第二個(gè)圖像生成模塊。模塊502和504包含能夠?qū)嵤﹨⒄請D2和圖3所描述的步驟的裝置。

模塊502和504的輸出聯(lián)接至用于生成濾波圖像的第三個(gè)圖像生成模塊(508)。模塊508的輸出聯(lián)接至用于生成決策圖像的第四個(gè)圖像生成模塊(510)。模塊508和510包含能夠?qū)嵤﹨⒄請D4所描述的步驟的裝置。

模塊510的輸出與模塊502的輸出結(jié)合，以輸入到最后的圖像生成模塊(512)，模塊(512)用于根據(jù)參照步驟110描述的原理生成降噪圖像。

因此，裝置500使得濾波應(yīng)用至視差圖像(或者深度圖像)以去除自然來源的噪聲，諸如，雨、強(qiáng)光、灰塵，或者與傳感器相關(guān)的噪聲，或者與視差計(jì)算相關(guān)的噪聲。

本發(fā)明可以與3d場景分割方法相結(jié)合。降噪圖像(由裝置500輸出)變換為點(diǎn)云，其中的點(diǎn)隨后在lxhxp的單元格構(gòu)成的3d柵格中量化。為了將通常由地面連接的障礙彼此斷開，應(yīng)用能夠去除那些包含地面3d點(diǎn)的柵格的單元格的濾波器。隨后使用現(xiàn)有技術(shù)已知的分割方法將其余的單元格空間地分割入連接的部分。例如，一種方法包括通過連接的空間迭代地聚集單元格。

通過應(yīng)用本發(fā)明的濾波器，去除代表噪聲的點(diǎn)對3d分割的性能有積極的影響。特別地，用于分割的濾波器的優(yōu)點(diǎn)在于障礙經(jīng)常由噪聲點(diǎn)連接。在這種情況下，難以空間地分割多個(gè)障礙。進(jìn)一步地，量化的優(yōu)點(diǎn)在于障礙經(jīng)常在視差圖像中局部重建。因此，難以基于產(chǎn)生的點(diǎn)云重新連接同一個(gè)障礙的多個(gè)部分。最后，去除對應(yīng)于地面的單元格的優(yōu)點(diǎn)在于障礙經(jīng)常由地面連接。因此斷開這些連接是有意義的。

本領(lǐng)域技術(shù)人員能夠理解給出的3d障礙探測器的例子只是場景分析的一個(gè)例子，以使得從本發(fā)明提出的視差圖像降噪函數(shù)得到好處。然而，諸如本發(fā)明中提出的濾波的使用不局限于通過分割的方法搜索障礙。所述濾波的使用涉及任何用于基于噪聲深度圖像或噪聲視差圖像的場景的實(shí)時(shí)分析的系統(tǒng)。

該方法能夠從硬件和軟件元件中實(shí)施。軟件元件可以以計(jì)算機(jī)可以讀取的介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品的形式存在，其中的介質(zhì)可以是電子的、磁性的、光學(xué)的或電磁的。