專利名稱：多視像產(chǎn)生的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于根據(jù)輸入圖像來產(chǎn)生多視像的多視像產(chǎn)生單元。
本發(fā)明還涉及一種圖像處理裝置，包括-接收裝置，用于接收與輸入圖像對(duì)應(yīng)的信號(hào)；和-這種用于根據(jù)輸入圖像來產(chǎn)生多視像的多視像產(chǎn)生單元。
本發(fā)明還涉及一種根據(jù)輸入圖像來產(chǎn)生多視像的方法。
本發(fā)明還涉及一種由計(jì)算機(jī)裝置加載的計(jì)算機(jī)程序產(chǎn)品，其包括基于輸入圖像產(chǎn)生多視像的指令，所述計(jì)算機(jī)裝置包括處理裝置和存儲(chǔ)器。
背景技術(shù)：
為了在多視圖顯示裝置上產(chǎn)生3D效果，必須渲染來自不同有效視點(diǎn)的圖像。這需要呈現(xiàn)多個(gè)輸入視圖或一些3D或深度信息。該深度信息可從多視圖照相機(jī)系統(tǒng)記錄、產(chǎn)生，或從傳統(tǒng)的2D視頻素材產(chǎn)生。為了從2D視頻產(chǎn)生深度信息，可應(yīng)用若干種類型的深度提示例如從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion)、聚焦信息、幾何形狀和動(dòng)態(tài)隱面。其目標(biāo)是產(chǎn)生密集的深度映射，即每像素一個(gè)深度值。該深度映射隨后被用于渲染多視像以給出觀看者深度效果。由P.A.Redert、E.A.Hendriks和J.Biemond在Proceedingsof International Conference on Acoustics，Speech，and SignalProcessing上(卷IV，ISBN 0-8186-7919-0，2749-2752頁，IEEEComputer Society，Los Alamitos，California，1997)發(fā)表的文章 “Synthesis of multi viewpoint images at non-intermediatepositions”中，披露了一種在輸入圖像和深度映射的基礎(chǔ)上提取深度信息和渲染多視像的方法。
所述方法的缺點(diǎn)是所述深度映射產(chǎn)生過程通常并不會(huì)導(dǎo)致適當(dāng)?shù)慕Y(jié)果，最后導(dǎo)致不滿意的深度效果。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種開頭段落中所述種類的多視像產(chǎn)生單元，其被設(shè)置成根據(jù)相對(duì)有限的深度信息來渲染在感觀上具有令人信服的深度效果的多視像。
本發(fā)明的這一目的是通過這樣的產(chǎn)生單元實(shí)現(xiàn)的，其包括-邊緣檢測(cè)裝置，用于檢測(cè)輸入圖像中的邊緣；-深度映射產(chǎn)生裝置，用于根據(jù)所述邊緣為輸入圖像產(chǎn)生深度映射，與所述邊緣對(duì)應(yīng)的深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值；和-渲染裝置，用于根據(jù)所述輸入圖像和深度映射來渲染多視像。
因此，對(duì)多視像所執(zhí)行的渲染是以這種方式進(jìn)行的，即邊緣被感知為比周圍區(qū)域更靠近觀看者，即產(chǎn)生了關(guān)于邊緣的深度差。從人類感知視點(diǎn)，邊緣呈現(xiàn)為屬于前景對(duì)象。所以，局部的深度排序似乎是這樣的，即前景對(duì)象確實(shí)在背景的前面。本發(fā)明者已經(jīng)觀察到人類感知就將該非常有限的和局部的深度信息結(jié)合為完整的深度效果。
應(yīng)該注意，邊緣不一定意味著1像素寬的過渡。它可以是通過多個(gè)像素延伸的軟邊緣。
在根據(jù)本發(fā)明的多視像產(chǎn)生單元的一個(gè)實(shí)施例中，所述邊緣檢測(cè)裝置被設(shè)置來通過計(jì)算所述輸入圖像的第一像素值和第二輸入圖像的相應(yīng)第二像素值之間的像素值差來檢測(cè)所述邊緣，所述輸入圖像和第二輸入圖像屬于一個(gè)視頻圖像序列。在減去一個(gè)視頻圖像序列的隨后圖像的基礎(chǔ)上檢測(cè)邊緣是相對(duì)容易的。該實(shí)施例的一個(gè)優(yōu)點(diǎn)是，能夠以相對(duì)簡(jiǎn)單的計(jì)算資源實(shí)現(xiàn)實(shí)時(shí)的實(shí)施方式。像素值表示可視信息，例如顏色或亮度。
在根據(jù)本發(fā)明的被設(shè)置成通過計(jì)算像素值差來檢測(cè)邊緣的多視像產(chǎn)生單元的一個(gè)實(shí)施例中，所述第一深度值是第一像素值差的函數(shù)。換句話說，所述計(jì)算的像素值差用于確定深度值。優(yōu)選地，所述計(jì)算的像素值差與深度值成比例?？蛇x擇地，對(duì)像素值差的中間計(jì)算結(jié)果施加濾波。所述濾波可包括空間、時(shí)間或空間-時(shí)間低通濾波?？蛇x擇地，使用一個(gè)閾值來慮除相對(duì)低的像素值差。這些相對(duì)低的像素值差因此就被解釋為噪音。
在根據(jù)本發(fā)明的多視像產(chǎn)生單元的一個(gè)實(shí)施例中，所述邊緣檢測(cè)裝置被設(shè)置來在根據(jù)所述輸入圖像和第二輸入圖像計(jì)算的運(yùn)動(dòng)矢量場(chǎng)的基礎(chǔ)上檢測(cè)邊緣，所述輸入圖像和第二輸入圖像屬于一個(gè)視頻圖像序列。優(yōu)選地，所述邊緣檢測(cè)裝置被設(shè)置來借助計(jì)算運(yùn)動(dòng)矢量場(chǎng)的相鄰運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量差來檢測(cè)邊緣。計(jì)算運(yùn)動(dòng)矢量場(chǎng)是已知用于例如視頻壓縮、去交錯(cuò)或時(shí)域向上變換的公知技術(shù)。典型的，運(yùn)動(dòng)矢量場(chǎng)中的不連續(xù)性，即運(yùn)動(dòng)矢量場(chǎng)的相鄰運(yùn)動(dòng)矢量之間的相對(duì)較大差與正在拍攝的場(chǎng)景中的移動(dòng)對(duì)象的邊界對(duì)應(yīng)，因此與有關(guān)邊緣對(duì)應(yīng)。根據(jù)本發(fā)明的這個(gè)實(shí)施例的優(yōu)點(diǎn)是，它被設(shè)置成在不同類型的邊緣之間進(jìn)行區(qū)別屬于基本固定的對(duì)象的邊緣和屬于移動(dòng)對(duì)象的邊緣。尤其是，后一類型的邊緣是相關(guān)的，因?yàn)檫@些邊緣典型的與前景對(duì)象對(duì)應(yīng)。
在根據(jù)本發(fā)明的被設(shè)置成根據(jù)運(yùn)動(dòng)矢量場(chǎng)來檢測(cè)邊緣的多視像產(chǎn)生單元的一個(gè)實(shí)施例中，所述第一深度值是第一運(yùn)動(dòng)矢量差的函數(shù)。換句話說，所述計(jì)算的運(yùn)動(dòng)矢量差用于確定深度值。優(yōu)選地，所述計(jì)算的運(yùn)動(dòng)矢量差與深度值成比例。
本發(fā)明的另一個(gè)目的是提供一種圖像處理裝置，其包括開頭段落中所述類型的多視像產(chǎn)生單元，所述多視像產(chǎn)生單元被設(shè)置成根據(jù)相對(duì)有限的深度信息來渲染在感觀上具有令人信服的深度效果的多視像。
本發(fā)明的這一目的是以這樣的方式實(shí)現(xiàn)的，即所述產(chǎn)生單元包括-邊緣檢測(cè)裝置，用于檢測(cè)輸入圖像中的邊緣；-深度映射產(chǎn)生裝置，用于根據(jù)所述邊緣為輸入圖像產(chǎn)生深度映射，與所述邊緣對(duì)應(yīng)的深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值；和
-渲染裝置，用于根據(jù)所述輸入圖像和深度映射來渲染多視像。
可選擇地，所述圖像處理裝置還包括用于顯示多視像的多視圖顯示裝置。
本發(fā)明的再一個(gè)目的是提供一種開頭段落中所述種類的方法，用于根據(jù)相對(duì)有限的深度信息來渲染在感觀上具有令人信服的深度效果的多視像。
本發(fā)明的這一目的是以這樣的方式實(shí)現(xiàn)的，即所述方法包括-檢測(cè)輸入圖像中的邊緣；-根據(jù)所述邊緣為輸入圖像產(chǎn)生深度映射，與所述邊緣對(duì)應(yīng)的深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值；和-根據(jù)所述輸入圖像和深度映射來渲染多視像。
本發(fā)明的又一個(gè)目的是提供一種開頭段落中所述種類的計(jì)算機(jī)程序產(chǎn)品，用于根據(jù)相對(duì)有限的深度信息來渲染在感觀上具有令人信服的深度效果的多視像。
本發(fā)明的這一目的是以這樣的方式實(shí)現(xiàn)的，即所述計(jì)算機(jī)程序產(chǎn)品在被裝載之后給所述處理裝置提供有執(zhí)行下述步驟的能力-檢測(cè)輸入圖像中的邊緣；-根據(jù)所述邊緣為輸入圖像產(chǎn)生深度映射，與所述邊緣對(duì)應(yīng)的深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值；和-根據(jù)所述輸入圖像和深度映射來渲染多視像。
對(duì)多視像產(chǎn)生單元的修改及其變形可與所述的圖像處理裝置、方法和計(jì)算機(jī)程序產(chǎn)品的修改及其變形一致。


根據(jù)本發(fā)明的多視像產(chǎn)生單元、圖像處理裝置、方法和計(jì)算機(jī)程序產(chǎn)品的這些和其它方面通過之后參照附圖所述的實(shí)現(xiàn)過程和實(shí)施方式將變得顯而易見并將參照這樣的實(shí)施例對(duì)其進(jìn)行闡釋，其中圖1示意性示出根據(jù)本發(fā)明的多視像產(chǎn)生單元的一個(gè)實(shí)施例；圖2示意性示出根據(jù)本發(fā)明的多視像產(chǎn)生單元的另一個(gè)實(shí)施例；圖3示意性示出一個(gè)視頻圖像序列的輸入圖像；圖4A示意性示出基于隨后的輸入圖像之間的色差的深度映射；圖4B示意性示出基于運(yùn)動(dòng)不連續(xù)性的深度映射；圖5A示意性示出對(duì)邊緣進(jìn)行深度分配的第一函數(shù)；圖5B示意性示出對(duì)邊緣進(jìn)行深度分配的第二函數(shù)；圖5C示意性示出對(duì)邊緣進(jìn)行深度分配的第三函數(shù)；圖6示意性示出根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例。
相同的參考數(shù)字在附圖中通篇指代相同的部分。
具體實(shí)施例方式
圖1示意性示出根據(jù)本發(fā)明的多視像產(chǎn)生單元100的一個(gè)實(shí)施例。所述多視像產(chǎn)生單元100被設(shè)置成根據(jù)視頻圖像序列來產(chǎn)生一個(gè)多視像序列。圖3示意性示出該視頻圖像的輸入圖像。多視像產(chǎn)生單元100在輸入連接器108處具有視頻圖像流，并分別在輸出連接器110和112處提供兩個(gè)相關(guān)的視頻圖像流。這兩個(gè)相關(guān)的視頻圖像流將被提供給多視圖顯示裝置，所述多視圖顯示裝置被設(shè)置成根據(jù)第一個(gè)相關(guān)視頻圖像流來直觀化第一圖像序列，并根據(jù)第二相關(guān)視頻圖像流來直觀化第二圖像序列。如果用戶通過他的左眼觀察第一圖像序列和通過右眼觀察第二圖像序列，則他會(huì)注意到3D效果?？赡艿那闆r是，第一相關(guān)視頻圖像流與接收的視頻圖像序列對(duì)應(yīng)，并且根據(jù)所接收的視頻圖像序列來渲染第二相關(guān)視頻圖像流。優(yōu)選地，兩個(gè)視頻圖像流都是根據(jù)所述接收的視頻圖像序列來渲染的。所述渲染過程例如由P.A.Redert、E.A.Hendriks和J.Biemond在Proceedings of International Conference onAcoustics，Speech，and Signal Processing上(卷IV，ISBN 0-8186-7919-0，2749-2752頁，IEEE Computer Society，Los Alamitos，California，1997)發(fā)表的文章“Synthesis of multi viewpointimages at non-intermediate positions”中所述。可選擇地，所述渲染過程如在由R.P.Berretty和F.E.Ernst在ProceedingsEurographics(Granada，2003，Short Note 124)中所述。
多視像產(chǎn)生單元100包括-邊緣檢測(cè)單元102，用于檢測(cè)輸入圖像中的邊緣；-深度映射產(chǎn)生單元104，用于根據(jù)檢測(cè)的邊緣來為相應(yīng)的輸入圖像產(chǎn)生深度映射；和-渲染單元106，用于根據(jù)輸入圖像和相應(yīng)深度映射來渲染多視像。
檢測(cè)邊緣可基于各個(gè)輸入圖像的空間高通濾波進(jìn)行。然而優(yōu)選的是，在相互比較多個(gè)輸入圖像、尤其是計(jì)算視頻圖像序列的隨后圖像的像素值差的基礎(chǔ)上來檢測(cè)邊緣。計(jì)算像素值差S(x，y，n)的第一個(gè)例子由等式1給出S(x，y，n)＝|I(x，y，n)-I(x，y，n-1)| (1)其中，I(x，y，n)是在時(shí)間n具有圖像坐標(biāo)x和y的像素的亮度值?？蛇x擇地，所述像素值差S(x，y，n)是根據(jù)以下顏色值計(jì)算的S(x，y，n)＝|C(x，y，n)-C(x，y，n-1)| (2)其中，C(x，y，n)是在時(shí)間n具有圖像坐標(biāo)x和y的像素的顏色值。在等式3中給出了基于三種不同的顏色分量R(紅色)G(綠色)和B(藍(lán)色)來計(jì)算像素值差S(x，y，n)的另一個(gè)可選擇方案。
S(x，y，n)＝max(|R(x，y，n)-R(x，y，n-1)|，|G(x，y，n)-G(x，y，n-1)|，|B(x，y，n)-B(x，y，n-1)|) (3)可選擇地，像素值差信號(hào) 通過將低于預(yù)定閾值的所有像素值差削波至一個(gè)常量(例如零)而被濾波?？蛇x擇地，應(yīng)用形態(tài)濾波操作來除去所有在空間上較小的邊緣。形態(tài)濾波器通常是非線性圖像處理單元。例如參見P.W.Verbeek，H.A.Vrooman和L.J.van Vliet在“Signal Processing”(卷15，第3期，249-258頁，1988)發(fā)表的文章“Low-level image processing by max-min filters”。
在對(duì)濾波的像素值差信號(hào) 進(jìn)行計(jì)算之后，確定深度映射。這在等式4中規(guī)定
D(x，y，n)＝F(SF(x，y，n)) (4)其中D(x，y，n)是在時(shí)間n具有圖像坐標(biāo)x和y的像素的深度值，而函數(shù)F(j)是像素值差SF(x，y，n)到深度值D(x，y，n)的線性或非線性變換。該函數(shù)F(j)可以是像素值差SF(x，y，n)與預(yù)定常數(shù)的簡(jiǎn)單乘法運(yùn)算D(x，y，n)＝α·SF(x，y，n) (5)可選擇地，函數(shù)F(j)相當(dāng)于像素值差SF(x，y，n)與一個(gè)加權(quán)因數(shù)W(i)的乘積，所述加權(quán)因數(shù)W(i)涉及的是所考慮的像素和與所考慮的像素鄰近的空間中的第二像素之間的空間距離i，其具有局部最大值。假定第二像素位于邊緣的中心。
D(x′，y′，n)＝W(x，y，x′，y′)*SF(x，y，n) (6)圖5A示意性示出對(duì)邊緣進(jìn)行深度分配的適當(dāng)函數(shù)，即作為空間距離i的函數(shù)的加權(quán)因數(shù)W(i)。
如上所述的操作結(jié)果是，與所述邊緣對(duì)應(yīng)的特定深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的特定輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值?；蛘邠Q句話說，與邊緣對(duì)應(yīng)的深度映射元素具有的值表示到觀看者的距離要比到深度映射的其它元素小。
圖4A示意性示出基于隨后的輸入圖像之間的色差的深度映射的一個(gè)示例。該深度映射如上所述是根據(jù)等式2和5在沒有濾波的情況下確定的。
邊緣檢測(cè)單元102、深度映射產(chǎn)生單元104和渲染單元106可使用一個(gè)處理器來實(shí)現(xiàn)。通常，在軟件程序產(chǎn)品的控制下執(zhí)行這些函數(shù)。在執(zhí)行期間，通常將軟件程序產(chǎn)品裝載到存儲(chǔ)器(例如RAM)中，并據(jù)此來執(zhí)行?？蓮暮笈_(tái)存儲(chǔ)器裝載所述程序，例如ROM、硬盤、或磁存儲(chǔ)器和/或光存儲(chǔ)器，或者可通過類似互聯(lián)網(wǎng)的網(wǎng)絡(luò)裝載程序。可選擇地，特殊用途集成電路提供所披露的功能性。
圖2示意性示出根據(jù)本發(fā)明的多視像產(chǎn)生單元200的另一個(gè)實(shí)施例。所述多視像產(chǎn)生單元200被設(shè)置成根據(jù)視頻圖像序列來產(chǎn)生一個(gè)多視像序列。多視像產(chǎn)生單元200在輸入連接器108處具有視頻圖像流，并分別在輸出連接器110和112處提供兩個(gè)相關(guān)的視頻圖像流。多視像產(chǎn)生單元200包括-運(yùn)動(dòng)評(píng)估單元202，用于計(jì)算輸入圖像的運(yùn)動(dòng)矢量場(chǎng)；-邊緣檢測(cè)單元102，用于根據(jù)相應(yīng)運(yùn)動(dòng)矢量場(chǎng)來檢測(cè)輸入圖像中的邊緣；-深度映射產(chǎn)生單元104，用于根據(jù)檢測(cè)的邊緣來為相應(yīng)的輸入圖像產(chǎn)生深度映射；和-渲染單元106，用于根據(jù)輸入圖像和相應(yīng)深度映射來渲染多視像。
運(yùn)動(dòng)評(píng)估單元202例如在G.de Haan等人在“IEEE Transactionson circuits and systems for video technology(卷3，第5期，1993年10月，368-379頁)上發(fā)表的文章“True-Motion Estimationwith 3-D Recursive Search Block Matching”中所指出的。
邊緣檢測(cè)單元102具有由運(yùn)動(dòng)評(píng)估單元202所計(jì)算的運(yùn)動(dòng)矢量場(chǎng)。邊緣檢測(cè)單元102被設(shè)置成確定運(yùn)動(dòng)矢量場(chǎng)的不連續(xù)性。這意味著它被設(shè)置成檢測(cè)運(yùn)動(dòng)矢量場(chǎng)中具有相對(duì)較大運(yùn)動(dòng)矢量對(duì)比度的區(qū)域。這些區(qū)域與相應(yīng)圖像中的邊緣對(duì)應(yīng)?？蛇x擇地，邊緣檢測(cè)單元102還具有像素值，即輸入圖像的顏色和/或亮度值。通過適當(dāng)組合各個(gè)輸入，就可獲得圖像中的片斷。該處理還由F.Emst在“Proceedings of the ICOB(Imersive Communication andBroadcast Systems)workshop(Heinrich-Hertz-Institut，Berlin，2003年1月)上發(fā)表的“2D-to-3D video conversion based ontime-consistents egmentation”中有所說明。除了圖像中的片段的檢測(cè)邊緣的坐標(biāo)之外，邊緣檢測(cè)單元102還可以提供所述片段的拓?fù)湫畔?。因此，可以知道邊緣的哪一?cè)屬于前景目標(biāo)，以及邊遠(yuǎn)的哪一側(cè)屬于背景。
在邊緣檢測(cè)之后，執(zhí)行深度值的分配。優(yōu)選地，深度值的分配是根據(jù)如圖5B和5C所示的加權(quán)因數(shù)W(i)來進(jìn)行的。在所述的圖5B和5C中，假定左側(cè)部分與前景對(duì)應(yīng)。圖5B表示不對(duì)稱分配；深度跳變朝前景偏斜，并且圖5C示出了偏斜的分配；深度跳變?cè)诒尘爸懈涌焖俚厮ヂ?。如圖5A中所示的，雖然在邊緣附近的深度的對(duì)稱分配看上去能滿足充分的感知，但優(yōu)選的是，如果有來自任何其它深度提示的額外深度信息，那么這適于將深度值分配給一個(gè)邊緣。深度值的分配優(yōu)選地被略微偏斜，使得邊緣的前景側(cè)至前部的渲染要比邊緣的背景側(cè)被略微渲染得多。如上所述，邊緣檢測(cè)單元102被設(shè)置成提供關(guān)于片段拓?fù)涞男畔ⅰＲ虼?，知道邊緣的哪一?cè)屬于前景，以及哪一側(cè)屬于背景。圖4B示意性示出基于運(yùn)動(dòng)不連續(xù)性的深度映射，其是由根據(jù)本發(fā)明的這個(gè)實(shí)施例的深度映射產(chǎn)生單元104所提供的。
運(yùn)動(dòng)評(píng)估單元202、邊緣檢測(cè)單元102、深度映射產(chǎn)生單元104和渲染單元106可使用一個(gè)處理器來實(shí)現(xiàn)。
總之，多視像產(chǎn)生單元100和200被設(shè)置來借助檢測(cè)輸入圖像中的邊緣并以將所述邊緣感知為比周圍區(qū)域更靠近觀看者這樣一種方式渲染這些圖像來渲染多視像，所述輸入圖像中的邊緣是深度不連續(xù)的良好候選。
因?yàn)樯疃确峙渲饕歉鶕?jù)邊緣檢測(cè)進(jìn)行的，所以能夠容易且穩(wěn)定地來實(shí)現(xiàn)。尤其是因?yàn)檫吘墮z測(cè)是相對(duì)容易的基于顏色、亮度、結(jié)構(gòu)或運(yùn)動(dòng)。優(yōu)選地，通過時(shí)間，例如通過時(shí)間一致性分割來跟蹤邊緣，以使對(duì)每邊緣的深度分配隨時(shí)間更加穩(wěn)定。
圖6示意性示出根據(jù)本發(fā)明的圖像處理裝置600的一個(gè)實(shí)施例，其包括-接收單元602，用于接收表示輸入圖像的視頻信號(hào)；-多視像產(chǎn)生單元604，用于根據(jù)接收的輸入圖像來產(chǎn)生多視像，如結(jié)合圖1和2中的任何一幅所述的；和-多視圖顯示裝置606，用于顯示由多視像產(chǎn)生單元604提供的多視像。
視頻信號(hào)可以是通過天線或電纜接收的廣播信號(hào)，但也可以是來自存儲(chǔ)裝置例如VCR(盒式磁帶錄像機(jī))或數(shù)字萬用盤(DVD)的信號(hào)。該信號(hào)在輸入連接器610處被提供。圖像處理裝置600可以例如是電視?？蛇x擇地，圖像處理裝置600不包括任選的顯示裝置，而是將輸出圖像提供給包括顯示裝置606的裝置。那么圖像處理裝置600可以是例如機(jī)頂盒、衛(wèi)星調(diào)諧器、VCR播放器、DVD播放器或記錄器。可選擇地，圖像處理裝置600包括存儲(chǔ)裝置，例如硬盤或用于在可拆除介質(zhì)(例如光盤)上進(jìn)行存儲(chǔ)的裝置。圖像處理裝置600還可以是被電影工作室或廣播公司應(yīng)用的系統(tǒng)。
應(yīng)該注意上述的實(shí)施例僅僅是示意說明而非限制本發(fā)明，在不脫離后附權(quán)利要求范圍的情況下，本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出可選擇的實(shí)施例。在權(quán)利要求中，置于括號(hào)間的任何參考標(biāo)記都不應(yīng)構(gòu)成為限制權(quán)利要求。單詞“包括”并不排除出現(xiàn)權(quán)利要求中未列舉的元件或步驟。在一個(gè)元件前面的單詞“一”或“一個(gè)”并不排除出現(xiàn)多個(gè)這種元件。本發(fā)明可借助包括若干個(gè)不同元件的硬件和借助適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉了若干個(gè)裝置的單元權(quán)利要求中，若干個(gè)這些裝置可由一個(gè)和相同項(xiàng)的硬件來體現(xiàn)。
權(quán)利要求
1.一種用于根據(jù)輸入圖像來產(chǎn)生多視像的多視像產(chǎn)生單元(100，200)，所述產(chǎn)生單元包括-邊緣檢測(cè)裝置(102)，用于檢測(cè)輸入圖像中的邊緣；-深度映射產(chǎn)生裝置(104)，用于根據(jù)所述邊緣為輸入圖像產(chǎn)生深度映射，與所述邊緣對(duì)應(yīng)的深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值；和-渲染裝置(106)，用于根據(jù)所述輸入圖像和深度映射來渲染多視像。
2.如權(quán)利要求1所述的多視像產(chǎn)生單元(100)，其中所述邊緣檢測(cè)裝置(102)被設(shè)置來通過計(jì)算所述輸入圖像的第一像素值和第二輸入圖像的相應(yīng)第二像素值之間的像素值差來檢測(cè)所述邊緣，所述輸入圖像和第二輸入圖像屬于一個(gè)視頻圖像序列。
3.如權(quán)利要求2所述的多視像產(chǎn)生單元(100)，其中所述第一像素值表示顏色和亮度中的一個(gè)。
4.如權(quán)利要求2所述的多視像產(chǎn)生單元(100)，其中所述第一深度值是第一像素值差的函數(shù)。
5.如權(quán)利要求1所述的多視像產(chǎn)生單元(200)，其中所述邊緣檢測(cè)裝置(102)被設(shè)置來在根據(jù)所述輸入圖像和第二輸入圖像計(jì)算的運(yùn)動(dòng)矢量場(chǎng)的基礎(chǔ)上檢測(cè)邊緣，所述輸入圖像和第二輸入圖像屬于一個(gè)視頻圖像序列。
6.如權(quán)利要求5所述的多視像產(chǎn)生單元(200)，其中所述邊緣檢測(cè)裝置(102)被設(shè)置來借助計(jì)算運(yùn)動(dòng)矢量場(chǎng)的相鄰運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量差來檢測(cè)邊緣。
7.如權(quán)利要求6所述的多視像產(chǎn)生單元(200)，其中所述第一深度值是第一運(yùn)動(dòng)矢量差的函數(shù)。
8.一種圖像處理裝置(600)，包括-接收裝置(602)，用于接收與輸入圖像對(duì)應(yīng)的信號(hào)；和-如權(quán)利要求1所述的用于根據(jù)輸入圖像來產(chǎn)生多視像的多視像產(chǎn)生單元(604)。
9.如權(quán)利要求8所述的圖像處理裝置(600)，還包括用于顯示多視像的多視圖顯示裝置(606)。
10.一種根據(jù)輸入圖像來產(chǎn)生多視像的方法，該方法包括-檢測(cè)輸入圖像中的邊緣；-根據(jù)所述邊緣為輸入圖像產(chǎn)生深度映射，與所述邊緣對(duì)應(yīng)的深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值；和-根據(jù)所述輸入圖像和深度映射來渲染多視像。
11.一種將由計(jì)算機(jī)裝置加載的計(jì)算機(jī)程序產(chǎn)品，包括用于根據(jù)輸入圖像來產(chǎn)生多視像的指令，所述計(jì)算機(jī)裝置包括處理裝置和存儲(chǔ)器，所述計(jì)算機(jī)程序產(chǎn)品在被裝載之后給所述處理裝置提供有執(zhí)行下述步驟的能力-檢測(cè)輸入圖像中的邊緣；-根據(jù)所述邊緣為輸入圖像產(chǎn)生深度映射，與所述邊緣對(duì)應(yīng)的深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值；和-根據(jù)所述輸入圖像和深度映射來渲染多視像。
全文摘要
本發(fā)明披露了一種用于根據(jù)輸入圖像來產(chǎn)生多視像的多視像產(chǎn)生單元(100)。所述產(chǎn)生單元(100)包括邊緣檢測(cè)裝置(102)，用于檢測(cè)輸入圖像中的邊緣；深度映射產(chǎn)生裝置(104)，用于根據(jù)所述邊緣為輸入圖像產(chǎn)生深度映射，與所述邊緣對(duì)應(yīng)的深度映射的第一組元素具有第一深度值，其與多視像的觀看者有關(guān)，而與位于與所述邊緣鄰近的輸入圖像的一個(gè)區(qū)域?qū)?yīng)的深度映射的第二組元素具有第二深度值，其與多視像的觀看者有關(guān)，所述第一值小于第二值；和渲染裝置(106)，用于根據(jù)所述輸入圖像和深度映射來渲染多視像。
文檔編號(hào)G06T15/10GK1830217SQ200480022155
公開日2006年9月6日 申請(qǐng)日期2004年7月28日 優(yōu)先權(quán)日2003年8月5日
發(fā)明者M·J·R·奧普德比克, F·E·厄恩斯特 申請(qǐng)人:皇家飛利浦電子股份有限公司