專利名稱：多視圖的高效編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種將圖像的多幅視圖編碼成圖像信號的方法，例如按
照MPEG標(biāo)準(zhǔn)之一編碼成壓縮電視信號。
本發(fā)明還涉及用于生成這一信號的設(shè)備、用于接收這一信號的接 收器、從該信號中提取編碼信息從而可以將其用于生成多幅視圖的方法 以及高效編碼信號本身。
背景技術(shù)：
當(dāng)前正在對三維圖像信息編碼的標(biāo)準(zhǔn)化展開研究。有數(shù)種方式表達(dá) 三維對象，例如表達(dá)為一組體像素(例如在醫(yī)療數(shù)據(jù)顯示或工業(yè)零部件 檢驗方面很普及)，或者表達(dá)為從不同方向采集的并且用來由單獨(dú)一個 觀看者的雙眼或者由多個觀看者或運(yùn)動的觀看者等從不同方向觀看的多 個視像。
比較流行的格式是左/右格式，其中由左側(cè)的相機(jī)拍攝一幅畫面并且 由右側(cè)的相機(jī)拍攝一幅畫面?？梢詫⑦@些畫面顯示在不同顯示上，例如 可以在第一組時刻期間展示左畫面，并且在交錯的笫二組時刻期間展示 右畫面，由遮光眼鏡與顯示同步地遮擋住觀看者的左右眼。能夠產(chǎn)生場 景的三維印象的顯示器的另一個例子是具有偏振構(gòu)件的投影儀，至少呈 現(xiàn)場景的一些三維信息，即在特定方向上近似看起來象三維的(即立體 的)。
可以采用不同的場景近似質(zhì)量，例如可以將三維場景表達(dá)為 一組彼 此遮擋的平坦層。但是這些不同質(zhì)量可以按照現(xiàn)有的格式來進(jìn)行編碼。
另一種流行的顯示器是自動立體顯示器。這種顯示器是例如通過將 LCD放置在一組透鏡之后形成的，從而使得一組像素得以由各透鏡投影到 空間中的區(qū)域上。這樣，在空間中生成了多個錐面，這些錐面兩兩包含 用于左右眼的左右圖像，從而在沒有眼鏡的情況下，用戶也能夠在多個 空間區(qū)域中找到他的位置，并且感受3D效果。不過這些像素組的數(shù)據(jù)必 須要從左右圖像來生成。另一種選擇是，用戶可以從立體編碼的左和右 視圖之間的多個中間方向看到對象，這些中間視圖可以通過計算左和右畫面之間的視差場并且隨后進(jìn)行內(nèi)插來生成。
現(xiàn)有技術(shù)中的左/右編碼的缺點(diǎn)是，需要相當(dāng)可觀的數(shù)據(jù)才能獲得中 間視圖，并且仍然可能獲得不盡如人意的結(jié)果。很難計算精確匹配的視 差場，這將會導(dǎo)致內(nèi)插中的偽像，比如背景部分粘連在前景對象上。引 出本文下面給出的技術(shù)實(shí)施方式的需求是，找出一種能夠在轉(zhuǎn)換成不同 格式(比如轉(zhuǎn)換成一組具有中間視圖的視圖)的時候得出相對精確的結(jié) 果而又不包含過大數(shù)據(jù)量的編碼方式。

發(fā)明內(nèi)容
借助一種將多視像信息編碼到圖像信號(200 )中的方法，這些 要求至少部分地得到了滿足，該方法包括
-將由第一相機(jī)(101)拍攝的表達(dá)一個或多個對象(110， 112)的 像素值的第一圖像(220 )添加到圖像信號(200 )中；
-將圖譜(222 )添加到圖像信號(200 )中，其中，針對第一圖像(220 ) 的各組像素，所述圖譜(222 )包括了用于表示由各組像素所表達(dá)的一個 或多個對象(IIO， 112)的區(qū)域在空間中的位置的各個值；和
-將由第二相機(jī)(102)拍攝的表達(dá)所述一個或多個對象(110， 112) 的像素值的第二圖像(224 )的局部表達(dá)(223 )添加到圖像信號UOO) 中，該局部表達(dá)(223 )包括表達(dá)第一相機(jī)(101)不可見的一個或多個 對象(110， 112)的區(qū)域的大多數(shù)像素的信息，
和由該方法獲得的信號和能夠?qū)崿F(xiàn)該方法性能的設(shè)備。
本發(fā)明的發(fā)明人已經(jīng)認(rèn)識到，如果理解了出于質(zhì)量的原因，最好將 包含與場景的三維結(jié)構(gòu)有關(guān)的信息的代表實(shí)現(xiàn)特定應(yīng)用(具有期望的質(zhì) 量)所需要的至少這一部分三維場景信息的圖譜添加到左和右圖像中， 可以構(gòu)想出一種重要的編碼格式。為了視圖內(nèi)插，該圖譜可以是例如精 確分段的視差圖譜，該圖譜的視差向量將會帶來中間視圖的良好內(nèi)插。 需要注意的重要一點(diǎn)是，可以按照圖譜在接收側(cè)的使用在創(chuàng)建/發(fā)送側(cè)優(yōu) 化地調(diào)整這個圖譜，即，例如按照在顯示器上如何模擬三維環(huán)境，這意 味著它典型地具有與用于最佳預(yù)測左和右視圖中的像素區(qū)域時不同的屬 性。
該圖譜可以例如由操作人員調(diào)整，甚至創(chuàng)建，操作人員可以在他那 一側(cè)預(yù)覽多個計劃進(jìn)行的顯示在接收該信號時會有何種表現(xiàn)?，F(xiàn)在以及未來更是如此，已經(jīng)用計算機(jī)生成了一部分內(nèi)容，比如例如恐龍的三維 模型，或者重疊的圖形，這意味著至少為包含這些人工對象像素的區(qū)域 創(chuàng)建精確的視差圖語或深度圖譜或者類似的圖譜是不太成問題的。
這當(dāng)然對游戲應(yīng)用來說切實(shí)可行的，其中例如用戶可以相對于場景 做輕微移動，并且可能想要看到不同的場景，但是在不久的將來，本發(fā)
明還可能對用兩臺相機(jī)拍攝的或者甚至根據(jù)例如運(yùn)動視差生成的3D電視 變得舉足輕重。越來越多的工作室(例如，為BBC工作的)已經(jīng)在為新 聞節(jié)目使用例如虛擬環(huán)繞聲。
用很少的數(shù)據(jù)開銷就可以對這個圖譜進(jìn)行編碼，例如，編碼為灰度 值圖像，按照MPEG-2標(biāo)準(zhǔn)壓縮并且附加在信號中已有的左/右圖像(或 者運(yùn)動視頻的數(shù)個時刻的圖像)上。
不過本發(fā)明人認(rèn)識到，有了這個圖譜，能夠?qū)崿F(xiàn)數(shù)據(jù)量的進(jìn)一步減 少，因為場景的一部分是由兩臺相機(jī)成像的。雖然像素信息可能對雙向 內(nèi)插有用(例如，朝向相機(jī)之一的鏡面反射可以得到緩和)，實(shí)際上不 是那么重要的信息將會存在于雙重編碼的部分中。因此，在可以得到該 圖譜的情況下，能夠確定第二圖像(例如右圖像)的哪些部分需要進(jìn)行 編碼(和發(fā)送)，以及哪些部分對于特定應(yīng)用關(guān)系不大。并且在接收側(cè)， 能夠?qū)崿F(xiàn)漏失數(shù)據(jù)的良好質(zhì)量重構(gòu)。
例如，在簡單的場景近似(拍攝)中，在對象具有朝向相機(jī)(可以 是平行定位的或者以小角度向下朝向場景)的基本平坦表面并且不是非 常接近的情況下，在第二 (右)圖像中拍攝到的第一 (左)圖像中的漏 失部分由背景對象(例如，無限遠(yuǎn)處場景的元素)的像素組成。
一個重要的實(shí)施方式涉及局部第二視差或深度圖譜或者類似圖譜的 編碼。這個局部例如深度圖譜基本上包含不可能由第 一相機(jī)成像的區(qū)域 的深度值。從這一深度數(shù)據(jù)中，于是可以在接收側(cè)推斷出哪些未遮擋部 分屬于具有第一深度的前景對象(附圖1中由130表示)以及哪些部分 屬于背景(132)。這可以實(shí)現(xiàn)更好的內(nèi)插策略，例如，可以精細(xì)調(diào)整伸 展和空白的填補(bǔ)量，可以在中間圖像中呈現(xiàn)耳朵的偽立體呈現(xiàn)，而不是 僅僅背景像素等。另一個例子是，可以將傾斜相機(jī)的梯形畸變編碼在這 個第二圖譜中，來進(jìn)行接收側(cè)補(bǔ)償。
在用(典型地略微)匯合的相機(jī)拍才聶造成的梯形畸變的情況下，除 了水平視差之外， 一般還會有垂直視差。這一垂向分量可以按照向量方式編碼，或者編碼在第二圖謙中，如例如已經(jīng)在《MPEG-4 subgroup Video - 3DAV》(例如，IS0/IEC JTC1/SC29/WG11 Docs. MPEG2005/12603, 12602, 12600， 12595 )中提出的《auxiliary data representation》 中設(shè)想過的?？梢詫⒁暡罘至坑成錇檩o助畫面的亮度和/或色度，例如， 可以將水平視差高分辨率地映射為亮度，并且可以將垂直視#按照一種
方案映射為一個或兩個色度分量(從而某些數(shù)據(jù)在U中，并且借助數(shù)學(xué) 分割，同樣數(shù)量的附加數(shù)據(jù)在V中)。
局部左+右+"深度"的格式較之于首先編碼成中間視圖+"深度 "+Msidal阻塞數(shù)據(jù)的優(yōu)勢如下。將阻塞數(shù)據(jù)變換成中心視圖一而不是將 其存儲在原始的相機(jī)拍攝視圖上，會導(dǎo)致處理不精確(尤其是如果(多 個)深度圖譜是自動得出的并且具有較低質(zhì)量/一致性，具有時間和空間 的不完整性)，并且因此會造成編碼效率低下。而且在計算時，緊接著 會造成中間視圖進(jìn)一步不精確。


參照下文介紹的實(shí)現(xiàn)方式和實(shí)施方式中并且參照附圖，將會明顯看 出按照本發(fā)明的方法和設(shè)備的這些和其它方面，并且將會參照下文介紹 的實(shí)現(xiàn)方式和實(shí)施方式中并且參照附圖解釋說明按照本發(fā)明的方法和設(shè) 備的這些和其它方面，這些附圖僅僅作為非限定性的具體說明更加一般 概念的具體說明，并且其中虛線用于表示部件是根據(jù)需要任選的，非虛 線的部件不一定是必須的。
在附圖中
附圖1示意性地圖解說明用至少兩個相機(jī)拍攝場景； 附圖2示意性地圖解說明將所需數(shù)據(jù)編碼在圖像信號中的幾種選擇； 附圖3示意性地圖解說明用于生成該圖像信號的示范性設(shè)備；和 附圖4示意性地圖解說明能夠使用該信號的示范性接收設(shè)備。
具體實(shí)施例方式
附圖1表示拍攝包括近距對象110和遠(yuǎn)距對象112的場景的第一圖 像的第一相機(jī)101。它的視場是由線103和l(M限定的。它的背景視圖由 近距物體遮擋，即切線120左側(cè)的區(qū)域132是看不見的。不過第二相機(jī) 102能夠在第二圖像中拍攝到這一區(qū)域l32的一部分，出于簡便的原因，可以認(rèn)為第二圖像是，并且稱為，右圖像(但是不應(yīng)將此狹隘地理解為 它是在另一畫面的更右側(cè)一點(diǎn)拍攝的)。第二相機(jī)還能夠拍攝近距物體
110的其它部分130。
附圖2象征性地表示這些所拍攝的圖像作為一組像素看起來是什么 樣子的。圖像信號200可以例如具有預(yù)定編碼格式JPEG并且包含場景的 編碼照片，或者可以是MPEG-4編碼的電影鏡頭。在后一種情況下，3D 數(shù)據(jù)210包括重建某一瞬間的場景所需的信息。
圖像220是由第一相機(jī)拍攝的左圖像，包括近距對象110和背景112。 圖譜222是包括與對象在三維空間中如何定位相關(guān)的任何信息的圖 譜，包括至少在顯示器上呈現(xiàn)多個所需視圖(靜態(tài)地或動態(tài)地呈現(xiàn)，例 如在游戲中與運(yùn)動用戶交互地呈現(xiàn))所需要的信息。數(shù)種這樣的表達(dá)都 是可行的，例如可以是由第 一相機(jī)觀察到的它們的二維位置上的深度圖 譜，包括例如背景中的對象到相機(jī)中心的正交近似(例如，所有對象區(qū) 域的平均值)距離，或者可以是雙眼像差或視差，或者僅僅是視差的水 平分量。
可以在數(shù)學(xué)上將深度和視差等彼此關(guān)聯(lián)起來。
這個深度圖譜可以例如是精確到像素的或者可以對于每一個8x8像 素塊具有單獨(dú)一個值，并且可以對其進(jìn)行編碼，例如作為圖像進(jìn)行編碼。
可以將更多的信息添加到深度圖譜上(可以包括每組像素的標(biāo)量或 數(shù)組， 一組像素可能僅僅包括單獨(dú)一個像素)，比如例如基于用于得出 它的匹配算法確定的精度數(shù)據(jù)(關(guān)于深度圖譜的某一部分的可靠性如 何)。
局部數(shù)據(jù)結(jié)構(gòu)223 (右圖像224的一部分)包括僅僅能夠由第二相機(jī) (與按照視差移位的近距物體225相鄰)看到的背景的像素的信息(例 如，僅僅是亮度，或者是顏色，或者是能夠生成區(qū)域中的像素的任何其 它慣用表達(dá)，比如例如紋理模型)。在接收器側(cè)應(yīng)用程序能夠容忍一定 數(shù)量的丟失像素(例如，通過用簡單的外推、延展等生成它們)的情況 下，這個編碼的局部區(qū)域一或者至少按照像斑生成算法獲得較大編碼區(qū) 域形狀的一部分中的像素值所需的數(shù)據(jù)一可以略微小于右圖像中拍攝的 實(shí)際未遮擋區(qū)域。
編碼區(qū)域也可以較大(例如大到寬度的兩倍并且垂直方向上附帶有 類似的緩沖區(qū)大小)。這在自動得出時形狀的準(zhǔn)確性不確定的情況下或者在出于某種原因不希望進(jìn)行雙向內(nèi)插的情況下是很重要的。
還有可能出于編碼的原因?？赡鼙葘φ麄€塊進(jìn)行編碼省事，并且鑒 于復(fù)雜形狀的編碼可能會比較費(fèi)事，可能會受益于額外編碼的像素。另 外，在發(fā)送端，可以對右圖像中的數(shù)據(jù)進(jìn)行人工或(半)自動分析，建 議將其作為先前推導(dǎo)階段的輸出，除了左圖像中的數(shù)據(jù)之外也是很有用 處的。例如，可以考察像素屬性來認(rèn)定鏡面反射，并且決定對兩個圖像 中都包括該反射的像素區(qū)域進(jìn)行編碼。
而且可以通過形態(tài)分析來分析差異區(qū)域的形狀，具體來說，可以確 定該區(qū)域的大小和寬度。小的區(qū)域可以牽涉到相當(dāng)可觀的編碼開銷，但 是通?？梢栽诮邮掌鱾?cè)不用或用很少的信息來近似。因此，可能會從局 部第二畫面中忽略掉小區(qū)域。這可以是在檢查各種刪除的效果的操作人 員控制之下進(jìn)行的。
區(qū)域的(環(huán)繞或確切)形狀可以用多邊形近似或園角方框來編碼， 并且可以直接對內(nèi)部像素(紋理)值進(jìn)行編碼，或者通過形狀上的線性 變換表示的系數(shù)或其它數(shù)學(xué)模型來編碼。而且，反之亦然，可以指示出 不必編碼/發(fā)送的部分。
可以將局部表達(dá)映射到(例如，空行的簡單移位、變形或裁剪成按 照預(yù)定順序重新排列的小塊)第一圖像不使用的圖像或用戶數(shù)據(jù)(例如， 再生模型)上去。
如果附帶有深度圖譜的第一圖像是中心圖像，則可以有用于兩側(cè)的 局部第二圖像，即，在它們之間可以進(jìn)行內(nèi)插的成一定角距離(基線) 的局部第二圖像。
第一相機(jī)可以對背景成像，并且第二相機(jī)可以對例如新聞廣播員覆 蓋住了一部分的背景進(jìn)行成像，例如，在不同的時間從同一個觀察點(diǎn)成 像。即，這些相機(jī)不必是在某一時刻同時真實(shí)存在的相機(jī)，而是例如視 圖之一可以例如是從圖片存儲庫中下載的。
根據(jù)情況，至少對于第二圖像中成像未覆蓋的對象區(qū)域，可以向信
號中添加第二深度圖譜239(完整深度圖譜2句的一部分)或類似的表達(dá)。 這個深度圖傳可以包括近處和遠(yuǎn)處對象之間的邊界。利用這一信息，接 收側(cè)能夠在內(nèi)插期間將不同的像素附加到正確的對象/深度層上。
還可以將其它數(shù)據(jù)230添加到信號中，例如，添加到專用字段中， 比如與場景中對象的獨(dú)立或總體三維合成有關(guān)的信息。該指示可以簡單到 一條沿著所成像的場景對象邊界的線(如果例如深度圖譜不足以或足 夠精確到能夠本身區(qū)分對象)，或者甚至是象線網(wǎng)(例如，未遮擋部分 中局部深度結(jié)構(gòu)的線網(wǎng))一樣復(fù)雜的東西或由此得出的信息。
而且，還可以包括相機(jī)位置信息和場景范圍信息，使得接收側(cè)能夠 進(jìn)行多(至少兩個)視圖的更高級重建。
附圖3表示用于生成圖像信號的設(shè)備310。它典型地是IC或IC的一 部分，或者具有適當(dāng)軟件的處理器。該設(shè)備可以包含在更大的設(shè)備中， 比如工作室中的專用編輯設(shè)備，并且可以附屬于計算機(jī)，或者可以包含 在計算機(jī)內(nèi)。在示范性實(shí)施方式中，第一相機(jī)301和第二相機(jī)302與設(shè) 備的310的輸入端相連接。各個相機(jī)都具有測距儀(分別為308， 309 ), 這些測距儀可以使用例如激光束或投影柵格等。
在該設(shè)備中，有視差估算單元312，該單元被安排成用于至少通過考 慮對象的幾何形狀(通過使用深度圖譜中的信息)來確定至少兩個畫面 之間的視差。從現(xiàn)有技術(shù)當(dāng)中可以了解到不同的視差估算技術(shù)，例如， 借助相關(guān)塊中像素值的絕對差值的總和。
它被安排成用于確定至少哪些區(qū)域僅僅存在于圖像之一中以及哪些 區(qū)域存在于兩個圖像中，但是它此外還可以具有能夠?qū)ο袼貐^(qū)域應(yīng)用匹 配準(zhǔn)則的單元。
還有深度圖譜單元314，該單元能夠生成和/或分析和/或細(xì)化深度 圖譜(或象視差圖譜之類的相似表達(dá))，深度圖譜是由視差估算單元312 確定的或者從所輸入的包含例如距離數(shù)據(jù)的相機(jī)信號中提取出來的。根 據(jù)需要可以包括呈現(xiàn)單元316，該單元可以生成例如中間視圖，從而工作 室的技術(shù)人員能夠檢驗任何改變的影響和/或更加高效的編碼。這是經(jīng) 由用戶界面單元318完成的，用戶界面單元可以使得例如用戶能夠改變 局部表達(dá)223中的值，或者改變它的形狀(例如，使它更大或更小)。 用戶還可以更改圖譜222。另外，還可以接上顯示器335和用戶輸入構(gòu)件。 該設(shè)備能夠經(jīng)由信號傳輸和合成構(gòu)件339將最終編制的圖像信號發(fā)送到 網(wǎng)絡(luò)330上，本領(lǐng)域技術(shù)人員可以為適當(dāng)?shù)木W(wǎng)絡(luò)找到合適的信號傳輸和 合成構(gòu)件(例如，轉(zhuǎn)換成電視信號牽涉到上變換為傳輸頻率，因特網(wǎng)傳 輸牽涉到分組化，此外還可以有錯誤防止單元等)。
不應(yīng)將網(wǎng)絡(luò)這一特征理解為是有限定作用的，而其本意是還要包括 經(jīng)由設(shè)備內(nèi)部網(wǎng)絡(luò)(比如總線)向存儲器單元或存儲介質(zhì)進(jìn)行傳輸。附圖4表示示范性的接收器400，該接收器同樣可以是例如IC (的 一部分)，并且該接收器包括用于從可從網(wǎng)絡(luò)330中接收的圖像信號中 提取相關(guān)信息的構(gòu)件，至少
-安排成用來提取由第一相機(jī)(101)拍攝的表達(dá)一個或多個對象 (110, 112)的像素值的第一圖像(220 )的構(gòu)件(402 );
-安排成用于從圖像信號(200 )中提取圖譜的構(gòu)件(404 )，例如與 第一圖像的對象位置相對應(yīng)的深度圖譜；和
-安排成用于提取由第二相機(jī)(102)拍攝的表達(dá)一個的或多個對象 (110， 112 )的像素值的第二圖像(224 )的局部表達(dá)(223 )的構(gòu)件(406 );
當(dāng)然還可能存在其他構(gòu)件，因為接收器(和提取方法)可以反映生 成可能用到的任何實(shí)施方式，所以可能有例如提取其它數(shù)據(jù)的構(gòu)件，比 如兩個對象之間邊界的指示。
所提取出來的信息被傳送到圖像再生器，該圖像再生器能夠生成例 如完整的左和右圖像。圖像呈現(xiàn)單元412可以生成例如中間視圖(例如， 通過單向或雙向內(nèi)插，或者任何其它已知算法)，或者自動立體顯示器 上的兩個視圖(立體)所需的信號。取決于3D顯示器的種類和3D實(shí)際 上是如何表現(xiàn)的，這兩個單元可以以不同的組合方式實(shí)現(xiàn)。
接收器可以典型地與3D顯示器415連接或者包含在3D顯示器415 中，3D顯示器415可以呈現(xiàn)至少兩個視圖，或者可以將(多個)再生信 號存儲在存儲裝置420 (例如盤422寫入器)中或者固態(tài)存儲器上等等。
如，專用ic的各個^分)實(shí)1或者以運(yùn)行24用;數(shù)字信號處理器:通用
處理器等上的軟件的方式實(shí)現(xiàn)。
在計算機(jī)程序產(chǎn)品的情況下，應(yīng)當(dāng)理解，命令集合的任何物理實(shí)現(xiàn)
都能夠使通用處理器或?qū)Ｓ锰幚砥髟谝幌盗屑虞d步驟(可以包括中間轉(zhuǎn) 換步驟，象翻譯成中間語言，并且最終翻譯成處理器語言)之后，能夠 將命令取入處理器，來執(zhí)行本發(fā)明的任何特征功能。具體地說，可以將 計算機(jī)程序產(chǎn)品實(shí)現(xiàn)為載體(比如例如盤或磁帶)上的數(shù)據(jù)、存在于存 儲器中的數(shù)據(jù)、在網(wǎng)絡(luò)有線連接或無線連接上運(yùn)送的數(shù)據(jù)或者紙張上的 程序代碼。除了程序代碼之外，也可以將該程序所需要的特征數(shù)據(jù)具體 實(shí)現(xiàn)為計算機(jī)程序產(chǎn) 品。
該方法發(fā)揮作用所需要的某些步驟可能已經(jīng)存在處理器的功能中，而不是計算機(jī)程序產(chǎn)品中介紹的功能，比如數(shù)據(jù)輸入和輸出步驟。
應(yīng)當(dāng)注意，前面提到的實(shí)施方式僅僅是圖解說明而不是限定本發(fā)明。 除了權(quán)利要求中組合的那樣的本發(fā)明的要素組合之外，這些要素的其它 組合方式也是可以的。要素的任何組合都可以在單獨(dú)一個專用單元中實(shí)現(xiàn)。
權(quán)利要求中括號內(nèi)的任何附圖標(biāo)記都并非打算用來限定權(quán)利要求。 詞"包括"并不排除除了權(quán)利要求中列出的那些要素或方面之外還存在其 它的要素或方面的可能。置于要素前面的詞"一"或"一個"并不排除存在 多個這種要素的可能。
權(quán)利要求
1. 一種將多視像信息編碼到圖像信號(200)中的方法包括-將由第一相機(jī)(101)拍攝的表達(dá)一個或多個對象(110，112)的像素值的第一圖像(220)添加到圖像信號(200)中；-將圖譜(222)添加到圖像信號(200)中，其中，針對第一圖像(220)的各組像素，該圖譜(222)包括了表示由各組像素表達(dá)的所述一個或多個對象(110，112)的區(qū)域在空間中的三維位置的各個值；和-將由第二相機(jī)(102)拍攝的表達(dá)一個或多個對象(110，112)的像素值的第二圖像(224)的局部表達(dá)(223)添加到圖像信號(200)中，該局部表達(dá)(223)包括至少表達(dá)第一相機(jī)(101)不可見的一個或多個對象(110，112)的區(qū)域的大多數(shù)像素的信息。
2. 按照權(quán)利要求1所述的方法，此外還包括將第二圖謙(240 ) 添加到第二圖像(220 )中，其中，針對第二圖像(224 )的各組像素， 所述第二圖譜至少包括了代表由各組像素表達(dá)的所述一個或多個對象(110， 112)的區(qū)域在空間中的三維位置的各個值的局部表達(dá)。
3. 按照權(quán)利要求1或2所述的方法，包括借助視差計算算法為第 一圖像(220 )中的像素組自動得出指向第二圖像(224 )中的相應(yīng)像素 組的視差向量，并且將圖譜(222 )添加到圖像信號(200 )中的步驟包 括添加包括視差向量的圖譜(222 )。
4. 按照權(quán)利要求1或2所述的方法，包括從距離確定裝置(308 ) 獲得第一圖像(220 )中的像素組所對應(yīng)的各距離，并且將圖譜(222 ) 添加到圖像信號(200 )中的步驟包括添加包括這些距離的圖譜(222 )。
5. 按照前述權(quán)利要求之一所述的方法，其中圖譜(222 )的值在 添加到圖像信號(200 )之前由人精細(xì)調(diào)整。
6. 按照前述權(quán)利要求之一所述的方法，其中局部表達(dá)(223 )在 添加到圖像信號(200 )之前由人精細(xì)調(diào)整。
7. 按照權(quán)利要求2所述的方法，此外還包括將指示第一對象(IIO) 和第二對象(112)之間的邊界的指示(250 )添加到圖像信號(200 )中， 比如包括圖譜(222 )中的位置的曲線。
8. 按照前述權(quán)利要求之一所述的方法，其中將第二圖像(224 ) 的局部表達(dá)(223 )添加到圖像信號(200 )中的步驟，包括指定環(huán)繞著第二圖像(224 )的局部表達(dá)(223 )中的像素的區(qū)域的環(huán)繞形狀的表達(dá) 并且將其添加到圖像信號中。
9. 按照權(quán)利要求1到7之一所述的方法，其中將第二圖像(224 ) 的局部表達(dá)(223 )添加到圖像信號(200 )中的步驟，包括指定第二圖 像(224 )不需要編碼的區(qū)域。
10. 按照前述權(quán)利要求之一所述的方法，其中在將局部表達(dá)(223 ) 添加到圖像信號(200 )中之前，對包含在第二圖像(224 )的局部表達(dá)(223 )中的區(qū)域進(jìn)行圖像分析，例如形態(tài)分析，并且對該局部代表進(jìn)行 更改，形態(tài)分析包括例如確定各區(qū)域的最大寬度。
11. 一種生成多視像信息向圖像信號(200 )中的編碼的設(shè)備 (310)，包括-安排成用于將由第一相機(jī)(101 )拍攝的表達(dá)一個或多個對象(110, 112)的像素值的第一圖像(220 )添加到圖像信號(200 )中的構(gòu)件(340 );-安排成用于將圖譜(222 )添加到圖像信號(200 )中的構(gòu)件(341 )， 其中針對第一圖像(220 )的各組像素，所述圖譜包含了代表由各組像素 表達(dá)的一個或多個對象(110， 112)的區(qū)域在空間中的三維位置的各個值；和-安排成用于將由第二相機(jī)(102)拍攝的表達(dá)一個或多個對象(110， 112 )的像素值的第二圖像(224 )的局部表達(dá)()添加到圖像信號(200 ) 中的構(gòu)件(3")，該局部表達(dá)("3)包括至少表達(dá)第一相機(jī)(101)不 可見的一個或多個對象(110， 112)的區(qū)域的大多數(shù)像素的信息。
12. 按照權(quán)利要求ll所述的設(shè)備，此外還包括自動視差估算單元， 該單元被安排成用于估算第一圖像("0)中的像素組與笫二圖像("4)中的相應(yīng)像素組之間的視差向量。
13. 按照權(quán)利要求11或12所述的設(shè)備，此外還包括用戶界面單元 (318)，該單元被安排成用于給予操作人員對圖譜(222 )和/或局部表達(dá)(223 )的內(nèi)容的控制權(quán)。
14. 一種圖像信號接收器(400 )，包括-安排成用于從圖像信號(200 )中提取由笫一相機(jī)(101)拍攝的表 達(dá)一個或多個對象(110, 112)的像素值的第一圖像(220 )的構(gòu)件(402 );-安排成用于從圖像信號(222 )中提取出圖譜(222 )的構(gòu)件(404 )， 其中針對第一圖像("o)的各組像素，所述圖語包括了代表由各組像素表達(dá)的所述一個或多個對象(110, 112)的區(qū)域在空間中的三維位置的 各個值；和-安排成用于從圖像信號(200 )中提取出由第二相機(jī)(102)拍攝的 表達(dá)一個或多個對象(110, 112)的像素值的第二圖像(224 )的局部表 達(dá)(223 )的構(gòu)件(406 )，該局部表達(dá)(223 )包括至少表達(dá)第一相機(jī)(101 ) 不可見的一個或多個對象(110， 112)的區(qū)域的大多數(shù)像素的信息。
15. —種能夠生成圖像的至少兩個視圖的顯示器(415)，包括 -權(quán)利要求14中所述的圖像信號接收器(400);-圖像再生器(410)，安排成用于從由圖像信號接收器(400 )接收 到的圖像信號數(shù)據(jù)生成兩個圖像；和-圖像呈現(xiàn)單元(412)，安排成用于從這兩個圖像生成其格式適合 于顯示器的其它圖像。
16. —種從圖像信號(200 )中提取多視像信息的方法，包括 -從圖像信號(200 )中提取出由第一相機(jī)(101)拍攝的表達(dá)一個或多個對象(110, 112)的像素值的第一圖像("0);-從圖像信號(200 )中提取出圖譜(222 ),其中，針對第一圖像(220 ) 的各組像素，所述圖譜包括了代表由各組像素表達(dá)的一個或多個對象 (110， 112)的區(qū)域在空間中的三維位置的各個值；和-從圖像信號(200 )中提取出由第二相機(jī)(102 )拍攝的表達(dá)一個或 多個對象(110， 112)的像素值的第二圖像("4)的局部表達(dá)(223 )， 該局部表達(dá)(223 )包括至少表達(dá)第一相機(jī)(101)不可見的一個或多個 對象(110， 112)的區(qū)域的大多數(shù)像素的信息。
17. —種圖像信號(200 )，包括-由笫一相機(jī)(101)拍攝的表達(dá)一個或多個對象(110， II2)的像 素值的第一圖像(220 );-包括第一圖像(220 )的各組像素對應(yīng)的代表由各組像素表達(dá)的一 個或多個對象(110， 112)的區(qū)域在空間中的三維位置的各個值的圖譜 (222 );和-由第二相機(jī)(102)拍攝的表達(dá)一個或多個對象(110， II2)的像 素值的第二圖像(224 )的局部表達(dá)()，該局部表達(dá)("3 )包括至 少表達(dá)對第一相機(jī)(101)不可見的一個或多個對象(110, II2)的區(qū)域 的大多數(shù)像素的信息。
18. 按照權(quán)利要求17所述的圖像信號(200 )，其中圖譜(222 ) 是編碼在灰度值或彩色畫面中的，其中至少各組像素對應(yīng)的標(biāo)量是編碼 在畫面的亮度或色度表達(dá)中的。
19. 按照權(quán)利要求17或18所述的圖像信號(200 ),其中將局部 表達(dá)映射到圖像或與第一圖像有關(guān)但不用于第一圖像的用戶數(shù)據(jù)上。
全文摘要
介紹了一種將多視像信息編碼到圖像信號(200)中的新方法，包括將由第一相機(jī)(101)拍攝的表達(dá)一個或多個對象(110，112)的像素值的第一圖像(220)添加到圖像信號(200)中；將圖譜(222)添加到圖像信號(200)中，其中，針對第一圖像(220)的各組像素，所述圖譜包括了代表由各組像素表達(dá)的一個或多個對象(110，112)的區(qū)域在空間中的三維位置的各個值；和將由第二相機(jī)(102)拍攝的表達(dá)一個或多個對象(110，112)的像素值的第二圖像(224)的局部表達(dá)(223)添加到圖像信號(200)中，該局部表達(dá)(223)包括至少表達(dá)對第一相機(jī)(101)不可見的一個或多個對象(110，112)的區(qū)域的大多數(shù)像素的信息。優(yōu)點(diǎn)是需要較少的信息就能夠?qū)崿F(xiàn)較高的精度并且提高了可用性。
文檔編號H04N13/00GK101416520SQ200780012472
公開日2009年4月22日 申請日期2007年3月23日 優(yōu)先權(quán)日2006年3月31日
發(fā)明者C·瓦爾坎普, R·布拉斯彭寧, W·H·A·布魯爾斯 申請人:皇家飛利浦電子股份有限公司