專利名稱：：3d圖像信號(hào)處理方法和用于實(shí)現(xiàn)該方法的圖像顯示器的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及顯示裝置和圖像顯示方法，具體地說，涉及用于顯示3D圖像的顯示裝置及其圖像顯示方法。
背景技術(shù)：
：電視技術(shù)的進(jìn)步已經(jīng)達(dá)到了實(shí)現(xiàn)用于顯示立體圖像的裝置的水平。已經(jīng)提出了各種立體圖像顯示方案，在進(jìn)行本申請(qǐng)時(shí)，立體型3D電視的成熟的商業(yè)化即將到來。在立體3D系統(tǒng)中，使用類似于人眼的彼此分開約65毫米的兩個(gè)圖像傳感器來采集兩個(gè)圖像，并且將所采集的圖像作為廣播信號(hào)發(fā)送到接收機(jī)。接著，該接收機(jī)對(duì)要輸入到觀眾(即，用戶)的左眼和右眼的這兩個(gè)圖像進(jìn)行處理，由此模擬雙目視差以允許深度感知和立體視覺。另外，正在針對(duì)多視點(diǎn)視頻進(jìn)行積極的研究，在該多視點(diǎn)視頻中，通過多個(gè)相機(jī)采集多個(gè)圖像，并且向接收機(jī)提供所采集的圖像以使得各個(gè)視點(diǎn)的3D圖像能夠顯示在該接收機(jī)上。多視點(diǎn)視頻被期待具有經(jīng)由寬屏幕和視點(diǎn)自由度提供三維(3D)圖像效果的優(yōu)點(diǎn)。然而，在以商業(yè)方式實(shí)現(xiàn)該多視點(diǎn)視頻時(shí)，在發(fā)送側(cè)和接收側(cè)即時(shí)處理的數(shù)據(jù)的量增加，并且要求高價(jià)格的設(shè)備。具體地說，為了發(fā)送具有不同視點(diǎn)的圖像，無論通過去除時(shí)間冗余和空間冗余將信號(hào)壓縮得多么嚴(yán)重，發(fā)送過程都要求可觀的帶寬。盡管有線網(wǎng)絡(luò)或衛(wèi)星廣播網(wǎng)絡(luò)已經(jīng)被延伸，但是在提交本申請(qǐng)時(shí)，相當(dāng)大數(shù)量的接收機(jī)仍將經(jīng)由空中接口接收電視信號(hào)，并且對(duì)多個(gè)圖像進(jìn)行編碼以及通過分配給無線電信號(hào)的各個(gè)廣播頻道的帶寬來發(fā)送這些經(jīng)編碼的圖像并不容易。這種問題可能出現(xiàn)在除了多視點(diǎn)視頻以外還發(fā)送用于立體3D顯示的兩個(gè)圖像信號(hào)的系統(tǒng)中。因而，急迫需要一種顯著地減少向接收機(jī)傳送與多個(gè)圖像信號(hào)相關(guān)的信息時(shí)的圖像信號(hào)信息的量以實(shí)現(xiàn)立體3D顯示或多視點(diǎn)視頻的方法。
發(fā)明內(nèi)容因此，本發(fā)明的目的是提供一種用于處理3D圖像信號(hào)的方法，由此盡管圖像信號(hào)發(fā)送側(cè)發(fā)送要包括在多個(gè)圖像信號(hào)中的信息，同時(shí)忽略該信息的一部分，但是接收機(jī)仍能夠合成所發(fā)送的信息以再現(xiàn)圖像。本發(fā)明的另一目的是提供一種實(shí)現(xiàn)該圖像信號(hào)處理方法的圖像顯示裝置。在3D圖像顯示裝置中實(shí)現(xiàn)根據(jù)本發(fā)明的示例實(shí)施方式的3D圖像信號(hào)處理方法。該3D圖像顯示裝置從廣播信號(hào)恢復(fù)至少一個(gè)圖像，從所恢復(fù)的圖像附加地產(chǎn)生虛擬相機(jī)視點(diǎn)處的圖像，并且按照三維方式顯示該圖像。為此，該3D圖像顯示裝置首先接收廣播信號(hào)并解析該廣播信號(hào)以提取信令信息，并且從該信令信息獲得至少一組相機(jī)參數(shù)。接著，該3D圖像顯示裝置根據(jù)這些相機(jī)參數(shù)產(chǎn)生虛擬視點(diǎn)圖像，并且對(duì)該虛擬視點(diǎn)圖像和所述廣播圖像中包括的廣播圖像進(jìn)行格式化。該信令信息可以是地面虛擬頻道表(TVCT)或者節(jié)目映射表(PMT)。在示例實(shí)施方式中，該廣播信號(hào)可以包括深度信息。在該示例實(shí)施方式中，在產(chǎn)生所述虛擬視點(diǎn)圖像時(shí)，首先，可以根據(jù)這些相機(jī)參數(shù)和深度信息產(chǎn)生虛擬視圖視點(diǎn)(virtualviewviewpoint)處的深度信息。接著，可以根據(jù)所述廣播圖像和虛擬視圖視點(diǎn)來產(chǎn)生該虛擬視圖視點(diǎn)處的虛擬視點(diǎn)圖像。在示例實(shí)施方式中，可以通過該信令信息來指定該虛擬視圖視點(diǎn)。在修改例中，可以根據(jù)用戶命令來指定或改變?cè)撎摂M視圖視點(diǎn)。在該示例實(shí)施方式中，所述廣播信號(hào)可以包括多個(gè)圖像以及與所述多個(gè)圖像中的一個(gè)相關(guān)的深度信息。在這種情況下，所述多個(gè)圖像中的與所述深度信息相關(guān)的圖像可以被確定為基礎(chǔ)圖像，并且可以基于所確定的基礎(chǔ)圖像、所述深度信息和所述相機(jī)參數(shù)來產(chǎn)生所述虛擬視圖視點(diǎn)。對(duì)象的形式信息可以被附加地包括在所述廣播信號(hào)中。在這種情況下，可以根據(jù)所述相機(jī)參數(shù)和形式信息來產(chǎn)生所述虛擬視圖視點(diǎn)。該形式信息可以包括由于不同的對(duì)象的遮擋(occlusion)信息。根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像顯示裝置，該圖像顯示裝置包括廣播信號(hào)接收單元、渲染(render)單元和格式化器。該廣播信號(hào)接收單元可以接收廣播信號(hào)并解析該廣播信號(hào)以提取信令信息，并且從所述信令信息獲得至少一組相機(jī)參數(shù)。該渲染單元可以根據(jù)這些相機(jī)參數(shù)產(chǎn)生虛擬視點(diǎn)圖像。該格式化器可以按照三維方式對(duì)該虛擬視點(diǎn)圖像和所述廣播信號(hào)中包括的廣播圖像進(jìn)行格式化。根據(jù)本發(fā)明的示例實(shí)施方式，在利用使用多個(gè)相機(jī)在不同方向上采集的立體3D圖像或者多視點(diǎn)圖像來實(shí)現(xiàn)3D顯示時(shí)，限定用于用信號(hào)向接收機(jī)通知相機(jī)參數(shù)的句法和數(shù)據(jù)結(jié)構(gòu)。由于接收機(jī)能夠使用利用深度相機(jī)獲得的深度信息和所述相機(jī)參數(shù)來合成虛擬視點(diǎn)處的3D場(chǎng)景，所以盡管獲取端甚至已經(jīng)從圖像沒有被清晰地發(fā)送的視點(diǎn)獲取圖像或者已經(jīng)針對(duì)意在被接收端合成的視點(diǎn)獲取圖像，接收機(jī)也能夠產(chǎn)生3D內(nèi)容。盡管通過省略相機(jī)圖像的一部分的發(fā)送來減少傳輸帶寬，但是可以發(fā)送3D顯示處理中的渲染所需要的足夠信息，并且所述接收機(jī)能夠通過使用所發(fā)送的圖像和信息來簡(jiǎn)單地處理用于3D顯示的信號(hào)。根據(jù)結(jié)合附圖所考慮的以下詳細(xì)描述，本發(fā)明的上述和其它目的、特征、方面和優(yōu)點(diǎn)將變得更加明顯。附圖被包括進(jìn)來以提供對(duì)本發(fā)明的進(jìn)一步理解，并被并入本說明書且構(gòu)成本說明書的一部分，附圖例示了本發(fā)明的實(shí)施方式，并且與說明書一起用于解釋本發(fā)明的原理。附圖中圖1是例示通過發(fā)送系統(tǒng)來發(fā)送包括相機(jī)參數(shù)的圖像信號(hào)以及通過接收系統(tǒng)基于該相機(jī)參數(shù)來產(chǎn)生和恢復(fù)圖像的處理的流程圖；圖2示出通過圖1所例示的發(fā)送系統(tǒng)來進(jìn)行編碼的圖像信息、深度信息和附加信息；圖3示出由接收系統(tǒng)基于圖像信息、深度信息和附加信息所產(chǎn)生和恢復(fù)的圖像；圖4是根據(jù)本發(fā)明的示例實(shí)施方式的用于產(chǎn)生和發(fā)送廣播節(jié)目的系統(tǒng)的示意性框圖；圖5示出根據(jù)本發(fā)明的示例實(shí)施方式的相機(jī)參數(shù)被插入到的地面虛擬頻道表(TVCT)的句法結(jié)構(gòu)；圖6是示出根據(jù)浮點(diǎn)數(shù)顯示方案的相機(jī)參數(shù)與句法元素之間的關(guān)系的表；圖7示出根據(jù)本發(fā)明的示例實(shí)施方式的固有相機(jī)參數(shù)描述符的句法結(jié)構(gòu)；圖8示出根據(jù)本發(fā)明的示例實(shí)施方式的外在相機(jī)參數(shù)描述符的句法結(jié)構(gòu)；圖9是根據(jù)本發(fā)明的示例實(shí)施方式的電視接收機(jī)的示意性框圖；以及圖10是例示在圖9所例示的電視接收機(jī)中解析和渲染內(nèi)部參數(shù)和外部參數(shù)的處理的流程圖。具體實(shí)施例方式現(xiàn)在將詳細(xì)參照本發(fā)明的優(yōu)選實(shí)施方式，在附圖中例示這些優(yōu)選實(shí)施方式的示例?，F(xiàn)在將參照?qǐng)D1描述根據(jù)本發(fā)明的示例實(shí)施方式的通過發(fā)送系統(tǒng)來發(fā)送包括相機(jī)參數(shù)的圖像信號(hào)以及在接收系統(tǒng)中基于這些相機(jī)參數(shù)來產(chǎn)生和恢復(fù)圖像的處理。發(fā)送系統(tǒng)通過使用多個(gè)相機(jī)(例如，一對(duì)立體相機(jī))來采集圖像(步驟S10)。所述多個(gè)相機(jī)中的至少一個(gè)是真實(shí)相機(jī)，而其它(多個(gè))相機(jī)可以是(多個(gè))虛擬相機(jī)。這里，真實(shí)相機(jī)是指向接收側(cè)發(fā)送所采集的圖像的流的相機(jī)。虛擬相機(jī)是指其圖像流不被發(fā)送而其相機(jī)參數(shù)被發(fā)送到接收系統(tǒng)以使得該接收系統(tǒng)能夠恢復(fù)對(duì)應(yīng)的流(將被描述)的相機(jī)。該虛擬相機(jī)可以實(shí)際上不存在，并且該虛擬相機(jī)的相機(jī)參數(shù)(將被描述)可以由廣播制造商或者工程師來確定。此外，用于獲得與包含在圖像中的各個(gè)主視點(diǎn)相關(guān)的深度(或范圍)信息的深度相機(jī)被設(shè)置為使得這些深度相機(jī)對(duì)應(yīng)于實(shí)際相機(jī)，以使得發(fā)送系統(tǒng)能夠結(jié)合該圖像獲得深度信息。另外，該發(fā)送系統(tǒng)從相機(jī)所采集的圖像提取要被發(fā)送到接收系統(tǒng)的附加信息。該附加信息可以包括用于估計(jì)對(duì)象的由于位于該對(duì)象前方的另一物體而導(dǎo)致被覆蓋并因此不能被看到的部分的信息。例如，該附加信息可以包括諸如對(duì)象輪廓等的幾何信息、對(duì)象透明度信息、顏色信息等。在示例實(shí)施方式中，從真實(shí)相機(jī)所采集的圖像獲得該附加信息。然而，作為修改例，可以從虛擬相機(jī)所采集的圖像或者從實(shí)際相機(jī)圖像和虛擬相機(jī)圖像的組合獲得該附加信息。該深度信息和/或附加信息不是必需的，而是可以被選擇性地提取和發(fā)送，以幫助在該接收系統(tǒng)中產(chǎn)生虛擬圖像。在步驟S12中，發(fā)送系統(tǒng)將圖像信號(hào)復(fù)用為圖像、深度信息和附加信息相結(jié)合的形式。隨后，發(fā)送系統(tǒng)對(duì)相機(jī)參數(shù)和經(jīng)復(fù)用的圖像信號(hào)進(jìn)行編碼，并將所述相機(jī)參數(shù)和經(jīng)復(fù)用的圖像信號(hào)發(fā)送到接收系統(tǒng)(步驟S14)。當(dāng)接收到經(jīng)編碼的圖像信號(hào)時(shí)，接收系統(tǒng)對(duì)該經(jīng)編碼的圖像信號(hào)進(jìn)行解碼以恢復(fù)圖像、深度信息、附加信息和相機(jī)參數(shù)(步驟S20)。此后，該接收系統(tǒng)通過使用虛擬相機(jī)的相機(jī)參數(shù)來產(chǎn)生虛擬相機(jī)位置處的深度信息(步驟S2》。隨后，該接收系統(tǒng)執(zhí)行3D變換(warping)以產(chǎn)生虛擬相機(jī)位置處的圖像(步驟S24)。最后，該接收系統(tǒng)根據(jù)對(duì)應(yīng)的接收機(jī)的顯示方案對(duì)在解碼處理中恢復(fù)的圖像和所產(chǎn)生的圖像進(jìn)行格式化以由此顯示3D圖像(步驟S26)?，F(xiàn)在將描述由發(fā)送系統(tǒng)發(fā)送所述經(jīng)編碼的圖像信息、深度信息和附加信息以及由接收系統(tǒng)對(duì)該圖像信息、深度信息和附加信息進(jìn)行解碼以基于所解碼的信息產(chǎn)生并恢復(fù)圖像的處理的示例。圖2例示一個(gè)真實(shí)相機(jī)和一個(gè)虛擬相機(jī)。然而，圖2僅僅是例示性的，可以設(shè)置更大數(shù)量的真實(shí)相機(jī)和虛擬相機(jī)。在圖2中，將真實(shí)相機(jī)所采集的圖像標(biāo)記為img，并將虛擬相機(jī)所采集的圖像標(biāo)記為img[l]。將圖像img上的與3D真實(shí)世界中的點(diǎn)(P)相對(duì)應(yīng)的點(diǎn)標(biāo)記為ρW]，并且將圖像img[l]上的與該點(diǎn)(P)相對(duì)應(yīng)的點(diǎn)標(biāo)記為ρ[1]。此外，針對(duì)各個(gè)相機(jī)提取相機(jī)參數(shù)。這些相機(jī)參數(shù)被分類為固有相機(jī)參數(shù)和外在相機(jī)參數(shù)。固有相機(jī)參數(shù)表現(xiàn)相機(jī)本身的特性(諸如包括相機(jī)鏡頭的焦距和主點(diǎn)(principalpoint)以及傾斜系數(shù)(skewfactor)等的光學(xué)特性)。外在相機(jī)參數(shù)指示真實(shí)相機(jī)或虛擬相機(jī)的幾何位置和方向(包括各個(gè)相機(jī)的基準(zhǔn)坐標(biāo)系統(tǒng)相對(duì)于真實(shí)世界的基準(zhǔn)坐標(biāo)系統(tǒng)的平移、旋轉(zhuǎn)量等)。在圖2中，將針對(duì)第一相機(jī)(即，真實(shí)相機(jī))的固有參數(shù)指示為“A”。當(dāng)假設(shè)第二相機(jī)(即，虛擬相機(jī))是與第一相機(jī)相同類型的相機(jī)并利用第一相機(jī)被充分地校準(zhǔn)時(shí)，則與第一相機(jī)類似，該第二相機(jī)的固有參數(shù)也是“A”。此外，假設(shè)該第一相機(jī)的旋轉(zhuǎn)量是r且平移是t。假設(shè)該第二相機(jī)的旋轉(zhuǎn)量是r[l]且平移是t[l]。根據(jù)本發(fā)明的示例實(shí)施方式，將針對(duì)全部真實(shí)相機(jī)的圖像和深度信息這兩者發(fā)送到接收系統(tǒng)。基于一個(gè)圖像創(chuàng)建附加信息，并將該附加信息發(fā)送到該接收系統(tǒng)。因而，在圖2例示的設(shè)置了一個(gè)真實(shí)相機(jī)和一個(gè)虛擬相機(jī)的示例中，圖像img和深度信息d印th被發(fā)送到該接收系統(tǒng)，并且該附加信息也被發(fā)送，以便該接收系統(tǒng)使用該附加信息來產(chǎn)生圖像img[l]和深度信息depth[1]。該接收系統(tǒng)對(duì)經(jīng)編碼的圖像信號(hào)進(jìn)行解碼以恢復(fù)針對(duì)第一相機(jī)(即，真實(shí)相機(jī))的圖像img、深度信息d印th和附加信息。另外，該接收系統(tǒng)恢復(fù)針對(duì)全部相機(jī)的相機(jī)參數(shù)A、r、tW]、r[l]和t[l]。參照?qǐng)D3，該接收系統(tǒng)通過使用這些相機(jī)參數(shù)A、r、t,r[l]和t[l]和針對(duì)第一相機(jī)的圖像img、深度信息depth和附加信息來產(chǎn)生第二相機(jī)的位置處的深度信息d印th[1]。隨后，該接收系統(tǒng)通過執(zhí)行3D變換來產(chǎn)生第二虛擬相機(jī)的位置處的圖像img[l]。由于除了第一相機(jī)所采集的圖像img以外，還確保第二相機(jī)的位置處的圖像img[l]，所以該接收系統(tǒng)能夠?qū)蓚€(gè)圖像(即，真實(shí)圖像img和虛擬圖像img[l])進(jìn)行格式化以顯示3D圖像。例如，該接收系統(tǒng)將該真實(shí)圖像和該虛擬圖像中的一個(gè)圖像設(shè)置為左圖像而將另一個(gè)圖像設(shè)置為右圖像，并根據(jù)3D格式以立體方式顯示該兩個(gè)圖像。圖4是根據(jù)本發(fā)明的示例實(shí)施方式的用于產(chǎn)生和發(fā)送廣播節(jié)目的系統(tǒng)的示意性框圖。根據(jù)本發(fā)明的示例實(shí)施方式的用于產(chǎn)生和發(fā)送廣播節(jié)目的系統(tǒng)包括多個(gè)相機(jī)IOOa和102a、被設(shè)置為分別與所述多個(gè)相機(jī)IOOa和10相對(duì)應(yīng)的深度相機(jī)IlOb和102b、預(yù)處理器104、相機(jī)參數(shù)組織器106、節(jié)目編碼器108、PSI/PSIP產(chǎn)生器116、傳輸復(fù)用器、頻道編碼器和調(diào)制器120以及發(fā)送機(jī)122。各個(gè)相機(jī)IOOa和10包括鏡頭和被設(shè)置為與該鏡頭相對(duì)應(yīng)的圖像拾取(pickup)元件，并且所述相機(jī)IOOa和10采集場(chǎng)景的圖像。在示例實(shí)施方式中，該兩個(gè)相機(jī)IOOa和10的鏡頭被設(shè)置為類似于人眼彼此分開65毫米，因此，相機(jī)IOOa和10獲得具有雙目視差的兩個(gè)2D圖像。然而，本發(fā)明不限于實(shí)現(xiàn)除深度相機(jī)以外的用于采集圖像的兩個(gè)相機(jī)，并且可以設(shè)置包括虛擬相機(jī)的多個(gè)相機(jī)來采集多個(gè)圖像以實(shí)現(xiàn)如上所述的多視點(diǎn)圖像。預(yù)處理器104消除相機(jī)100a、100b、10和10所采集的圖像中可能存在的噪聲，對(duì)圖像進(jìn)行校準(zhǔn)并解決亮度分量的不平衡現(xiàn)象。經(jīng)預(yù)處理單元104預(yù)處理的圖像可以被存儲(chǔ)在存儲(chǔ)單元中或者被編輯，因而當(dāng)然，相機(jī)100a、100b、l(^a和102b所進(jìn)行的采集與節(jié)目編碼器108所進(jìn)行的編碼之間可以存在相當(dāng)大的時(shí)間差。相機(jī)參數(shù)組織器106獲得針對(duì)相機(jī)IOOa和10的相機(jī)參數(shù)。在示例實(shí)施方式中，相機(jī)參數(shù)組織器106從相機(jī)IOOa和10中的每一個(gè)接收針對(duì)相機(jī)IOOa和10中的每一個(gè)的諸如相機(jī)鏡頭的焦距、主點(diǎn)、傾斜系數(shù)等的固有參數(shù)，以及諸如平移、旋轉(zhuǎn)量等的外在參數(shù)。作為修改例，相機(jī)參數(shù)組織器106可以從用于在圖像采集地點(diǎn)設(shè)置相機(jī)的機(jī)械裝置或計(jì)算機(jī)程序接收這些固有相機(jī)參數(shù)和外在相機(jī)參數(shù)。相機(jī)參數(shù)組織器106根據(jù)預(yù)定格式向PSI/PSIP產(chǎn)生器116提供這些相機(jī)參數(shù)，使得PSI/PSIP產(chǎn)生器116能夠在PSIP中包括這些相機(jī)參數(shù)。在節(jié)目編碼器108中，音頻編碼器110從安裝在圖像采集場(chǎng)景中的適當(dāng)位置的多個(gè)麥克風(fēng)(未示出)接收語(yǔ)音信號(hào)，根據(jù)預(yù)定的標(biāo)準(zhǔn)(例如，AC-3標(biāo)準(zhǔn))對(duì)它們進(jìn)行編碼，以產(chǎn)生音頻基本流(ESelementarystream)。視頻編碼器112根據(jù)特定標(biāo)準(zhǔn)對(duì)相機(jī)IlOa和10所采集的圖像和相機(jī)IOOb和102b所采集的深度信息進(jìn)行編碼，并且去除時(shí)間和空間冗余以產(chǎn)生視頻基本流(ES)。另外，視頻編碼器112通過使用真實(shí)相機(jī)IOOa所采集的圖像和/或虛擬相機(jī)10所采集的圖像來產(chǎn)生附加信息，并且對(duì)所產(chǎn)生的附加信息進(jìn)行編碼。如上所述，該附加信息包括用于估計(jì)遮擋(即，由于前方的物體而導(dǎo)致被覆蓋并且不可見的部分)的信息，諸如包括對(duì)象輪廓等的幾何信息、對(duì)象透明度信息、顏色信息等。優(yōu)選地，視頻編碼器112獨(dú)立地對(duì)所采集的圖像、深度信息和附加信息進(jìn)行編碼，以產(chǎn)生獨(dú)立的流。在示例實(shí)施方式中，視頻編碼器112根據(jù)IS0/IEC13818-2的MPEG-2標(biāo)準(zhǔn)和A/53第4部分的ATSC數(shù)字電視標(biāo)準(zhǔn)來對(duì)所述圖像、深度信息和附加信息進(jìn)行編碼。然而，本發(fā)明不限于此，視頻編碼器112可以根據(jù)由IS0/IECJTCl/Sa9/WGll和ITU-TSG16Q.6的聯(lián)合視頻組(JVT)起草的H.264/AVC標(biāo)準(zhǔn)或者任何其它方案來對(duì)該圖像進(jìn)行編碼。打包器(packetizer)114分別從音頻編碼器110和視頻編碼器112接收音頻ES和視頻ES，并且對(duì)所述各個(gè)流進(jìn)行打包以產(chǎn)生經(jīng)打包的基本流。PSI/PSIP產(chǎn)生器116產(chǎn)生節(jié)目專用信息(PSI)以及節(jié)目和系統(tǒng)信息協(xié)議(PSIP)數(shù)據(jù)。具體地說，在本發(fā)明的示例實(shí)施方式中，PSI/PSIP產(chǎn)生器116從相機(jī)參數(shù)組織器106接收相機(jī)參數(shù)，并將這些相機(jī)參數(shù)包括在PSIP中。在示例實(shí)施方式中，這些相機(jī)參數(shù)被插入到地面虛擬頻道表(TVCT)中。然而，本發(fā)明不限于此，這些相機(jī)參數(shù)也可以被插入到PMT或任何其它表中。傳輸復(fù)用器118對(duì)PES和PSI/PSIP信息進(jìn)行復(fù)用，并且將頭部添加到該P(yáng)ES和PSI/PSIP信息以產(chǎn)生傳輸流(TS)。具體地說，在本示例實(shí)施方式中，在通過傳輸復(fù)用器118與PES進(jìn)行復(fù)用的PSIP數(shù)據(jù)中，在TVCT中描述這些相機(jī)參數(shù)。此外，在圖4例示的系統(tǒng)中，經(jīng)由地面(陸地)波發(fā)送一個(gè)頻道，但是例如，用于通過有線網(wǎng)絡(luò)或衛(wèi)星網(wǎng)絡(luò)發(fā)送廣播信號(hào)的系統(tǒng)可以附加地包括用于復(fù)用多個(gè)頻道的廣播信號(hào)的發(fā)送復(fù)用器以產(chǎn)生多節(jié)目TS。頻道編碼器和調(diào)制器120對(duì)該TS執(zhí)行誤差校正編碼，以使得接收機(jī)能夠檢測(cè)和校正可能由于傳輸頻道中的噪聲所導(dǎo)致的誤差。另外，頻道編碼器和調(diào)制器120根據(jù)系統(tǒng)所采用的調(diào)制方案(例如，8-VSB調(diào)制方案)來調(diào)制所述經(jīng)誤差校正編碼的TS。發(fā)送機(jī)122例如通過天線根據(jù)頻道特性來發(fā)送所述經(jīng)調(diào)制的廣播信號(hào)?，F(xiàn)在將參照?qǐng)D5到圖8來描述通過圖4所例示的系統(tǒng)來發(fā)送相機(jī)參數(shù)的方法。如上所述，在示例實(shí)施方式中，可以按照PSIP內(nèi)的TVCT中的描述符的形式來描述這些相機(jī)參數(shù)。圖5示出根據(jù)本發(fā)明的示例實(shí)施方式的包括相機(jī)參數(shù)的描述符的TVCT的句法結(jié)構(gòu)。該TVCT可以具有描述符以傳送與虛擬頻道相關(guān)的信息并擴(kuò)展該信息。根據(jù)本示例實(shí)施方式的相機(jī)參數(shù)可以組成該TVCT的描述符中的一個(gè)。詳細(xì)地說，在PSIP中定義各自具有特定目的的多個(gè)表，并且所述多個(gè)表中的每一個(gè)具有與MPEG的PSI(節(jié)目專用信息)中定義的表的段(section)結(jié)構(gòu)相類似的段結(jié)構(gòu)。也就是說，各個(gè)表被配置為具有用于發(fā)送的段的結(jié)構(gòu)，并且根據(jù)表的類型可以包括一個(gè)或者多個(gè)段。各個(gè)段可以被劃分為包括表和段的基本信息的頭部、包括表的實(shí)際數(shù)據(jù)的主體以及包括用于誤差校正的信息的尾部，以使得接收系統(tǒng)能夠選擇性地接收段。在描述圖5例示的TVCT段時(shí)，將通過對(duì)從“table_id”字段到“protocoljision”字段的頭部、從“num_channels_in_section，，字段至IJ“additional_descriptors_length，，字段的主體以及包括“CRC_32”字段的尾部進(jìn)行區(qū)分來描述該TVCT段。首先，該頭部中的“table_id”字段指示PSIP中的表類型。在TVCT的情況下，根據(jù)MPEG、ATSC、ARIB、SCTE或DVB標(biāo)準(zhǔn)將該“table_id”字段確定為具有“0xC8”的8比特的值?！皊ectiorusyntaxjndicator”字段指示表段的格式，并且在ATSCPSIP表的情況下，根據(jù)例如IS0/IEC13818-1、表2-30將該“section_syntax_indicator”字段確定具有為1的值?！皃rivatejndicator”字段指示該段中從該字段到該表段的末尾的剩余字節(jié)的數(shù)量?！皌ransport_stream_id”指示傳輸流的TS標(biāo)識(shí)符?！皏ersion_number”字段指示該表段的版本號(hào)，而“currentjextjndicator”字段指示該表段是否遵循當(dāng)前版本或下一版本。"section.number"字段指示該表段的序列號(hào)，而“l(fā)ast_section_number”指示先前表段的序列號(hào)?！皃rotocoljersion”字段指示協(xié)議版本。在所述主體部分中，“num_channe1s_in_section”字段指示被限定為遵循該表段的虛擬頻道的數(shù)量。針對(duì)各個(gè)虛擬頻道重復(fù)描述“for”循環(huán)中的從“shortjame”到descriptor()指示字段的部分。"short_name"字段允許針對(duì)虛擬頻道分配按照Unicode形成的短名稱。“major_channel_number”字段和“minor_channel_number”字段被組合以指示虛擬頻道數(shù)量。"modulation_mode"指示用于發(fā)送單獨(dú)頻道的調(diào)制模式，而“carrierfrequency"字段指示載波頻率。“charmelTSID”字段指示包括虛擬頻道所指的節(jié)目的頻道的傳輸流ID。"program_number"字段使得能夠唯一地識(shí)別傳輸流中存在的各個(gè)節(jié)目業(yè)務(wù)?！癊TM_location”字段指示經(jīng)擴(kuò)展的事件表是否存在。“access_controlled”字段指示對(duì)應(yīng)的虛擬頻道是否被訪問和控制?！癶idden”字段指示虛擬頻道是否能夠被直接輸入以訪問對(duì)應(yīng)的頻道，或者頻道是否被隱藏以使得當(dāng)輸入頻道號(hào)碼時(shí)或不斷切換頻道8(surfing)時(shí)將不顯示該頻道?！癶ide_gUide”字段指示對(duì)應(yīng)的頻道或者針對(duì)隱藏頻道的相關(guān)事件是否出現(xiàn)在EPG顯示上?！皊ervicejype”字段指示虛擬頻道中設(shè)置的業(yè)務(wù)類型。“sourcejd”字段指示是否在多個(gè)虛擬頻道之間進(jìn)行鏈接、輸入到事件信息表中的內(nèi)容，以及是否允許多個(gè)經(jīng)擴(kuò)展的事件文本表之間的鏈路，該“sourCe_id”字段可以指示與虛擬頻道相關(guān)的節(jié)目資源。“descriptorsjength”字段指示該字段后面的描述符字段的總字節(jié)長(zhǎng)度，而descriptor()部分是描述單獨(dú)的描述符的地方?？梢酝ㄟ^使用additional_descriptors_length和additional_descriptor()字段來包括不同的描述符循環(huán)。在尾部部分，“CRC_32”字段指示根據(jù)針對(duì)從“table_id”字段到該表的最后字節(jié)的每個(gè)字節(jié)的多項(xiàng)式運(yùn)算所計(jì)算出的CRC數(shù)據(jù)，因而使得接收機(jī)能夠檢測(cè)誤差。在本發(fā)明的示例實(shí)施方式中，可以如上所述在TVCT表中的“descriptor()，，部分按照固有參數(shù)描述符和外在參數(shù)描述符的順序來描述和定義相機(jī)參數(shù)?？梢栽?descriptor()，，部分描述固有相機(jī)參數(shù)，并且可以在“additionaldescriptor()，，部分描述外在相機(jī)參數(shù)。在示例實(shí)施方式中，假設(shè)固有相機(jī)參數(shù)被校準(zhǔn)，并且公共地應(yīng)用于每個(gè)相機(jī)的一個(gè)固有相機(jī)參數(shù)描述符被傳送到接收系統(tǒng)。然而，作為修改例，針對(duì)各個(gè)相機(jī)的單獨(dú)的固有相機(jī)參數(shù)描述符可以被傳送到該接收系統(tǒng)。在示例實(shí)施方式中，固有相機(jī)參數(shù)包括焦距、主點(diǎn)和傾斜系數(shù)。焦距被劃分為水平焦距(f0Cal_length_X)和垂直焦距(f0Cal_length_y)并被描述。類似地，主點(diǎn)位置被劃分為水平主點(diǎn)(principal_point_x)和垂直主點(diǎn)(principal_point_y)。根據(jù)IEC605501989到IEEE954-1985標(biāo)準(zhǔn)的浮點(diǎn)數(shù)顯示方案來表示各個(gè)參數(shù)，并且將所述各個(gè)參數(shù)劃分為符號(hào)(sign)、索引部分、有效數(shù)字尾數(shù)(mantissa)部分，并顯示所述各個(gè)參數(shù)。在示例實(shí)施方式中，用1比特整數(shù)來指示所述符號(hào)，并且用6比特整數(shù)來指示所述索引部分和有效數(shù)字尾數(shù)部分。具體地說，為了指示負(fù)數(shù)，按照excess-31碼的有偏差的指數(shù)形式來指示所述索引部分。圖6是示出根據(jù)浮點(diǎn)數(shù)顯示方案的相機(jī)參數(shù)與句法元素之間關(guān)系的表。如下式所示，上述固有參數(shù)組成固有參數(shù)矩陣[式1]權(quán)利要求1.一種用于處理三維(3D)圖像信號(hào)的方法，該方法包括以下步驟接收廣播信號(hào)；對(duì)所述廣播信號(hào)進(jìn)行解析以提取信令信息；從所述信令信息獲得至少一組相機(jī)參數(shù)；根據(jù)所述相機(jī)參數(shù)產(chǎn)生虛擬視點(diǎn)圖像；以及按照三維方式對(duì)所述虛擬視點(diǎn)圖像和包括在所述廣播信號(hào)中的廣播圖像進(jìn)行格式化。2.根據(jù)權(quán)利要求1所述的方法，其中，所述廣播信號(hào)中還包括深度信息，并且根據(jù)所述相機(jī)參數(shù)和所述深度信息來產(chǎn)生所述虛擬視點(diǎn)圖像。3.根據(jù)權(quán)利要求1所述的方法，其中，所述信令信息是地面虛擬頻道表(TVCT)。4.根據(jù)權(quán)利要求2所述的方法，其中，所述信令信息是節(jié)目映射表(PMT)。5.根據(jù)權(quán)利要求2所述的方法，其中，所述產(chǎn)生所述虛擬視點(diǎn)圖像的步驟包括以下步驟根據(jù)所述相機(jī)參數(shù)和所述深度信息產(chǎn)生虛擬視圖視點(diǎn)處的深度信息；以及根據(jù)所述廣播圖像和所述虛擬視圖視點(diǎn)處的所述深度信息來產(chǎn)生所述虛擬視圖視點(diǎn)處的所述虛擬視點(diǎn)圖像。6.根據(jù)權(quán)利要求5所述的方法，其中，通過所述信令信息來指定所述虛擬視圖視點(diǎn)。7.根據(jù)權(quán)利要求5所述的方法，其中，通過用戶命令來指定所述虛擬視圖視點(diǎn)。8.根據(jù)權(quán)利要求2所述的方法，其中，所述廣播信號(hào)包括多個(gè)圖像以及與所述多個(gè)圖像中的一個(gè)相關(guān)的所述深度信息，其中，所述方法還包括以下步驟在所述多個(gè)圖像中確定與所述深度信息相關(guān)的圖像作為基礎(chǔ)圖像，以及其中，在產(chǎn)生所述虛擬視點(diǎn)圖像時(shí)，基于所述基礎(chǔ)圖像、所述深度信息和相機(jī)參數(shù)來產(chǎn)生所述虛擬視點(diǎn)圖像。9.根據(jù)權(quán)利要求1所述的方法，其中，將對(duì)象的形式信息附加地包括在所述廣播信號(hào)中，并且根據(jù)所述相機(jī)參數(shù)和所述形式信息來產(chǎn)生所述虛擬視點(diǎn)圖像。10.根據(jù)權(quán)利要求9所述的方法，其中，所述形式信息包括與不同對(duì)象的遮擋有關(guān)的信肩、ο11.一種用于顯示三維(3D)圖像的設(shè)備，該設(shè)備包括廣播信號(hào)接收單元，其被配置為接收廣播信號(hào)并對(duì)所接收的廣播信號(hào)進(jìn)行解析以提取信令信息，以及從所述信令信息獲得至少一組相機(jī)參數(shù)；渲染單元，其被配置為根據(jù)所述相機(jī)參數(shù)產(chǎn)生虛擬視點(diǎn)圖像；以及格式化器，其被配置為按照三維方式對(duì)所述虛擬視點(diǎn)圖像和包括在所述廣播信號(hào)中的廣播圖像進(jìn)行格式化。全文摘要公開了一種用于3D圖像處理的方法，該方法使得在圖像信號(hào)發(fā)送側(cè)部分省略了要被設(shè)置在要發(fā)送的多個(gè)圖像信號(hào)中的信息的情況下，能夠在接收機(jī)處合成并再現(xiàn)圖像。本發(fā)明的用于3D圖像處理的方法在3D圖像顯示器中實(shí)現(xiàn)。所述設(shè)備從廣播信號(hào)恢復(fù)至少一個(gè)圖像，并且從所恢復(fù)的圖像額外地產(chǎn)生虛擬相機(jī)的視點(diǎn)處的圖像并按照三維模式顯示該圖像。為此，該圖像顯示器首先接收廣播信號(hào)，并且從所述信令信息獲得至少一組相機(jī)參數(shù)。接著，該圖像顯示器根據(jù)所述相機(jī)參數(shù)產(chǎn)生虛擬視點(diǎn)圖像，并且按照三維方式對(duì)所述虛擬視點(diǎn)圖像和包括在所述廣播信號(hào)中的廣播圖像進(jìn)行格式化。文檔編號(hào)H04N7/08GK102257824SQ200980150985公開日2011年11月23日申請(qǐng)日期2009年8月19日優(yōu)先權(quán)日2008年12月18日發(fā)明者徐琮烈,梁正烋申請(qǐng)人:Lg電子株式會(huì)社