專利名稱：用于適配2d和3d立體視頻信號(hào)的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于適配2D或3D立體視頻信號(hào)的裝置和方法；更特別地，本發(fā)明涉及一種用于根據(jù)用戶特征和用戶終端特征來適配2D或3D立體視頻信號(hào)的裝置和方法以及一種其上記錄了用于執(zhí)行所述方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)。
背景技術(shù)：
運(yùn)動(dòng)圖像專家組(MPEG)建議了一種新的標(biāo)準(zhǔn)工作項(xiàng)、一種數(shù)字項(xiàng)適配(DIA)。數(shù)字項(xiàng)(DI)是一種具有標(biāo)準(zhǔn)表示、標(biāo)識(shí)和元數(shù)據(jù)的結(jié)構(gòu)化數(shù)字對(duì)象，而DIA是指通過修改資源適配引擎和/或描述符適配引擎中的DI來產(chǎn)生適配的DI的處理過程。
這里，資源是指能單獨(dú)標(biāo)識(shí)的資產(chǎn)，諸如音頻或視頻剪輯、以及圖像或文本資產(chǎn)。資源也可以代表一個(gè)物理對(duì)象。描述符是指與DI的部件或項(xiàng)目相關(guān)的信息，諸如元數(shù)據(jù)。同樣，用戶是指包括DI的所有生產(chǎn)者、合法人(rightfulperson)、分銷商和消費(fèi)者。媒體資源是指能直接數(shù)字化表述的內(nèi)容。在本說明書中，以與DI、媒體資源和資源相同的意思來使用術(shù)語(yǔ)‘內(nèi)容’。
雖然目前為止二維(2D)視頻已經(jīng)為通用媒體，但是三維(3D)視頻也已經(jīng)被引入到信息和電訊的領(lǐng)域中。在很多的英特網(wǎng)站點(diǎn)、DVD標(biāo)題等處容易找到立體圖像和視頻。隨著這種情況的發(fā)展，在立體視頻處理中已經(jīng)對(duì)MPEG產(chǎn)生了興趣。在MPEG-2中已經(jīng)標(biāo)準(zhǔn)化了立體視頻的壓縮方案，即，國(guó)際標(biāo)準(zhǔn)組織/國(guó)際電技術(shù)委員會(huì)(ISO/IEC)JTC1/SC29/WG11的“Final Text of12818-2/AMD3(MPEG-2 multiview profile)”。1996中定義了MPEG-2多視角配置(MVP)，來作為利用為立體聲TV的主應(yīng)用域的MPEG-2標(biāo)準(zhǔn)的修正版。MVP通過隱含地定義不均等性補(bǔ)償預(yù)測(cè)(disparity-compensated prediction)，來向著內(nèi)視角通道冗余(inter-viewchannel redundancy)進(jìn)行開拓來擴(kuò)展眾所周知的混合編碼(hybrid coding)。主要的新元件是用于多攝像機(jī)序列(multi-camerasequence)的臨時(shí)可擴(kuò)展性(TS，temporal scalability)模式的用途的定義，以及在MPEG-2語(yǔ)法中的獲取參數(shù)的定義。起初開發(fā)了TS模式來允許具有低幀速率的基層流和具有附加視頻幀的增強(qiáng)層流的聯(lián)合編碼。如果兩種流都可用，則能利用全幀速率來再現(xiàn)已解碼的視頻。在TS模式中，能從基層幀或從最近重新構(gòu)造的增強(qiáng)層幀中執(zhí)行增強(qiáng)層宏塊的臨時(shí)預(yù)測(cè)(temporal prediction)。
通常，使用具有一對(duì)左和右攝像機(jī)的立體攝像機(jī)來產(chǎn)生立體視頻。該立體視頻被存儲(chǔ)或發(fā)送到用戶。不像立體視頻，2D視頻的3D立體轉(zhuǎn)換(2D/3D立體視頻轉(zhuǎn)換)使得用戶觀看來自普通2D視頻數(shù)據(jù)的3D立體視頻成為可能。例如，用戶能欣賞來自TV、VCD、DVD等的3D立體電影。不像從立體攝像機(jī)獲得的一般立體圖像，本質(zhì)差別是立體轉(zhuǎn)換要產(chǎn)生來自單一2D圖像的立體圖像。同樣，能從從立體攝像機(jī)獲得的3D立體視頻中提取2D視頻(3D立體/2D視頻轉(zhuǎn)換)。
傳統(tǒng)技術(shù)具有一個(gè)問題，即它們不能提供單源多用途環(huán)境，在該單源多用途環(huán)境中通過使用視頻內(nèi)容使用信息，即，用戶特征、用戶的自然環(huán)境、以及用戶終端的能力，來將一個(gè)視頻內(nèi)容適配到不同的使用環(huán)境上并在該不同的使用環(huán)境中使用。
這里，‘單一源’表示在多媒體源中產(chǎn)生的內(nèi)容，以及‘多用途’是指具有各種使用環(huán)境的各種用戶終端，該各種用戶終端消費(fèi)適應(yīng)到它們的使用環(huán)境的‘單一源’。
單源多用途是有利的，這是因?yàn)樗ㄟ^將內(nèi)容適配到不同的使用環(huán)境來利用僅僅一種內(nèi)容就能提供各種內(nèi)容，另外，當(dāng)它提供適配到各種使用環(huán)境的單一源時(shí)，它能有效地減少網(wǎng)絡(luò)帶寬。
因此，內(nèi)容提供者能節(jié)約用于產(chǎn)生和發(fā)送多個(gè)內(nèi)容以匹配各種使用環(huán)境的不必要成本。另一方面，能把為了它們的各種使用環(huán)境而優(yōu)化的視頻內(nèi)容提供給內(nèi)容消費(fèi)者。
但是，傳統(tǒng)技術(shù)沒有利用單源多用戶。也就是說，傳統(tǒng)技術(shù)不加選擇地發(fā)送視頻內(nèi)容，而沒有考慮使用環(huán)境，諸如用戶特征和用戶終端特征。具有視頻播放機(jī)應(yīng)用程序的用戶終端利用從多媒體源接收的未經(jīng)變化的格式來消費(fèi)視頻內(nèi)容。因此，傳統(tǒng)技術(shù)不能支持單源多用途環(huán)境。
如果多媒體源提供一種考慮了各種使用環(huán)境的多媒體內(nèi)容以克服傳統(tǒng)技術(shù)的問題并且支持單源多用途環(huán)境，則較多的負(fù)擔(dān)被施加到內(nèi)容的產(chǎn)生和傳輸上。
發(fā)明內(nèi)容
因此，本發(fā)明的一個(gè)目標(biāo)是提供一種用于通過使用預(yù)先規(guī)定消費(fèi)視頻內(nèi)容的用戶終端的使用環(huán)境的信息來將視頻內(nèi)容適配到使用環(huán)境的裝置和方法。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于為了單源多用途而適配二維(2D)或三維(3D)立體視頻信號(hào)的裝置，該裝置包括視頻使用環(huán)境信息管理裝置，用于獲取、描述和管理來自用戶終端的用戶特征信息；以及視頻適配單元，用于將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種用于為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的裝置，該裝置包括視頻使用環(huán)境信息管理單元，用于獲取、描述和管理來自用戶終端的用戶終端特征信息；以及視頻適配單元，用于將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的方法，該方法包括如下步驟a)獲取、描述和管理來自用戶終端的用戶特征信息；以及b)將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種用于為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的方法，該方法包括如下步驟a)獲取、描述和管理來自用戶終端的用戶終端特征信息；以及b)將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于記錄程序的計(jì)算機(jī)可讀記錄介質(zhì)，該程序用于實(shí)現(xiàn)為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的方法，該方法包括如下步驟a)獲取、描述和管理來自用戶終端的用戶特征信息；以及b)將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
根據(jù)本發(fā)明的另一方面，提供了一種用于記錄程序的計(jì)算機(jī)可讀記錄介質(zhì)，該程序用于實(shí)現(xiàn)為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的方法，該方法包括如下步驟a)獲取、描述和管理來自用戶終端的用戶終端特征信息；以及b)將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
從下面結(jié)合附圖給出的優(yōu)選實(shí)施例的描述中，本發(fā)明的上述和其它目標(biāo)和特征將變得明顯，其中圖1是說明配有根據(jù)本發(fā)明的一個(gè)實(shí)施例的視頻適配裝置的用戶終端的方框圖；圖2是描述一個(gè)用戶終端的方框圖，該用戶終端能通過使用本發(fā)明的一個(gè)實(shí)施例的圖1的視頻適配裝置來使其具體化；圖3是說明圖1的視頻適配裝置中執(zhí)行的視頻適配處理的流程圖；圖4是描述圖3的適配處理的流程圖；圖5是顯示根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例對(duì)2D視頻信號(hào)和3D立體視頻信號(hào)進(jìn)行適配處理的流程圖；圖6是描述根據(jù)本發(fā)明的視差的示范性圖；圖7是描述根據(jù)本發(fā)明的深度范圍的示范性圖；以及圖8A至8C是說明根據(jù)本發(fā)明的3D立體視頻信號(hào)的著色方法的示范性圖。
具體實(shí)施例方式
從下面參考附圖給出的實(shí)施例的描述中，本發(fā)明的其它目標(biāo)和方面將變得明顯，這在下文中闡述。
下面的描述僅僅例示本發(fā)明的原理。即使在本說明書中沒有清楚地描述或說明它們，本領(lǐng)域技術(shù)人員也能實(shí)現(xiàn)(embody)本發(fā)明的原理并且在本發(fā)明的思想和范圍內(nèi)發(fā)明各種裝置。
本說明書中陳述的條件術(shù)語(yǔ)和實(shí)施例僅用來理解本發(fā)明的概念，并且它們沒有被限制到說明書中提出的實(shí)施例和條件上。
此外，所有對(duì)本發(fā)明的原理、觀點(diǎn)和實(shí)施例和特定實(shí)施例的詳細(xì)描述應(yīng)該被理解為它們的結(jié)構(gòu)性和功能性等效物。該等效物不僅包括當(dāng)前已知的等效物而且也包括未來將要開發(fā)的那些等效物，即，所有發(fā)明來執(zhí)行同樣功能的設(shè)備，而不管它們的結(jié)構(gòu)。
例如，本發(fā)明的方框圖應(yīng)該被理解為顯示用來體現(xiàn)本發(fā)明的原理的示范性電路的概念性觀點(diǎn)。相似地，所有的流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等能基本上被表示在計(jì)算機(jī)可讀記錄介質(zhì)中，并且無論在說明書中是否有區(qū)別地描述了計(jì)算機(jī)或處理器，它們都應(yīng)該被理解為表示由計(jì)算機(jī)或處理器運(yùn)行的處理。
不僅通過使用專用的硬件，而且也通過使用能夠運(yùn)行適當(dāng)軟件的硬件，就能提供在包括表示為處理器或相似概念的功能塊的圖中說明的各種設(shè)備的功能。當(dāng)由處理器來提供所述功能時(shí)，提供者可以是單一專用處理器、單一共享處理器、或多個(gè)單獨(dú)處理器，該多個(gè)單獨(dú)處理器的部分能被共享。
術(shù)語(yǔ)‘處理器’、‘控制’或相似概念的明顯使用不應(yīng)該被理解為專門是指能夠運(yùn)行軟件的一片硬件，而應(yīng)該被理解為隱含包括數(shù)字信號(hào)處理器(DSP)、硬件以及用于存儲(chǔ)軟件的ROM、RAM和非易失性存儲(chǔ)器。其中也包括其它已知和公共使用的硬件。
在本說明書的權(quán)利要求中，表示為用于執(zhí)行在詳細(xì)描述中所描述的功能的“裝置”的元件是指包括用于執(zhí)行包括所有軟件格式的功能的所有方法，諸如用于執(zhí)行功能的電路組合、固件/微碼等。為了執(zhí)行所打算的功能，所述元件和用于執(zhí)行軟件的合適電路一起運(yùn)行。本發(fā)明包括用于執(zhí)行特定功能的各種裝置，并且該裝置以權(quán)利要求中所請(qǐng)求的方法彼此連接。因此，任何能提供該功能的裝置應(yīng)該被理解為從當(dāng)前說明書中得出的等效物。
參照附圖，從下面實(shí)施例的描述中，本發(fā)明的其它目標(biāo)和方面將變得明顯，這在下文中闡述。相同的附圖標(biāo)記被給定到相同的元件上，雖然該元件出現(xiàn)在不同的附圖中。此外，如果對(duì)相關(guān)現(xiàn)有技術(shù)的進(jìn)一步的詳細(xì)描述被認(rèn)為使本發(fā)明的觀點(diǎn)變得模糊，則省略其描述。下文中，將詳細(xì)地描述本發(fā)明的優(yōu)選實(shí)施例。
圖1是說明配有根據(jù)本發(fā)明的實(shí)施例的視頻適配裝置的用戶終端的方框圖。參照?qǐng)D1，本發(fā)明的實(shí)施例的視頻適配裝置100包括視頻適配部分103和視頻使用環(huán)境信息管理部分107。視頻適配部分103和視頻使用環(huán)境信息管理部分107中的每一個(gè)都能彼此相互獨(dú)立地被提供到視頻處理系統(tǒng)中。
視頻處理系統(tǒng)包括膝上型電腦、筆記本電腦、臺(tái)式電腦、工作站、大型計(jì)算機(jī)和其它類型的計(jì)算機(jī)。在視頻處理系統(tǒng)中包括了數(shù)據(jù)處理或信號(hào)處理系統(tǒng)，諸如個(gè)人數(shù)字助理(PDA)和無線通信移動(dòng)臺(tái)。
視頻系統(tǒng)可以是從形成網(wǎng)絡(luò)路徑的節(jié)點(diǎn)中任意選擇的任何一個(gè)，例如，多媒體源節(jié)點(diǎn)系統(tǒng)、多媒體中繼節(jié)點(diǎn)系統(tǒng)、以及最終用戶終端。
該最終用戶終端包括視頻播放機(jī)，諸如Windows媒體播放機(jī)和實(shí)時(shí)播放機(jī)。
例如，如果視頻適配裝置100被綁定在多媒體源節(jié)點(diǎn)系統(tǒng)上并被運(yùn)行，則它接收關(guān)于其中消費(fèi)視頻內(nèi)容的使用環(huán)境的預(yù)先規(guī)定的信息，將該視頻內(nèi)容適配到使用環(huán)境上，并且將所適配的內(nèi)容發(fā)送到最終用戶終端上。
關(guān)于視頻編碼處理，視頻適配裝置100處理視頻數(shù)據(jù)的處理，用于ISO/IEC的技術(shù)委員會(huì)的標(biāo)準(zhǔn)/國(guó)際電子技術(shù)委員會(huì)(ISO/IEC)標(biāo)準(zhǔn)文檔資料的國(guó)際組織可以被包括為本說明書的一部分，只要其有助于描述本發(fā)明的實(shí)施例中的元件的功能和操作。
視頻數(shù)據(jù)源部分101接收在多媒體源中產(chǎn)生的視頻數(shù)據(jù)。視頻數(shù)據(jù)源部分101可以被包括在多媒體源節(jié)點(diǎn)系統(tǒng)中、或在通過有線/無線網(wǎng)絡(luò)接收從多媒體源節(jié)點(diǎn)系統(tǒng)發(fā)送的視頻數(shù)據(jù)的多媒體中繼節(jié)點(diǎn)系統(tǒng)中、或在最終用戶終端中。
視頻適配部分103接收來自視頻數(shù)據(jù)源部分101的視頻數(shù)據(jù)，并且通過使用由視頻使用環(huán)境信息管理部分107預(yù)先規(guī)定的使用環(huán)境信息，來將視頻數(shù)據(jù)適配到使用環(huán)境上，例如，用戶特征和用戶終端特征。
視頻使用環(huán)境信息管理部分107收集來自用戶和用戶終端的信息，并然后預(yù)先描述和管理使用環(huán)境信息。
視頻內(nèi)容/元數(shù)據(jù)輸出部分105輸出由視頻適配部分103所適配的視頻數(shù)據(jù)?？梢酝ㄟ^有線/無線網(wǎng)絡(luò)將輸出的視頻數(shù)據(jù)發(fā)送到最終用戶終端的視頻播放機(jī)上，或發(fā)送到多媒體中繼節(jié)點(diǎn)系統(tǒng)或最終用戶終端上。
圖2是描述能通過使用根據(jù)本發(fā)明的實(shí)施例的圖1的視頻適配裝置來實(shí)現(xiàn)的用戶終端的方框圖。正如在附圖中所描述的，視頻數(shù)據(jù)源部分101包括視頻元數(shù)據(jù)201和視頻內(nèi)容203。
視頻數(shù)據(jù)源部分101從多媒體源收集視頻內(nèi)容和元數(shù)據(jù)并存儲(chǔ)它們。這里，從地面、衛(wèi)星或有線TV信號(hào)、諸如英特網(wǎng)的網(wǎng)絡(luò)、或諸如VCR、CD或DVD的記錄介質(zhì)中獲得視頻內(nèi)容和元數(shù)據(jù)。視頻內(nèi)容也包括以流(streaming)或廣播的形式發(fā)送的2維(2D)視頻或3維(3D)立體視頻。
視頻元數(shù)據(jù)201是與視頻媒體信息和相應(yīng)的內(nèi)容信息相關(guān)的描述數(shù)據(jù)，其中視頻媒體信息為諸如視頻內(nèi)容的編碼方法、文件大小、比特率、幀/第二和分辨率，相應(yīng)的內(nèi)容信息為諸如視頻內(nèi)容的題目、作者、生產(chǎn)時(shí)間和地點(diǎn)、類別和速率?；诳蓴U(kuò)展標(biāo)記語(yǔ)言(XML)方案能定義和描述視頻元數(shù)據(jù)。
視頻使用環(huán)境信息管理部分107包括用戶特征信息管理單元207、用戶特征信息輸入單元217、視頻終端特征信息管理單元209和視頻終端特征信息輸入單元219。
用戶特征信息管理單元207通過用戶特征信息輸入單元217，根據(jù)來自用戶終端的用戶偏好或喜愛，在2D/3D視頻轉(zhuǎn)換的情況下，接收用戶特征的信息，諸如3D立體視頻內(nèi)容的深度和視差，或在3D/2D視頻轉(zhuǎn)換的情況下，接收左和右內(nèi)部視頻，并且管理用戶特征的信息。以機(jī)械可讀的語(yǔ)言，例如XML格式，來管理輸入的用戶特征信息。
視頻終端特征信息管理單元209接收來自視頻終端特征信息輸入單元219的終端特征信息和管理該終端特征信息。以機(jī)械可讀的語(yǔ)言，例如XML格式，來管理終端特征信息。
視頻終端特征信息輸入單元219將預(yù)先設(shè)置或由用戶輸入的終端特征信息發(fā)送到視頻終端特征信息管理單元209。視頻使用環(huán)境信息管理部分107接收所收集的用戶終端特征信息，以播放3D立體視頻信號(hào)，諸如用戶終端的顯示硬件是單視的還是立體的，或視頻解碼器是立體MPEG-2、立體MPEG-4或立體音頻視頻交織(AVI)視頻解碼器，或著色方法是交疊的、同雙的、頁(yè)面翻轉(zhuǎn)的、紅藍(lán)彩色立體圖、紅青彩色立體圖、或紅黃彩色立體圖。
視頻適配部分103包括視頻元數(shù)據(jù)適配單元213和視頻內(nèi)容適配單元215。
視頻內(nèi)容適配單元215分析分別在用戶特征信息輸入單元217和視頻終端特征信息管理單元209中管理的用戶特征信息和視頻終端特征信息，然后將視頻內(nèi)容適當(dāng)?shù)剡m配到用戶特征和終端特征上。
也就是說，視頻內(nèi)容適配單元215接收和分析用戶特征信息。然后，諸如深度、視差的用戶偏好和最大延遲幀的數(shù)目被反映在適配信號(hào)處理過程中，以及2D視頻內(nèi)容被轉(zhuǎn)換到3D立體視頻內(nèi)容上。
當(dāng)輸入的3D立體視頻信號(hào)被轉(zhuǎn)換到2D視頻信號(hào)時(shí)，根據(jù)用戶的偏好信息來發(fā)射輸入的3D立體視頻信號(hào)的左圖像、右圖像或同步圖像并且將3D立體視頻信號(hào)適配到2D視頻信號(hào)上。
同樣，視頻內(nèi)容適配單元215以XML格式從視頻終端特征信息管理單元209接收用戶特征信息，并分析該用戶特征信息。然后，視頻內(nèi)容適配單元215根據(jù)諸如顯示設(shè)備、3D立體視頻解碼器和著色方法的種類的用戶終端特征信息，來執(zhí)行3D立體視頻信號(hào)的適配。
視頻元數(shù)據(jù)適配處理單元213將在視頻內(nèi)容適配處理過程中需要的元數(shù)據(jù)提供到視頻內(nèi)容適配單元215，并且基于視頻內(nèi)容適配的結(jié)果來適配相應(yīng)的視頻元數(shù)據(jù)信息的內(nèi)容。
也就是說，視頻元數(shù)據(jù)適配處理單元213將在2D視頻內(nèi)容或3D立體視頻適配處理過程中所需要的元數(shù)據(jù)提供到視頻內(nèi)容適配單元215。然后，視頻元數(shù)據(jù)適配處理單元213基于視頻內(nèi)容適配的結(jié)果來更新、寫入或存儲(chǔ)2D視頻元數(shù)據(jù)或3D立體視頻元數(shù)據(jù)。
視頻內(nèi)容/元數(shù)據(jù)輸出單元105輸出根據(jù)用戶特征和終端特征適配的2D視頻或3D立體視頻的內(nèi)容和元數(shù)據(jù)。
圖3是說明在圖1的視頻適配裝置中執(zhí)行的視頻適配處理過程的流程圖。參照?qǐng)D3，在步驟S301處，視頻使用環(huán)境信息管理部分107獲取來自用戶和用戶終端的視頻使用環(huán)境信息，并且規(guī)定關(guān)于用戶特征、用戶終端特征的信息。
隨后，在步驟S303處，視頻數(shù)據(jù)源部分101接收視頻內(nèi)容/元數(shù)據(jù)。在步驟S305處，視頻適配部分103通過使用在步驟S301處描述的使用環(huán)境信息，來將在步驟S303處接收的視頻內(nèi)容/元數(shù)據(jù)適當(dāng)?shù)剡m配到使用環(huán)境，即，用戶特征、用戶終端特征上。
在步驟S307處，視頻內(nèi)容/元數(shù)據(jù)輸出部分105輸出在步驟S305處適配的2D視頻數(shù)據(jù)或3D立體視頻。
圖4是描述圖3的適配處理(S305)的流程圖。
參照?qǐng)D4，在步驟S401處，視頻適配部分103識(shí)別視頻數(shù)據(jù)源部分101已經(jīng)接收的2D視頻內(nèi)容或3D立體視頻內(nèi)容和視頻元數(shù)據(jù)。在步驟S403處，視頻適配部分103將需要適配的2D視頻內(nèi)容或3D立體視頻內(nèi)容適當(dāng)?shù)剡m配到用戶特征、用戶的自然環(huán)境和用戶終端能力上。在步驟S405處，視頻適配部分103基于視頻內(nèi)容適配的結(jié)果來適配與2D視頻內(nèi)容或3D立體視頻內(nèi)容相對(duì)應(yīng)的視頻元數(shù)據(jù)，這在步驟S403處被執(zhí)行。
圖5是顯示根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例對(duì)2D視頻信號(hào)和3D立體視頻信號(hào)進(jìn)行適配處理的流程圖。
參照?qǐng)D5，解碼器502接收編碼的MPEG視頻信號(hào)501、從每一16×16宏塊中提取運(yùn)動(dòng)矢量并且執(zhí)行圖像類型分析503和運(yùn)動(dòng)類型分析504。
在圖像類型分析期間，確定圖像是否是靜止圖像、水平運(yùn)動(dòng)圖像、非水平運(yùn)動(dòng)圖像或快速運(yùn)動(dòng)圖像。
在運(yùn)動(dòng)類型分析期間，確定攝像機(jī)的運(yùn)動(dòng)和運(yùn)動(dòng)圖像的目標(biāo)。
通過圖像類型分析503和運(yùn)動(dòng)類型分析504來從2D視頻中產(chǎn)生3D立體視頻505。
從基于強(qiáng)度、紋理和其它特征的靜止圖像中獲得塊的圖像像素或3D深度信息。所獲得的深度信息被用來構(gòu)造右圖像或左圖像。
從水平運(yùn)動(dòng)圖像中選擇當(dāng)前圖像或延遲的圖像。根據(jù)由運(yùn)動(dòng)類型分析504所確定的水平運(yùn)動(dòng)圖像的運(yùn)動(dòng)類型，適當(dāng)?shù)貙⑺x的圖像顯示到用戶的右或左眼上。
根據(jù)運(yùn)動(dòng)和深度信息，從非水平運(yùn)動(dòng)圖像中產(chǎn)生立體圖像。
這里，描述在視頻使用環(huán)境信息管理部分107中管理的描述信息的結(jié)構(gòu)。
根據(jù)本發(fā)明，為了通過使用消耗2D視頻內(nèi)容或3D立體視頻內(nèi)容的使用環(huán)境的預(yù)先規(guī)定的信息來將2D視頻內(nèi)容或3D立體視頻內(nèi)容適配到使用環(huán)境上，應(yīng)該管理使用環(huán)境信息，例如，關(guān)于用戶特征的信息StereoscopicVideoConversionType，關(guān)于終端特征的信息StereoscopicVideoDisplayType。
關(guān)于用戶特征的信息描述關(guān)于2D視頻或3D立體視頻轉(zhuǎn)換的用戶偏好。下面所示是語(yǔ)法的例子，該語(yǔ)法基于XML模式(schema)的定義，圖1中所示，來描述由視頻使用環(huán)境信息管理部分107所管理的用戶特征的描述信息結(jié)構(gòu)。
<complexType name＝ “StereoscopicVideoConversionType”>
<sequence>
<elementname＝ “Frorm2DTo3DStereoscopic” minOccurs＝ “0”>
<complexType>
<sequence>
<element name＝ “ParallaxType”>
<simpleType>
<restriction base ＝ “string”>
<enumeration value ＝ “Positive”/>
<enumeration value ＝ “Negative”/>
</restriction>
</simpleType>
</element>
<elementname＝ “DepthRange”type＝“mpeg7:zeroToOneType”/>
<elementname＝“MaxDelayedFrame”type＝“nonNegativeInteger”/>
</sequence>
</complexType>
</element>
<elementname＝“From3DStereoscopicTo2D”MinOccurs＝“0”/>
<complexType>
<sequence>
<element name ＝“LeftRightInterVideo”>
<simpleType>
<restriction base ＝“string”>
<enumeration value ＝ “Left”/>
<enumeration value ＝ “Right”/>
<enumeration value ＝ “Intermediate”/>
</restriction>
</simpleType>
</element>
</sequence>
</complexType>
</element>
</sequence>
</complexType>
圖1顯示用戶特征的元件。
參照由XML模式的定義描述的示范性語(yǔ)法，本發(fā)明的用戶特征被劃分成兩種類別，諸如從2D視頻到3D立體視頻的轉(zhuǎn)換情況From2DTo3Dstereoscopic和從3D立體視頻到2D視頻From3DStereoscopicTo2D的轉(zhuǎn)換情況。
在從2D視頻到3D立體視頻的轉(zhuǎn)換的情況中，ParallaxType表示為用戶對(duì)視差類型的偏好的負(fù)視差或正視差。
圖6是根據(jù)本發(fā)明描述視差的示范性圖。
參照?qǐng)D6，A表示負(fù)視差以及B表示正視差。也就是說，在負(fù)視差的情況下，在監(jiān)視器屏幕和人眼之間覺察到目標(biāo)的3D深度，而在正視差的情況下在屏幕后面覺察到目標(biāo)。
同樣，在從2D視頻信號(hào)到3D立體視頻信號(hào)的轉(zhuǎn)換的情況下，DepthRange表示用戶對(duì)3D立體視頻信號(hào)的視差深度的偏好。能根據(jù)3D深度的范圍的確定來增加或減少視差。
圖7是根據(jù)本發(fā)明描述深度范圍的示范性圖。
參照?qǐng)D7，在匯聚點(diǎn)A處，與B相比較覺察到較寬的深度。
同樣，在從2D視頻信號(hào)到3D立體視頻信號(hào)的轉(zhuǎn)換的情況下，MaxDelayedFrame表示延遲幀的最大數(shù)目。
立體轉(zhuǎn)換方案之一是利用延遲的圖像。也就是說，圖像順序是{...，Ik-3，Ik-2，Ik-1，Ik，...}和Ik是當(dāng)前的幀。先前幀之一，Ik-n(n＞1)被選擇。然后，立體圖像由Ik和Ik-n組成。由MaxDelayedFrame來確定延遲幀的最大數(shù)目n。
在從3D立體視頻信號(hào)到2D視頻信號(hào)的轉(zhuǎn)換的情況下，LeftRightInterVideo表示在左圖像、右圖像或合成圖像之中的用戶偏好，以便獲得具有較好質(zhì)量的圖像。
關(guān)于用戶終端特征的信息表示特征信息，諸如用戶終端的顯示硬件是單聲的或立體的，或視頻解碼器是立體的MPEG-2、立體的MPEG-4或立體的AVI視頻解碼器，或著色方法是交疊的、同雙的、頁(yè)面翻轉(zhuǎn)的、紅藍(lán)彩色立體圖、紅青彩色立體圖、或紅黃彩色立體圖。
如下所示是一種語(yǔ)法的例子，該語(yǔ)法基于XML方案的定義，如圖1中所示，表示由視頻使用環(huán)境信息管理部分107管理的用戶終端特征的描述信息結(jié)構(gòu)。
<complexType name＝“StereoscopicVideoDisplayType”>
<sequence>
<element name＝“DisplayDevice”>
<simpleType>
<restriction base ＝“string”>
<enumeration value ＝“Monoscopic”/>
<enumeration value ＝ “Stereoscopic”/>
</restriction>
</simpleType>
</element>
<element name ＝“StereoscopicDecoderType”type＝“mpeg7: ControlledTermUseType”/>
<element name ＝“RenderingFormat”/>
<simpleType>
<restriction base ＝“string”>
<enumeration value ＝“Interlaced”/>
<enumeration value ＝“Sync-Double”/>
<enumeration value ＝“Page-Flipping”/>
<enumeration value ＝“Anaglyph-Red-Blue”/>
<enumeration value ＝“Anaglyph-Red-Cyan”/>
<enumeration value ＝“Anaglyph-Red-Yellow”/>
</restriction>
</simpleType>
</element>
</sequence>
</complexType>
表2顯示用戶特征的元件。
DisplayType表示用戶終端的顯示硬件是單像的或立體的。
StereoscopicDecoderType表示視頻解碼器是立體MPEG-2、立體MPEG-4或立體AVI視頻解碼器。
RenderingFormat表示視頻解碼器是立體的MPEG-2、立體的MPEG-4或立體的AVI視頻解碼器，或著色方法是交疊的、同雙的、頁(yè)面翻轉(zhuǎn)的、紅藍(lán)彩色立體圖、紅青彩色立體圖、或紅黃彩色立體圖。
圖8A到8C是說明根據(jù)本發(fā)明的3D立體視頻信號(hào)的著色方法的示范性圖。參照?qǐng)D8A到8C，著色方法包括交疊的、同雙的和頁(yè)面翻轉(zhuǎn)的。
下面所示為一種語(yǔ)法的例子，該語(yǔ)法當(dāng)將2D視頻信號(hào)適配為3D立體視頻信號(hào)時(shí)表示諸如用戶的偏愛和愛好的用戶特征的描述信息結(jié)構(gòu)。
該語(yǔ)法表示ParallaxType表示負(fù)視差，DepthRange被設(shè)置為0.7并且延遲幀的最大數(shù)目是15。
同樣，該語(yǔ)法表示在3D立體視頻信號(hào)之中選擇合成圖像。
<StereoscopicVideoConversion>
<From2DTo3DStereoscopic>
<ParallaxType>Negative</ParallaxType>
<DepthRange>0.7</DepthRange>
<MaxDelayedFrame>15</MaxDelayedFrame>
</From2DTo3DStereoscopic>
<From3DStereoscopicTo2D>
<LeftRightInterVideo>Intermediate</LeftRightInterVideo>
</From3DStereoscopicTo2D>
</StereoscopicVideoConversion>
下面所示為一種語(yǔ)法的例子，該語(yǔ)法在3D立體視頻信號(hào)用戶終端的情況下表示用戶終端特征的描述信息結(jié)構(gòu)。
用戶終端支持單像顯示器、MPEG-1視頻解碼器和彩色立體圖。這些用戶終端特征被用于3D立體視頻信號(hào)用戶。
<StereoscopicVideoDisplay>
<DisplayDevice>Monoscopic</DisplayDevice>
<StereoscopicDecoderTypehref＝“urn:mpeg:mpeg7:cs:VisualCodingFormatCS:2001:1”>
<mpeg7:Name xml:lang＝“en”>MPEG-1 Video</mpeg7:Name>
</StereoscopicDecoderType>
<RenderingFormat>Anaglyph</RenderingFormat>
<StereoscopicVideoDisplay>
本發(fā)明的方法能被存儲(chǔ)在計(jì)算機(jī)可讀的記錄介質(zhì)中，例如，CD-ROM、RAM、ROM、軟盤、硬盤和光/磁盤中。
如上所述，通過使用關(guān)于用戶的偏好和愛好的信息和用戶終端特征，本發(fā)明能提供能將2D視頻內(nèi)容適配3D立體視頻內(nèi)容的和將3D立體視頻內(nèi)容適配2D視頻內(nèi)容的服務(wù)環(huán)境上，以便符合不同的使用環(huán)境和特征和用戶的偏好。
同樣，本發(fā)明的技術(shù)通過將2D視頻信號(hào)或3D立體視頻內(nèi)容適配到不同的使用環(huán)境和具有各種特征和趣味的用戶上，能將一個(gè)單一源提供到多個(gè)使用環(huán)境上。因此，能夠節(jié)約用于生產(chǎn)和發(fā)送多個(gè)視頻內(nèi)容的成本，并通過滿足用戶的偏好和克服用戶終端能力的限制，能提供最佳視頻內(nèi)容服務(wù)。雖然已經(jīng)參照特定實(shí)施例顯示和描述了本發(fā)明，但是對(duì)于本領(lǐng)域技術(shù)人員將顯然的是，在沒有脫離所附權(quán)利要求定義的本發(fā)明的精神和范圍的情況下，可以做出很多的變化和更改。
權(quán)利要求
1.一種用于為了單源多用途而適配二維(2D)或三維(3D)立體視頻信號(hào)的裝置，包括視頻使用環(huán)境信息管理裝置，用于獲取、描述和管理來自用戶終端的用戶特征信息；以及視頻適配裝置，用于將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
2.根據(jù)權(quán)利要求1所述的裝置，其中，所述用戶特征信息包括在將2D視頻信號(hào)適配到3D立體視頻信號(hào)的情況下諸如正視差或負(fù)視差的用戶偏好。
3.根據(jù)權(quán)利要求2所述的裝置，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<element name＝“ParallaxType”><simpleType><restriction base＝“string”><enumeration value＝“Positive”/><enumeration value＝“Negative”/></restriction></simpleType></element>。
4.根據(jù)權(quán)利要求1所述的裝置，其中，所述用戶特征信息包括在將2D視頻信號(hào)適配到3D立體視頻信號(hào)的情況下諸如3D立體視頻信號(hào)的視差深度的用戶偏好。
5.根據(jù)權(quán)利要求4所述的裝置，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<elementname＝“DepthRange”type＝“mpeg7zeroToOneType”/>。
6.根據(jù)權(quán)利要求1所述的裝置，其中，所述用戶特征信息包括在將2D視頻信號(hào)適配到3D立體視頻信號(hào)的情況下諸如延遲幀Ik-n的最大數(shù)目n的用戶偏好。
7.根據(jù)權(quán)利要求6所述的裝置，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<elementname＝“MaxDelayedFrame”type＝“nonNegativeInteger”/>。
8.根據(jù)權(quán)利要求1所述的裝置，其中，所述用戶特征信息包括在將3D立體視頻信號(hào)適配到2D視頻信號(hào)的情況下諸如其圖像信號(hào)選擇為2D視頻信號(hào)的用戶偏好。
9.根據(jù)權(quán)利要求8所述的裝置，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<element name＝“LeftRightInterVideo”><simpleType><restriction base＝“string”><enumeration value＝“Left”/><enumeration value＝“Right”/><enumeration value＝“Intermediate”/></restriction></simpleType></element>。
10.一種用于為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的裝置，包括視頻使用環(huán)境信息管理裝置，用于獲取、描述和管理來自用戶終端的用戶終端特征信息；以及視頻適配裝置，用于將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
11.根據(jù)權(quán)利要求10所述的裝置，其中，所述用戶特征信息包括關(guān)于由用戶終端支持的顯示設(shè)備的信息。
12.根據(jù)權(quán)利要求11所述的裝置，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<element name＝“DisplayDevice”><simpleType><restriction base＝“string”><enumeration value＝“Monoscopic”/><enumeration value＝“Stereoscopic”/></restriction></simpleType></element>。
13.根據(jù)權(quán)利要求10所述的裝置，其中，所述用戶特征信息包括關(guān)于3D視頻解碼器的信息。
14.根據(jù)權(quán)利要求13所述的裝置，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<element name＝“StereoscopicDecoderType”type＝“mpeg7ControlledTermUseType”/>。
15.根據(jù)權(quán)利要求10所述的裝置，其中，所述用戶特征信息包括關(guān)于3D視頻的著色方法的信息。
16.根據(jù)權(quán)利要求15所述的裝置，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中＜element name＝“RenderingFormat”＞ ＜simpleType＞ ＜restriction base＝“string”＞ ＜enumeration value＝“Interlaced”/＞ ＜enumeration value＝“Sync-Double”/＞ ＜enumeration value＝“Page-Flipping”/＞ ＜enumeration value＝“Anaglyph-Red-Blue”/＞ ＜enumeration value＝“Anaglyph-Red-Cyan”/＞ ＜enumeration value＝“Anaglyph-Red-Yellow”/＞ ＜/restriction＞ ＜/simpleType＞＜/element＞。
17.一種用于為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的方法，包括如下步驟a)獲取、描述和管理來自用戶終端的用戶特征信息；以及b)將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
18.根據(jù)權(quán)利要求17所述的方法，其中，所述用戶特征信息包括在將2D視頻信號(hào)適配到3D立體視頻信號(hào)的情況下諸如正視差或負(fù)視差的用戶偏好。
19.根據(jù)權(quán)利要求18所述的方法，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<element name＝“ParallaxType”><simpleType><restriction base＝“string”><enumeration value＝“Positive”/><enumeration value＝“Negative”/></restriction></simpleType></element>。
20.根據(jù)權(quán)利要求17所述的方法，其中，所述用戶特征信息包括在將2D視頻信號(hào)適配到3D立體視頻信號(hào)的情況下諸如3D立體視頻信號(hào)的視差深度的用戶偏好。
21.根據(jù)權(quán)利要求20所述的裝置，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<elementname＝“DepthRange”type＝“mpeg7zeroToOneType”/>。
22.根據(jù)權(quán)利要求17所述的裝置，其中，所述用戶特征信息包括在將2D視頻信號(hào)適配到3D立體視頻信號(hào)的情況下諸如延遲幀Ik-n的最大數(shù)目n的用戶偏好。
23.根據(jù)權(quán)利要求22所述的方法，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<elementname＝“MaxDelayedFrame”type＝“nonNegativeInteger”/>。
24.根據(jù)權(quán)利要求17所述的裝置，其中，所述用戶特征信息包括在將3D立體視頻信號(hào)適配到2D視頻信號(hào)的情況下諸如其圖像信號(hào)選擇為2D視頻信號(hào)的用戶偏好。
25.根據(jù)權(quán)利要求24所述的方法，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<element name＝“LeftRightInterVideo”><simpleType><restriction base＝“string”><enumeration value＝“Left”/><enumeration value＝“Right”/><enumeration value＝“Intermediate”/></restriction></simpleType></element>。
26.一種用于為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的方法，包括如下步驟a)獲取、描述和管理來自用戶終端的用戶終端特征信息；以及b)將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
27.根據(jù)權(quán)利要求26所述的方法，其中，所述用戶特征信息包括關(guān)于用戶終端所支持的顯示設(shè)備的信息。
28.根據(jù)權(quán)利要求27所述的方法，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<element name＝“DisplayDevice”><simpleType><restriction base＝“string”><enumeration value＝“Monoscopic”/><enumeration value＝“Stereoscopic”/></restriction></simpleType></element>。
29.根據(jù)權(quán)利要求26所述的方法，其中，所述用戶特征信息包括關(guān)于3D視頻解碼器的信息。
30.根據(jù)權(quán)利要求29所述的方法，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中<element name＝“StereoscopicDecoderType”type＝“mpeg7ControlledTermUseType”/>。
31.根據(jù)權(quán)利要求26所述的方法，其中，所述用戶特征信息包括關(guān)于3D視頻的著色方法的信息。
32.根據(jù)權(quán)利要求31所述的方法，其中，所述用戶特征信息被表示在如下的信息結(jié)構(gòu)中＜element name＝“RenderingFormat”＞ ＜simpleType＞ ＜restriction base＝“string”＞ ＜enumeration value＝“Interlaced”/＞ ＜enumeration value＝“Sync-Double”/＞ ＜enumeration value＝“Page-Flipping”/＞ ＜enumeration value＝“Anaglyph-Red-Blue”/＞ ＜enumeration value＝“Anaglyph-Red-Cyan”/＞ ＜enumeration value＝“Anaglyph-Red-Yellow”/＞ ＜/restriction＞ ＜/simpleType＞＜/element＞。
33.一種用于記錄程序的計(jì)算機(jī)可讀記錄介質(zhì)，該程序用于實(shí)現(xiàn)為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的方法，該方法包括如下步驟a)獲取、描述和管理來自用戶終端的用戶特征信息；以及b)將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
34.一種用于記錄程序的計(jì)算機(jī)可讀記錄介質(zhì)，該程序用于實(shí)現(xiàn)為了單源多用途而適配2D視頻信號(hào)或3D立體視頻信號(hào)的方法，該方法包括如下步驟a)獲取、描述和管理來自用戶終端的用戶終端特征信息；以及b)將視頻信號(hào)適配到視頻使用環(huán)境信息上以產(chǎn)生適配的2D視頻信號(hào)或3D立體視頻信號(hào)，并且將所適配的視頻信號(hào)輸出到用戶終端。
全文摘要
一種用于適配2D和3D立體視頻信號(hào)的裝置和方法。用于適配2D和3D立體視頻信號(hào)的裝置通過將數(shù)字內(nèi)容適配到包括用戶特征和終端特征的特定使用環(huán)境上，來向用戶提供數(shù)字內(nèi)容的最好經(jīng)驗(yàn)。該裝置允許與用戶的適配請(qǐng)求相關(guān)聯(lián)的視頻內(nèi)容的有效傳送。
文檔編號(hào)H04N7/24GK1682539SQ03821222
公開日2005年10月12日 申請(qǐng)日期2003年7月16日 優(yōu)先權(quán)日2002年7月16日
發(fā)明者南濟(jì)鎬, 金萬培, 洪鎮(zhèn)佑, 金鎮(zhèn)雄, 金在俊, 金炯中, 趙南翊, 金鱗澈, 金海光 申請(qǐng)人:韓國(guó)電子通信研究院