二維視頻到三維視頻的轉(zhuǎn)化方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于將二維(單視場(chǎng)的）視頻轉(zhuǎn)化為三維(立體的）視頻的方法和 系統(tǒng)，更具體地說(shuō)，涉及一種用于實(shí)時(shí)地將二維(單視場(chǎng)的）視頻轉(zhuǎn)化為三維(立體的）視頻 的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 人類(lèi)具有使用兩個(gè)隔開(kāi)大約2.5英寸(約6.5厘米)的眼睛的雙眼視覺(jué)系統(tǒng)。每只眼 睛從稍微不同的視角觀看世界。大腦使用這些視角中的不同來(lái)計(jì)算或估計(jì)距離。這種雙眼 視覺(jué)系統(tǒng)負(fù)責(zé)以相對(duì)好的精度確定對(duì)象的距離直到大約20英尺遠(yuǎn)的能力。視野中多個(gè)對(duì)象 的相對(duì)距離也可以被確定。僅利用一只眼睛會(huì)大大降低這種距離確定的精度。
[0003] 傳統(tǒng)的三維電影或視頻(下文一般地稱(chēng)為"視頻"）是利用相距約三英寸(例如與人 類(lèi)雙眼分開(kāi)的距離相同的距離)到八英寸的并行安裝的兩個(gè)視頻源(例如攝像機(jī))制作的。 這個(gè)距離經(jīng)常被稱(chēng)為視差（interaxial distance)或目間距。兩個(gè)視頻源實(shí)際生成了兩個(gè) 視頻;一個(gè)用于左眼且一個(gè)用于右眼。每個(gè)視頻由一系列的"幀"（被稱(chēng)為"幀"或"視頻幀"） 組成。
[0004] 傳統(tǒng)上，三維視頻的投影或顯示已經(jīng)通過(guò)利用例如顏色區(qū)分系統(tǒng)或偏振系統(tǒng)投影 或顯示多個(gè)視頻來(lái)完成。這可以利用每個(gè)顯示一個(gè)視頻的投影或顯示裝置(例如放映機(jī))來(lái) 完成。這還已利用以重疊或交錯(cuò)的方式顯示視頻的單一投影或顯示裝置(例如電腦的數(shù)字 或模擬顯示系統(tǒng)、BETAMAX?播放器、VCR、DVD播放器、藍(lán)光播放器、電視)來(lái)完成。人類(lèi) 的雙眼視覺(jué)系統(tǒng)能夠自動(dòng)地使這些重疊的顯示相關(guān)聯(lián)，這是因?yàn)槊恐谎劬χ荒芸吹街丿B或 交錯(cuò)顯示中的一個(gè)。
[0005] 圖1示出用于投影或顯示使用顏色區(qū)分的三維視頻22的示例性的傳統(tǒng)的顏色區(qū)分 系統(tǒng)20。第一視頻源24通過(guò)第一濾色鏡(例如紅色)投影，第二視頻源26通過(guò)第二濾色鏡(例 如藍(lán)色)投影。該圖中的視頻22利用夸大的雙倍圖像來(lái)顯示。觀眾帶著具有相應(yīng)顏色的透鏡 30、32的特殊眼鏡28。例如，第一透鏡30會(huì)是與一個(gè)濾色鏡的顏色相同的顏色（例如，藍(lán)色-示為平行于繪圖頁(yè)底部的水平線），第二透鏡32會(huì)是與另一個(gè)濾色鏡的顏色相同的顏色(例 如，紅色-示為平行于繪圖頁(yè)側(cè)的鉛垂線）。屏幕顯示會(huì)具有兩種顏色(示為從屏幕投影的箭 頭）。被第一透鏡30覆蓋的眼睛能觀看由投影或顯示相反顏色的視頻源24投影或顯示的圖 像。被第二透鏡32覆蓋的眼睛能觀看由投影或顯示相反顏色的視頻源26投影或顯示的圖 像。ChromaDepth?生產(chǎn)以相同的基本原理工作的眼鏡(使用具有類(lèi)似的雙色技術(shù)的微型 棱鏡）。
[0006] 圖2示出用于投影或顯示使用偏振區(qū)分的三維視頻42的示例性偏振區(qū)分系統(tǒng)40。 該圖中的視頻42利用夸大的雙倍圖像來(lái)顯示。這個(gè)系統(tǒng)利用以下事實(shí)：只有當(dāng)兩個(gè)偏振光 在相同方向偏振時(shí)，偏振光才會(huì)通過(guò)偏振眼鏡。因此，第一視頻源44投影通過(guò)第一偏振濾光 片（例如水平的），第二視頻源46投影通過(guò)第二偏振濾光片(例如垂直的）。觀眾帶著具有相 應(yīng)偏振透鏡50、52的特殊眼鏡48。例如，第一透鏡50會(huì)具有與一個(gè)偏振濾光片相同的偏振 (例如，如垂直虛線所示），第二透鏡52會(huì)具有與另一個(gè)偏振濾光片相同的偏振(例如，如水 平虛線所示）。在這個(gè)示例中，被第一透鏡50覆蓋的眼睛能觀看由水平投影偏振圖像的視頻 源44投影或顯示的圖片，被第二透鏡52覆蓋的眼睛能觀看由垂直投影偏振圖像的視頻源46 投影或顯示的圖片.
[0007] 用于顯示三維電影的另一項(xiàng)技術(shù)使用IXD快門(mén)式眼鏡。IXD快門(mén)式眼鏡具有使用液 晶和偏振濾光片的透鏡，偏振濾光片是透明的直到施加電壓，施加電壓時(shí)透鏡變黑。IR發(fā)射 器發(fā)射IR信號(hào)以觸發(fā)電壓使得透鏡在透明和變黑之間以交替的方式轉(zhuǎn)換，首先一只眼睛然 后另一只眼睛。這種透明/黑暗交替與專(zhuān)門(mén)的顯示屏的刷新率同步，專(zhuān)門(mén)的顯示屏使用稱(chēng)為 交替幀序列的技術(shù)在第一只眼睛的第一視角的顯示和第二只眼睛的第二顯示之間交替。 LCD快門(mén)式眼鏡和專(zhuān)門(mén)的顯示屏一起使用生成了三維圖像(或者至少圖像的三維元素）的幻 覺(jué)。
[0008] 三維電影已經(jīng)存在很長(zhǎng)時(shí)間。但是在它們的全盛期二十世紀(jì)五十年代之后，三維 電影作為一種媒介陷入衰退，電影制作者把他們的注意力轉(zhuǎn)到了其他技術(shù)上。但是新技術(shù) (包括偏振區(qū)分系統(tǒng)）已經(jīng)使得這種媒介更有吸引力，新的電影正在作為三維電影制作并發(fā) 布。為此的主要原因是三維電影的質(zhì)量有了明顯改善。三維電影變得受歡迎的另一個(gè)原因 是電影觀眾呈現(xiàn)愿意為這種特殊的效果付費(fèi)。
[0009] 即使電影制作者愿意投資用于制作新的三維電影的新技術(shù)，但是使用三維技術(shù)拍 攝電影明顯比使用二維技術(shù)昂貴得多。另外，已經(jīng)制作了成千上萬(wàn)的二維電影。所以需要找 到一種用于把二維電影轉(zhuǎn)化為三維電影的系統(tǒng)或者方法。
[0010] 看到這種需求，發(fā)明者們已經(jīng)嘗試生成用于將二維電影轉(zhuǎn)化為三維電影的方法和 30系統(tǒng)。例如，有很多專(zhuān)利涉及用于將二維電影轉(zhuǎn)化為三維觀影的方法和系統(tǒng)。這些專(zhuān)利中 的很多描述了一些類(lèi)型的分析以"識(shí)別"、"刪掉"和/或"移動(dòng)"場(chǎng)景中的一個(gè)或多個(gè)元素或 對(duì)象，然后將元素或?qū)ο蠓謱右陨缮疃鹊幕糜X(jué)。落入這一類(lèi)別的專(zhuān)利包括但不限于 Richards的專(zhuān)利號(hào)為6，477,267的美國(guó)專(zhuān)利和Naske的專(zhuān)利號(hào)為7,321,374的美國(guó)專(zhuān)利。然 而，這些把二維電影轉(zhuǎn)化為三維(立體)觀影的現(xiàn)有技術(shù)方法不再起作用（也就是，理論上它 們可以起作用，但是實(shí)際上它們不能起作用，因?yàn)楫?dāng)前可獲得的電腦技術(shù)沒(méi)有強(qiáng)大到足以 實(shí)施這些計(jì)算密集型的方法）、為資源密集型的、和/或不產(chǎn)生可接受的結(jié)果(例如硬紙板剪 切效果(cardboard cut-out effeet))。例如，一些現(xiàn)有技術(shù)方法是計(jì)算密集型的使得現(xiàn)有 的處理器沒(méi)有強(qiáng)大到足以處理每個(gè)給定場(chǎng)景中超過(guò)幾個(gè)要素或?qū)ο蟮挠?jì)算。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明的一個(gè)優(yōu)選實(shí)施例涉及一種用于將二維視頻轉(zhuǎn)化為三維視頻的方法。方法 包括以下步驟:比較至少部分視頻幀X和相應(yīng)的至少部分視頻幀y以確定幀之間的運(yùn)動(dòng)，基 于確定的運(yùn)動(dòng)來(lái)計(jì)算運(yùn)動(dòng)方向和運(yùn)動(dòng)程度，基于運(yùn)動(dòng)方向確定觀影幀L和觀影幀R，以及基 于運(yùn)動(dòng)方向和運(yùn)動(dòng)程度修改觀影幀R以生成修改的觀影幀R'。
[0012] 在優(yōu)選實(shí)施例中，比較的步驟進(jìn)一步包括比較視頻幀X的預(yù)定數(shù)量的像素和相應(yīng) 的視頻幀y的預(yù)定數(shù)量的像素以確定它們之間的運(yùn)動(dòng)。在可選的優(yōu)選實(shí)施例中，比較的步驟 進(jìn)一步包括以下步驟:比較視頻幀X的邊緣處的至少一個(gè)像素和相應(yīng)的視頻幀y的邊緣處的 至少一個(gè)像素，比較視頻幀X的中間的至少一個(gè)像素和相應(yīng)的視頻幀y的中間的至少一個(gè)像 素，和/或比較視頻幀X的至少兩個(gè)角落(corner)處的至少一個(gè)像素和相應(yīng)的視頻幀y的至 少兩個(gè)角落處的至少一個(gè)像素以確定它們之間的運(yùn)動(dòng)。
[0013] 在優(yōu)選實(shí)施例中，基于運(yùn)動(dòng)方向確定觀影幀L和觀影幀R的步驟進(jìn)一步包括以下步 驟：（1)當(dāng)運(yùn)動(dòng)方向向右時(shí)，設(shè)置視頻幀X為觀影幀L，設(shè)置視頻幀y為觀影幀R以及(2)當(dāng)運(yùn)動(dòng) 方向向左時(shí)，設(shè)置視頻幀X為觀影幀R，設(shè)置視頻幀y為觀影幀L。
[0014] 在優(yōu)選實(shí)施例中，修改觀影幀R的步驟進(jìn)一步包括數(shù)字化地使觀影幀R變形 (distort)以生成修改的觀影幀R'。數(shù)字變形可以是數(shù)字化地把觀影幀R變形為拉伸的梯形 以生成修改的觀影幀R'。數(shù)字變形可以數(shù)字化地把觀影幀R變形為具有超出裁剪掉的原始 幀尺寸的邊緣的拉伸的梯形以生成修改的觀影幀R'。
[0015] 本發(fā)明還可涉及一種用于把二維視頻轉(zhuǎn)化為三維視頻的視頻顯示裝置。
[0016] 本發(fā)明還可涉及一種或多種存儲(chǔ)可執(zhí)行指令的裝置可讀介質(zhì)，當(dāng)執(zhí)行可執(zhí)行指令 時(shí)，配置視頻顯示裝置以將二維視頻轉(zhuǎn)化為三維視頻。
[0017] 考慮下列結(jié)合附圖的本發(fā)明的詳細(xì)說(shuō)明，本發(fā)明的上述和其他目標(biāo)、特征和優(yōu)點(diǎn) 將更加容易理解。
【附圖說(shuō)明】
[0018] 包含在部分說(shuō)明書(shū)中并組成部分說(shuō)明書(shū)的【附圖說(shuō)明】了各種示例性實(shí)施例。
[0019]圖1是示例性的傳統(tǒng)顏色區(qū)分系統(tǒng)的簡(jiǎn)化透視圖。
[0020] 圖2是示例性的傳統(tǒng)偏振區(qū)分系統(tǒng)的簡(jiǎn)化透視圖。
[0021] 圖3是示出用于將二維視頻轉(zhuǎn)化為三維視頻的10方法或系統(tǒng)的示例性優(yōu)選實(shí)施例 的流程圖。
[0022] 圖4是使用顏色區(qū)分系統(tǒng)的示例性優(yōu)選實(shí)施例結(jié)合連續(xù)視頻幀對(duì)以生成觀影幀的 示例性優(yōu)選實(shí)施例的簡(jiǎn)化框圖。
[0023] 圖5是使用偏振區(qū)分系統(tǒng)的示例性優(yōu)選實(shí)施例結(jié)合連續(xù)視頻幀對(duì)以生成觀影幀的 示例性優(yōu)選實(shí)施例的