專利名稱：用于三維視頻的自動(dòng)轉(zhuǎn)換的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
與示例性實(shí)施例一致的設(shè)備和方法涉及重建三維(3D)視頻執(zhí)行的視頻格式轉(zhuǎn)換，所述3D視頻是左視點(diǎn)視頻和右視點(diǎn)視頻的混合。
背景技術(shù)：
從多個(gè)視點(diǎn)獲得的多條二維QD)視頻被用于顯示3D視頻?？捎枚喾N格式記錄所述多條2D視頻?，F(xiàn)有3D顯示設(shè)備交替地顯示從不同視點(diǎn)獲取的多條2D視頻以顯示3D視頻。因此，為了準(zhǔn)確地顯示3D視頻，需要準(zhǔn)確地從3D視頻中提取所述多條2D視頻。為此， 需要關(guān)于3D視頻的格式的正確信息。

發(fā)明內(nèi)容
解決方案根據(jù)示例性實(shí)施例的一方面，提供了一種轉(zhuǎn)換3D視頻格式的方法，所述方法包括接收包括具有左視點(diǎn)視頻和右視點(diǎn)視頻的3D視頻的視頻序列；估計(jì)左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息以及左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息中的至少一個(gè)，并基于估計(jì)的結(jié)果確定3D視頻的3D視頻格式，所述3D視頻格式表示左視點(diǎn)視頻和右視點(diǎn)視頻被布置在3D視頻中的方式；基于3D視頻格式將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為這樣的格式，以在顯示裝置中三維地顯示所述左視點(diǎn)視頻和右視點(diǎn)視頻；在顯示裝置中顯示轉(zhuǎn)換的左視點(diǎn)視頻和右視點(diǎn)視頻。示例性實(shí)施例提供一種通過(guò)分析3D視頻并確定3D視頻的格式來(lái)三維地顯示視頻的方法，所述3D視頻格式表示左視點(diǎn)視頻和右視點(diǎn)視頻被布置的方式。


通過(guò)參照附圖以上述和其它方面的特定示例性實(shí)施例進(jìn)行描述，上述和其它方面將變得更加清楚，其中圖1是根據(jù)示例性實(shí)施例的3D視頻格式轉(zhuǎn)換設(shè)備的框圖；圖2是根據(jù)示例性實(shí)施例的對(duì)3D視頻編碼/解碼的系統(tǒng)的框圖；圖3是根據(jù)示例性實(shí)施例的生成3D視頻并對(duì)3D視頻編碼/解碼的系統(tǒng)的框圖；圖4示出根據(jù)示例性實(shí)施例的3D視頻的多種3D視頻格式；圖5是詳細(xì)示出根據(jù)示例性實(shí)施例的包括在圖1的3D視頻格式轉(zhuǎn)換設(shè)備中的格式確定單元的構(gòu)造的框圖；圖6示出示圖，并示出根據(jù)示例性實(shí)施例的估計(jì)3D視頻的左區(qū)域和右區(qū)域之間的視差信息的方法，以及根據(jù)示例性實(shí)施例的估計(jì)3D視頻的上區(qū)域和下區(qū)域之間的視差信息的方法；圖7示出示圖，所述示圖示出根據(jù)示例性實(shí)施例的估計(jì)關(guān)于3D視頻的水平線的視差信息的方法，以及根據(jù)示例性實(shí)施例的估計(jì)關(guān)于3D視頻的垂直線的視差信息的方法；
圖8示出曲線圖和流程圖，所述曲線圖示出根據(jù)示例性實(shí)施例的估計(jì)3D視頻中的視差區(qū)間的方法，所述流程圖示出根據(jù)示例性實(shí)施例的估計(jì)視差信息的方法；圖9示出根據(jù)示例性實(shí)施例的估計(jì)水平像素值之間的相關(guān)性信息的方法，以及根據(jù)示例性實(shí)施例的估計(jì)垂直像素值之間的相關(guān)性信息的方法；圖10示出根據(jù)示例性實(shí)施例的具有頂?shù)赘袷降?D視頻，并更詳細(xì)地示出在3D視頻的上區(qū)域和下區(qū)域之間的邊界線的部分；圖11示出根據(jù)示例性實(shí)施例的具有并排格式的3D視頻，并更詳細(xì)地示出在3D視頻的左區(qū)域和右區(qū)域之間的邊界線的部分；圖12示出根據(jù)示例性實(shí)施例的具有邊界區(qū)域和并排格式的3D視頻，并更詳細(xì)地示出3D視頻的邊界區(qū)域的部分；圖13示出曲線圖，其中，一曲線圖示出根據(jù)示例性實(shí)施例的在時(shí)間軸上的2D視頻的連續(xù)幀的像素值之間的差的平均值，一曲線圖示出根據(jù)示例性實(shí)施例的在時(shí)間軸上具有幀序列格式的3D視頻的連續(xù)幀的像素值之間的差的平均值；圖14示出根據(jù)示例性實(shí)施例的通過(guò)使用時(shí)間軸上的三個(gè)連續(xù)幀來(lái)確定3D視頻格式是否是幀序列格式的方法；圖15示出當(dāng)3D視頻格式被確定時(shí)發(fā)生錯(cuò)誤的情況；圖16示出根據(jù)示例性實(shí)施例的糾正當(dāng)3D視頻格式被確定時(shí)發(fā)生的錯(cuò)誤的方法；圖17是示出根據(jù)示例性實(shí)施例的包含格式轉(zhuǎn)換和3D顯示的后處理的框圖；圖18是示出根據(jù)示例性實(shí)施例的轉(zhuǎn)換3D視頻格式的方法的流程圖；圖19示出根據(jù)示例性實(shí)施例的在互聯(lián)網(wǎng)網(wǎng)站搜索具有3D視頻格式的3D視頻內(nèi)容的方法；圖20示出根據(jù)示例性實(shí)施例的再現(xiàn)網(wǎng)絡(luò)中的具有3D視頻格式的3D視頻內(nèi)容的方法。最佳實(shí)施方式根據(jù)示例性實(shí)施例的一方面，提供了一種轉(zhuǎn)換3D視頻的格式的方法，所述方法包括接收包括具有左視點(diǎn)視頻和右視點(diǎn)視頻的3D視頻的視頻序列；估計(jì)左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息和左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息中的至少一個(gè)，并基于估計(jì)的結(jié)果確定3D視頻的3D視頻格式，其中，所述3D視頻格式表示左視點(diǎn)視頻和右視點(diǎn)視頻在3D視頻中被布置的方式；基于3D視頻格式將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為使得左視點(diǎn)視頻和右視點(diǎn)視頻在顯示裝置中被三維地顯示的格式；在顯示裝置中三維地顯示轉(zhuǎn)換的左視點(diǎn)視頻和右視點(diǎn)視頻。3D視頻格式的確定可包括基于左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息，確定 3D視頻格式是否是并排格式、頂?shù)赘袷健⑺骄€交錯(cuò)格式或垂直線交錯(cuò)格式。3D視頻格式的確定可包括基于左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息，確定3D視頻格式是否是水平線交錯(cuò)格式、垂直線交錯(cuò)格式或跳棋盤(pán)格式。3D視頻格式的確定可包括基于左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息，確定3D視頻格式是否是水平線交錯(cuò)格式、垂直線交錯(cuò)格式或跳棋盤(pán)格式；并基于視差信息確定3D視頻格式是場(chǎng)序列格式還是幀序列格式。3D視頻格式的確定可包括通過(guò)檢測(cè)左視點(diǎn)視頻和右視點(diǎn)視頻之間的邊界線來(lái)確定3D視頻格式是并排格式還是頂?shù)赘袷?。為了?D視頻的具有紋理的區(qū)域中確定3D視頻的3D視頻格式，3D視頻格式的確定還可包括通過(guò)計(jì)算左視點(diǎn)視頻和右視點(diǎn)視頻的對(duì)應(yīng)區(qū)域的平滑度來(lái)檢測(cè)具有紋理的區(qū)域。3D視頻格式的確定可包括通過(guò)使用上下差分圖像來(lái)估計(jì)第一視差信息(考慮頂?shù)赘袷蕉烙?jì)的視差)，所述上下差分圖像表示3D視頻的上區(qū)域和下區(qū)域之間的差值的絕對(duì)值；通過(guò)使用左右差分圖像來(lái)估計(jì)第二視差信息(考慮并排格式而估計(jì)的視差)，所述左右差分圖像表示3D視頻的左區(qū)域和右區(qū)域之間的差值的絕對(duì)值。3D視頻格式的確定可包括基于第一視差信息和第二視差信息確定3D視頻格式是頂?shù)赘袷竭€是并排格式。3D視頻格式的確定可包括將3D視頻中的垂直線分為奇數(shù)垂直線和偶數(shù)垂直線， 并通過(guò)使用垂直線差分圖像來(lái)估計(jì)第三視差信息，所述垂直線差分圖像表示奇數(shù)垂直線和偶數(shù)垂直線之間的差值的絕對(duì)值；將3D視頻中的水平線分為奇數(shù)線和偶數(shù)水平線，并通過(guò)使用水平線差分圖像來(lái)估計(jì)第四視差信息，所述水平線差分圖像表示奇數(shù)水平線和偶數(shù)水平線之間的差值的絕對(duì)值。3D視頻格式的確定還可包括基于第三視差信息和第四視差信息確定3D視頻格式是垂直線交錯(cuò)格式還是水平線交錯(cuò)格式。3D視頻格式的確定還可包括當(dāng)?shù)谝粎^(qū)間的長(zhǎng)度比第一最長(zhǎng)視差大時(shí)，將第一區(qū)間選為第一視差信息的候選區(qū)間，其中，在所述第一區(qū)間中上下差分圖像中的連續(xù)像素的值比第一閾值大；當(dāng)?shù)诙^(qū)間的長(zhǎng)度比第二最長(zhǎng)視差大時(shí)，將第二區(qū)間選為第二視差信息的候選區(qū)間，其中，在所述第二區(qū)間中左右差分圖像的連續(xù)像素的值比第二閾值大。3D視頻格式的確定還可包括將第一視差信息的候選區(qū)間的總數(shù)與第二視差信息的候選區(qū)間的總數(shù)進(jìn)行比較，當(dāng)?shù)谝灰暡钚畔⒌暮蜻x區(qū)間的總數(shù)比第二視差信息的候選區(qū)間的總數(shù)小時(shí)確定3D視頻格式是頂?shù)赘袷?，?dāng)?shù)谝灰暡钚畔⒌暮蜻x區(qū)間的總數(shù)比第二視差信息的候選區(qū)間的總數(shù)大時(shí)確定3D視頻格式是并排格式。3D視頻格式的確定還可包括當(dāng)?shù)谌齾^(qū)間的長(zhǎng)度比第三最長(zhǎng)視差大時(shí)，將第三區(qū)間選為第三視差信息的候選區(qū)間，其中，在所述第三區(qū)間中垂直線差分圖像的連續(xù)像素的值比第三閾值大；當(dāng)?shù)谒膮^(qū)間的長(zhǎng)度比第四最長(zhǎng)視差大時(shí)，將第四區(qū)間選為第四視差信息的候選區(qū)間，其中，在所述第四區(qū)間中水平線差分圖像的連續(xù)像素的值比第四閾值大。3D視頻格式的確定還可包括將第三視差信息的候選區(qū)間的總數(shù)與第四視差信息的候選區(qū)間的總數(shù)進(jìn)行比較，當(dāng)?shù)谌暡钚畔⒌暮蜻x區(qū)間的總數(shù)比第四視差信息的候選區(qū)間的總數(shù)大時(shí)確定3D視頻格式是垂直線交錯(cuò)格式，當(dāng)?shù)谌暡钚畔⒌暮蜻x區(qū)間的總數(shù)比第四視差信息的候選區(qū)間的總數(shù)小時(shí)確定3D視頻格式是水平線交錯(cuò)格式。3D視頻格式的確定還可包括估計(jì)在垂直方向連續(xù)的3D視頻的三個(gè)像素的值之間的相關(guān)性信息；估計(jì)在水平方向連續(xù)的3D視頻的三個(gè)像素的值之間的相關(guān)性信息。3D視頻格式的確定可包括當(dāng)在水平方向的像素的值之間的多條相關(guān)性信息(所述相關(guān)性信息比像素值之間的相關(guān)性的閾值大)的總數(shù)比預(yù)定閾值大時(shí)，并且當(dāng)在垂直方向的像素的值之間的多條相關(guān)性信息(所述相關(guān)性信息比像素值之間的相關(guān)性的閾值大) 的總數(shù)比預(yù)定閾值小時(shí)，確定3D視頻格式為垂直線交錯(cuò)格式；當(dāng)在水平方向的像素的值之間的多條相關(guān)性信息(所述相關(guān)性信息比像素值之間的相關(guān)性的閾值大)的總數(shù)比預(yù)定閾值小時(shí)，并且當(dāng)在垂直方向的像素的值之間的多條相關(guān)性信息(所述相關(guān)性信息比像素值之間的相關(guān)性的閾值大)的總數(shù)比預(yù)定閾值大時(shí)，確定3D視頻格式為水平線交錯(cuò)格式；當(dāng)在水平方向的像素的值之間的多條相關(guān)性信息(所述相關(guān)性信息比像素值之間的相關(guān)性的閾值大)的總數(shù)和在垂直方向的像素的值之間的多條相關(guān)性信息(所述相關(guān)性信息比像素值之間的相關(guān)性的閾值大)的總數(shù)兩者都比預(yù)定閾值大時(shí)，確定3D視頻格式為跳棋盤(pán)格式。在垂直方向連續(xù)的三個(gè)像素的值之間的相關(guān)性信息可以是第二差值和第三差值的總和與第一差值的比，其中，所述第一差值是上像素和下像素之間的差值的絕對(duì)值，所述第二差值是上像素和中間像素之間的差值的絕對(duì)值，所述第三差值是在垂直方向連續(xù)的三個(gè)像素中的中間像素和下像素之間的差值的絕對(duì)值。在水平方向連續(xù)的三個(gè)像素的值之間的相關(guān)性信息可以是第五差值和第六差值的總和與第四差值的比，其中，所述第四差值是左像素和右像素之間的差值的絕對(duì)值，所述第五差值是左像素和中心像素之間的差值的絕對(duì)值，所述第六差值是在水平方向連續(xù)的三個(gè)像素中的中心像素和右像素之間的差值的絕對(duì)值。3D視頻格式的確定還可包括估計(jì)在時(shí)間軸上的3D視頻的三個(gè)連續(xù)的幀之間的暫時(shí)視差的改變。在時(shí)間軸上的3D視頻的三個(gè)連續(xù)幀之間的暫時(shí)視差的改變可以是第二差分幀數(shù)據(jù)和第三差分幀數(shù)據(jù)的總和與第一差分幀數(shù)據(jù)的比，其中，所述第一差分幀數(shù)據(jù)是第一幀和第三幀之間的差值的絕對(duì)值，所述第二差分幀數(shù)據(jù)第一幀和第二幀之間的差值的絕對(duì)值，所述第三差分幀數(shù)據(jù)是在時(shí)間軸上的三個(gè)連續(xù)幀中的第二幀和第三幀的差值的絕對(duì)值。左視點(diǎn)視頻和右視點(diǎn)視頻之間的邊界線的檢測(cè)可包括將3D視頻分為兩個(gè)相等的上區(qū)域和下區(qū)域，計(jì)算水平邊界線差值與上水平邊界線差值和下水平邊界線差值的總和的比，其中，所述上水平邊界線差值是被置于上區(qū)域和下區(qū)域之間的水平邊界線之上并與該水平邊界線垂直的兩個(gè)鄰近像素之間的差值的絕對(duì)值，所述下水平邊界線差值是被置于該水平邊界線之下并與該水平邊界線垂直的兩個(gè)鄰近像素之間的差值的絕對(duì)值，所述水平邊界線差值是該水平邊界線之上的像素和該水平邊界線之下的像素之間的差值的絕對(duì)值； 并可包括當(dāng)水平邊界線差值與上水平邊界線差值和下水平邊界線差值的總和的比的總和大于水平邊界線閾值時(shí)，確定3D視頻為頂?shù)赘袷?。左視點(diǎn)視頻和右視點(diǎn)視頻之間的邊界線的檢測(cè)可包括將3D視頻分為兩個(gè)相等的左區(qū)域和右區(qū)域，計(jì)算垂直邊界線差值與左垂直邊界線差值和下垂直邊界線差值的總和的比，其中，所述左垂直邊界線差值是被垂直置于左區(qū)域和右區(qū)域之間的垂直邊界線的左側(cè)的兩個(gè)鄰近像素之間的差值的絕對(duì)值，所述右水平邊界差值是被垂直置于水平邊界線的右側(cè)的兩個(gè)鄰近像素之間的差值的絕對(duì)值，所述水平邊界線差值是被分別置于垂直邊界線左側(cè)的像素和被置于垂直邊界線右側(cè)的像素之間的差值的絕對(duì)值；并可包括當(dāng)垂直邊界線差值與左水平邊界線差值和右水平邊界線差值的總和的比的總和大于垂直邊界線閾值時(shí)，確定3D視頻為并排格式。邊界線的檢測(cè)可包括當(dāng)3D視頻具有關(guān)于邊界線的包括至少預(yù)定數(shù)量的黑線的邊界區(qū)域時(shí)，確定除邊界區(qū)域之外的3D視頻的3D視頻格式。如果來(lái)自于3D視頻的多個(gè)幀，第一多個(gè)幀的3D視頻格式被確定為第一格式，第二多個(gè)幀的3D視頻格式被確定為第二格式，剩余多個(gè)幀的3D視頻格式被確定為第一格式，則 3D視頻格式的確定可包括基于3D視頻格式被確定為第二格式的預(yù)定數(shù)量的幀的總數(shù)將第二多個(gè)幀的3D視頻格式從第二格式改變?yōu)榈谝桓袷?。預(yù)定數(shù)量的幀的3D視頻格式的改變可包括在確定第二多個(gè)幀具有第二格式之后檢查預(yù)定數(shù)量的另外的幀是否被確定為具有第二格式；將第二多個(gè)幀的3D視頻格式改變?yōu)榈谝桓袷?，最終確定剩余多個(gè)幀具有第二格式。所述方法還可包括通過(guò)將3D視頻格式用作關(guān)鍵字在互聯(lián)網(wǎng)網(wǎng)站中搜索3D視頻內(nèi)容，其中，視頻序列的接收包括接收在網(wǎng)絡(luò)中搜索的3D視頻內(nèi)容。在網(wǎng)絡(luò)中對(duì)3D視頻內(nèi)容的搜索可包括搜索作為2D視頻和3D視頻的混合的視頻內(nèi)容。視頻序列的接收可包括接收在網(wǎng)絡(luò)中搜索的視頻內(nèi)容。將3D視頻的左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為格式的步驟可包括基于作為關(guān)鍵字的3D視頻格式將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為使得左視點(diǎn)視頻和右視點(diǎn)視頻被三維地再現(xiàn)的格式。所述方法還可包括 二維地再現(xiàn)視頻序列的2D視頻，并且以3D視頻被轉(zhuǎn)換為的述格式三維地再現(xiàn)3D視頻。3D視頻的位置信息可從3D視頻內(nèi)容的提供者被發(fā)送到網(wǎng)絡(luò)瀏覽器。網(wǎng)絡(luò)瀏覽器可估計(jì)視差信息和鄰近像素值之間的相關(guān)性信息中的至少一個(gè)，確定3D視頻的3D視頻格式，將3D視頻轉(zhuǎn)換成使得3D視頻被三維地再現(xiàn)的格式，然后三維地再現(xiàn)3D視頻。所述方法還可包括檢測(cè)3D視頻內(nèi)容中的3D視頻的位置，其中，該檢測(cè)由3D顯示裝置執(zhí)行。3D顯示裝置可在3D視頻的位置三維地再現(xiàn)轉(zhuǎn)換的3D視頻。根據(jù)另一示例性實(shí)施例的一方面，提供一種用于轉(zhuǎn)換3D視頻的格式的設(shè)備，所述設(shè)備包括視頻輸入單元，接收包括具有左視點(diǎn)視頻和右視點(diǎn)視頻的3D視頻的視頻序列； 格式確定單元，估計(jì)左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息和左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息中的至少一個(gè)，并基于估計(jì)的結(jié)果確定3D視頻的3D視頻格式，其中，所述3D視頻格式表示左視點(diǎn)視頻和右視點(diǎn)視頻在3D視頻中被布置的方式；格式轉(zhuǎn)換單元，基于3D視頻格式將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換成使得左視點(diǎn)視頻和右視點(diǎn)視頻在顯示裝置中被三維地顯示的格式；顯示單元，將轉(zhuǎn)換的左視點(diǎn)視頻和右視點(diǎn)視頻三維地顯示在顯示裝置中。根據(jù)另一示例性實(shí)施例的一方面，提供了一種記錄有用于執(zhí)行轉(zhuǎn)換3D視頻的格式的方法的計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)。示例性實(shí)施例可解決至少上述問(wèn)題和/或缺點(diǎn)以及上面沒(méi)有描述的其它缺點(diǎn)。此夕卜，不需要示例性實(shí)施例克服上面描述的缺點(diǎn)，示例性實(shí)施例可不克服上面描述的任何問(wèn)題。
具體實(shí)施例方式本申請(qǐng)要求于2009年6月23日提交的第61/219，438號(hào)美國(guó)臨時(shí)申請(qǐng)以及于2009 年8月25日提交的第10-2009-0078841號(hào)韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)，所述申請(qǐng)的公開(kāi)通過(guò)引用整體包含于此。下面參照附圖更詳細(xì)地描述特定示例性實(shí)施例。
在下面的描述中，即使在不同的附圖中，相同的標(biāo)號(hào)被用于相同的元件。提供在描述中限定的事物(例如，詳細(xì)的結(jié)構(gòu)和元件)以幫助對(duì)示例性實(shí)施例的全面理解。然而，示例性實(shí)施例可在沒(méi)有那些特別限定的事物的情況下被實(shí)踐。在下文，將參照?qǐng)D1至圖20詳細(xì)描述用于轉(zhuǎn)換3D視頻的格式的多個(gè)示例性實(shí)施例。圖1是根據(jù)示例性實(shí)施例的3D視頻格式轉(zhuǎn)換設(shè)備100的框圖。參照?qǐng)D1，3D視頻轉(zhuǎn)換設(shè)備100包括視頻輸入單元110、格式確定單元120、格式轉(zhuǎn)換單元130以及顯示單元 140。經(jīng)由視頻輸入單元110輸入的視頻的序列包括包含左視點(diǎn)視頻和右視點(diǎn)視頻的 3D視頻。輸入視頻可以是2D視頻、3D視頻或2D視頻和3D視頻的混合視頻。在混合視頻中，可根據(jù)時(shí)間或空間混合2D視頻部分和3D視頻部分。例如，左視點(diǎn)視頻和右視點(diǎn)視頻可被布置在3D視頻的一幀中，從而3D視頻幀可包括關(guān)于左視點(diǎn)視頻和右視點(diǎn)視頻的信息。另一方面，可通過(guò)交替地重復(fù)左視點(diǎn)視頻幀和右視點(diǎn)視頻幀或者交替地重復(fù)左視點(diǎn)視頻場(chǎng)和右視點(diǎn)視頻場(chǎng)來(lái)生成3D視頻序列。在下文，左視點(diǎn)視頻和右視點(diǎn)視頻在3D視頻中被布置的方式將被表示為“3D視頻格式”。格式確定單元120分析包含在輸入視頻中的3D視頻并確定3D視頻格式。格式確定單元120分析3D視頻，并估計(jì)關(guān)于3D視頻的視差信息或3D視頻的鄰近像素的值之間的相關(guān)性信息中的至少一個(gè)。格式確定單元120基于估計(jì)的視差信息和/或估計(jì)的相關(guān)性信息確定3D視頻格式。如果輸入視頻是2D視頻，則不確定3D視頻格式。根據(jù)示例性實(shí)施例，格式確定單元120可基于相關(guān)性信息或包含在3D視頻中的左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息來(lái)確定3D視頻格式是否是并排(side by side)格式、頂?shù)?top and bottom)格式、水平線交錯(cuò)(horizontal line interleaved)格式、垂直線交錯(cuò)(vertical line interleaved)格式或跳棋盤(pán)(checker board)格式。可選地，格式確定單元120可基于關(guān)于3D視頻的每個(gè)場(chǎng)或幀的視差信息來(lái)確定3D視頻格式是場(chǎng)序列格式或是幀序列格式。格式確定單元120可以按照并行方式估計(jì)視差信息和相關(guān)性信息以確定3D視頻格式?？蛇x地，格式確定單元120可僅估計(jì)視差信息或僅估計(jì)相關(guān)性信息以確定3D視頻格式。例如，格式確定單元120可基于關(guān)于左視點(diǎn)視頻和右視點(diǎn)視頻的視差信息來(lái)確定 3D視頻格式是否是并排格式、頂?shù)赘袷?、水平線交錯(cuò)格式或垂直線交錯(cuò)格式。此外，格式確定單元120可通過(guò)使用左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素的值之間的相關(guān)性信息來(lái)確定3D視頻格式是否是水平線交錯(cuò)格式、垂直線交錯(cuò)格式或跳棋盤(pán)格式。格式確定單元120可檢測(cè)并使用左視點(diǎn)視頻和右視點(diǎn)視頻之間的邊界線以改進(jìn)用于確定3D視頻格式是并排格式還是頂?shù)赘袷降男阅?。在沒(méi)有紋理的單調(diào)寬闊的圖像區(qū)域中可能不正確地估計(jì)視差信息或相關(guān)性信息。 因此，格式確定單元120可計(jì)算左視點(diǎn)視頻和右視點(diǎn)視頻的對(duì)應(yīng)區(qū)域的平滑度，并且檢測(cè) 3D視頻的具有紋理的區(qū)域，所述3D視頻的3D視頻格式將被確定。格式確定單元120可通過(guò)下述方式估計(jì)視差信息從上區(qū)域和下區(qū)域之間的差值估計(jì)關(guān)于3D視頻的上區(qū)域和下區(qū)域之間的視差的信息，并且基于左區(qū)域和右區(qū)域之間的差的絕對(duì)值估計(jì)關(guān)于3D視頻的左區(qū)域和右區(qū)域之間的視差的信息。
格式確定單元120可基于估計(jì)的關(guān)于上區(qū)域和下區(qū)域之間的或左區(qū)域和右區(qū)域之間的視差的信息來(lái)確定3D視頻格式是頂?shù)赘袷竭€是并排格式?？蛇x地，格式確定單元120可通過(guò)下述方式估計(jì)視差信息從垂直線差分圖像估計(jì)關(guān)于3D視頻的垂直線之間的視差的信息，所述垂直線差分圖像表示3D視頻的奇數(shù)垂直線和偶數(shù)垂直線之間的差的絕對(duì)值；以及從水平線差分圖像估計(jì)關(guān)于3D視頻的水平線之間的視差的信息，所述水平線差分圖像表示3D視頻的奇數(shù)水平線和偶數(shù)水平線之間的差的絕對(duì)值。格式確定單元120可基于估計(jì)的關(guān)于水平線之間的視差的信息以及關(guān)于垂直線之間的視差的信息來(lái)確定3D視頻格式是水平線交錯(cuò)格式還是垂直線交錯(cuò)格式。關(guān)于上區(qū)域和下區(qū)域之間的視差的信息、關(guān)于左區(qū)域和右區(qū)域之間的視差的信息、關(guān)于垂直線之間的視差的信息以及關(guān)于水平線之間的視差的信息可包括估計(jì)的視差、 視差區(qū)間的最大閾值、候選視差區(qū)間的總數(shù)等。格式確定單元120可通過(guò)下述方式估計(jì)相關(guān)性信息估計(jì)沿垂直方向連續(xù)的3D視頻的第一、第二和第三像素的垂直像素值之間的相關(guān)性信息，并估計(jì)沿水平方向連續(xù)的3D 視頻的三個(gè)(第一、第二和第三)像素的水平像素值之間的相關(guān)性信息。格式確定單元120 可通過(guò)將垂直像素值之間的相關(guān)性信息與垂直像素值之間的相關(guān)性閾值進(jìn)行比較并將水平像素值之間的相關(guān)性信息與水平像素值之間的相關(guān)性閾值進(jìn)行比較，來(lái)確定3D視頻格式是否是垂直線交錯(cuò)格式、水平線交錯(cuò)格式或跳棋盤(pán)格式。如果三個(gè)連續(xù)像素的第一像素和第三像素之差的絕對(duì)值是第一差值，第一像素值和第二像素值之差的絕對(duì)值是第二差值，第二像素值和第三像素值之差的絕對(duì)值是第三差值，則垂直像素值之間的相關(guān)性信息或水平像素值之間的相關(guān)性信息可以是第二差值和第三差值的總和與第一差值的比。格式確定單元120可通過(guò)使用第一差分幀、第二差分幀和第三差分幀來(lái)估計(jì)暫時(shí)視差的變化，所述第一差分幀表示在時(shí)間軸上連續(xù)的三個(gè)幀的第一幀和第三幀之差的絕對(duì)值，所述第二差分幀表示第一幀和第二幀之差的絕對(duì)值，所述第三差分幀表示第二幀和第三幀之差的絕對(duì)值。在這種情況下，第一幀、第二幀和第三幀之間的視差信息是第二差分幀的數(shù)據(jù)和第三差分幀的數(shù)據(jù)的總和與第一差分幀的數(shù)據(jù)的比。格式確定單元120可根據(jù)估計(jì)的暫時(shí)視差的變化來(lái)確定3D視頻格式是否是幀序列格式。類似地，可確定3D視頻格式是否是場(chǎng)序列格式。格式確定單元120可通過(guò)使用垂直于3D視頻的上區(qū)域和下區(qū)域之間的水平邊界線的鄰近像素之間的差值的比來(lái)確定3D視頻格式是否是頂?shù)赘袷健４送?，格式確定單元120可通過(guò)使用垂直于3D視頻的左區(qū)域和右區(qū)域之間的垂直邊界線的鄰近像素之間的差值的比來(lái)確定3D視頻格式是否是并排格式。在這種情況下，可使用在圖像區(qū)域而非在垂直邊界線周圍的區(qū)域中被估計(jì)的一個(gè)區(qū)域的鄰近像素的值之間的相關(guān)性。如果格式確定單元120確定第一組連續(xù)幀具有第一格式，第二組預(yù)定數(shù)量的隨后幀具有第二格式，在第二組之后的第三組其它剩余隨后幀具有第一格式，則格式確定單元 120可最終確定所有幀具有第一格式，從而防止3D視頻格式的突然改變而引起錯(cuò)誤或降低立體效果。
如果格式確定單元120確定第一組幀具有第一格式，大于預(yù)定數(shù)量的第二組的多個(gè)幀具有第二格式，且第三組的幀也具有第二格式，則格式確定單元120可最終確定第一組的幀和第二組的幀具有第一格式，第三組的幀具有第二格式。也就是說(shuō)，如果第一組和第二組的確定結(jié)果被從第一格式切換到第二格式，并且至少預(yù)定數(shù)量的第三組的幀保持具有第二格式，則格式確定單元120可基于對(duì)第二組的3D 視頻格式的觀測(cè)最終確定第三組的幀具有第二格式。格式轉(zhuǎn)換單元130從3D視頻分離作為2D視頻的左視點(diǎn)視頻和右視點(diǎn)視頻，并轉(zhuǎn)換左視點(diǎn)視頻和右視點(diǎn)視頻的格式從而左視點(diǎn)視頻和右視點(diǎn)視頻可被顯示單元140三維
地重建。例如，如果3D視頻具有幀序列格式或場(chǎng)序列格式，則格式轉(zhuǎn)換單元130在不用恢復(fù)左視點(diǎn)視頻和右視點(diǎn)視頻的分辨率的情況下將左視點(diǎn)視頻和右視點(diǎn)視頻發(fā)送到顯示單元140，從而左視點(diǎn)視頻和右視點(diǎn)視頻可彼此同步。如果3D視頻具有并排格式、頂?shù)赘袷?、垂直線交錯(cuò)格式、水平線交錯(cuò)格式或跳棋盤(pán)格式，則左視點(diǎn)視頻和右視點(diǎn)視頻以半全分辨率的分辨率被記錄在一幀中。當(dāng)包含在3D 視頻中的左視點(diǎn)視頻和右視點(diǎn)視頻不是以全分辨率被記錄時(shí)，格式轉(zhuǎn)換單元130可從3D視頻分離左視點(diǎn)視頻和右視點(diǎn)視頻并對(duì)左視點(diǎn)視頻和右視點(diǎn)視頻進(jìn)行內(nèi)插從而可將左視點(diǎn)視頻和右視點(diǎn)視頻恢復(fù)為全分辨率。如果輸入視頻是2D視頻，則格式轉(zhuǎn)換單元130不需要執(zhí)行所述分辨率恢復(fù)處理。顯示單元140從轉(zhuǎn)換了格式的左視點(diǎn)視頻和右視點(diǎn)視頻重建3D視頻。根據(jù)示例性實(shí)施例，3D視頻格式轉(zhuǎn)換設(shè)備100可從互聯(lián)網(wǎng)網(wǎng)站獲得3D視頻內(nèi)容。 當(dāng)通過(guò)使用網(wǎng)絡(luò)瀏覽器搜索3D視頻格式時(shí)，可檢測(cè)通過(guò)網(wǎng)站被共享的3D視頻格式的3D視頻內(nèi)容。根據(jù)示例性實(shí)施例，3D視頻格式轉(zhuǎn)換設(shè)備100可被連接到網(wǎng)絡(luò)，從而可接收在網(wǎng)絡(luò)上檢測(cè)到的3D視頻內(nèi)容并通過(guò)使用格式轉(zhuǎn)換單元130轉(zhuǎn)換3D視頻內(nèi)容的3D視頻格式，從而可三維地顯示3D視頻內(nèi)容。如果不知道3D視頻內(nèi)容的3D視頻格式，則可使用格式確定單元120確定3D視頻格式。根據(jù)示例性實(shí)施例，3D視頻格式轉(zhuǎn)換設(shè)備100可在網(wǎng)絡(luò)瀏覽器上顯示從互聯(lián)網(wǎng)網(wǎng)站獲得的3D視頻內(nèi)容。當(dāng)在網(wǎng)絡(luò)瀏覽器上的網(wǎng)頁(yè)窗口中顯示2D視頻內(nèi)容和3D視頻內(nèi)容時(shí)，3D視頻格式轉(zhuǎn)換設(shè)備100可二維地顯示2D視頻內(nèi)容并且三維地顯示3D視頻內(nèi)容。3D視頻格式轉(zhuǎn)換設(shè)備100可在網(wǎng)頁(yè)上直接檢測(cè)3D視頻內(nèi)容的位置，或者可從網(wǎng)頁(yè)提供者接收關(guān)于3D視頻內(nèi)容的位置的信息。3D視頻格式轉(zhuǎn)換設(shè)備100可向網(wǎng)絡(luò)瀏覽器提供關(guān)于3D視頻格式的信息，所述3D 視頻格式關(guān)于3D視頻內(nèi)容被確定，從而可在網(wǎng)絡(luò)瀏覽器的窗口中三維地顯示所述3D視頻內(nèi)容。在示例性實(shí)施例中，3D視頻格式轉(zhuǎn)換設(shè)備100可分析3D視頻并估計(jì)3D視頻的3D 視頻格式，而不需要必須獲得任何關(guān)于3D視頻格式的額外信息。因此，不需要額外的存儲(chǔ)空間或傳輸通道來(lái)傳輸關(guān)于3D視頻格式的信息。圖2是根據(jù)示例性實(shí)施例的對(duì)3D視頻編碼/解碼的系統(tǒng)200的框圖。系統(tǒng)200包括發(fā)送終端228，該發(fā)送終端2 具有運(yùn)動(dòng)圖像專家組(MPEG)編碼單元230和發(fā)送/記錄單元MO ；接收終端對(duì)8，該接收終端248具有接收/恢復(fù)單元250和MPEG解碼單元沈0。
在垂直線交錯(cuò)格式201中，奇數(shù)垂直線202中的像素是左視點(diǎn)視頻的數(shù)據(jù)，偶數(shù)垂直線203中的像素是右視點(diǎn)視頻的數(shù)據(jù)。在水平線交錯(cuò)格式211中，左視點(diǎn)視頻數(shù)據(jù)和右視點(diǎn)視頻數(shù)據(jù)分別被交替并重復(fù)地布置在奇數(shù)水平線212和偶數(shù)水平線213中。在場(chǎng)序列格式221中，奇數(shù)場(chǎng)222和偶數(shù)場(chǎng)223分別被存儲(chǔ)為左視點(diǎn)視頻場(chǎng)和右視點(diǎn)視頻場(chǎng)。當(dāng)將多種3D視頻格式201、211和221的3D視頻輸入MPEG編碼單元230時(shí)，3D視頻根據(jù)MPEG編碼/解碼方法被壓縮和編碼，并被發(fā)送/記錄單元240經(jīng)由網(wǎng)絡(luò)從發(fā)送終端 2 發(fā)送到接收終端248或者被記錄在記錄介質(zhì)(未示出)上。在接收終端M8中，接收 /恢復(fù)單元250接收編碼3D視頻，MPEG解碼單元260根據(jù)MPEG編碼/解碼方法將編碼3D 視頻解碼以產(chǎn)生3D視頻270。3D視頻270的3D視頻格式與從發(fā)送終端2 接收的輸入3D視頻的3D視頻格式 201,211 和 221 對(duì)應(yīng)。圖3是根據(jù)示例性實(shí)施例的生成3D視頻并對(duì)3D視頻編碼/解碼的系統(tǒng)300的框圖。系統(tǒng)300包括發(fā)送終端，該發(fā)送終端具有立體視頻預(yù)處理器320、MPEG編碼單元230、 發(fā)送/記錄單元240 ；接收終端，該接收終端具有接收/恢復(fù)單元250、MPEG解碼單元沈0 以及立體視頻后處理器370。立體視頻預(yù)處理器320包括第一像素結(jié)構(gòu)轉(zhuǎn)換單元322和幀到場(chǎng)轉(zhuǎn)換單元324，立體視頻后處理器370包括場(chǎng)到幀轉(zhuǎn)換單元374和第二像素結(jié)構(gòu)轉(zhuǎn)換單元 372。3D視頻是左視點(diǎn)視頻和右視點(diǎn)視頻的混合。因此，當(dāng)左視點(diǎn)視頻信號(hào)311和右視點(diǎn)視頻信號(hào)312被單獨(dú)輸入立體視頻預(yù)處理器320時(shí)，立體視頻預(yù)處理器320通過(guò)使用第一像素結(jié)構(gòu)轉(zhuǎn)換單元322和幀到場(chǎng)轉(zhuǎn)換單元3M生成3D視頻格式，從而左視點(diǎn)視頻和右視點(diǎn)視頻以像素為單位被混合在一幀中，或以幀或場(chǎng)為單位被混合。 由立體視頻預(yù)處理器320生成的3D視頻格式的3D視頻被MPEG編碼單元230壓縮和編碼，并被發(fā)送/記錄單元240從發(fā)送終端發(fā)送到接收終端或者被記錄在記錄介質(zhì)(未示出)上。在接收終端中，接收/恢復(fù)單元250接收編碼3D視頻，MPEG解碼單元260根據(jù) MPEG編碼/解碼方法將編碼3D視頻解碼以重建3D視頻。立體視頻后處理器370通過(guò)使用場(chǎng)到幀轉(zhuǎn)換單元374和第二像素結(jié)構(gòu)轉(zhuǎn)換單元372從3D視頻分離左視點(diǎn)視頻和右視點(diǎn)視頻。然后將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為將三維地顯示在顯示裝置(未示出)上的左視點(diǎn)視頻信號(hào)381和右視點(diǎn)視頻信號(hào)382。圖4示出根據(jù)示例性實(shí)施例的3D視頻的多種3D視頻格式。如果3D視頻編碼/ 解碼系統(tǒng)200、300適當(dāng)?shù)貜?D視頻分離左視點(diǎn)視頻和右視點(diǎn)視頻，則可三維地顯示3D視頻。3D視頻的3D視頻格式表示左視點(diǎn)視頻和右視點(diǎn)視頻在3D視頻中被布置的方式。3D視頻格式的示例包括并排格式、頂?shù)赘袷?、水平線交錯(cuò)格式、垂直線交錯(cuò)格式、幀/場(chǎng)序列格式以及跳棋盤(pán)格式。在并排格式中，分別與3D視頻幀410的左區(qū)域412和右區(qū)域414對(duì)應(yīng)的左視點(diǎn)視頻和右視點(diǎn)視頻被水平平行地布置。左視點(diǎn)視頻和右視點(diǎn)視頻被布置的順序可根據(jù)初始設(shè)置而改變，以分別與左區(qū)域412和右區(qū)域414或者分別與右區(qū)域414和左區(qū)域412對(duì)應(yīng)。因此，左區(qū)域412和右區(qū)域414之間的相關(guān)性較高，高頻不連續(xù)的線呈現(xiàn)在左區(qū)域412和右區(qū)域414之間的垂直邊界線413上。
在并排格式中，對(duì)系統(tǒng)進(jìn)行驅(qū)動(dòng)所需的存儲(chǔ)量較小并且可將現(xiàn)有記錄介質(zhì)作為存儲(chǔ)器重新使用。在頂?shù)赘袷街?，分別與3D視頻幀420的上區(qū)域422和下區(qū)域似4對(duì)應(yīng)的左視點(diǎn)視頻和右視點(diǎn)視頻被垂直平行地布置。左視點(diǎn)視頻和右視點(diǎn)視頻被布置的順序可根據(jù)初始設(shè)置而改變，以分別與上區(qū)域422和下區(qū)域似4或者分別與下區(qū)域似4和上區(qū)域422對(duì)應(yīng)。因此，上區(qū)域422和下區(qū)域似4之間的相關(guān)性較高，高頻不連續(xù)的線呈現(xiàn)在上區(qū)域422和下區(qū)域似4之間的水平邊界線423上。頂?shù)赘袷皆试S重新使用現(xiàn)有記錄介質(zhì)。在水平線交錯(cuò)格式中，分別與3D視頻幀430的奇數(shù)水平線432和偶數(shù)水平線434 對(duì)應(yīng)的左視點(diǎn)視頻和右視點(diǎn)視頻被水平平行地布置。左視點(diǎn)視頻和右視點(diǎn)視頻被布置的順序可根據(jù)初始設(shè)置而改變，以分別與奇數(shù)水平線432和偶數(shù)水平線434或者分別與偶數(shù)水平線4；34和奇數(shù)水平線432對(duì)應(yīng)。因此，在區(qū)域433中的鄰近水平線之間生成高頻成分，其中，在所述區(qū)域433中，左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差較大。水平線交錯(cuò)格式是對(duì)隔行掃描型的立體顯示優(yōu)化的3D視頻格式。在垂直線交錯(cuò)格式中，分別與3D視頻幀440的奇數(shù)垂直線442和偶數(shù)垂直線444 對(duì)應(yīng)的左視點(diǎn)視頻和右視點(diǎn)視頻被垂直平行地布置。左視點(diǎn)視頻和右視點(diǎn)視頻被布置的順序可根據(jù)初始設(shè)置而改變，以分別與奇數(shù)垂直線442和偶數(shù)垂直線444或者分別與偶數(shù)垂直線444和奇數(shù)垂直線442對(duì)應(yīng)。因此，在區(qū)域443中的鄰近垂直線之間生成高頻成分，其中，在所述區(qū)域443中，左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差較大。垂直線交錯(cuò)格式是對(duì)平行柵欄型的立體顯示優(yōu)化的3D視頻格式。在幀/場(chǎng)序列格式中，分別與3D視頻幀/場(chǎng)序列450的奇數(shù)幀/場(chǎng)452和偶數(shù)幀 /場(chǎng)妨4對(duì)應(yīng)的左視點(diǎn)視頻和右視點(diǎn)視頻被平行地布置。左視點(diǎn)視頻和右視點(diǎn)視頻被布置的順序可根據(jù)初始設(shè)置而改變，以分別與奇數(shù)幀/場(chǎng)452和偶數(shù)幀/場(chǎng)妨4或者分別與偶數(shù)幀/場(chǎng)妨4和奇數(shù)幀/場(chǎng)452對(duì)應(yīng)。因此，在幀/場(chǎng)序列格式中，像素值和運(yùn)動(dòng)矢量以幀或場(chǎng)為單位重復(fù)地改變。在幀序列格式中，可將3D視頻的分辨率保持為與2D視頻序列的分辨率相同。在跳棋盤(pán)格式中，分別與水平像素462、464和垂直像素462、466對(duì)應(yīng)的左視點(diǎn)視頻和右視點(diǎn)視頻以3D視頻幀460的像素為單位被交替地布置。左視點(diǎn)視頻和右視點(diǎn)視頻被布置的順序可根據(jù)初始設(shè)置而改變，以分別與水平/垂直第一和第二像素或者分別與水平/垂直第二和第一像素對(duì)應(yīng)。因此，在跳棋盤(pán)格式中，在全方向生成高頻成分。在跳棋盤(pán)格式上執(zhí)行內(nèi)插時(shí)，內(nèi)插的結(jié)果可以是優(yōu)良的。圖5是詳細(xì)示出根據(jù)示例性實(shí)施例的圖1的3D視頻格式轉(zhuǎn)換設(shè)備100的格式確定單元120的構(gòu)造的框圖。根據(jù)示例性實(shí)施例，格式確定單元120可執(zhí)行多步處理以確定輸入視頻510的3D視頻格式?？驁D500示出這樣的情況使用視差信息和鄰近像素的值之間的相關(guān)性信息兩者來(lái)確定3D視頻格式是否是并排格式、頂?shù)赘袷健⒋怪本€交錯(cuò)格式、水平線交錯(cuò)格式、跳棋盤(pán)格式或幀序列格式。在框圖5中，視差信息估計(jì)模塊530包括并排格式檢查模塊532，估計(jì)并使用關(guān)于3D視頻的左區(qū)域和右區(qū)域之間的視差的信息；頂?shù)赘袷綑z查模塊534，估計(jì)并使用關(guān)于 3D視頻上區(qū)域和下區(qū)域之間的視差的信息；垂直線交錯(cuò)格式檢查模塊536，估計(jì)并使用關(guān)于垂直線的視差信息；水平線交錯(cuò)格式檢查模塊538，估計(jì)并使用關(guān)于水平線的視差信息。相關(guān)性信息估計(jì)模塊540包括水平像素值估計(jì)檢查模塊M2，估計(jì)并使用水平方向上的鄰近像素之間的相關(guān)性信息；垂直像素值相關(guān)性檢查模塊M4，估計(jì)并使用垂直方向上的鄰近像素之間的相關(guān)性信息。邊界線檢測(cè)模塊550檢測(cè)邊界線，并包括水平邊界線檢測(cè)模塊552和垂直邊界線檢測(cè)模塊陽(yáng)4。幀序列檢查模塊570包括幀序列格式檢查模塊572，估計(jì)并使用幀之間的暫時(shí)視差的變化。針對(duì)幀序列格式檢查模塊572的算術(shù)操作，使用三個(gè)或更多個(gè)連續(xù)的幀，因此， 經(jīng)由兩個(gè)或更多個(gè)延遲器556和558以及兩個(gè)或更多個(gè)存儲(chǔ)器560和565來(lái)輸入幀。當(dāng)左視點(diǎn)視頻的像素值與右視點(diǎn)視頻的對(duì)應(yīng)像素值不同時(shí)，可更有效地使用視差信息和相關(guān)性信息。為此，在單調(diào)寬闊的區(qū)域中，可減少通過(guò)使用視差信息或相關(guān)性信息確定3D視頻格式的性能。因此，有效線確定模塊520基于左視點(diǎn)視頻和右視點(diǎn)視頻之間的平滑度來(lái)確定有效線，所述有效線的視差信息或相關(guān)性信息將被計(jì)算?？赏ㄟ^(guò)使用區(qū)域的像素的值的離散度(dispersion)的量或通過(guò)使用多種類型的濾波器(諸如索貝爾算子)來(lái)計(jì)算區(qū)域的平滑度。有效線確定模塊520可向視差信息估計(jì)模塊530、相關(guān)性信息估計(jì)模塊M0、邊界線檢測(cè)模塊陽(yáng)0以及幀序列檢查模塊570提供關(guān)于有效線的信息，從而可確定有效線的3D 視頻格式。多個(gè)比較器535、539、545和555將檢查3D視頻格式的結(jié)果彼此進(jìn)行比較，并且將示出最高可能性的檢查結(jié)果提供給最終格式確定模塊580。也就是說(shuō)，比較器535將通過(guò)視差信息估計(jì)模塊530的并排格式檢查模塊532和頂?shù)赘袷綑z查模塊534估計(jì)視差信息來(lái)檢查3D視頻格式的結(jié)果彼此進(jìn)行比較，并且將示出最高可能性的檢查結(jié)果提供給最終格式確定模塊580。比較器539將通過(guò)視差信息估計(jì)模塊530的垂直線交錯(cuò)格式檢查模塊536 和水平線交錯(cuò)格式檢查模塊538估計(jì)視差信息來(lái)檢查3D視頻格式的結(jié)果彼此進(jìn)行比較，并且將示出最高可能性的檢查結(jié)果提供給最終格式確定模塊580。此外，比較器545將通過(guò)相關(guān)性信息估計(jì)模塊540的水平像素值相關(guān)性檢查模塊 542和垂直像素值相關(guān)性檢查模塊544估計(jì)鄰近像素之間的相關(guān)性信息來(lái)檢查3D視頻格式的結(jié)果彼此進(jìn)行比較，并且將示出最高可能性的檢查結(jié)果提供給最終格式確定模塊580。 比較器555將通過(guò)邊界線檢測(cè)模塊550的水平邊界線檢測(cè)模塊552和垂直邊界線檢測(cè)模塊 554檢測(cè)邊界線來(lái)檢查3D視頻格式的結(jié)果彼此進(jìn)行比較，并且將示出最高可能性的檢查結(jié)果提供給最終格式確定模塊580。此外，將幀序列檢查模塊570的幀序列格式檢查模塊572檢查3D視頻格式的結(jié)果提供給最終格式確定模塊580。最終格式確定模塊580收集檢查3D視頻格式是并排格式還是頂?shù)赘袷降慕Y(jié)果、 檢查3D視頻格式是垂直線交錯(cuò)格式還是水平線交錯(cuò)格式的結(jié)果、檢查水平像素值之間的相關(guān)性和垂直像素值之間的相關(guān)性的結(jié)果、檢測(cè)水平邊界線和垂直邊界線的結(jié)果以及檢查 3D視頻格式是否是幀序列格式的結(jié)果；將上述結(jié)果彼此進(jìn)行比較；然后最終確定3D視頻格式。將關(guān)于確定的3D視頻格式的信息提供給3D視頻格式轉(zhuǎn)換模塊590，且3D視頻被轉(zhuǎn)換為使得3D視頻在顯示裝置(未示出)上被三維地顯示的格式。
此外，當(dāng)觀測(cè)到關(guān)于3D視頻格式的信息中的錯(cuò)誤(所述錯(cuò)誤針對(duì)預(yù)先幀被確定并經(jīng)由延遲器592被存儲(chǔ)在存儲(chǔ)器585中)時(shí)，可通過(guò)糾正該錯(cuò)誤來(lái)更精確地確定關(guān)于3D視頻格式的信息。在圖5的框圖中，考慮視差信息、鄰近像素值之間的相關(guān)性信息、邊界線以及檢查幀序列的結(jié)果來(lái)確定3D視頻格式。然而，在根據(jù)示例性實(shí)施例的3D視頻格式轉(zhuǎn)換設(shè)備100 中，可基于系統(tǒng)設(shè)計(jì)或用戶設(shè)置通過(guò)使用從由視差信息、鄰近像素值之間的相關(guān)性信息、邊界線以及檢查幀序列的結(jié)果構(gòu)成的組中選擇至少一條信息來(lái)確定3D視頻格式。現(xiàn)在將參照?qǐng)D6到圖14詳細(xì)描述基于視差信息或者鄰近像素值之間的相關(guān)性信息來(lái)確定3D視頻格式的方法。具體地，將參照?qǐng)D6、圖7和圖8詳細(xì)描述估計(jì)視差信息的方法、基于視差信息檢查3D視頻格式是并排格式還是頂?shù)赘袷降姆椒?、以及基于視差信息檢查3D視頻格式是垂直線交錯(cuò)格式還是水平線交錯(cuò)格式的方法。將參照?qǐng)D9和表1詳細(xì)描述估計(jì)鄰近像素之間的相關(guān)性信息的方法、將水平像素值之間的相關(guān)性與垂直像素值之間的相關(guān)性進(jìn)行比較的方法、以及檢查3D視頻格式是否是垂直線交錯(cuò)格式、水平線交錯(cuò)格式或跳棋盤(pán)格式的方法。此外，將參照?qǐng)D10、圖11和圖12詳細(xì)描述檢測(cè)邊界線的方法、基于邊界線檢查3D 視頻格式是并排格式還是頂?shù)赘袷降姆椒ā⒄請(qǐng)D13和圖14詳細(xì)描述檢查3D視頻格式是否是幀序列格式的方法。圖6示出示圖，并示出根據(jù)示例性實(shí)施例的估計(jì)3D視頻的左區(qū)域和右區(qū)域之間的視差信息的方法，以及根據(jù)示例性實(shí)施例的估計(jì)3D視頻的上區(qū)域和下區(qū)域之間的視差信息的方法。圖1的格式確定單元120將3D視頻幀分為左區(qū)域和右區(qū)域，計(jì)算左區(qū)域和右區(qū)域的像素的值之差，并檢查該差是否與并排格式的3D視頻中生成的視差對(duì)應(yīng)，以確定輸入視頻的3D視頻格式是否是并排格式。參照?qǐng)D6的㈧，如果3D視頻幀600具有并排格式，則左區(qū)域602和右區(qū)域604分別與左視點(diǎn)視頻和右視點(diǎn)視頻對(duì)應(yīng)。左視點(diǎn)視頻和右視點(diǎn)視頻包含相同對(duì)象的視頻信息， 但是左視點(diǎn)視頻和右視點(diǎn)視頻在相同位置根據(jù)視點(diǎn)彼此存在微小差別。因此，至少預(yù)定量的視差會(huì)發(fā)生在分別與左視點(diǎn)視頻和右視點(diǎn)視頻對(duì)應(yīng)的像素之間。在3D視頻幀600中呈現(xiàn)了在預(yù)定水平線610上的彼此對(duì)應(yīng)的左視點(diǎn)視頻像素和右視點(diǎn)視頻像素之間的多個(gè)組合611、612、613、614和615。至少預(yù)定量的視差會(huì)發(fā)生在組合 611、612、613、614 和 615 的每個(gè)中。如下計(jì)算3D視頻幀600的左區(qū)域602和右區(qū)域604之間的差值Idiff (i，j) = |l(i，j)_I(i，j+w/2) I …(1)，其中，(i，j)表示像素位置的索引，I(i，j)表示3D視頻幀600的像素值，w表示 3D視頻幀600的整體寬度，Idiff (i，j)表示3D視頻幀600的左區(qū)域602和右區(qū)域604的絕對(duì)差分圖像的像素值?？蓮淖髤^(qū)域602和右區(qū)域604的絕對(duì)差分圖像估計(jì)對(duì)應(yīng)的左視點(diǎn)視頻像素和右視點(diǎn)視頻像素之間的視差。格式確定單元120計(jì)算輸入視頻的在相同水平線上的左區(qū)域和右區(qū)域的多對(duì)對(duì)應(yīng)的像素的值之間的差的絕對(duì)值。如果具有至少預(yù)定絕對(duì)值的對(duì)應(yīng)的連續(xù)像素的對(duì)的總數(shù)等于或大于預(yù)定數(shù)量，則呈現(xiàn)所述多對(duì)對(duì)應(yīng)的連續(xù)像素的區(qū)間可被估計(jì)為發(fā)生視差的視差區(qū)間。當(dāng)如上所述估計(jì)3D視頻(所述3D視頻的格式不是并排格式)中的視差區(qū)間時(shí)， 3D視頻的左區(qū)域的信息基本上與3D視頻的右區(qū)域的信息不同，因此，左區(qū)域和右區(qū)域之間的視差較大。如果視差區(qū)間的信息比閾值小，則3D視頻格式可被確定為并排格式，如果該信息等于或大于閾值，則3D視頻格式可被確定為非并排格式。圖1的格式確定單元120將3D視頻幀分為上區(qū)域和下區(qū)域，計(jì)算上區(qū)域和下區(qū)域的像素的值之間差，并確定上區(qū)域和下區(qū)域之間的視差是否與在具有頂?shù)赘袷降?D視頻中發(fā)生的視差對(duì)應(yīng)，以確定3D視頻格式是否是頂?shù)赘袷?。在具有頂?shù)赘袷降?D視頻中，上區(qū)域和下區(qū)域與左視點(diǎn)視頻和右視點(diǎn)視頻對(duì)應(yīng)。 視差發(fā)生在從相同位置獲取的一對(duì)對(duì)應(yīng)的左視點(diǎn)視頻像素和右視點(diǎn)視頻像素中。參照?qǐng)D6的(B)，在具有頂?shù)赘袷降?D視頻幀620中，上區(qū)域622和下區(qū)域擬4分別與左視點(diǎn)視頻和右視點(diǎn)視頻對(duì)應(yīng)。在3D視頻幀620中，呈現(xiàn)了在預(yù)定垂直線630的對(duì)應(yīng)的左視點(diǎn)視頻像素和右視點(diǎn)視頻像素的多個(gè)組合631、633、635、637和639。至少預(yù)定量的視差會(huì)發(fā)生在對(duì)應(yīng)的左視點(diǎn)視頻像素和右視點(diǎn)視頻像素的組合631、633、635、637和639的每個(gè)中。可如下計(jì)算3D視頻幀620的上區(qū)域622和下區(qū)域6M之間的差值Idiff (i，j) = |l(i，j)_I(I+h/2，j) I …0)，其中，h表示3D視頻幀620的整體高度，Idiff (i，j)表示上區(qū)域622和下區(qū)域624 之間的絕對(duì)差分圖像的像素值。可從上區(qū)域622和下區(qū)域6M之間的絕對(duì)差分圖像估計(jì)多對(duì)對(duì)應(yīng)的左視點(diǎn)視頻像素和右視點(diǎn)視頻像素之間的視差。也就是說(shuō)，格式確定單元120計(jì)算輸入視頻的在相同垂直線的上區(qū)域622和下區(qū)域擬4的多對(duì)對(duì)應(yīng)的像素之間的差的絕對(duì)值。如果具有至少預(yù)定絕對(duì)值的對(duì)應(yīng)的連續(xù)像素的對(duì)的總數(shù)等于或大于預(yù)定數(shù)，則呈現(xiàn)所述多對(duì)對(duì)應(yīng)的連續(xù)像素的區(qū)間被估計(jì)為發(fā)生視差的視差區(qū)間。當(dāng)如上所述確定3D視頻(所述3D視頻的格式不是頂?shù)赘袷?中的視差區(qū)間時(shí)， 3D視頻的上區(qū)域的信息基本上與3D視頻的下區(qū)域的信息不同，因此上區(qū)域和下區(qū)域之間的視差較大。如果視差區(qū)間的信息比閾值小，則3D視頻格式可被確定為頂?shù)赘袷?，如果該信息等于或大于閾值，則3D視頻格式可被確定為非頂?shù)赘袷?。圖7示出示圖，所述示圖示出根據(jù)示例性實(shí)施例的估計(jì)關(guān)于3D視頻的水平線的視差信息的方法，以及根據(jù)示例性實(shí)施例的估計(jì)關(guān)于3D視頻的垂直線的視差信息的方法。圖1的格式確定單元120將輸入3D視頻幀分為以水平線為單位的部分，基于所述多條水平線估計(jì)輸入3D視頻中的視差，檢查該視差是否與在具有水平線交錯(cuò)格式的3D視頻中發(fā)生的視差對(duì)應(yīng)，以確定3D視頻的3D視頻格式是否是水平線交錯(cuò)格式。在具有水平線交錯(cuò)格式的3D視頻中，奇數(shù)水平線和偶數(shù)水平線分別與左視點(diǎn)視頻數(shù)據(jù)和右視點(diǎn)視頻數(shù)據(jù)對(duì)應(yīng)。參照?qǐng)D7的(A)，在具有水平線交錯(cuò)格式的3D視頻幀640的連續(xù)水平線的放大區(qū)域650中，奇數(shù)水平線652和偶數(shù)水平線6M分別與左視點(diǎn)視頻數(shù)據(jù)和右視點(diǎn)視頻數(shù)據(jù)對(duì)應(yīng)。在3D視頻幀640中，至少預(yù)定量的視差可發(fā)生在對(duì)應(yīng)的奇數(shù)水平線652和偶數(shù)水平線 6M之間。
可如下計(jì)算奇數(shù)水平線652和偶數(shù)水平線6M之間的差值Idiff (i，j) = I(i X 2, j)-I(i X 2+1, j) | - (3),其中，Idiff (i，j)表示3D視頻幀640的水平線652、6M之間的絕對(duì)差分圖像的像素值?？蓮慕^對(duì)差分圖像的像素值估計(jì)一對(duì)對(duì)應(yīng)的左視點(diǎn)視頻水平線和右視點(diǎn)視頻水平線之間的視差。如果在具有多個(gè)連續(xù)水平線的區(qū)間中輸入3D視頻的奇數(shù)水平線和偶數(shù)水平線之間的差的絕對(duì)值等于或大于預(yù)定值，則格式確定單元120可估計(jì)該區(qū)間是以水平線交錯(cuò)格式發(fā)生視差的視差區(qū)間。當(dāng)如上所述確定3D視頻(所述3D視頻的格式不是水平線交錯(cuò)格式)中的視差區(qū)間時(shí)，奇數(shù)水平線的信息基本上與偶數(shù)水平線的信息相似，因此，奇數(shù)水平線和偶數(shù)水平線之間的視差較小。如果關(guān)于視差區(qū)間的信息等于或大于閾值，則3D視頻格式可被確定為水平線交錯(cuò)格式，如果該信息比閾值小，則3D視頻格式可被確定為非水平線交錯(cuò)格式。圖1的格式確定單元120將輸入3D視頻幀分為以垂直線為單位的部分，基于所述多條垂直線估計(jì)輸入3D視頻中的視差，檢查該視差是否與在具有垂直線交錯(cuò)格式的3D視頻中發(fā)生的視差對(duì)應(yīng)，以確定輸入3D視頻的3D視頻格式是否是垂直線交錯(cuò)格式。在具有垂直線交錯(cuò)格式的3D視頻中，奇數(shù)垂直線和偶數(shù)垂直線分別與左視點(diǎn)視頻數(shù)據(jù)和右視點(diǎn)視頻數(shù)據(jù)對(duì)應(yīng)。參照?qǐng)D7的(B)，在具有垂直線交錯(cuò)格式的3D視頻幀660的連續(xù)垂直線的放大區(qū)域670中，奇數(shù)垂直線672和偶數(shù)垂直線674分別與左視點(diǎn)視頻數(shù)據(jù)和右視點(diǎn)視頻數(shù)據(jù)對(duì)應(yīng)。在3D視頻幀660中，至少預(yù)定量的視差可發(fā)生在對(duì)應(yīng)的奇數(shù)垂直線672和偶數(shù)垂直線 674之間。可如下計(jì)算奇數(shù)垂直線672和偶數(shù)垂直線674之間的差值Idiff (i，j) = I(i, jX2)-I(i, JX2+1) | - (4),其中，Idiff (i，j)表示3D視頻幀660的垂直線672、674之間的絕對(duì)差分圖像的像素值?？蓮慕^對(duì)差分圖像的像素值估計(jì)對(duì)應(yīng)的左視點(diǎn)視頻垂直線和右視點(diǎn)視頻垂直線之間的視差。如果在具有多個(gè)連續(xù)垂直線的區(qū)間中輸入3D視頻的奇數(shù)垂直線和偶數(shù)垂直線之間的差的絕對(duì)值等于或大于預(yù)定值，則格式確定單元120可估計(jì)該區(qū)間是以垂直線交錯(cuò)格式發(fā)生視差的視差區(qū)間。當(dāng)如上所述確定3D視頻(所述3D視頻的格式不是垂直線交錯(cuò)格式)中的視差區(qū)間時(shí)，奇數(shù)垂直線的信息基本上與偶數(shù)垂直線的信息相似，因此奇數(shù)垂直線和偶數(shù)垂直線之間的視差較小。如果關(guān)于視差區(qū)間的信息等于或大于閾值，則3D視頻格式可被確定為垂直線交錯(cuò)格式，如果該信息比閾值小，則3D視頻格式可被確定為非垂直線交錯(cuò)格式。圖8示出曲線圖和流程圖，所述曲線圖示出根據(jù)示例性實(shí)施例的估計(jì)3D視頻中的視差區(qū)間的方法，所述流程圖示出根據(jù)示例性實(shí)施例的估計(jì)視差信息的方法。這里，視差區(qū)間是被分別估計(jì)為左視點(diǎn)視頻和右視點(diǎn)視頻的兩個(gè)區(qū)域之間的絕對(duì)差分圖像的區(qū)間，在該區(qū)間中連續(xù)像素之間的差等于或大于預(yù)定值。視差區(qū)間的寬度與左視點(diǎn)視頻和右視點(diǎn)視頻的相關(guān)性有關(guān)。曲線圖700顯示左視點(diǎn)視頻和右視點(diǎn)視頻的多對(duì)對(duì)應(yīng)的像素或線之間的差值。曲線圖700的水平軸線表示左視點(diǎn)視頻和右視點(diǎn)視頻的多對(duì)對(duì)應(yīng)的像素或線的索引，曲線圖 700的垂直軸線表示關(guān)于0的正值和負(fù)值之間的差值。左視點(diǎn)視頻和右視點(diǎn)視頻的多對(duì)對(duì)應(yīng)的像素或線之間的差值可包括連續(xù)發(fā)生視差的區(qū)間710、712、714和716。當(dāng)曲線具有比上限閾值Hlimit720大的值并具有小于或等于最大寬度730的寬度時(shí)，連續(xù)發(fā)生正視差的區(qū)間712和716中的每個(gè)的部分可被選為視差區(qū)間。例如，由于連續(xù)發(fā)生正視差的區(qū)間712的部分722具有比上限閾值Hlimit720大的曲線值并具有小于或等于最大寬度730的寬度，因此連續(xù)發(fā)生正視差的區(qū)間712的部分722 可被選為視差區(qū)間。類似地，當(dāng)連續(xù)發(fā)生負(fù)視差的區(qū)間710和714中的每個(gè)的部分具有比下限閾值Llimit725小的曲線值并具有小于或等于最大寬度730的寬度時(shí)，連續(xù)發(fā)生負(fù)視差的區(qū)間710和714中的每個(gè)的部分可被選為視差區(qū)間。也就是說(shuō)，不使用視差估計(jì)處理直接計(jì)算左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差， 而是基于關(guān)于連續(xù)像素或線的信息(在所述連續(xù)像素或線中，左視點(diǎn)視頻和右視點(diǎn)視頻之間的差值的絕對(duì)值較大)間接估計(jì)左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差。由于左視點(diǎn)和右視點(diǎn)相機(jī)之間的位置和距離的不一致等，與左視點(diǎn)視頻對(duì)應(yīng)的區(qū)域可不同于與右視點(diǎn)視頻對(duì)應(yīng)的區(qū)域。因此，只有當(dāng)左視點(diǎn)視頻和右視點(diǎn)視頻之間的差值大于上限閾值Hlimit或小于下限閾值Llimit時(shí)，才可認(rèn)為視差發(fā)生在左視點(diǎn)視頻和右視點(diǎn)視頻之間。此外，當(dāng)連續(xù)發(fā)生視差的區(qū)間具有等于或大于預(yù)定值的寬度時(shí)，該區(qū)間可被選為候選視差區(qū)間。對(duì)在3D視頻中檢測(cè)的候選視差區(qū)間的總數(shù)進(jìn)行計(jì)數(shù)?？蓪?D視頻的左區(qū)域和右區(qū)域之間的候選視差區(qū)間的總數(shù)與3D視頻的上區(qū)域和下區(qū)域之間的候選視差區(qū)間的總數(shù)進(jìn)行比較，根據(jù)比較的結(jié)果可將3D視頻的3D視頻格式確定為并排格式或頂?shù)赘袷?。此外，可?D視頻的奇數(shù)平行線和偶數(shù)平行線之間的候選視差區(qū)間的總數(shù)與3D 視頻的奇數(shù)垂直線和偶數(shù)垂直線之間的候選視差區(qū)間的總數(shù)進(jìn)行比較，根據(jù)比較的結(jié)果可將3D視頻的3D視頻格式確定為水平線交錯(cuò)格式或垂直線交錯(cuò)格式。在圖8的(B)的方法中，圖2的格式確定單元120可對(duì)3D視頻中的候選視差區(qū)間的總數(shù)進(jìn)行計(jì)數(shù)，并根據(jù)該總數(shù)確定3D視頻的3D視頻格式。特別地，參照?qǐng)D8的(B)，在操作750，針對(duì)3D視頻的左視點(diǎn)視頻和右視點(diǎn)視頻之間的差分圖像的像素值Idiff (i，j)，對(duì)發(fā)生視差的連續(xù)視差區(qū)間的總數(shù)進(jìn)行計(jì)數(shù)。在操作755，將左視點(diǎn)視頻和右視點(diǎn)視頻之間的差分圖像的像素值的絕對(duì)值與閾 Ε THval id_diff 進(jìn)行比較( - -diff (i， j) I > 1 iJ-valid_diff ？)。在操作755，臨界值
1 iJ-valid_diff 與圖
8的㈧示出的上限閾值值Hlimit720或下限閾值Llimit725對(duì)應(yīng)。如果差分圖像的像素值 Idiff(i，j)的絕對(duì)值|ldiff(i，j)l小于或等于臨界值THvaliddiff，則在操作775初始化連續(xù)視差區(qū)間的寬度，并且在操作750針對(duì)差分圖像的下一像素對(duì)視差區(qū)間的總數(shù)進(jìn)行計(jì)數(shù)。如果在操作755確定絕對(duì)值I Idiff (i，j) I大于臨界值THvalid diff，則在操作760增加視差區(qū)間的寬度。在操作765，將視差的總數(shù)(S卩，視差區(qū)間的寬度)與視差區(qū)間SR(搜索范圍)的最大寬度進(jìn)行比較。如果在操作765確定視差區(qū)間的寬度不大于視差區(qū)間SR的最大寬度， 則不將該視差區(qū)間選為候選視差區(qū)間，且在操作750針對(duì)差分圖像的下一像素對(duì)視差區(qū)間的總數(shù)進(jìn)行計(jì)數(shù)。
如果在操作765確定連續(xù)視差區(qū)間的寬度大于視差區(qū)間SR的最大寬度，則在操作 770增加候選視差區(qū)間的數(shù)量DR。_t。然后，所述方法返回操作750，且針對(duì)差分圖像的下一像素對(duì)視差區(qū)間的總數(shù)進(jìn)行計(jì)數(shù)。當(dāng)確定3D視頻的左區(qū)域和右區(qū)域的3D視頻格式或3D視頻的上區(qū)域和下區(qū)域的3D視頻格式時(shí)，如果3D視頻的左區(qū)域和右區(qū)域的候選視差區(qū)間的總數(shù)DR。_t小于閾值 THsbs DK。_t，則格式確定單元120可確定3D視頻格式為并排格式。這里，閾值THsbs DK。_t表示視差區(qū)間的總數(shù)的閾值，該閾值被用于確定3D視頻格式是否是并排格式。此外，如果3D視頻的上區(qū)域和下區(qū)域的候選視差區(qū)間的總數(shù)DR。_jj、于閾值 THtnb DK。_t，則格式確定單元120可確定3D視頻格式為頂?shù)赘袷?。閾值THtnb DK。_t表示視差區(qū)間的總數(shù)的閾值，該閾值被用于確定3D視頻格式是否是頂?shù)赘袷健．?dāng)確定3D視頻的連續(xù)線的3D視頻格式時(shí)，如果3D視頻的水平線的候選視差區(qū)間的總數(shù)DR。_t大于閾值THra DK。_t，則格式確定單元120可確定3D視頻格式為水平線交錯(cuò)格式。閾值THmK DK。_t表示候選視差區(qū)間的總數(shù)的閾值，該閾值被用于確定3D視頻格式是否是水平線交錯(cuò)格式。如果3D視頻的垂直線的候選視差區(qū)間的總數(shù)DR_t大于閾值THVEK_ DK。_t，則格式確定單元120可確定3D視頻格式為垂直線交錯(cuò)格式。閾值THvek DK。_t表示候選視差區(qū)間的總數(shù)的閾值，該閾值被用于確定3D視頻格式是否是垂直線交錯(cuò)格式。當(dāng)確定3D視頻的左區(qū)域和右區(qū)域的3D視頻格式或3D視頻的上區(qū)域和下區(qū)域的 3D視頻格式時(shí)，較大的視差區(qū)間可被估計(jì)為彼此關(guān)聯(lián)較小的多條視頻之間的視差。因此，當(dāng)候選視差區(qū)間的總數(shù)小于視差區(qū)間的總數(shù)的閾值THDK。_t時(shí)，3D視頻格式很可能是并排格式或頂?shù)赘袷?。然而，由于在左視點(diǎn)視頻和右視點(diǎn)視頻中人工混合交錯(cuò)格式的連續(xù)水平或垂直線，因此水平線與垂直線有很大不同。因此，當(dāng)確定3D視頻的水平線或垂直線的3D視頻格式時(shí)，如果候選視差區(qū)間的總數(shù)大于視差區(qū)間的總數(shù)的閾值THDK。_t，則3D視頻格式很可能是水平線交錯(cuò)格式或垂直線交錯(cuò)格式。圖9示出根據(jù)示例性實(shí)施例的估計(jì)水平像素值之間的相關(guān)性信息的方法，以及根據(jù)示例性實(shí)施例的估計(jì)垂直像素值之間的相關(guān)性信息的方法。圖1的格式確定單元120可基于水平像素的值之間的相關(guān)性和垂直像素的值之間的相關(guān)性來(lái)確定3D視頻的3D視頻格式，其中，在所述3D視頻中，左視點(diǎn)視頻和右視點(diǎn)視頻以像素為單位被混合在一起。根據(jù)示例性實(shí)施例，格式確定單元120可將鄰近像素值之間的差的比用作鄰近像素值之間的相關(guān)性信息。因此，布置在垂直方向的連續(xù)像素的值之間的差的比可被用作垂直像素值之間的相關(guān)性信息，且布置在水平方向的連續(xù)像素的值之間的差的比可被用作水平像素值之間的相關(guān)性信息。在下文，布置在垂直方向的連續(xù)像素的值之間的差的比可被稱為“垂直像素值之間的差的比”，布置在水平方向的連續(xù)像素的值之間的差的比可被稱為 “水平像素值之間的差的比”。參照?qǐng)D9的(A)，可從第一、第二和第三水平像素的值之間的差的比計(jì)算水平像素之間的差的比，所述第一、第二和第三水平像素選自3D視頻幀的3X3像素801、802、803、 804、805、806、807、808和809?？扇缦掠?jì)算水平像素值之間的差的比
Valhor(i，j) = (|l(i-l, j)-I(i, j) | + |l(i，j)_I(i+l，j) |)/(|l(i_l，j)_I(i+l， j) I+C)…(5)，其中，Valh。,(i，j)表示水平像素值之間的差的比，c表示防止分母為0的常數(shù)值。 關(guān)于在水平方向上平行地順序布置的第一、第二和第三像素804、805和806，左(第一)像素804和右(第三)像素806之間的差的絕對(duì)值810與等式(5)的分母的第一項(xiàng)對(duì)應(yīng)，左 (第一)像素S04和中心(第二)像素SO5之間的差的絕對(duì)值82O與等式(5)的分子的第一項(xiàng)對(duì)應(yīng)，中心(第二)像素SO5和右(第三)像素soe之間的差的絕對(duì)值83O與等式(5) 的分子的第二項(xiàng)對(duì)應(yīng)。也就是說(shuō)，水平像素值之間的差的比Valh (i，j)是第一像素804和第二像素805 之間的差的絕對(duì)值820與第二像素805和第三像素806之間的差的絕對(duì)值830的和與第一像素804和第三像素806之間的差的絕對(duì)值810的比。參照?qǐng)D9的(B)，類似地，可從在垂直方向上平行布置的三個(gè)像素的值之間的差的比計(jì)算垂直像素值之間的差的比。可如下計(jì)算垂直像素值之間的差的比Valver(i，j) = (|l(i，j-l)_I(i，j) | + |l(i，j)_I(i，j+1) |)/(|l(i，j-l)_I(i， j+1) I+C)…(6)，其中，ValVCT(i，j)表示垂直像素值之間的差的比，c表示防止分母為0的常數(shù)值。 關(guān)于在垂直方向上平行地順序布置的第四、第五和第六像素802、805和808，上(第四)像素802和下(第六)像素808之間的差的絕對(duì)值840與等式(6)的分母的第一項(xiàng)對(duì)應(yīng)，上 (第四)像素SO2和中間(第五)像素SO5之間的差的絕對(duì)值85O與等式(6)的分子的第一項(xiàng)對(duì)應(yīng)，中間(第五)像素so5和下(第六)像素sos之間的差的絕對(duì)值seo與等式(e) 的分子的第二項(xiàng)對(duì)應(yīng)。也就是說(shuō)，垂直像素值之間的差的比ValVCT(i，j)是第四像素802和第五像素805 之間的差的絕對(duì)值850與第五像素805和第六像素808之間的差的絕對(duì)值860的和與第四像素802和第六像素808之間的差的絕對(duì)值840的比。如果使用等式( 和等式(6)，則格式確定單元120可針對(duì)2D視頻計(jì)算水平像素值之間的差的比Valto以及垂直像素值之間的差的比Valve,，從而當(dāng)確定3D視頻格式時(shí)防止在2D視頻的邊界線將2D視頻錯(cuò)誤地確定為3D視頻。當(dāng)?shù)仁? 和等式(6)被應(yīng)用于視頻的邊界線時(shí)，分子具有較大值但是分母也具有較大值。因此，在2D視頻的邊界線的水平像素值之間的差的比ValtoW及垂直像素值之間的差的比ValVCT不大于2D視頻的其它部分的水平像素值之間的差的比Valto以及垂直像素值之間的差的比ValVCT。由于3D視頻包括每個(gè)都與左視點(diǎn)視頻或右視點(diǎn)視頻對(duì)應(yīng)的像素，因此等式(5) 和等式(6)的分母項(xiàng)與從相同視點(diǎn)獲取的視頻的像素之間的絕對(duì)差值對(duì)應(yīng)，從而具有較小值。然而，等式( 和等式(6)的分子項(xiàng)與從不同視點(diǎn)獲取的多條視頻的像素之間的絕對(duì)差值對(duì)應(yīng)，并具有比分母項(xiàng)的值大的值。因此，當(dāng)3D視頻具有這樣的3D視頻格式在所述 3D視頻格式中左視點(diǎn)視頻數(shù)據(jù)和右視點(diǎn)視頻數(shù)據(jù)以像素為單位被交替地重復(fù)時(shí)，等式(5) 中給出的水平像素值之間的差的比和等式(6)中給出的垂直像素值之間的差的比具有較大值。表 1[表 1]
[表]
權(quán)利要求
1.一種轉(zhuǎn)換三維(3D)視頻的格式的方法，所述方法包括 接收包括包含左視點(diǎn)視頻和右視點(diǎn)視頻的3D視頻的視頻序列；估計(jì)左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息和左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息中的至少一個(gè)；基于估計(jì)的結(jié)果確定3D視頻的3D視頻格式；基于確定的3D視頻格式將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為格式；在顯示裝置上三維地顯示轉(zhuǎn)換的左視點(diǎn)視頻和轉(zhuǎn)換的右視點(diǎn)視頻。
2.如權(quán)利要求1所述的方法，其中，確定3D視頻格式的步驟包括基于左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息，確定3D視頻格式是否是并排格式、頂?shù)赘袷健⑺骄€交錯(cuò)格式和垂直線交錯(cuò)格式中的一個(gè)。
3.如權(quán)利要求1所述的方法，其中，確定3D視頻格式的步驟包括基于左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息，確定3D視頻格式是否是水平線交錯(cuò)格式、垂直線交錯(cuò)格式和跳棋盤(pán)格式中的一個(gè)。
4.如權(quán)利要求1所述的方法，其中，確定3D視頻格式的步驟還包括基于左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息，確定3D視頻格式是否是水平線交錯(cuò)格式、垂直線交錯(cuò)格式和跳棋盤(pán)格式中的一個(gè)；基于所述視差信息確定3D視頻格式是否是場(chǎng)序列格式和幀序列格式中的一個(gè)。
5.如權(quán)利要求1所述的方法，其中，確定3D視頻格式的步驟還包括通過(guò)檢測(cè)左視點(diǎn)視頻和右視點(diǎn)視頻之間的邊界線來(lái)確定3D視頻格式是否是并排格式和頂?shù)赘袷街械囊粋€(gè)。
6.如權(quán)利要求1所述的方法，其中，確定3D視頻格式的步驟包括通過(guò)檢測(cè)3D視頻的具有紋理的區(qū)域在3D視頻的具有紋理的區(qū)域中確定3D視頻的3D視頻格式，計(jì)算左視點(diǎn)視頻和右視點(diǎn)視頻的對(duì)應(yīng)區(qū)域的平滑度。
7.如權(quán)利要求2所述的方法，其中，確定3D視頻格式的步驟還包括 將3D視頻的幀分為基本上相等的上區(qū)域和下區(qū)域；通過(guò)使用上下差分圖像來(lái)估計(jì)第一視差信息，所述上下差分圖像表示上區(qū)域和下區(qū)域之間的差值的絕對(duì)值；將3D視頻的幀分為基本上相等的左區(qū)域和右區(qū)域；通過(guò)使用左右差分圖像來(lái)估計(jì)第二視差信息，所述左右差分圖像表示左區(qū)域和右區(qū)域之間的差值的絕對(duì)值；基于第一視差信息和第二視差信息確定3D視頻格式是頂?shù)赘袷竭€是并排格式。
8.如權(quán)利要求2所述的方法，其中，確定3D視頻格式的步驟還包括 將3D視頻的幀的垂直線分為奇數(shù)垂直線和偶數(shù)垂直線；通過(guò)使用垂直線差分圖像來(lái)估計(jì)第三視差信息，所述垂直線差分圖像表示奇數(shù)垂直線和偶數(shù)垂直線之間的差值的絕對(duì)值；將3D視頻的幀的水平線分為奇數(shù)線和偶數(shù)水平線；通過(guò)使用水平線差分圖像來(lái)估計(jì)第四視差信息，所述水平線差分圖像表示奇數(shù)水平線和偶數(shù)水平線之間的差值的絕對(duì)值；基于第一視差信息和第二視差信息確定3D視頻格式是否是頂?shù)赘袷胶筒⑴鸥袷街械囊粋€(gè)，并提供第一確定結(jié)果；基于第三視差信息和第四視差信息確定3D視頻格式是否是垂直線交錯(cuò)格式和水平線交錯(cuò)格式中的一個(gè)，并提供第二確定結(jié)果。
9.如權(quán)利要求3所述的方法，其中，確定3D視頻格式的步驟還包括估計(jì)在水平方向連續(xù)的3D視頻的第一像素、第二像素和第三像素的值之間的第一相關(guān)性值；估計(jì)在垂直方向連續(xù)的3D視頻的第四像素、第五像素和第六像素的值之間的第二相關(guān)性值；如果大于相關(guān)性閾值的第一相關(guān)性值的總數(shù)大于預(yù)定格式閾值，且大于相關(guān)性閾值的第二相關(guān)性值的總數(shù)小于預(yù)定格式閾值，則將3D視頻格式確定為垂直線交錯(cuò)格式；如果大于相關(guān)性閾值的第一相關(guān)性值的總數(shù)小于預(yù)定格式閾值，且大于相關(guān)性閾值的第二相關(guān)性值的總數(shù)大于預(yù)定格式閾值，則將3D視頻格式確定為水平線交錯(cuò)格式；如果大于相關(guān)性閾值的第一相關(guān)性值的總數(shù)和大于相關(guān)性閾值的第二相關(guān)性值的總數(shù)大于預(yù)定格式閾值，則將3D視頻格式確定為跳棋盤(pán)格式。
10.如權(quán)利要求4所述的方法，其中，確定3D視頻格式的步驟還包括估計(jì)在時(shí)間軸上的3D視頻的第一、第二和第三連續(xù)幀之間的暫時(shí)視差的改變。
11.如權(quán)利要求5所述的方法，其中，所述3D視頻具有邊界區(qū)域，該邊界區(qū)域圍繞邊界線并至少包括多個(gè)黑線，確定3D視頻格式的步驟還包括確定3D視頻的3D視頻格式，而排除確定邊界區(qū)域。
12.如權(quán)利要求1所述的方法，其中，確定3D視頻格式的步驟還包括當(dāng)來(lái)自3D視頻的多個(gè)幀的第一連續(xù)多個(gè)幀被確定為第一格式，在第一多個(gè)幀之后的預(yù)定數(shù)量的幀的第二連續(xù)多個(gè)幀被確定為第二格式時(shí)，如果在第二多個(gè)幀之后的剩余的第三連續(xù)多個(gè)幀被確定為第一格式，則將第二多個(gè)幀的3D視頻格式從第二格式改變?yōu)榈谝桓袷?；如果至少預(yù)定數(shù)量的第三多個(gè)幀具有第二格式，則將第二多個(gè)幀的3D視頻格式改變?yōu)榈谝桓袷?，并最終將第三多個(gè)幀確定為具有第二格式。
13.如權(quán)利要求1所述的方法，還包括通過(guò)將選擇的3D視頻格式用作關(guān)鍵字在互聯(lián)網(wǎng)網(wǎng)站中搜索3D視頻內(nèi)容，其中，接收視頻序列的步驟包括接收在網(wǎng)絡(luò)中搜索的3D視頻內(nèi)容；其中，在網(wǎng)絡(luò)中搜索3D視頻內(nèi)容的步驟包括搜索作為二維OD)視頻和3D視頻的混合的視頻內(nèi)容，接收視頻序列的步驟還包括接收在網(wǎng)絡(luò)中搜索的2D視頻內(nèi)容和3D視頻內(nèi)容，將3D視頻的左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為格式的步驟還包括基于選擇的用作關(guān)鍵字的3D視頻格式將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為所述格式以被三維地再現(xiàn)，所述方法還包括二維地再現(xiàn)視頻序列的2D視頻，并以3D視頻被轉(zhuǎn)換為的格式三維地再現(xiàn)視頻序列的3D視頻。
14.一種用于轉(zhuǎn)換三維(3D)視頻的格式的設(shè)備，所述設(shè)備包括視頻輸入單元，接收包括包含左視點(diǎn)視頻和右視點(diǎn)視頻的3D視頻的視頻序列；格式確定單元，估計(jì)左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息和左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息中的至少一個(gè)，并基于估計(jì)的結(jié)果確定3D視頻的3D視頻格式；格式轉(zhuǎn)換單元，基于確定的3D視頻格式將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換成格式； 顯示單元，將轉(zhuǎn)換的左視點(diǎn)視頻和轉(zhuǎn)換的右視點(diǎn)視頻三維地顯示在顯示裝置上。
15. 一種存儲(chǔ)計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)，當(dāng)通過(guò)計(jì)算機(jī)執(zhí)行計(jì)算機(jī)程序時(shí)使得計(jì)算機(jī)執(zhí)行權(quán)利要求1至權(quán)利要求13中的任何一個(gè)。
全文摘要
一種轉(zhuǎn)換3D視頻的3D視頻格式的方法，所述方法包括接收包括3D視頻的視頻序列，所述3D視頻包括左視點(diǎn)視頻和右視點(diǎn)視頻；估計(jì)在左視點(diǎn)視頻和右視點(diǎn)視頻之間的視差信息以及在左視點(diǎn)視頻和右視點(diǎn)視頻的鄰近像素值之間的相關(guān)性信息中的至少一個(gè)，并基于估計(jì)的結(jié)果確定3D視頻的3D視頻格式；基于確定的3D視頻格式將左視點(diǎn)視頻和右視點(diǎn)視頻轉(zhuǎn)換為格式；在顯示裝置上三維地顯示轉(zhuǎn)換的左視點(diǎn)視頻和轉(zhuǎn)換的右視點(diǎn)視頻。
文檔編號(hào)H04N7/01GK102461185SQ201080028422
公開(kāi)日2012年5月16日 申請(qǐng)日期2010年6月23日 優(yōu)先權(quán)日2009年6月23日
發(fā)明者金大式, 金容臺(tái), 金床炫, 閔鐘述 申請(qǐng)人:三星電子株式會(huì)社