專(zhuān)利名稱(chēng)：用于處理視頻圖像的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理視頻圖像的方法和設(shè)備。
背景技術(shù)：
為了增強(qiáng)在觀察視頻資料時(shí)觀察者的體驗(yàn)，可以應(yīng)用已知的技術(shù)來(lái)給予觀察者視頻資料內(nèi)的特定圖像具有三維(3D)特性的印象。這可以通過(guò)將視頻設(shè)置為包括一系列立體圖像的序列來(lái)實(shí)現(xiàn)，其中觀察者通過(guò)一只眼睛看到第一圖像并且通過(guò)另一只眼睛看到第二圖像。如果第一圖像和第二圖像來(lái)自相同的物體但是這些圖像彼此相對(duì)于觀察者所觀察的觀察平面(例如，電視機(jī)屏幕或影院屏幕)水平地移位，那么觀察者通過(guò)感覺(jué)到只有物體的單個(gè)圖像并且該圖像具有特定的深度(即，定位在觀察平面的前方或后方)來(lái)使這個(gè)視覺(jué)信息相協(xié)調(diào)?？梢酝ㄟ^(guò)設(shè)置屬于相同的物體但是從略微不同的角度拍攝的兩個(gè)圖像來(lái)增強(qiáng)3D效果。因?yàn)槿搜郾舜朔珠_(kāi)較小的距離，所以這模仿了在觀察者通過(guò)兩眼觀察真實(shí)物體時(shí)看到的信息，因此觀察者感覺(jué)到所顯示的圖像是3D物體。與傳統(tǒng)的二維QD)視頻序列不同，為了使得觀察者觀看3D圖像，由于相同物體的經(jīng)移位的版本的水平位移，觀察者的眼睛必須被指向略微不同的方向。在觀看立體圖像時(shí)， 可能發(fā)生觀察者的眼睛的不自然的運(yùn)動(dòng)。例如，觀察者的眼睛可能不自然地分離，可能太過(guò)集中或者可能豎直地分離(由于圖像的豎直視差)。這可能導(dǎo)致不舒適。因此，通過(guò)產(chǎn)生表明第一和第二物體的相對(duì)位置的差異性映射(disparity map)來(lái)對(duì)3D視頻序列進(jìn)行分析， 以判斷觀察者必須將他們的眼睛指向不同方向的程度是很有用的。此外，當(dāng)在視頻序列中將2D圖像與3D圖像的顯示相結(jié)合時(shí)，必須進(jìn)行仔細(xì)考慮， 來(lái)確保3D感受不會(huì)被破壞。這在鏡頭中的物體可能移動(dòng)通過(guò)“字幕”的實(shí)況鏡頭中是特別重要的。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種在能夠顯示在屏幕上的第一圖像序列與第二圖像序列之間進(jìn)行切換的方法，屏幕限定了屏幕平面，其中，第一圖像序列包括可以由觀察者感覺(jué)成處于與屏幕平面不同的第一圖像平面上的、可立體觀察的物體，第二圖像序列包括可以被感覺(jué)成處于與第一圖像平面不同的第二圖像平面上的第二物體，可立體觀察的物體包括在第一屏幕平面位置處的第一圖像和在第二屏幕平面位置處的第二圖像，方法包括識(shí)別第一圖像的第一屏幕平面位置和第二圖像的第二屏幕平面位置；向第二圖像序列的第一切換后的幀中，將第二物體的第一副本插入到大體上第一屏幕平面位置并且將第二物體的第二副本插入到大體上第二屏幕平面位置，以及在屏幕上的下述位置處將第二物體的第一副本和第二物體的副本插入到隨后預(yù)定數(shù)目的幀中這些位置比第一和第二屏幕平面位置更靠近對(duì)第二圖像平面處的第二物體進(jìn)行觀察所需的屏幕位置。在預(yù)定數(shù)目的幀中，連續(xù)的幀之間的屏幕位置的變化可以相同。在預(yù)定數(shù)目的幀中，連續(xù)的幀之間的屏幕位置的變化可以不同。
相比于末尾的預(yù)定數(shù)目的連續(xù)幀，在第一預(yù)定數(shù)目的連續(xù)幀期間屏幕位置的變化可以較小。第二圖像平面可以是屏幕平面?？梢允褂糜刹町愋杂成涮幚矶a(chǎn)生的差異性映射來(lái)識(shí)別第一位置和第二位置。圖像序列可以包括觀察者的一只眼睛可觀看的第一組立體圖像以及觀察者的另一只眼睛可觀看的第二組立體圖像，差異性映射可以是通過(guò)以下步驟而產(chǎn)生的對(duì)第一圖像幀執(zhí)行第一邊緣像素檢測(cè)處理，以識(shí)別第一圖像幀內(nèi)的邊緣；從所檢測(cè)到的邊緣識(shí)別第一圖像的特征像素；產(chǎn)生包括特征像素的像素塊；使用來(lái)自第一圖像幀的像素塊來(lái)在第二圖像的搜索區(qū)域上執(zhí)行塊匹配，其中，從第一幀產(chǎn)生的像素塊被與搜索區(qū)域相關(guān)；通過(guò)識(shí)別第一圖像幀的特征像素從第二圖像幀中的相應(yīng)特征像素的相對(duì)位移來(lái)產(chǎn)生差異性映射。該方法可以包括通過(guò)將預(yù)先限定的深度參數(shù)與由差異性映射識(shí)別的物體位置相關(guān)聯(lián)，來(lái)從差異性映射產(chǎn)生深度映射，深度映射提供了屏幕平面與圖像平面之間的距離的指示，所述深度參數(shù)表明可立體觀察的第一物體的深度。該方法可以包括根據(jù)由深度映射或差異性映射指出的、可立體觀察的第一物體的深度，將可立體觀察的第一物體與圖形標(biāo)志相關(guān)聯(lián)。該方法可以包括如果深度等于或大于預(yù)定閾值視差值，將可立體觀察的第一物體與圖形標(biāo)志相關(guān)聯(lián)。圖像標(biāo)志可以包括將顏色施加到3D圖像上。該方法可以包括對(duì)第二圖像幀執(zhí)行第二邊緣像素檢測(cè)處理，以識(shí)別第二圖像幀內(nèi)的邊緣，通過(guò)所識(shí)別的邊緣和所產(chǎn)生的差異性映射來(lái)在第一圖像幀中確定預(yù)測(cè)邊緣像素，并且當(dāng)在第一圖像中的預(yù)測(cè)邊緣像素與所檢測(cè)到的邊緣像素處于預(yù)定的閾值距離內(nèi)時(shí)，驗(yàn)證差異性映射。在邊緣像素檢測(cè)步驟之前，可以將分諧波累加處理應(yīng)用到第一圖像幀和第二圖像幀中的至少一者的自相關(guān)版本，以確定存在于至少一個(gè)幀中的重復(fù)圖案的基礎(chǔ)頻率的大小，并且基于至少一個(gè)幀圖像的基礎(chǔ)頻率的大小來(lái)執(zhí)行邊緣像素檢測(cè)處理和差異性處理步
馬聚ο差異性映射可以包括相應(yīng)的特征像素之間的水平位移，邊緣檢測(cè)處理使用Sobel 邊緣檢測(cè)技術(shù)。第一邊緣檢測(cè)處理可以包括將第一圖像分割為多個(gè)像素塊的步驟，并且判斷在每個(gè)像素塊中的邊緣的數(shù)目，其中，如果邊緣的數(shù)目低于閾值，那么將這樣的像素塊認(rèn)為是其中不具有邊緣。閾值可以與像素塊中的像素的豎直個(gè)數(shù)相同。如果在像素塊中檢測(cè)到的邊緣的數(shù)目高于第二閾值，那么可以將在這樣的像素塊中的邊緣的數(shù)目認(rèn)為是第二閾值。根據(jù)另一個(gè)方面，提供了一種用于在能夠顯示在屏幕上的第一圖像序列與第二圖像序列之間進(jìn)行切換的設(shè)備，屏幕限定了屏幕平面，其中，第一圖像序列包括可由觀察者感覺(jué)成處于與屏幕平面不同的第一圖像平面上的、可立體觀察的物體，第二圖像序列包括可被感覺(jué)成處于與第一圖像平面不同的第二圖像平面上的第二物體，可立體觀察的物體包括在第一屏幕平面位置處的第一圖像和在第二屏幕平面位置處的第二圖像，設(shè)備包括識(shí)別裝置，其可進(jìn)行操作以識(shí)別第一圖像的第一屏幕平面位置和第二圖像的第二屏幕平面位置；插入器，其可進(jìn)行操作以向第二圖像序列的第一切換后的幀中，將第二物體的第一副本插入到大體上第一屏幕平面位置并且將第二物體的第二副本插入到大體上第二屏幕平面位置，以及可以進(jìn)行操作以在屏幕上的下述位置處將所述第二物體的所述第一副本和所述第二物體的第二副本插入到隨后預(yù)定數(shù)目的幀中這些位置比第一和第二屏幕平面位置更靠近對(duì)第二圖像平面處的第二物體進(jìn)行觀察所需的屏幕位置。在預(yù)定數(shù)目的幀中，連續(xù)的幀之間的屏幕位置的變化可以相同。在預(yù)定數(shù)目的幀中，連續(xù)的幀之間的屏幕位置的變化可以不同。相比于末尾的預(yù)定數(shù)目的連續(xù)幀，在第一預(yù)定數(shù)目的連續(xù)幀期間屏幕位置的變化可以較小。第二圖像平面可以是屏幕平面?？梢允褂糜刹町愋杂成涮幚矶a(chǎn)生的差異性映射來(lái)識(shí)別第一位置和第二位置。圖像序列可以包括觀察者的一只眼睛可觀看的第一組立體圖像幀以及觀察者的另一只眼睛可觀看的第二組立體圖像幀，差異性映射是由差異性映射生成器產(chǎn)生的，差異性映射生成器可以進(jìn)行操作從而對(duì)第一圖像幀執(zhí)行第一邊緣像素檢測(cè)處理，以識(shí)別第一圖像幀內(nèi)的邊緣；從所檢測(cè)到的邊緣識(shí)別第一圖像的特征像素；產(chǎn)生包括特征像素的像素塊；使用來(lái)自第一圖像幀的像素塊來(lái)在第二圖像的搜索區(qū)域上執(zhí)行塊匹配，其中，從第一幀產(chǎn)生的像素塊被與搜索區(qū)域相關(guān)；通過(guò)識(shí)別第一圖像幀的特征像素從第二圖像幀中的相應(yīng)特征像素的相對(duì)位移來(lái)產(chǎn)生差異性映射。該設(shè)備可以包括深度映射產(chǎn)生器，其可以進(jìn)行操作以通過(guò)將預(yù)先限定的深度參數(shù)與由差異性映射識(shí)別的物體位置相關(guān)聯(lián)，來(lái)從差異性映射產(chǎn)生深度映射，深度映射提供了屏幕平面與圖像平面之間的距離的指示，所述深度參數(shù)表明可立體觀察的第一物體的深度。該設(shè)備可以包括相關(guān)裝置，其可進(jìn)行操作以根據(jù)由深度映射或差異性映射指出的、可立體觀察的第一物體的深度，將可立體觀察的第一物體與圖形標(biāo)志相關(guān)聯(lián)。如果深度等于或大于預(yù)定閾值視差值，相關(guān)裝置可以進(jìn)行操作以將可立體觀察的第一物體與圖形標(biāo)志相關(guān)聯(lián)。圖像標(biāo)志可以包括將顏色施加到3D圖像上。該設(shè)備可以包括生成器可進(jìn)行操作以對(duì)第二圖像幀執(zhí)行第二邊緣像素檢測(cè)處理，以識(shí)別第二圖像幀內(nèi)的邊緣，通過(guò)所識(shí)別的邊緣和所產(chǎn)生的差異性映射來(lái)在第一圖像幀中確定預(yù)測(cè)邊緣像素，并且當(dāng)在第一圖像中的預(yù)測(cè)邊緣像素與所檢測(cè)到的邊緣像素處于預(yù)定的閾值距離內(nèi)時(shí)，驗(yàn)證差異性映射。在邊緣像素檢測(cè)步驟之前，可以將分諧波累加處理應(yīng)用到第一圖像幀和第二圖像幀中的至少一者的自相關(guān)版本，以確定存在于至少一個(gè)幀中的重復(fù)圖案的基礎(chǔ)頻率的大小，并且基于至少一個(gè)幀圖像的基礎(chǔ)頻率的大小來(lái)執(zhí)行邊緣像素檢測(cè)處理和差異性處理步
馬聚ο差異性映射可以包括相應(yīng)的特征像素之間的水平位移，并且邊緣檢測(cè)處理使用 Sobel邊緣檢測(cè)技術(shù)。第一邊緣檢測(cè)處理可以包括將第一圖像分割為多個(gè)像素塊的步驟，并且判斷在每
8個(gè)像素塊中的邊緣的數(shù)目，其中，如果邊緣的數(shù)目低于閾值，那么將這樣的像素塊認(rèn)為是其中不具有邊緣。閾值可以與像素塊中的像素的豎直個(gè)數(shù)相同。如果在像素塊中檢測(cè)到的邊緣的數(shù)目高于第二閾值，那么可以將在這樣的像素塊中的邊緣的數(shù)目認(rèn)為是第二閾值。將會(huì)在權(quán)利要求中進(jìn)一步限定本發(fā)明的各種方面和特征。


通過(guò)結(jié)合附圖閱讀以下的示例實(shí)施例的詳細(xì)描述，本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)將會(huì)變得清楚。在附圖中圖1提供了示出3D視頻序列的示意圖；圖2提供了示出用于顯示圖1中的3D視頻序列的系統(tǒng)的示意圖；圖3提供了示出如何使得觀察者可以看到顯示在圖2的系統(tǒng)中的圖像的示意圖；圖4提供了示出如何使得觀察者可以看到顯示在圖2的系統(tǒng)中的圖像的示意圖；圖5和圖6提供示出了圖2和圖3中示出的顯示裝置的俯視圖的示意圖；圖7a到圖7d提供了示出根據(jù)本發(fā)明的實(shí)施例的用于減小觀察者不舒適性的技術(shù)的示意圖；圖8提供了示出圖7a到7d中示出的技術(shù)的示例的示意圖；圖9提供了示出用于實(shí)施圖7a到7d中示出的技術(shù)的系統(tǒng)的示意圖；圖10提供了示出被插入3D視頻序列中的2D圖像的示例的示意圖；圖11提供了示出2D圖像在屏幕上的定位的示意圖；圖12提供了示出如何以傳統(tǒng)方式將3D視頻序列中的左快門(mén)幀與右快門(mén)幀相比較以產(chǎn)生差異性映射的示意圖；圖13提供了示出用于增加產(chǎn)生差異性映射的速度和效率的改善技術(shù)的示例的示意圖；圖14提供了示出差異性映射單元的示意圖；圖15a提供了示出來(lái)自3D視頻序列的鏡頭的示意圖；圖1 提供了示出用于示出來(lái)自3D視頻序列的鏡頭的技術(shù)的示意圖；圖16提供了示出了用于實(shí)施在圖15b中示出的技術(shù)的系統(tǒng)的示意圖；圖17提供了示出了來(lái)自3D視頻序列的右快門(mén)幀和左快門(mén)幀的示例的示意圖；圖18a到圖18e提供了示出了用于對(duì)幀的、包括在差異性映射期間可能引起混淆的部分進(jìn)行識(shí)別的技術(shù)的示意圖；圖19提供了用于采取圖18A到18e中示出的技術(shù)的系統(tǒng)的示意圖；并且圖20提供了示出根據(jù)本發(fā)明的實(shí)施例的處理的流程圖。
具體實(shí)施例方式存在許多用于在視頻序列中提供立體(即，3D)圖像的技術(shù)。例如，觀察者可以佩戴這樣的一副眼鏡，其中一個(gè)鏡片包括只允許沿著一個(gè)方向偏振的光通過(guò)的光學(xué)濾光片并且另一個(gè)鏡片包括只允許沿著另一個(gè)方向偏振的光通過(guò)的光學(xué)濾光片。觀察者可以觀看其中通過(guò)顯示第一和第二圖像來(lái)產(chǎn)生3D圖像的視頻序列，每個(gè)圖像利用不同的偏振光進(jìn)行顯示。這確保了由使用者的每只眼睛只能看到一個(gè)圖像。在影院中，這可以這樣實(shí)現(xiàn)通過(guò)使用兩個(gè)分離的投影機(jī)將兩個(gè)版本的視頻序列投影到影院屏幕上，每個(gè)不同的版本穿過(guò)不同偏振的濾光片。在電視和計(jì)算機(jī)監(jiān)視器中，這種技術(shù)可以這樣實(shí)現(xiàn)通過(guò)提供適合于隔行掃描的顯示裝置，其中，偶數(shù)線(xiàn)的像素發(fā)出沿著第一方向偏振的光，并且奇數(shù)線(xiàn)像素發(fā)出沿著第二方向偏振的光。使用奇數(shù)線(xiàn)像素來(lái)顯示第一圖像并且使用偶數(shù)線(xiàn)像素來(lái)顯示第二圖像。其他的示例包括基于透鏡的顯示裝置，其包括設(shè)置為將構(gòu)成3D圖像的兩個(gè)不同的圖像以不同的顯示角投影的豎直透鏡陣列。通過(guò)將顯示角與觀察者的眼睛之間的間距相匹配，觀察者將會(huì)通過(guò)每個(gè)眼鏡看到不同的圖像。在另一個(gè)示例中，使用了快門(mén)鏡片系統(tǒng)。向觀察者提供一副“快門(mén)眼鏡”?？扉T(mén)眼鏡包括標(biāo)準(zhǔn)的眼鏡結(jié)構(gòu)，除了在傳統(tǒng)地安裝一對(duì)光學(xué)鏡片的位置處，代替安裝了一對(duì)能夠快速地打開(kāi)和關(guān)閉以允許或限制光的透射的快門(mén)。每個(gè)快門(mén)通常實(shí)施為可以通過(guò)施加合適的電壓而轉(zhuǎn)為不透明的液晶顯示鏡片?？扉T(mén)眼鏡與顯示裝置同步。顯示裝置允許顯示“左快門(mén)幀”和“右快門(mén)幀”的序列。在一個(gè)視頻幀期間，存在一個(gè)左快門(mén)幀和一個(gè)右快門(mén)幀的一個(gè)完整的循環(huán)。在顯示“左快門(mén)幀”時(shí)，在快門(mén)眼鏡的右鏡片中的快門(mén)關(guān)閉并且觀察者僅能通過(guò)其左眼看到屏幕。在顯示“右快門(mén)幀”時(shí)，在快門(mén)眼鏡的左鏡片中的快門(mén)關(guān)閉并且觀察者僅能通過(guò)其右眼看到屏幕。因此，左快門(mén)幀和右快門(mén)幀的序列可以被用來(lái)允許用戶(hù)通過(guò)每個(gè)眼鏡看到不同的圖像。在下文的描述中解釋的方法和系統(tǒng)主要描述了快門(mén)鏡片系統(tǒng)。然而，將會(huì)明白，可以使用上述立體視頻系統(tǒng)中的任何一者來(lái)實(shí)施這里公開(kāi)的系統(tǒng)和方法。具體地，全部的立體視頻系統(tǒng)都包括某種概念的、僅由左眼看到的“左幀”以及僅由右眼看到的右?guī)?。圖1提供了示出了包括大量3D視頻幀的3D視頻序列101的示意圖。每個(gè)3D視頻幀103包括一個(gè)左快門(mén)幀102和一個(gè)右快門(mén)幀104。如圖1所示，左快門(mén)幀和右快門(mén)幀交替地設(shè)置。圖2提供了示出用于顯示圖1中示出的3D視頻序列的系統(tǒng)的示意圖。圖2示出了顯示裝置201(例如傳統(tǒng)的電視機(jī))，該顯示裝置連接到存儲(chǔ)有圖1中示出的3D視頻序列的3D視頻源202。存儲(chǔ)在3D視頻源202中的3D視頻序列被輸入到顯示裝置201并且來(lái)自3D視頻序列的每個(gè)3D視頻幀被連續(xù)地顯示在顯示裝置201上。觀察者203被示出為佩戴著一副快門(mén)眼鏡204?？扉T(mén)眼鏡204包括左快門(mén)20 和右快門(mén)204b。 通過(guò)連接部分205，使得快門(mén)眼鏡204與來(lái)自3D視頻源202的3D視頻序列的輸出同步。連接部分205在一些示例中可以是無(wú)線(xiàn)連接并且在其他示例中可以是實(shí)體連接?？扉T(mén)眼鏡 204與來(lái)自3D視頻源202的3D視頻序列的輸出同步，當(dāng)顯示裝置201顯示左快門(mén)幀時(shí)，快門(mén)眼鏡204的右快門(mén)204b關(guān)閉以基本防止任何光穿過(guò)右快門(mén)204b。這種效果是觀察者203 只能用其左眼看到顯示裝置201。因此，由觀察者僅通過(guò)其左眼看到在來(lái)自3D視頻序列的左快門(mén)幀中示出的第一圖像206。在已經(jīng)顯示了左快門(mén)幀之后，顯示來(lái)自3D視頻序列的隨后的右快門(mén)幀?？扉T(mén)眼鏡204與3D視頻源202之間的同步使得在右快門(mén)幀顯示時(shí)，快門(mén)眼鏡204的左快門(mén)20 被關(guān)閉，使得觀察者203只能通過(guò)其右眼看到顯示裝置201。當(dāng)顯示右快門(mén)幀時(shí)，第二圖像207顯示為與在左快門(mén)幀中示出的第一圖像206相對(duì)應(yīng)，但是第二圖像207相對(duì)于第一圖像206的位置水平移位。如可以理解的，以使得觀察者不能夠發(fā)覺(jué)交替地顯示圖像206、207的速度來(lái)向觀察者203顯示幀。相反，觀察者感覺(jué)到兩個(gè)圖像206、 207是具有某種程度的三維“深度”的單個(gè)圖像。這在下文中參照?qǐng)D3進(jìn)一步地解釋。除了示出了如何由觀察者203觀看顯示裝置201上的圖像之外，圖3示出了描繪圖2中示出的系統(tǒng)的示意圖。觀察者203通過(guò)其左眼經(jīng)由快門(mén)眼鏡204的左快門(mén)的連續(xù)打開(kāi)和關(guān)閉而看到第一圖像206，并且通過(guò)其右眼經(jīng)由連續(xù)打開(kāi)和關(guān)閉的快門(mén)眼鏡204的右快門(mén)而看到第二圖像207。人腦將會(huì)通過(guò)理解為存在定位于顯示裝置201前方一定距離處的3D圖像208而使得來(lái)自顯示裝置的信息相協(xié)調(diào)。以這種方式定位在顯示裝置前方的3D 圖像被稱(chēng)作具有“負(fù)的”視差。如可以理解的，該技術(shù)也可以用于給予觀察者3D圖像定位在屏幕后方的印象。這在圖4中示出。圖4示出了表示觀察者203通過(guò)其右眼看到的第一圖像401和觀察者203 通過(guò)其左眼看到的第二圖像402的示意圖。如圖4所示，這給予觀察者203 3D圖像403定位在屏幕201后方的印象。減小由于從感覺(jué)到處在一個(gè)圖像平面上的圖像氮到感覺(jué)處在第二不同的圖像平面上的圖像(諸如2D)之間的切換而引起的不舒適性在如圖2到圖4所示顯示給觀察者的視頻序列中，可能發(fā)生由于3D視頻序列從顯示的3D圖像(S卩，通過(guò)向觀察者的右眼顯示第一圖像并且向觀察者的左眼顯示水平偏移的第二圖像而產(chǎn)生的圖像)向顯示在不同平面上的圖像(例如，顯示在屏幕上的、觀察者通過(guò)兩只眼睛觀看的2D圖像或者具有其他3D效果的圖像)突然切換而產(chǎn)生的問(wèn)題。這個(gè)概念參照?qǐng)D5和圖6示出。圖5示出了表示圖2和圖3中示出的顯示裝置201的俯視圖的示意圖，其示出了由觀察者的右眼501和觀察者的左眼502分別觀看的第一圖像206和第二圖像207，由此使得觀察者感覺(jué)到3D圖像208。與圖5相同，圖6示出了顯示裝置201的俯視圖，但是這一次示出了 3D視頻序列的隨后的幀，由此在該示例中已經(jīng)將3D圖像208替換為觀察者用兩眼看到的2D圖像601。 如通過(guò)比較圖5和圖6可以看到的，在顯示裝置201突然從顯示3D圖像208變化到顯示2D 圖像601時(shí)，觀察者的眼睛的方向必須突然改變?yōu)榧性?D圖像601上。如果3D視頻序列包括大量的從顯示3D圖像到顯示2D圖像之間或者與此相反的突然切換，那么觀察者必須快速地改變他們眼睛所指向的方向的事實(shí)可能導(dǎo)致明顯的不舒適性。圖7a到7d提供了示出根據(jù)本發(fā)明的實(shí)施例的用于減小觀察者不舒適性的技術(shù)的示意圖。圖7a示出了由3D視頻序列幀的序列提供的兩個(gè)圖像206、207，觀察者將會(huì)將這兩個(gè)圖像感覺(jué)為圖像平面(201)(例如顯示裝置)上顯示的3D圖像208。換言之，在左快門(mén)幀期間顯示圖像206，在右快門(mén)幀期間顯示圖像207。圖7b示出了 3D視頻序列的下一個(gè)視頻幀，其中存在從3D視頻圖像208到2D圖像601的切換。然而，如圖7b所示，在屏幕201上提供2D圖像601的兩個(gè)副本，即第一副本601a和第二副本601b。二維圖像的第一和第二副本位于與構(gòu)成3D圖像208的第一圖像206和第二圖像207的位置相對(duì)應(yīng)的位置處。圖 7c示出了視頻序列的下一個(gè)幀，其示出了會(huì)聚在一起的2D圖像的第一副本601a和2D圖像的第二副本601b。圖7d示出了在圖7c中示出的幀之后的3D視頻序列的幀，其中2D圖像的第一和第二副本已經(jīng)會(huì)聚到屏幕201上的單個(gè)點(diǎn)上，這提供了 2D圖像601的單個(gè)圖像。
11這單個(gè)點(diǎn)對(duì)應(yīng)于將要顯示給觀察者的2D圖像在圖像平面中的位置。因此，在短時(shí)間內(nèi)，2D圖像立體地顯示(也將會(huì)略為具有3D效果)。隨著2D圖像在屏幕上朝向單個(gè)點(diǎn)逐漸地會(huì)聚，3D效果將會(huì)逐漸減小直到圖像朝向這一個(gè)點(diǎn)變?yōu)閹缀?2D的或者在這一個(gè)點(diǎn)處變?yōu)橥耆?D的。實(shí)際上，在幾乎(或?qū)嶋H上)完全會(huì)聚時(shí)，可以將快門(mén)眼鏡關(guān)閉，由此使得兩個(gè)鏡片都是眼鏡透明的。在此時(shí)，可以顯示單個(gè)2D圖像。因?yàn)檠劬ι系倪^(guò)渡不會(huì)太大，所以可以在完全會(huì)聚之前就僅顯示2D圖像。如可以理解的，通過(guò)采用這種技術(shù)而不是強(qiáng)制觀察者使其突然將他們眼鏡的方向從兩個(gè)偏移的圖像移動(dòng)到單個(gè)圖像，可以將觀察者的眼睛更逐漸地引導(dǎo)到顯示2D圖像的最后的點(diǎn)。這種技術(shù)可以在少量的幀(例如12個(gè))期間應(yīng)用，以使得2D圖像的兩個(gè)副本向顯示裝置201上的單個(gè)點(diǎn)上的會(huì)聚更不易被觀察者感覺(jué)到。事實(shí)上，在實(shí)際操作中，將使得用戶(hù)難以感覺(jué)到的幀的數(shù)目很可能高于12個(gè)，因?yàn)橛^察者難以在3D空間中感覺(jué)到2D圖像。此外，2D圖像向單個(gè)點(diǎn)的會(huì)聚可以被控制為能夠由觀察者感覺(jué)到或者不能夠由觀察者感覺(jué)到。通過(guò)進(jìn)行可以由使用者感覺(jué)到的過(guò)渡，可以實(shí)現(xiàn)有用的編輯效果。實(shí)際上，可以在減小對(duì)于眼睛從觀看3D圖像移動(dòng)到2D圖像的觀察者的影響的任何數(shù)目的幀上進(jìn)行過(guò)渡。 因此，在用戶(hù)不能感覺(jué)到過(guò)渡的情況下，雖然觀察者不會(huì)感覺(jué)到2D圖像在短時(shí)間內(nèi)是在顯示裝置上立體顯示的(并且因此沒(méi)有感覺(jué)到2D圖像具有3D效果)，但他們的眼睛將會(huì)仍然被逐漸引導(dǎo)到顯示裝置201上的2D圖像的位置。圖8示出了表示這種技術(shù)的示例的示意圖。圖8示出了在圖2和圖3中示出的顯示裝置201。如圖8所示，在t = 0時(shí)，觀察者在屏幕201上感覺(jué)到3D圖像208。在t = l 時(shí)，2D圖像的兩個(gè)副本801a、801b顯示在屏幕201上的、原先由第一圖像206和第二圖像 207占據(jù)的位置。這具有2D物體看起來(lái)在3D空間中持續(xù)短時(shí)間的效果。在時(shí)間t = 2時(shí)， 可以看出來(lái)2D圖像的兩個(gè)部分801a和801b朝向顯示裝置201上的單個(gè)點(diǎn)會(huì)聚。這使得 2D物體的位置看起來(lái)更靠近屏幕。在t = 3時(shí)，單個(gè)2D圖像801被顯示在2D圖像的副本所會(huì)聚的點(diǎn)處?？梢钥刂茍D像會(huì)聚成為2D圖像的速度。例如，在過(guò)渡過(guò)程中的圖像的會(huì)聚可以是恒定的(即，2D圖像會(huì)聚的速度是恒定的)。或者，在過(guò)渡開(kāi)始時(shí)圖像的會(huì)聚可能比在過(guò)渡結(jié)束時(shí)更快(即，在過(guò)渡開(kāi)始時(shí)2D圖像會(huì)聚的速度比在過(guò)渡結(jié)束時(shí)更快)?；蛘撸谶^(guò)渡結(jié)束時(shí)圖像的會(huì)聚可以比在過(guò)渡開(kāi)始時(shí)更快(即，在過(guò)渡結(jié)束時(shí)2D圖像會(huì)聚的速度比在過(guò)渡開(kāi)始時(shí)更快)。在可以感受到過(guò)渡的狀態(tài)下，因?yàn)檫@可能產(chǎn)生有用的編輯工具，所以這可能是特別有利的。然而，即使在不能感受到過(guò)渡的情況下，通過(guò)具有不同過(guò)渡速度可以進(jìn)一步減小對(duì)于觀察者的眼睛的影響。例如，在觀察者的眼鏡處于最分開(kāi)的狀態(tài)時(shí)(即，在過(guò)渡開(kāi)始時(shí))，開(kāi)始緩慢的過(guò)渡可以是有用的。這將在觀察者的眼睛處于最不自然的位置時(shí)對(duì)于觀察者的眼睛產(chǎn)生最少的影響。然而，隨著觀察者的眼睛在過(guò)渡期間變得更不分開(kāi)，會(huì)聚的速度可以隨著對(duì)于觀察者的眼睛的影響變小而增加。此外，雖然在上文中描述了幀的數(shù)目是對(duì)于過(guò)渡的可感覺(jué)性的一個(gè)影響，但是其他影響也可以存在。例如，在從3D平面移動(dòng)到2D平面時(shí)物體的可感覺(jué)到的深度可能也影響過(guò)渡的可感覺(jué)性。圖9示出了表示用于實(shí)施圖7a到7d中和圖8中示出的技術(shù)的系統(tǒng)。圖9中示出的系統(tǒng)可以實(shí)施為視頻編輯套件的一部分，諸如本領(lǐng)域中公知的用來(lái)編輯實(shí)況或預(yù)先記錄的視頻內(nèi)容的那些。圖9包括編輯單元91，其用于執(zhí)行傳統(tǒng)的視頻編輯功能，諸如將不同的視頻幀編輯到一起以產(chǎn)生輸出視頻序列以及將各種效果應(yīng)用到視頻序列?？梢杂捎脩?hù)使用用戶(hù)控制 95來(lái)控制編輯單元91。視頻序列源92諸如將從電視攝像機(jī)的實(shí)時(shí)饋送或者從一些形式的存儲(chǔ)介質(zhì)讀取的視頻序列發(fā)送到編輯單元91。在圖9中示出的示例中，來(lái)自視頻源92的視頻序列是3D視頻序列。編輯單元91也從第二視頻源94接收視頻內(nèi)容。在一些示例中，它們可以是計(jì)算機(jī)產(chǎn)生的內(nèi)容，特別地是2D的計(jì)算機(jī)生成的內(nèi)容，諸如插入視頻序列中的標(biāo)識(shí)和/或附加信息。系統(tǒng)包括差異性映射單元93，其中來(lái)自視頻源92的3D視頻序列也被輸入到其中。差異性映射單元93被設(shè)置為將3D視頻序列的左快門(mén)幀與右快門(mén)幀相比較， 以判斷顯示在其中的圖像之間的差異性。例如，通過(guò)參照?qǐng)D2，可以看到3D視頻序列顯示的左快門(mén)幀和右快門(mén)幀是基本相同的圖像，只是這些圖像顯示為彼此水平移位。差異性映射單元93被設(shè)置為檢測(cè)水平位移(S卩，差異性)并且將信息發(fā)送給編輯單元91。差異性是左圖像和右圖像中的相應(yīng)像素之間的像素差異的數(shù)目。差異性映射可以被用來(lái)使用攝像機(jī)參數(shù)來(lái)產(chǎn)生將任何一點(diǎn)處的差異性映射到真實(shí)空間中的點(diǎn)的深度。因此，使用從差異性映射單元93提供的差異性映射信息，編輯單元可以明了在左快門(mén)幀中的圖像的位置和右快門(mén)幀中的圖像的位置的軌跡，這兩個(gè)圖像被結(jié)合到一起以構(gòu)成3D圖像。差異性映射信息可以是以信號(hào)形式提供的立體元數(shù)據(jù)?？梢酝ㄟ^(guò)攝像機(jī)對(duì)圖像進(jìn)行拍攝來(lái)產(chǎn)生映射信息?？梢园殡S著所拍攝的圖像存儲(chǔ)立體元數(shù)據(jù)。這種差異性映射信息允許編輯單元將2D圖像的兩個(gè)副本插入到與在先顯示的第一和第二圖像的位置相對(duì)應(yīng)的位置，以執(zhí)行上述技術(shù)。在下文中更詳細(xì)地解釋差異性映射生成器的功能。這里應(yīng)當(dāng)注意，已經(jīng)參照3D向2D切換來(lái)描述上述內(nèi)容。然而，本發(fā)明沒(méi)有這種限制。在本發(fā)明的實(shí)施例中，可以將移交技術(shù)相等地應(yīng)用到3D向3D過(guò)渡。例如，如果存在從視覺(jué)上在屏幕的前方的一個(gè)3D鏡頭向物體視覺(jué)上在屏幕后方的一個(gè)3D鏡頭切換的話(huà)，可以仍然存在不舒適性。因此，在物體看起來(lái)從一個(gè)圖像平面上移動(dòng)到另一個(gè)不同的圖像平面上的情況下，上文中描述的移交技術(shù)是對(duì)于任何情況都是有用的。2D圖像物體插入在一些情況下，可以期望將物體的2D圖像(即，圖像物體)插入到3D視頻序列中。例如，如果顯示諸如賽車(chē)競(jìng)賽的實(shí)況運(yùn)動(dòng)比賽的話(huà)，可能期望將計(jì)算機(jī)生成的圖形插入示出了賽車(chē)的3D視頻鏡頭中，以向觀察者提供關(guān)于賽車(chē)的更多信息。這種信息可以是標(biāo)題或字幕，或者實(shí)際上是如圖10所示的數(shù)字。圖10示出了表示2D圖像被插入3D視頻序列的示意圖。如圖10所示，第一圖像206被示出給觀察者的左眼并且第二圖像207被示出給觀察者的右眼，從而形成在這個(gè)示例中為賽車(chē)的3D圖像208。圖10示出了插入諸如計(jì)算機(jī)生成的圖形(諸如數(shù)字)的2D圖像。雖然該數(shù)字是3D圖像的補(bǔ)充并且因此被插入到屏幕 201上的、與第一和第二圖像不同的位置，但是2D圖像10在第一圖像206與第二圖像207 之間的定位可能導(dǎo)致3D圖像208的深度假象受到破壞。這在圖11中更清楚地示出，圖11 提供了將屏幕201上的2D圖像110定位在第一圖像206與第二圖像207之間的位置處的示意圖。觀察者可以通過(guò)左眼和右眼觀看2D圖像110，但是從觀察者的透視視點(diǎn)來(lái)看，它好像在觀察者感覺(jué)到3D圖像208在屏幕前方所定位的位置后方，這種定位是行不通的。
為了解決該問(wèn)題，應(yīng)當(dāng)在更合適的位置將2D圖像插入到屏幕上。具體地，位置不應(yīng)當(dāng)受3D錯(cuò)覺(jué)影響并且應(yīng)當(dāng)被放置在屏幕上的、在3D錯(cuò)覺(jué)中最靠近觀察者的物體的前方的位置。為了確定這個(gè)信息，使用差異性映射。通過(guò)圖9中示出的系統(tǒng)來(lái)實(shí)施識(shí)別可以插入2D圖像的區(qū)域的這種技術(shù)，通過(guò)使用來(lái)自差異性映射單元93的信息來(lái)從3D視頻序列的幀確定將會(huì)構(gòu)成3D圖像的第一和第二圖像的相對(duì)位置，同時(shí)使用編輯單元91插入來(lái)自第二視頻源94的2D計(jì)算機(jī)生成的內(nèi)容。此外，對(duì)于實(shí)時(shí)內(nèi)容，不能確保之前在屏幕上或在3D空間中“安全”的位置將會(huì)保持安全。例如，一些人可能在攝像機(jī)前方行走，或者朝向攝像機(jī)奔跑。在這種情況下，期望在物體移動(dòng)到圖像前方時(shí)自動(dòng)地移除圖像，或者移除圖像的、由物體遮蔽的部分。在前一種情況下，可以從在本發(fā)明的實(shí)施例中確定的差異性映射來(lái)獲得這個(gè)信息。然而，在第二種情況下，將會(huì)有必要產(chǎn)生具有對(duì)于每個(gè)像素的深度信息的密集差異性映射。本領(lǐng)域技術(shù)人員將會(huì)明白，可以使用任何已知的技術(shù)(諸如參照?qǐng)D12解釋的技術(shù))來(lái)產(chǎn)生這種映射。差異件映射的牛成圖12提供了通過(guò)比較3D視頻序列的左快門(mén)幀141和右快門(mén)幀142來(lái)生成差異性映射的傳統(tǒng)技術(shù)的示意圖。右快門(mén)幀141和左快門(mén)幀142被對(duì)準(zhǔn)，并且將每個(gè)幀的每個(gè)點(diǎn)與另一個(gè)幀的相應(yīng)的點(diǎn)一個(gè)像素一個(gè)像素地比較，以識(shí)別出幀之間的像素的水平位移(即， 差異性)。之后可以將該信息圖形化到二維映射143上，其中二維映射143圖形化地示出了一個(gè)幀的像素從另一個(gè)幀的像素水平移位的區(qū)域。在一些實(shí)例中，二維映射上較暗的區(qū)域被用來(lái)表示較高水平的差異性。使用這種傳統(tǒng)的技術(shù)，將右快門(mén)幀的每根線(xiàn)145都與左快門(mén)幀的相應(yīng)的線(xiàn)146以像素為基準(zhǔn)進(jìn)行比較，來(lái)確定在該線(xiàn)上的點(diǎn)的差異性。因?yàn)檫@是以像素為基準(zhǔn)來(lái)完成的，所以雖然產(chǎn)生了非常詳細(xì)的差異性映射143，但是這是非常有計(jì)算強(qiáng)度的并且可能需要大量時(shí)間。對(duì)于可以構(gòu)成3D視頻序列的幀的高清晰度圖像，實(shí)時(shí)或接近實(shí)時(shí)地產(chǎn)生差異性映射可能是不現(xiàn)實(shí)的。圖13提供了示出用于增加產(chǎn)生視頻序列的差異性映射的速度和效率的改善技術(shù)的示例的示意圖。首先，左快門(mén)幀151受到邊緣檢測(cè)處理。然而，相等地，右快門(mén)幀可以被用來(lái)代替受到邊緣檢測(cè)處理。這種邊緣檢測(cè)處理可以通過(guò)使用傳統(tǒng)的邊緣檢測(cè)算法(諸如Sobel邊緣檢測(cè)處理)來(lái)進(jìn)行。實(shí)際上，使用Sobel邊緣檢測(cè)技術(shù)是很有用的，因?yàn)樵趫D像中只檢測(cè)豎直邊緣。檢測(cè)豎直邊緣的原因是在實(shí)施例中只判斷水平差異性。因此，通過(guò)僅檢測(cè)豎直邊緣，減少了候選關(guān)鍵特征的數(shù)目。這減小了計(jì)算開(kāi)銷(xiāo)。然而，本發(fā)明不受到這樣的限制， 并且可以考慮其他邊緣檢測(cè)處理，以沿著任何方向檢測(cè)邊緣。在已經(jīng)執(zhí)行邊緣檢測(cè)之后，產(chǎn)生了圖示出從左快門(mén)幀檢測(cè)到邊緣像素的邊緣檢測(cè)圖像153。如可以看到的，第一圖像153 含有大量的不與在3D視頻序列的左快門(mén)幀中的主要物體157相對(duì)應(yīng)的多余邊緣像素155、 156。因此，進(jìn)行邊緣檢測(cè)的第二階段，由此將第一圖像153分解為小的像素塊(例如， 8乘8像素塊或16乘16像素塊(或者實(shí)際上任何尺寸的像素塊))并且分析存在于這些塊中的邊緣像素的數(shù)目。如果在一個(gè)塊中的邊緣像素的數(shù)目低于閾值的話(huà)，那么假設(shè)該塊不含有邊緣像素。在一些實(shí)施例中，塊的閾值與塊的寬度和高度相同。這是因?yàn)榇┻^(guò)該塊的豎直線(xiàn)將會(huì)在其中至少具有這些數(shù)目的像素。然而，本發(fā)明不受到這樣的限制，并且可以預(yù)見(jiàn)到任何閾值，諸如5。因此，由于來(lái)自背景中的幀的物體所產(chǎn)生的多余邊緣像素(其與產(chǎn)生差異性映射無(wú)關(guān))傾向于被排除。在一些情況下，可能在像素塊中存在許多邊緣像素。 由于這個(gè)原因，邊緣像素的最大數(shù)目可以被例如設(shè)置為12，并且如果像素塊中的邊緣像素的數(shù)目超出這個(gè)值，那么從該塊中隨機(jī)挑選預(yù)先限定的數(shù)目的邊緣像素，例如8個(gè)，并且將這些邊緣像素假定為該塊的邊緣像素。這是增加這種技術(shù)的速度的簡(jiǎn)便方式。在邊緣像素檢測(cè)的第二階段之后，選擇一個(gè)或多個(gè)關(guān)鍵特征。關(guān)鍵特征是從像素塊中所檢測(cè)到的邊緣選取的像素。在實(shí)施例中，該選擇是從包含在假定為含有邊緣像素的像素塊中的邊緣像素隨機(jī)選擇，但是其他的非隨機(jī)選擇也是可以的。或者，像素塊中的每個(gè)邊緣像素都可以是關(guān)鍵特征。在從每個(gè)像素塊選擇關(guān)鍵像素之后，在左快門(mén)幀中產(chǎn)生其中定位有關(guān)鍵特征的第二塊。這個(gè)其他塊例如是16像素乘16像素并且以該關(guān)鍵特征像素為中心?？梢韵氲狡渌麎K可以具有任何尺寸。這意味著從具有邊緣檢測(cè)像素的像素塊中選擇右手圖像中的關(guān)鍵特征像素。在右快門(mén)幀(其中，左快門(mén)幀已經(jīng)受到了邊緣檢測(cè)處理)中，確定搜索區(qū)域。該搜索區(qū)域在其中心具有關(guān)鍵像素，并且通常是201個(gè)像素那么寬和11個(gè)像素那么高。換言之，由于右手圖像中的搜索區(qū)域的起點(diǎn)是左手圖像中的關(guān)鍵特征的像素位置。應(yīng)當(dāng)注意，在這里，可以使用任何尺寸的搜索區(qū)域并且搜索區(qū)域的尺寸由所預(yù)期的在左快門(mén)幀與右快門(mén)幀之間的預(yù)期最大水平和豎直視差來(lái)決定。201個(gè)像素寬度的搜索區(qū)域允許在-100像素到+100像素的范圍內(nèi)的水平視差，并且11個(gè)像素高度的搜索區(qū)域允許在-5像素到+5像素的范圍內(nèi)的水平視差。如果預(yù)期視差的范圍是已知的，那么可以相應(yīng)地調(diào)整搜索區(qū)域的尺寸。通過(guò)使用傳統(tǒng)的快匹配技術(shù)將來(lái)自左快門(mén)幀的16乘16的塊與右快門(mén)幀中的搜索區(qū)域中的每個(gè)像素位置相比較，可以將16乘16的塊與搜索區(qū)域相“匹配”。通過(guò)使得示例塊與搜索區(qū)域中的全部搜索塊相關(guān)聯(lián)來(lái)完成比較。具有最高相關(guān)性的搜索塊變?yōu)樽罴哑ヅ涞膲K。通過(guò)將左快門(mén)幀中的關(guān)鍵特征像素位置與右快門(mén)幀中的最匹配的像素位置相比較來(lái)計(jì)算出豎直和水平差異性的值。在確定用于一個(gè)關(guān)鍵特征像素的搜索塊之后，對(duì)于全部的關(guān)鍵特征像素重復(fù)處理。水平和豎直視差二者都被計(jì)算出來(lái)是有用的，因?yàn)檫@種技術(shù)對(duì)于沒(méi)有正確地調(diào)整到豎直方向的3D攝像機(jī)平臺(tái)是很具有適用性的。此外，通過(guò)確定豎直視差，可以矯正這種錯(cuò)誤。如可以理解的，相比于對(duì)于3D視頻序列的左快門(mén)幀151和右快門(mén)幀152按照像素基準(zhǔn)來(lái)產(chǎn)生差異性映射而不進(jìn)行任何進(jìn)一步的處理的其他情況，通過(guò)僅在差異性映射處理中使用邊緣像素來(lái)產(chǎn)生關(guān)鍵特征，可以更加快速和有效地產(chǎn)生差異性映射?？梢赃M(jìn)一步改善這種技術(shù)以確保在差異性估計(jì)中的誤差數(shù)目減少。為了使得差異性結(jié)果有效，在進(jìn)行了一次塊匹配之后，對(duì)右圖像進(jìn)行邊緣檢測(cè)。因?yàn)橐呀?jīng)確定了左手圖像中的邊緣的位置并且計(jì)算了差異性，所以可以識(shí)別出在右手圖像中的哪個(gè)像素位置應(yīng)當(dāng)是邊緣像素。之后，在右手圖像中邊緣像素應(yīng)當(dāng)處于的位置(如果差異性正確的話(huà))與在右手圖像中是否有邊緣像素處于那個(gè)像素位置之間進(jìn)行比較。如果右圖像中的最匹配像素位于或接近右圖像的邊緣的話(huà)，則這個(gè)差異性結(jié)果得到確認(rèn)?！敖咏笨梢员硎驹谝粋€(gè)像素以?xún)?nèi)，但是也可以想到任何數(shù)目的像素。
圖14示出了對(duì)于如圖9中所示出的那個(gè)示例(該示例可以被設(shè)置為實(shí)施圖13中示出的方法)表示差異性映射單元的示意圖。圖14示出了包括緩沖器1602、邊緣檢測(cè)單元1603和差異性映射生成器1604的差異性映射單元1601。3D視頻序列的第一幀被輸入到緩沖1602中，并且之后被傳送給邊緣檢測(cè)單元1603，邊緣檢測(cè)單元1603進(jìn)行圖15中示出的邊緣檢測(cè)處理。邊緣檢測(cè)信息之后被發(fā)送給差異性映射生成器1604，在差異性映射生成器1604處判斷差異性。差異性映射生成器1604作為元數(shù)據(jù)輸出差異性映射。深度預(yù)算檢測(cè)如通過(guò)參照?qǐng)D3可以理解的，3D圖像可以被設(shè)置在顯示裝置上，以使其看起來(lái)好像是在顯示裝置的前方的位置處。此外，3D圖像離開(kāi)屏幕越遠(yuǎn)以及3D圖像距離觀察者越近，構(gòu)成3D圖像的兩個(gè)圖像之間的水平位移(S卩，差異性)越大。因此，為了給出3D圖像非常接近觀察者的印象，有必要使得構(gòu)成3D圖像的兩個(gè)圖像間隔非常遠(yuǎn)。如可以理解的， 如果構(gòu)成3D圖像的兩個(gè)圖像之間的距離太大的話(huà)，這對(duì)于觀察者來(lái)說(shuō)將會(huì)變得不舒服并且變得不可能進(jìn)行協(xié)調(diào)，因?yàn)樵谀骋稽c(diǎn)之后，觀察者將不能夠同時(shí)將它們的眼睛指向彼此相當(dāng)大地分開(kāi)的兩個(gè)圖像。因此，可以設(shè)置“深度預(yù)算”，其限定了在認(rèn)為對(duì)于觀看3D圖像的觀察者變得太不舒適之前3D圖像可以具有的最大正或負(fù)視差。3D圖像是否超出該深度預(yù)算是將會(huì)對(duì)于匯編3D視頻序列的編輯者非常有用的信息。圖1 和1 示出了用于使得該信息對(duì)于3D視頻序列編輯者可用的技術(shù)。在一個(gè)示例中，該技術(shù)被用來(lái)清楚并方便地指示觀察者(例如，對(duì)3D視頻鏡頭進(jìn)行編輯的用戶(hù))定位在負(fù)視差上的三維圖像是否接近或超出深度預(yù)算。圖1 示出了表示來(lái)自3D視頻序列的鏡頭171a的示意圖，其中該3D視頻序列含有具有非常高的負(fù)視差的第一圖像172a、具有中等負(fù)視差的第二圖像173a以及具有幾乎可以忽略的負(fù)視差的第三圖像17乜。按照該技術(shù)，向顯示在3D視頻序列幀中的、處于或超出深度預(yù)算的3D圖像施加顏色以指示3D視頻序列編輯者特定的3D圖像已經(jīng)超出了深度預(yù)算。圖1 示出了表示來(lái)自 3D視頻序列的第二鏡頭171b的示意圖，其中各種3D圖像已經(jīng)被著色，以指示它們的相對(duì)視差與深度預(yù)算的關(guān)系。具體地，第一 3D圖像172b已經(jīng)被賦予深顏色的屬性，以指示其處于或超出深度預(yù)算。第二圖像17 已經(jīng)被賦予中度深顏色的屬性，以指示其接近超出3D深度預(yù)算，并且第三3D圖像174b已經(jīng)被賦予淺顏色的屬性，以指示其沒(méi)有超出深度預(yù)算。如可以理解的，可以使用不同的技術(shù)來(lái)指示3D物體是多么地接近超出深度預(yù)算。 例如，如果3D物體在由深度預(yù)算所允許的最大正視差的10%內(nèi)，那么該3D物體應(yīng)當(dāng)被賦予淺紅顏色。如果3D物體在處于或超出深度預(yù)算的正視差處，應(yīng)當(dāng)給其亮紅顏色。圖16示出了表示用于實(shí)施在圖15b中示出的技術(shù)的系統(tǒng)的示意圖。如圖16所示， 系統(tǒng)包括與圖9中的系統(tǒng)相同的部分，因此將不再解釋相同的部分。然而，圖16中示出的系統(tǒng)包括深度映射單元181和深度參數(shù)單元182。如上所述，差異性映射單元93提供了表明3D視頻序列的左快門(mén)幀與右快門(mén)幀的圖像之間的水平位移的差異性映射。通過(guò)該差異性映射可以判斷是否存在正或負(fù)視差。這是因?yàn)樵诋a(chǎn)生深度映射圖時(shí)，可以判斷左圖像中的像素是否位于右手圖像中的相同的像素的左側(cè)或右側(cè)。如果像素是在右側(cè)，那么存在負(fù)視差。然而，如果像素在左側(cè)，那么存在正視差。因此，圖16的系統(tǒng)包括深度映射單元181，其從差異性單元93取得差異性映射并應(yīng)用由深度參數(shù)單元182提供的深度參數(shù)。深度參數(shù)提供表明來(lái)自3D視頻序列的物體的相對(duì)深度的另一個(gè)信息源。深度參數(shù)可以由多種不同的裝置提供。例如，如果3D視頻序列已經(jīng)由傳統(tǒng)的電視攝像機(jī)拍攝，那么可以使用與在拍攝特定幀期間使用的電視攝像機(jī)的透鏡的焦距相關(guān)聯(lián)的元數(shù)據(jù)，來(lái)確定有疑問(wèn)的3D圖像的相對(duì)位置。這種信息可以被作為元數(shù)據(jù)存儲(chǔ)在深度參數(shù)單元182中，并且被適當(dāng)?shù)靥峁┙o深度映射單元66。在另一個(gè)示例中，通過(guò)簡(jiǎn)單地由觀察者觀看3D視頻序列并且為每個(gè)3D圖像賦予特定深度屬性，可以手動(dòng)地產(chǎn)生深度參數(shù)。在任何情況下，深度映射單元181將由深度參數(shù)單元182提供的深度參數(shù)與由差異性映射單元93提供的差異性映射相結(jié)合，以提供表明在3D視頻幀內(nèi)的物體的相對(duì)深度的完整深度映射。該信息之后被發(fā)送給編輯單元91，編輯單元91之后確定存在于3D視頻序列中的3D圖像是否處于或超出深度預(yù)算，并且如果是的話(huà)，如上文中參照?qǐng)D1 所描述的，將某種類(lèi)型的圖形標(biāo)識(shí)施加到相關(guān)3D物體上。將會(huì)理解，也可以?xún)H通過(guò)從差異性映射查看差異性來(lái)判斷深度預(yù)算是否超出?；煜郎p小技術(shù)在一些情況下，在來(lái)自3D視頻序列的兩個(gè)幀受到差異性映射時(shí)，差異性映射處理可能受到左快門(mén)幀與右快門(mén)幀之間的混淆(aliasing)的影響。這在圖17中示出。圖17示出了表示來(lái)自3D視頻序列的右快門(mén)幀192和左快門(mén)幀191的示例的示意圖，其示出了網(wǎng)球場(chǎng)的場(chǎng)景。網(wǎng)球場(chǎng)包括網(wǎng)球網(wǎng)193a、193b。網(wǎng)球網(wǎng)193a、19 是由網(wǎng)狀材料制成，并在視頻幀191、192中示出為有規(guī)律地重復(fù)的圖案。如可以理解的，當(dāng)在差異性映射期間比較右快門(mén)幀192和左快門(mén)幀191時(shí)，由于網(wǎng)的重復(fù)圖案，差異性處理可能混淆左快門(mén)幀191與右快門(mén)幀192之間的實(shí)際水平偏移。圖18a到18e提供了示出用于對(duì)幀的、包括在差異性映射期間可能引起混淆的部分進(jìn)行識(shí)別的技術(shù)的示意圖。首先，使用已知的圖像自相關(guān)技術(shù)將一個(gè)幀自相關(guān)。這可以使用邊緣檢測(cè)區(qū)域的分諧波累加(Subharmonic summation)或者塊匹配概率的梳狀濾波中的一者。對(duì)于分諧波累加，對(duì)所關(guān)注的區(qū)域進(jìn)行邊緣檢測(cè)。對(duì)于邊緣檢測(cè)區(qū)域中的每個(gè)掃描線(xiàn)，將由因子1、2或3壓縮的掃描線(xiàn)的版本進(jìn)行累加，以識(shí)別“諧波”結(jié)構(gòu)。如果該掃描線(xiàn)的響應(yīng)在閾值之上，那么將其分類(lèi)為諧波，并且因此容易發(fā)生混淆。之后將這個(gè)區(qū)域從差異性映射計(jì)算中排除。對(duì)于塊匹配概率的梳狀濾波結(jié)果，將左快門(mén)幀中的所關(guān)注的區(qū)域向右快門(mén)幀的搜索區(qū)域塊進(jìn)行匹配。這產(chǎn)生了塊匹配概率矩陣，其中對(duì)于搜索區(qū)域的每個(gè)像素具有一個(gè)概率值。以與在分諧波累加技術(shù)中對(duì)掃描線(xiàn)進(jìn)行處理的方式相同的方式來(lái)處理矩陣的行。重復(fù)的結(jié)構(gòu)將會(huì)在矩陣行的規(guī)則點(diǎn)(regular point)處導(dǎo)致概率的最大值，這可以被檢測(cè)到。 概率矩陣是有噪聲的，這可能產(chǎn)生通過(guò)簡(jiǎn)單地將概率矩陣中的“噪聲”累加而導(dǎo)致的錯(cuò)誤正響應(yīng)。因此，將梳狀濾波器應(yīng)用到概率矩陣，其中梳狀濾波器使其梳齒間隔給定間距，給定頻率為涉及給定空間頻率。對(duì)梳齒處的響應(yīng)進(jìn)行平均并且將其從在梳齒間等間距的點(diǎn)處的響應(yīng)的平均值減去。通過(guò)減去梳齒之間的噪聲，這減小了假陽(yáng)性(false positive)的概率。 利用梳狀濾波器的范圍來(lái)重復(fù)這種處理，其中梳狀濾波器使其梳齒間隔開(kāi)與空間頻率的范圍相對(duì)應(yīng)的距離的范圍。給出對(duì)于頻率范圍的響應(yīng)范圍，如果任何一個(gè)響應(yīng)大于閾值，那么
17該掃描線(xiàn)被分類(lèi)為諧波。這產(chǎn)生了如圖18a所示的輸出。圖18a示出了沿著幀的寬度取得的圖示的示意圖。 峰194表明圖片的、指示重復(fù)的圖案自相關(guān)的區(qū)域。之后將圖18a中示出的圖示尺寸減小一半，而產(chǎn)生圖18b中示出的圖示。之后將圖18b中示出的圖示尺寸減小一半，而產(chǎn)生圖18c中示出的圖示。之后將圖18c中示出的圖示尺寸減小一半，而產(chǎn)生圖18d中示出的圖示。來(lái)自圖18a到圖18d中示出的圖示的數(shù)據(jù)被累加，以產(chǎn)生圖18e中示出的圖示。圖18e中示出的圖示包括與受到處理的幀的基礎(chǔ)重復(fù)頻率(即，諧波)相對(duì)應(yīng)的峰195。如果該峰在預(yù)定閾值水平th之上，那么這表示足以宣布幀中的重復(fù)圖案在差異性映射期間可能導(dǎo)致混淆。之后，例如通過(guò)確保幀中懷疑將會(huì)產(chǎn)生混淆的部分不受到差異性映射，可以將峰 195大于閾值水平的事實(shí)用來(lái)確保不發(fā)生混淆。在圖19中示出了用于進(jìn)行參照?qǐng)D18a到 18d描述的技術(shù)的系統(tǒng)。除了圖19的系統(tǒng)在視頻序列源92與差異性映射單元之間包括分諧波累加單元 210之外，圖19示出了與圖9中的系統(tǒng)相對(duì)應(yīng)的系統(tǒng)的示意圖。分諧波累加單元210被設(shè)置為在來(lái)自存儲(chǔ)在視頻序列源92中的3D視頻序列的左、右快門(mén)幀中的至少一者上執(zhí)行分諧波累加處理。如果分諧波累加單元210判斷為有疑問(wèn)的幀的基礎(chǔ)重復(fù)頻率產(chǎn)生了在閾值之上的峰，如圖18e所示，那么分諧波累加單元210被設(shè)置為將這樣的信號(hào)發(fā)送到差異性映射單元93，該信號(hào)確保在幀的可能發(fā)生混淆的部分上不進(jìn)行差異性映射。圖20示出了實(shí)施如上所述的減小由于從3D圖像向2D圖像切換而產(chǎn)生的不舒適性的技術(shù)的示例的流程圖，其中，通過(guò)由非3D圖像代替3D圖像來(lái)限定了在視頻幀序列中從 3D圖像向非3D圖像的切換。由于來(lái)自視頻幀序列的第一圖像可以由觀察者的左眼觀察并且來(lái)自視頻幀序列的第二圖像可以由觀察者的右眼觀察并且第一圖像和第二圖像在圖像平面中相對(duì)于彼此移位，所以可以由觀察者在視頻序列的圖像平面中感受到3D圖像。在步驟SlOl處，在圖像平面中識(shí)別第一圖像的第一位置。在步驟S102處，在圖像平面中識(shí)別第二圖像的第二位置。在從3D圖像向非3D圖像切換之后，在步驟S103處，非3D圖像的第一副本大致在第一位置處被插入視頻序列的第一切換后幀中。在步驟S104處，非3D圖像的第二副本大致在第二位置處被插入視頻序列的第一切換后幀中。在步驟S105處，非3D圖像的第一副本和非3D圖像的第二副本被插入到預(yù)定數(shù)目的隨后的幀的圖像平面中的位置處，第一和第二副本被插入的位置逐漸會(huì)聚到圖像平面內(nèi)的預(yù)先限定的點(diǎn)上。將會(huì)理解，在本發(fā)明的實(shí)施例中，可以以任何適當(dāng)?shù)姆绞綄?shí)施上述方法和系統(tǒng)的要素。因此，可以以包括能夠?qū)嵤┲噶畹挠?jì)算機(jī)程序產(chǎn)品的形式來(lái)實(shí)施對(duì)于傳統(tǒng)的等效設(shè)備的現(xiàn)有部分所需的改造，其中指令可以存儲(chǔ)在數(shù)據(jù)載體(諸如軟盤(pán)、光盤(pán)、硬盤(pán)、PR0M、 RAM、閃存或這些或其他存儲(chǔ)介質(zhì)的組合)上，或者在網(wǎng)絡(luò)(諸如以太網(wǎng)、無(wú)線(xiàn)網(wǎng)絡(luò)、互聯(lián)網(wǎng)或這些和其他網(wǎng)絡(luò)的任何組合)上經(jīng)由數(shù)據(jù)信號(hào)發(fā)送，或者可以實(shí)現(xiàn)為如ASIC(專(zhuān)用集成電路)或FPGA(現(xiàn)場(chǎng)可編程門(mén)陣列)的硬件，或者其他適合于用來(lái)改造傳統(tǒng)的等效裝置的、 可以配置或預(yù)訂的電路。雖然已經(jīng)在這里參照附圖詳細(xì)描述了本發(fā)明的示例實(shí)施例，但是應(yīng)當(dāng)理解，本發(fā)明不限于這些確定的實(shí)施例，并且可以由本領(lǐng)域技術(shù)人員實(shí)現(xiàn)各種變化和修改，而不超出由權(quán)利要求限定的本發(fā)明的范圍和精神。
權(quán)利要求
1.一種在能夠顯示在屏幕上的第一圖像序列與第二圖像序列之間進(jìn)行切換的方法，所述屏幕限定了屏幕平面，其中，所述第一圖像序列包括可由觀察者感覺(jué)成處于與所述屏幕平面不同的第一圖像平面上的、可立體觀察的物體，所述第二圖像序列包括可被感覺(jué)成處于與所述第一圖像平面不同的第二圖像平面上的第二物體，所述可立體觀察的物體包括在第一屏幕平面位置處的第一圖像和在第二屏幕平面位置處的第二圖像，所述方法包括識(shí)別所述第一圖像的所述第一屏幕平面位置和所述第二圖像的所述第二屏幕平面位置；向所述第二圖像序列的第一切換后的幀中，將所述第二物體的第一副本插入到大體上所述第一屏幕平面位置并且將所述第二物體的第二副本插入到大體上所述第二屏幕平面位置，以及在所述屏幕上的下述位置處將所述第二物體的所述第一副本和所述第二物體的第二副本插入到隨后預(yù)定數(shù)目的幀中這些位置比所述第一和第二屏幕平面位置更靠近對(duì)所述第二圖像平面處的所述第二物體進(jìn)行觀察所需的屏幕位置。
2.根據(jù)權(quán)利要求1所述的方法，其中，在所述預(yù)定數(shù)目的幀中，連續(xù)的幀之間的所述屏幕位置的變化相同。
3.根據(jù)權(quán)利要求1所述的方法，其中，在所述預(yù)定數(shù)目的幀中，連續(xù)的幀之間的所述屏幕位置的變化不同。
4.根據(jù)權(quán)利要求3所述的方法，其中，相比于末尾的預(yù)定數(shù)目的連續(xù)幀，在第一預(yù)先限定數(shù)目的連續(xù)幀期間所述屏幕位置的變化較小。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述第二圖像平面是所述屏幕平面。
6.根據(jù)權(quán)利要求1所述的方法，其中，使用由差異性映射處理而產(chǎn)生的差異性映射來(lái)識(shí)別所述第一位置和所述第二位置。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述圖像序列包括觀察者的一只眼睛可觀看的第一組立體圖像幀以及觀察者的另一只眼睛可觀看的第二組立體圖像幀，所述差異性映射是通過(guò)以下步驟而產(chǎn)生的對(duì)所述第一圖像幀執(zhí)行第一邊緣像素檢測(cè)處理，以識(shí)別所述第一圖像幀內(nèi)的邊緣；從所檢測(cè)到的邊緣識(shí)別所述第一圖像的特征像素；產(chǎn)生包括所述特征像素的像素塊；使用來(lái)自所述第一圖像幀的所述像素塊來(lái)在所述第二圖像的搜索區(qū)域上執(zhí)行塊匹配， 其中，從所述第一幀產(chǎn)生的所述像素塊被與所述搜索區(qū)域相關(guān)；以及通過(guò)識(shí)別所述第一圖像幀的所述特征像素從所述第二圖像幀中的相應(yīng)特征像素的相對(duì)位移來(lái)產(chǎn)生差異性映射。
8.根據(jù)權(quán)利要求7所述的方法，包括通過(guò)將預(yù)先限定的深度參數(shù)與由所述差異性映射識(shí)別的所述物體位置相關(guān)聯(lián)，來(lái)從所述差異性映射產(chǎn)生深度映射，所述深度映射提供了所述屏幕平面與所述圖像平面之間的距離的指示，所述深度參數(shù)表明所述可立體觀察的第一物體的深度。
9.根據(jù)權(quán)利要求8所述的方法，包括根據(jù)由所述深度映射或所述差異性映射指出的、 所述可立體觀察的第一物體的深度，將所述可立體觀察的第一物體與圖形標(biāo)志相關(guān)聯(lián)。
10.根據(jù)權(quán)利要求8所述的方法，包括如果所述深度等于或大于預(yù)定閾值視差值，將所述可立體觀察的第一物體與所述圖形標(biāo)志相關(guān)聯(lián)。
11.根據(jù)權(quán)利要求9所述的方法，其中，所述圖形標(biāo)志包括將顏色施加到所述3D圖像上。
12.根據(jù)權(quán)利要求7所述的方法，包括對(duì)所述第二圖像幀執(zhí)行第二邊緣像素檢測(cè)處理，以識(shí)別所述第二圖像幀內(nèi)的邊緣，通過(guò)所識(shí)別的邊緣和所產(chǎn)生的差異性映射來(lái)在所述第一圖像幀中確定預(yù)測(cè)邊緣像素，并且當(dāng)在所述第一圖像中的所述預(yù)測(cè)邊緣像素的位置與所檢測(cè)到的邊緣像素處于預(yù)定的閾值距離內(nèi)時(shí)，驗(yàn)證所述差異性映射。
13.根據(jù)權(quán)利要求7所述的方法，其中，在邊緣像素檢測(cè)步驟之前，將分諧波累加處理應(yīng)用到所述第一圖像幀和所述第二圖像幀中的至少一者的自相關(guān)版本，以確定存在于所述至少一個(gè)幀中的重復(fù)圖案的基礎(chǔ)頻率的大小，并且基于所述至少一個(gè)幀圖像的基礎(chǔ)頻率的大小來(lái)執(zhí)行所述邊緣像素檢測(cè)處理和所述差異性處理步驟。
14.根據(jù)權(quán)利要求7所述的方法，其中，所述差異性映射包括相應(yīng)的特征像素之間的水平位移，并且所述邊緣檢測(cè)處理使用Sobel邊緣檢測(cè)技術(shù)。
15.根據(jù)權(quán)利要求7所述的方法，其中，所述第一邊緣檢測(cè)處理包括以下步驟將所述第一圖像分割為多個(gè)像素塊，并且判斷在每個(gè)像素塊中的邊緣的數(shù)目，其中，如果邊緣的數(shù)目低于閾值，那么將這樣的像素塊認(rèn)為是其中不具有邊緣的。
16.根據(jù)權(quán)利要求15所述的方法，其中，所述閾值與所述像素塊中的像素的豎直個(gè)數(shù)相同。
17.根據(jù)權(quán)利要求15所述的方法，其中，如果在像素塊中檢測(cè)到的邊緣的數(shù)目高于第二閾值，那么將在這樣的像素塊中的邊緣的數(shù)目認(rèn)為是所述第二閾值。
18.一種用于在能夠顯示在屏幕上的第一圖像序列與第二圖像序列之間進(jìn)行切換的設(shè)備，所述屏幕限定了屏幕平面，其中，所述第一圖像序列包括可由觀察者感覺(jué)成處于與所述屏幕平面不同的第一圖像平面上的、可立體觀察的物體，所述第二圖像序列包括可被感覺(jué)成處于與所述第一圖像平面不同的第二圖像平面上的第二物體，所述可立體觀察的物體包括在第一屏幕平面位置處的第一圖像和在第二屏幕平面位置處的第二圖像，所述設(shè)備包括識(shí)別裝置，其可進(jìn)行操作以識(shí)別所述第一圖像的所述第一屏幕平面位置和所述第二圖像的所述第二屏幕平面位置；插入器，其可進(jìn)行操作以向所述第二圖像序列的第一切換后的幀中，將所述第二物體的第一副本插入到大體上所述第一屏幕平面位置并且將所述第二物體的第二副本插入到大體上所述第二屏幕平面位置，以及可以進(jìn)行操作以在所述屏幕上的下述位置處將所述第二物體的所述第一副本和所述第二物體的第二副本插入到隨后預(yù)定數(shù)目的幀中這些位置比所述第一和第二屏幕平面位置更靠近對(duì)所述第二圖像平面處的所述第二物體進(jìn)行觀察所需的屏幕位置。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中，在所述預(yù)定數(shù)目的幀中，連續(xù)的幀之間的所述屏幕位置的變化相同。
20.根據(jù)權(quán)利要求18所述的設(shè)備，其中，在所述預(yù)定數(shù)目的幀中，連續(xù)的幀之間的所述屏幕位置的變化不同。
21.根據(jù)權(quán)利要求20所述的設(shè)備，其中，相比于末尾的預(yù)定數(shù)目的連續(xù)幀，在第一預(yù)先限定數(shù)目的連續(xù)幀期間所述屏幕位置的變化較小。
22.根據(jù)權(quán)利要求18所述的設(shè)備，其中，所述第二圖像平面是所述屏幕平面。
23.根據(jù)權(quán)利要求18所述的設(shè)備，其中，使用由差異性映射處理而產(chǎn)生的差異性映射來(lái)識(shí)別所述第一位置和所述第二位置。
24.根據(jù)權(quán)利要求23所述的設(shè)備，其中，所述圖像序列包括觀察者的一只眼睛可觀看的第一組立體圖像幀以及觀察者的另一只眼睛可觀看的第二組立體圖像幀，所述差異性映射是由差異性映射生成器產(chǎn)生的，所述差異性映射生成器可進(jìn)行操作從而對(duì)所述第一圖像幀執(zhí)行第一邊緣像素檢測(cè)處理，以識(shí)別所述第一圖像幀內(nèi)的邊緣；從所檢測(cè)到的邊緣識(shí)別所述第一圖像的特征像素；產(chǎn)生包括所述特征像素的像素塊；使用來(lái)自所述第一圖像幀的所述像素塊來(lái)在所述第二圖像的搜索區(qū)域上執(zhí)行塊匹配， 其中，從所述第一幀產(chǎn)生的所述像素塊被與所述搜索區(qū)域相關(guān)；以及通過(guò)識(shí)別所述第一圖像幀的所述特征像素從所述第二圖像幀中的相應(yīng)特征像素的相對(duì)位移來(lái)產(chǎn)生差異性映射。
25.根據(jù)權(quán)利要求M所述的設(shè)備，包括深度映射產(chǎn)生器，該產(chǎn)生器可進(jìn)行操作以通過(guò)將預(yù)先限定的深度參數(shù)與由所述差異性映射識(shí)別的所述物體位置相關(guān)聯(lián)，來(lái)從所述差異性映射產(chǎn)生深度映射，所述深度映射提供了所述屏幕平面與所述圖像平面之間的距離的指示，所述深度參數(shù)表明所述可立體觀察的第一物體的深度。
26.根據(jù)權(quán)利要求25所述的設(shè)備，包括相關(guān)裝置，該裝置可進(jìn)行操作以根據(jù)由所述深度映射或所述差異性映射指出的、所述可立體觀察的第一物體的深度，將所述可立體觀察的第一物體與圖形標(biāo)志相關(guān)聯(lián)。
27.根據(jù)權(quán)利要求25所述的設(shè)備，其中，如果所述深度等于或大于預(yù)定閾值視差值，所述相關(guān)裝置可以進(jìn)行操作以將所述可立體觀察的第一物體與所述圖形標(biāo)志相關(guān)聯(lián)。
28.根據(jù)權(quán)利要求沈所述的設(shè)備，其中，所述圖像標(biāo)志包括將顏色施加到所述3D圖像上。
29.根據(jù)權(quán)利要求23所述的設(shè)備，其中，所述生成器可進(jìn)行操作以對(duì)所述第二圖像幀執(zhí)行第二邊緣像素檢測(cè)處理，以識(shí)別所述第二圖像幀內(nèi)的邊緣，通過(guò)所識(shí)別的邊緣和所產(chǎn)生的差異性映射來(lái)在所述第一圖像幀中確定預(yù)測(cè)邊緣像素，并且當(dāng)在所述第一圖像中的所述預(yù)測(cè)邊緣像素的位置與所檢測(cè)到的邊緣像素處于預(yù)定的閾值距離內(nèi)時(shí)，驗(yàn)證所述差異性映射。
30.根據(jù)權(quán)利要求M述的設(shè)備，其中，在邊緣像素檢測(cè)步驟之前，將分諧波累加處理應(yīng)用到所述第一圖像幀和所述第二圖像幀中的至少一者的自相關(guān)版本，以確定存在于所述至少一個(gè)幀中的重復(fù)圖案的基礎(chǔ)頻率的大小，并且基于所述至少一個(gè)幀圖像的基礎(chǔ)頻率的大小來(lái)執(zhí)行所述邊緣像素檢測(cè)處理和所述差異性處理步驟。
31.根據(jù)權(quán)利要求M所述的設(shè)備，其中，所述差異性映射包括相應(yīng)的特征像素之間的水平位移，并且所述邊緣檢測(cè)處理使用Sobel邊緣檢測(cè)技術(shù)。
32.根據(jù)權(quán)利要求對(duì)所述的設(shè)備，其中，所述第一邊緣檢測(cè)處理包括以下步驟將所述第一圖像分割為多個(gè)像素塊，并且判斷在每個(gè)像素塊中的邊緣的數(shù)目，其中，如果邊緣的數(shù)目低于閾值，那么將這樣的像素塊認(rèn)為是其中不具有邊緣的。
33.根據(jù)權(quán)利要求32所述的設(shè)備，其中，所述閾值與所述像素塊中的像素的豎直個(gè)數(shù)相同。
34.根據(jù)權(quán)利要求32所述的設(shè)備，其中，如果在像素塊中檢測(cè)到的邊緣的數(shù)目高于第二閾值，那么將在這樣的像素塊中的邊緣的數(shù)目認(rèn)為是所述第二閾值。
35.一種計(jì)算機(jī)軟件，在由計(jì)算機(jī)執(zhí)行時(shí)使得所述計(jì)算機(jī)執(zhí)行權(quán)利要求1所述的方法。
全文摘要
本發(fā)明涉及用于處理視頻圖像的方法和設(shè)備。一種方法在第一、第二圖像序列之間進(jìn)行切換，第一圖像序列包括觀察者可感覺(jué)成在第一圖像平面上的可立體觀察的物體，第二圖像序列包括可被感覺(jué)成在第二圖像平面上的第二物體，可立體觀察的物體包括第一屏幕平面位置處的第一圖像和第二屏幕平面位置處的第二圖像，該方法包括識(shí)別第一圖像的第一屏幕平面位置和第二圖像的第二屏幕平面位置；向第二圖像序列的第一切換后的幀中，將第二物體的第一、第二副本插入第一、第二屏幕平面位置，在屏幕的下述位置將第二物體的第一、第二副本插入隨后預(yù)定數(shù)目的幀中這些位置比第一和第二屏幕平面位置更靠近對(duì)第二圖像平面處的第二物體進(jìn)行觀察所需的屏幕位置。
文檔編號(hào)H04N13/00GK102170578SQ201110049548
公開(kāi)日2011年8月31日 申請(qǐng)日期2011年2月28日 優(yōu)先權(quán)日2010年2月26日
發(fā)明者喬納森·理查德·索爾佩, 安藤秀樹(shù) 申請(qǐng)人:索尼公司