將二維圖像轉(zhuǎn)換成三維圖像的方法及其顯示裝置制造方法
【專利摘要】提供了將2維（2D）圖像轉(zhuǎn)換成3維（3D）圖像的方法及顯示裝置。該方法可以包括：生成多個(gè)圖像幀中的關(guān)鍵幀的深度幀；計(jì)算圖像幀之間的運(yùn)動(dòng)矢量；通過利用深度幀和運(yùn)動(dòng)矢量插值與關(guān)鍵幀之間的中間幀相對(duì)應(yīng)的中間深度幀；以及通過利用深度幀和插值的深度幀生成多個(gè)圖像幀的左眼圖像和右眼圖像。因此，該顯示裝置最小化錯(cuò)誤的發(fā)生并生成接近于實(shí)際深度幀的深度幀。
【專利說明】將二維圖像轉(zhuǎn)換成三維圖像的方法及其顯示裝置
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2012年7月31日向韓國特許廳提交的韓國專利申請(qǐng)第10-2012-0083953號(hào)的優(yōu)先權(quán)，通過引用將其全部公開內(nèi)容結(jié)合于此。
【技術(shù)領(lǐng)域】
[0003]下面的公開的示例實(shí)施例涉及3維(3D)圖像轉(zhuǎn)換方法及其顯示裝置，更具體地，涉及將包括多個(gè)圖像幀的2維(2D)圖像轉(zhuǎn)換成3D圖像的方法及其顯示裝置。
【背景技術(shù)】
[0004]在信息和通信、廣播、醫(yī)療服務(wù)、教育、培訓(xùn)、軍事、游戲、動(dòng)畫、虛擬現(xiàn)實(shí)、計(jì)算機(jī)輔助設(shè)計(jì)(CAD)、工業(yè)技術(shù)等等領(lǐng)域的大范圍的應(yīng)用中，三維(3D)圖像技術(shù)是相關(guān)的。3D圖像技術(shù)可能是下一代3D立體視覺多媒體信息通信的核心技術(shù)。
[0005]關(guān)于3D圖像技術(shù)，具體來說，可以將3D圖像提供給顯示裝置(如，TV)以向用戶提供各種觀看環(huán)境。為了向用戶提供3D圖像，顯示裝置將接收具有3D圖像格式的圖像數(shù)據(jù)。然而，近來的顯示裝置將具有2D圖像格式的輸入圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像格式以向用戶提供3D圖像。
[0006]為了將具有2D圖像格式的圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像格式，將生成指示2D圖像的深度信息的深度幀(或深度映射)。為了生成深度幀，可以使用幾個(gè)方法；即，使用深度照相機(jī)的方法、通用利用圖像幀的空間特性(如，對(duì)象的尺寸、排列、移動(dòng)速度等)來生成每個(gè)圖像幀的深度幀的方法、由特定圖像幀生成深度幀并通過利用時(shí)間插值法由該深度幀順序地生成其它圖像幀的深度幀的方法，等等。
[0007]然而，使用深度照相機(jī)的方法可能包括額外的深度照相機(jī)。另外，在通用利用圖像幀的空間特性來生成每個(gè)圖像幀的深度幀的方法中，將生成圖像幀中的每個(gè)圖像幀的深度幀，因此執(zhí)行了過多的操作處理。此外，在通過利用時(shí)間插值法順序地生成其它圖像幀的深度幀的方法中，如果當(dāng)生成深度幀時(shí)發(fā)生錯(cuò)誤，則錯(cuò)誤逐漸累積。
[0008]因此，需要將2D圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像數(shù)據(jù)的改善的方法和裝置。
【發(fā)明內(nèi)容】
[0009]附加的方面和/或優(yōu)點(diǎn)在接下來的描述中將會(huì)部分地被闡明，并且將部分地從描述中變得明顯，或者可以通過實(shí)踐本公開而被習(xí)得。
[0010]示例實(shí)施例針對(duì)至少上面的問題和/或缺點(diǎn)以及以上未描述的其它缺點(diǎn)。另外，示例實(shí)施例不必克服上述的缺點(diǎn)，并且示例實(shí)施例可以不克服上述的任何問題。
[0011]示例實(shí)施例提供了通過使用與多個(gè)圖像幀中的關(guān)鍵幀相對(duì)應(yīng)的深度幀來插值與關(guān)鍵幀之間的中間幀相對(duì)應(yīng)的中間深度幀，以避免錯(cuò)誤累積并生成接近于實(shí)際深度幀的深度幀的方法及其顯示裝置。
[0012]根據(jù)示例實(shí)施例的方面，提供一種顯示裝置的3維(3D)圖像轉(zhuǎn)換方法。該3D圖像轉(zhuǎn)換方法可以包括:生成關(guān)鍵幀的深度幀，其中關(guān)鍵幀來自多個(gè)圖像幀；計(jì)算圖像幀之間的運(yùn)動(dòng)矢量；通過利用深度幀和運(yùn)動(dòng)矢量插值與在關(guān)鍵幀之間的中間幀相對(duì)應(yīng)的中間深度幀；以及利用深度幀和插值的深度幀生成多個(gè)圖像幀的左眼圖像和右眼圖像。
[0013]插值中間深度幀可以包括:將圖像幀中的第一關(guān)鍵幀和第二關(guān)鍵幀之間的中間幀和第一關(guān)鍵幀之間的第一運(yùn)動(dòng)矢量與該中間幀和第二關(guān)鍵幀之間的第二運(yùn)動(dòng)矢量進(jìn)行比較；根據(jù)比較結(jié)果，計(jì)算與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀的第一權(quán)重以及與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀的第二權(quán)重；以及在第一深度幀上反映第一權(quán)重以及在第二深度幀上反映第二權(quán)重以在第一深度幀和第二深度幀之間插值中間深度幀。
[0014]可以使用下面的公式計(jì)算第一權(quán)重Wl:
「 n , ,m'2
[0015]wl =-
[0016]其中，wl表示第一權(quán)重，mvl表示第一運(yùn)動(dòng)矢量，而mv2表示第二運(yùn)動(dòng)矢量。
[0017]第一權(quán)重和第二權(quán)重可以分別與第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量的大小成反比例。
[0018]如果多個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則插值中間深度幀可以包括:分級(jí)地插值與多個(gè)中間幀相對(duì)應(yīng)的中間深度幀。
[0019]如果第一中間幀、第二中間幀和第三中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則插值中間深度幀可以包括:通過利用與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀、與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀、第一關(guān)鍵幀和第二中間幀之間的運(yùn)動(dòng)矢量、以及第二關(guān)鍵幀和第二中間幀之間的運(yùn)動(dòng)矢量，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀；通過利用第一深度幀、第二中間深度幀、第一關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量、以及第二中間幀和第一中間幀之間的運(yùn)動(dòng)矢量，來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀；以及通過利用第二深度幀、第二中間深度幀、第二中間幀和第三中間幀之間的運(yùn)動(dòng)矢量、以及第三中間幀和第二關(guān)鍵幀之間的運(yùn)動(dòng)矢量，來插值與第三中間幀相對(duì)應(yīng)的第三中間深度幀。
[0020]如果第一中間幀和第二中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則插值中間深度幀可以包括:通過利用與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀、與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀、第一關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量、以及第二關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量，來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀；以及通過利用第一中間深度幀、第二深度幀、第一中間幀和第二中間幀之間的運(yùn)動(dòng)矢量、以及第二中間幀和第二關(guān)鍵幀之間的運(yùn)動(dòng)矢量，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀。
[0021]所述3D圖像轉(zhuǎn)換方法還可以包括:每隔預(yù)設(shè)數(shù)量的圖像幀選擇多個(gè)圖像幀之一作為關(guān)鍵幀。
[0022]根據(jù)示例實(shí)施例的另一方面，提供一種將2維(2D)圖像轉(zhuǎn)換成3D圖像的顯示裝置。該顯示裝置可以包括:深度幀生成器，其生成多個(gè)圖像幀的中關(guān)鍵幀的深度幀；運(yùn)動(dòng)矢量計(jì)算器，其計(jì)算圖像幀之間的運(yùn)動(dòng)矢量；中間深度插值器，其通過利用深度幀和運(yùn)動(dòng)矢量來插值與關(guān)鍵幀之間的中間幀相對(duì)應(yīng)的中間深度幀；以及3D圖像生成器，其通過利用深度幀和插值的深度幀來生成多個(gè)圖像幀的左眼圖像和右眼圖像。
[0023]所述中間深度插值器將在圖像幀中的第一關(guān)鍵幀和第二關(guān)鍵幀之間的中間幀和第一關(guān)鍵幀之間的第一運(yùn)動(dòng)矢量與該中間幀和第二關(guān)鍵幀之間的第二運(yùn)動(dòng)矢量進(jìn)行比較，以計(jì)算與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀的第一權(quán)重以及與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀的第二權(quán)重，并在第一深度幀上反映第一權(quán)重以及在第二深度幀上反映第二權(quán)重以在第一深度幀和第二深度幀之間插值中間深度幀。
[0024]第一權(quán)重和第二權(quán)重可以分別與第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量的大小成反比例。
[0025]如果多個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器可以分級(jí)地插值與多個(gè)中間幀相對(duì)應(yīng)的中間深度幀。
[0026]如果第一中間幀、第二中間幀和第三中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器可以通過利用與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀、與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀、第一關(guān)鍵幀和第二中間幀之間的運(yùn)動(dòng)矢量、以及第二關(guān)鍵幀和第二中間幀之間的運(yùn)動(dòng)矢量，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀；通過利用第一深度幀、第二中間深度幀、第一關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量、以及第二中間幀和第一中間幀之間的運(yùn)動(dòng)矢量，來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀；以及通過利用第二深度幀、第二中間深度幀、第二中間幀和第三中間幀之間的運(yùn)動(dòng)矢量、以及第三中間幀和第二關(guān)鍵幀之間的運(yùn)動(dòng)矢量，來插值與第三中間幀相對(duì)應(yīng)的第三中間深度幀。
[0027]如果第一中間幀和第二中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器可以通過利用與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀、與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀、第一關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量、以及第二關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量，來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀；以及通過利用第一中間深度幀、第二深度幀、第一中間幀和第二中間幀之間的運(yùn)動(dòng)矢量、以及第二中間幀和第二關(guān)鍵幀之間的運(yùn)動(dòng)矢量，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀。
[0028]所述深度幀生成器可以每隔預(yù)設(shè)數(shù)量的圖像幀選擇多個(gè)圖像幀之一作為關(guān)鍵幀以生成深度幀。
[0029]所述深度幀生成器可以以不規(guī)則的間隔選擇多個(gè)圖像幀之一作為關(guān)鍵幀以生成深度幀。
[0030]根據(jù)示例實(shí)施例的另一方面，提供一種圖像轉(zhuǎn)換方法，該方法包括:生成關(guān)鍵幀的深度幀；以及利用生成的深度幀，在至少兩個(gè)生成的深度幀之間插值中間深度幀。
【專利附圖】
【附圖說明】
[0031]通過參照附圖描述某些示例實(shí)施例，上面的和/或其它的方面將更明顯，附圖中:
[0032]圖1是根據(jù)本公開的示例實(shí)施例示出顯示裝置的結(jié)構(gòu)的方框圖；
[0033]圖2是根據(jù)本公開的示例實(shí)施例示出生成與多個(gè)圖像幀的關(guān)鍵幀相對(duì)應(yīng)的深度幀的方法的視圖；
[0034]圖3是根據(jù)本公開的示例實(shí)施例示出通過利用與關(guān)鍵幀相對(duì)應(yīng)的深度幀和運(yùn)動(dòng)矢量來生成中間深度幀的方法的視圖；
[0035]圖4是根據(jù)本公開的示例實(shí)施例示出如果三個(gè)中間幀存在于關(guān)鍵幀之間、則生成與中間幀相對(duì)應(yīng)的中間深度幀的方法的視圖；
[0036]圖5是根據(jù)本公開的示例實(shí)施例示出如果兩個(gè)中間幀存在于關(guān)鍵幀之間、則生成與中間幀相對(duì)應(yīng)的中間深度幀的方法的視圖；
[0037]圖6是示出根據(jù)本公開的示例實(shí)施例的3維(3D)圖像轉(zhuǎn)換方法的流程圖?！揪唧w實(shí)施方式】
[0038]參照附圖更詳細(xì)地描述示例實(shí)施例。
[0039]在下面的描述中，即使在不同的圖中，同樣的附圖標(biāo)記也用于同樣的元素。在描述中定義的事項(xiàng)，如詳細(xì)的構(gòu)造和元素，被提供以幫助全面理解示例實(shí)施例。因此，很明顯，無需具體定義的事項(xiàng)也可以實(shí)施示例實(shí)施例。另外，不詳細(xì)描述眾所周知的功能或構(gòu)造，因?yàn)樗鼈儗⒁圆槐匾募?xì)節(jié)模糊示例實(shí)施例。
[0040]圖1是根據(jù)本公開的示例實(shí)施例示出顯示裝置100的結(jié)構(gòu)的方框圖。
[0041]如圖1中所示，顯示裝置100包括圖像輸入單元110、深度幀生成器120、運(yùn)動(dòng)矢量計(jì)算器130、中間深度插值器140、3D圖像生成器150和3D圖像輸出單元160。在這種情況下，顯示裝置100可以實(shí)現(xiàn)為智能TV，然而本公開不限于此。也就是說，顯示裝置100可以實(shí)現(xiàn)為比如平板PC、監(jiān)視器和投影TV等等的各種裝置。
[0042]圖像輸入單元110接收?qǐng)D像數(shù)據(jù)。作為示例，圖像輸入單元110可以從外部廣播站或外部設(shè)備接收?qǐng)D像數(shù)據(jù)，或可以接收在存儲(chǔ)單元(未示出)中存儲(chǔ)的圖像數(shù)據(jù)。
[0043]例如，輸入到圖像輸入單元110中的圖像數(shù)據(jù)可以包括多個(gè)圖像幀。
[0044]深度幀生成器120生成被輸入到圖像輸入單元110中的多個(gè)圖像幀的關(guān)鍵幀的深度幀。例如，深度幀指的是具有輸入圖像幀的深度信息的幀且可以用從O到255的灰度等級(jí)表示。作為示例，當(dāng)圖像幀的對(duì)象的深度為高時(shí)，對(duì)象的灰度等級(jí)接近于255。當(dāng)對(duì)象的深度為低時(shí)，對(duì)象的灰度等級(jí)接近于O。
[0045]現(xiàn)在將詳細(xì)描述通過深度幀生成器120生成深度幀的方法。深度幀生成器120可以從通過圖像輸入單元110輸入的多個(gè)圖像幀中選擇關(guān)鍵幀。
[0046]例如，深度幀生成器120可以以預(yù)設(shè)的幀間隔從多個(gè)圖像幀中選擇關(guān)鍵幀。例如，如果接收到包括多個(gè)圖像幀的圖像數(shù)據(jù)，則深度幀生成器120可以以4幀的間隔選擇關(guān)鍵幀。然而，深度幀生成器120可以以其它預(yù)設(shè)的間隔生成深度幀，但這僅是示例性的，因此，本公開不限于此。此外，深度幀生成器120可以以不規(guī)則的間隔生成深度幀。
[0047]深度幀生成器120還生成選擇的關(guān)鍵幀的深度幀。例如，深度幀生成器120分析關(guān)鍵幀的空間特性(如，對(duì)象的尺寸、排列、運(yùn)動(dòng)、移動(dòng)速度等)以生成深度幀。例如，深度幀生成器120可以確定當(dāng)對(duì)象的尺寸大時(shí)，深度為高；確定當(dāng)對(duì)象向下排列時(shí)，深度為高；或確定如果對(duì)象正在移動(dòng)，則深度為高。然而通過深度幀生成器120分析關(guān)鍵幀的空間特性生成深度幀僅是示例性的，因此本公開不限于此。因此，深度幀生成器120可以根據(jù)另外的方法生成深度幀。例如，用戶可以直接輸入關(guān)鍵幀的深度信息以生成深度幀。
[0048]根據(jù)本公開的示例實(shí)施例，如圖2中所示，如果通過圖像輸入單元110輸入多個(gè)圖像幀210-1、210-2、210-3等等，則深度幀生成器120以4幀的間隔選擇關(guān)鍵幀210-1、210-5,210-9等等，并生成分別與選擇的關(guān)鍵幀210-1、210-5、210-9等等相對(duì)應(yīng)的深度幀220-1,220-5,220-9 等等。
[0049]運(yùn)動(dòng)矢量計(jì)算器130可以計(jì)算通過圖像輸入單元110輸入的多個(gè)圖像幀的運(yùn)動(dòng)矢量。例如，運(yùn)動(dòng)矢量可以是包括在圖像幀中的塊的運(yùn)動(dòng)變化值。如果有大量的組成圖像幀的塊的運(yùn)動(dòng)，則運(yùn)動(dòng)矢量計(jì)算器130可以將運(yùn)動(dòng)矢量值計(jì)算為高值。如果有少量的組成圖像幀的塊的運(yùn)動(dòng)，則運(yùn)動(dòng)矢量計(jì)算器130可以將運(yùn)動(dòng)矢量值計(jì)算為低值。
[0050]中間深度插值器140可以通過利用深度幀生成器120生成的深度幀和運(yùn)動(dòng)矢量計(jì)算器130計(jì)算的運(yùn)動(dòng)矢量來插值與關(guān)鍵幀之間的中間幀相對(duì)應(yīng)的中間深度幀。
[0051]現(xiàn)在將參照?qǐng)D3描述利用深度幀和運(yùn)動(dòng)矢量通過中間深度插值器140插值與關(guān)鍵幀之間的中間幀相對(duì)應(yīng)的中間深度幀的方法。
[0052]如果接收到包括第一關(guān)鍵幀、中間幀和第二關(guān)鍵幀的圖像數(shù)據(jù)，則中間深度插值器140將第一關(guān)鍵幀和中間幀之間的第一運(yùn)動(dòng)矢量mvl與中間幀和第二關(guān)鍵幀之間的第二運(yùn)動(dòng)矢量mv2進(jìn)行比較。
[0053]此外，中間深度插值器140根據(jù)第一運(yùn)動(dòng)矢量mvl和第二運(yùn)動(dòng)矢量mv2的比較結(jié)果，計(jì)算第一深度幀的第一權(quán)重wl以及第二深度幀的第二權(quán)重Ι-wl。例如，第一權(quán)重wl和第二權(quán)重Ι-wl可以分別與第一運(yùn)動(dòng)矢量mvl和第二運(yùn)動(dòng)矢量mv2的大小成反比例。換句話說，當(dāng)?shù)谝贿\(yùn)動(dòng)矢量mvl的值高時(shí),第一權(quán)重wl可以逐漸減小。當(dāng)?shù)诙\(yùn)動(dòng)矢量mv2的值高時(shí)，第二權(quán)重Ι-wl可以逐漸減小。然而，這是示例性的，因此，本公開不限于此。例如，可以如下面的公式I計(jì)算第一權(quán)重wl。r 1.mr2,、
[0054]Md = ^--- (I)
WiiiI + 應(yīng) r2
[0055]如果運(yùn)動(dòng)矢量小，即沒有運(yùn)動(dòng)，則相鄰幀相互類似。因此，可以計(jì)算權(quán)重為高。
[0056]另外，可以將第二權(quán)重計(jì)算為I減去已計(jì)算的wl。
[0057]中間深度插值器140可以在第一深度幀上反映第一權(quán)重wl以及在第二深度幀上反映第二權(quán)重Ι-wl以在第一深度幀和第二深度幀之間插值中間深度幀。
[0058]具體地，如果多個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器140可以分級(jí)地插值與多個(gè)中間幀相對(duì)應(yīng)的中間深度幀。
[0059]現(xiàn)在將參照?qǐng)D4描述根據(jù)本公開的示例實(shí)施例、如果三個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間、生成與中間幀相對(duì)應(yīng)的中間深度幀的方法。
[0060]如圖4中所示，如果第一中間幀、第二中間幀和第三中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器140可以通過利用第一深度幀和第二深度幀、第一關(guān)鍵幀和第二中間幀之間的第一運(yùn)動(dòng)矢量mvl以及第二關(guān)鍵幀和第二中間幀之間的第二運(yùn)動(dòng)矢量mv2來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀。
[0061]詳細(xì)地，中間深度插值器140可以將第一關(guān)鍵幀和第二中間幀之間的第一運(yùn)動(dòng)矢量mvl與第二中間幀和第二關(guān)鍵幀之間的第二運(yùn)動(dòng)矢量mv2進(jìn)行比較。中間深度插值器140可以根據(jù)第一運(yùn)動(dòng)矢量mvl和第二運(yùn)動(dòng)矢量mv2的比較結(jié)果，計(jì)算第一深度幀的第一權(quán)重wl以及第二深度幀的第二權(quán)重Ι-wl。中間深度插值器140可以在第一深度幀上反映第一權(quán)重wl以及在第二深度幀上反映第二權(quán)重Ι-wl以在第一深度幀和第二深度幀之間插值第二中間深度幀。
[0062]在插值第二中間深度幀之后，中間深度插值器140可以通過利用第一深度幀、第二深度幀、第一關(guān)鍵幀和第一中間幀之間的第三運(yùn)動(dòng)矢量mv3以及第二中間幀和第一中間幀之間的第四運(yùn)動(dòng)矢量mv4來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀。
[0063]詳細(xì)地，中間深度插值器140可以將第一關(guān)鍵幀和第一中間幀之間的第三運(yùn)動(dòng)矢量mv3與第一中間幀和第二中間幀之間的第四運(yùn)動(dòng)矢量mv4進(jìn)行比較。中間深度插值器140可以根據(jù)第三運(yùn)動(dòng)矢量和第四運(yùn)動(dòng)矢量即mv3和mv4的比較結(jié)果，計(jì)算第一深度幀的第三權(quán)重w2以及第二中間深度幀的第四權(quán)重l_w2。中間深度插值器140可以在第一深度幀上反映第三權(quán)重w2以及在第二中間深度幀上反映第四權(quán)重l_w2以在第一深度幀和第二中間深度幀之間插值第一中間深度幀。
[0064]在插值第一中間深度幀之后，中間深度插值器140可以通過利用第二深度幀、第二中間深度幀、第二中間幀和第三中間幀之間的第五運(yùn)動(dòng)矢量mv5以及第三中間幀和第二關(guān)鍵幀之間的第六運(yùn)動(dòng)矢量mv6來插值與第三中間幀相對(duì)應(yīng)的第三中間深度幀。
[0065]詳細(xì)地，中間深度插值器140可以將第二中間幀和第三中間幀之間的第五運(yùn)動(dòng)矢量mv5與第三中間幀和第二關(guān)鍵幀之間的第六運(yùn)動(dòng)矢量mv6進(jìn)行比較。中間深度插值器140可以根據(jù)第五運(yùn)動(dòng)矢量和第六運(yùn)動(dòng)矢量即mv5和mv6的比較結(jié)果，計(jì)算第二中間深度幀的第五權(quán)重w3以及第二深度幀的第六權(quán)重l_w3。中間深度插值器140可以在第二中間深度幀上反映第五權(quán)重w3以及在第二深度幀上反映第六權(quán)重l_w3以在第二中間深度幀和第二深度幀之間插值第三中間深度幀。
[0066]因此，如參照?qǐng)D4所述，中間深度插值器140可以通過利用第一深度幀和第二深度幀來分級(jí)地插值第二中間深度幀、第一中間深度幀和第三中間深度幀。
[0067]然而，本公開不限于如圖4中所示的三個(gè)中間幀。
[0068]現(xiàn)在將參照?qǐng)D5描述根據(jù)本公開的示例實(shí)施例、如果兩個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間、生成與中間幀相對(duì)應(yīng)的中間深度幀的方法。
[0069]如圖5中所示，如果第一中間幀和第二中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器140可以通過利用第一深度幀和第二深度幀、第一關(guān)鍵幀和第一中間幀之間的第一運(yùn)動(dòng)矢量mvl以及第二關(guān)鍵幀和第一中間幀之間的第二運(yùn)動(dòng)矢量mv2來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀。
[0070]詳細(xì)地，中間深度插值器140可以將第一關(guān)鍵幀和第一中間幀之間的第一運(yùn)動(dòng)矢量mvl與第一關(guān)鍵幀和第二關(guān)鍵幀之間的第二運(yùn)動(dòng)矢量mv2進(jìn)行比較。中間深度插值器140可以根據(jù)第一運(yùn)動(dòng)矢量mvl和第二運(yùn)動(dòng)矢量mv2的比較結(jié)果，計(jì)算第一深度幀的第一權(quán)重wl以及第二深度幀的第二權(quán)重Ι-wl。中間深度插值器140可以在第一深度幀上反映第一權(quán)重wl以及在第二深度幀上反映第二權(quán)重Ι-wl以在第一深度幀和第二深度幀之間插值第一中間深度幀。
[0071]在插值第一中間深度幀之后，中間深度插值器140可以通過利用第一中間深度幀、第二深度幀、第一中間幀和第二中間幀之間的第三運(yùn)動(dòng)矢量mv3、以及第二中間幀和第二關(guān)鍵幀之間的第四運(yùn)動(dòng)矢量mv4，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀。
[0072]詳細(xì)地，中間深度插值器140可以將第一中間幀和第二中間幀之間的第三運(yùn)動(dòng)矢量mv3與第二中間幀和第二關(guān)鍵幀之間的第四運(yùn)動(dòng)矢量mv4進(jìn)行比較。中間深度插值器140可以根據(jù)第三運(yùn)動(dòng)矢量mv3和第四運(yùn)動(dòng)矢量mv4的比較結(jié)果，計(jì)算第一中間深度幀的第三權(quán)重w2以及第二深度幀的第四權(quán)重l_w2。中間深度插值器140可以在第一中間深度幀上反映第三權(quán)重w2以及在第二深度幀上反映第四權(quán)重l_w2，以在第一中間深度幀和第二深度幀之間插值第二中間深度幀。
[0073]因此，如參照?qǐng)D5所述，中間深度插值器140可以通過利用第一深度幀和第二深度幀來分級(jí)地插值第一和第二中間深度幀。
[0074]在參照?qǐng)D4和圖5所描述的示例實(shí)施例中，兩個(gè)或三個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，然而，本公開不限于此。因此，四個(gè)或更多個(gè)中間幀可以存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間。例如，如果四個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器140可以通過利用第一關(guān)鍵幀和第二關(guān)鍵幀來分級(jí)地插值第二、第三、第一和第四中間深度幀。
[0075]再次參照?qǐng)D1和圖2，3D圖像生成器150通過利用深度幀生成器120生成的深度幀和中間深度插值器140插值的中間深度幀，來生成輸入到圖像輸入單元110中的多個(gè)圖像幀的左眼圖像和右眼圖像。
[0076]詳細(xì)地，3D圖像生成器150將多個(gè)圖像幀設(shè)置成左眼圖像和右眼圖像之一，并將基于多個(gè)圖像幀中的每個(gè)圖像幀的深度信息而附加地具有視差的新圖像幀設(shè)置成左眼圖像和右眼圖像中的另一個(gè)。3D圖像生成器150通過利用與多個(gè)圖像幀中的每一個(gè)相對(duì)應(yīng)的深度信息來生成多個(gè)圖像幀中的每一個(gè)的新的左眼圖像幀和右眼圖像幀。
[0077]3D圖像輸出單元160交替地輸出3D圖像生成器150生成的左眼圖像和右眼圖像。
[0078]如上所述，顯示裝置可以通過利用與關(guān)鍵幀相對(duì)應(yīng)的深度幀來分級(jí)地插值與中間幀相對(duì)應(yīng)的中間深度幀，以最小化當(dāng)插值深度幀時(shí)可能發(fā)生的錯(cuò)誤并生成接近于實(shí)際深度幀的深度幀。
[0079]現(xiàn)在將參照?qǐng)D6詳細(xì)描述根據(jù)本公開的示例實(shí)施例的3D圖像轉(zhuǎn)換方法。
[0080]在操作S610中，顯示裝置100例如可以接收多個(gè)圖像幀。例如，多個(gè)圖像幀是2D格式圖像數(shù)據(jù)。
[0081]在操作S620中，顯示裝置100可以生成關(guān)鍵幀的深度幀。詳細(xì)地，取決于實(shí)施例，顯示裝置100可以從多個(gè)圖像幀中以預(yù)設(shè)的幀間隔或不規(guī)則的幀間隔選擇關(guān)鍵幀。取決于實(shí)施例，顯示裝置100也可以基于關(guān)鍵幀的空間特性(如，對(duì)象的尺寸、排列、運(yùn)動(dòng)等)來生成與關(guān)鍵幀相對(duì)應(yīng)的深度幀。可替換地，取決于實(shí)施例，顯示裝置100可以通過用戶輸入生成與關(guān)鍵幀相對(duì)應(yīng)的深度幀。·
[0082]在操作S630中，顯示裝置100可以計(jì)算圖像幀之間的至少一個(gè)運(yùn)動(dòng)矢量。
[0083]在操作S640中，顯示裝置100可以利用深度幀和至少一個(gè)運(yùn)動(dòng)矢量生成中間深度幀。詳細(xì)地，如果接收到包括第一關(guān)鍵幀、中間幀和第二關(guān)鍵幀的圖像數(shù)據(jù)，則顯示裝置100可以將第一關(guān)鍵幀和中間幀之間的第一運(yùn)動(dòng)矢量mvl與中間幀和第二關(guān)鍵幀之間的第二運(yùn)動(dòng)矢量mv2進(jìn)行比較。顯示裝置100可以根據(jù)第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量即mvl和mv2的比較結(jié)果，計(jì)算與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀的第一權(quán)重wl以及與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀的第二權(quán)重1-?1。例如，顯示裝置可以使用如上所示的公式I來計(jì)算wlo取決于實(shí)施例，第一權(quán)重wl和第二權(quán)重Ι-wl可以分別與第一運(yùn)動(dòng)矢量mvl和第二運(yùn)動(dòng)矢量mv2的大小成反比例。顯示裝置100可以在第一深度幀上反映第一權(quán)重wl以及在第二深度幀上反映第二權(quán)重Ι-wl以在第一深度幀和第二深度幀之間插值中間深度幀。
[0084]如果多個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則顯示裝置100可以如圖4和圖5所示地分級(jí)地插值與多個(gè)中間幀相對(duì)應(yīng)的中間深度幀。在操作S650中，顯示裝置100通過利用深度幀和中間深度幀來生成多個(gè)圖像幀的左眼圖像和右眼圖像。
[0085]根據(jù)如上所述的3D圖像轉(zhuǎn)換方法，顯示裝置可以最小化錯(cuò)誤的發(fā)生并生成接近于實(shí)際深度幀的深度幀。
[0086]可以將根據(jù)上述各種示例實(shí)施例的顯示裝置的3D圖像轉(zhuǎn)換方法實(shí)現(xiàn)為程序并提供給顯示裝置。[0087]詳細(xì)地，可以提供一種存儲(chǔ)程序的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，所述程序包括:生成多個(gè)圖像幀中的關(guān)鍵幀的深度幀；計(jì)算圖像幀之間的運(yùn)動(dòng)矢量；通過利用深度幀和運(yùn)動(dòng)矢量插值與關(guān)鍵幀中的中間幀相對(duì)應(yīng)的中間深度幀；以及通過利用深度幀和插值的深度幀生成多個(gè)圖像幀的左眼圖像和右眼圖像。
[0088]所述非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)是指不是像寄存器、高速緩存存儲(chǔ)器和存儲(chǔ)器等等那樣在短時(shí)間內(nèi)存儲(chǔ)數(shù)據(jù)、而是半永久地存儲(chǔ)數(shù)據(jù)且可被設(shè)備讀取的介質(zhì)。詳細(xì)地，上述的應(yīng)用或程序可以在非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)中提供和存儲(chǔ)，所述非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)諸如⑶、DVD、硬盤、藍(lán)光盤、通用串行總線(USB)、存儲(chǔ)卡和ROM等等。
[0089]實(shí)施例能夠在計(jì)算硬件(計(jì)算裝置)和/或軟件中實(shí)現(xiàn)，所述計(jì)算硬件(計(jì)算裝置)和/或軟件諸如(在非限制性的示例中)能夠存儲(chǔ)、提取、處理和/或輸出數(shù)據(jù)和/或與其它計(jì)算機(jī)通信的任何計(jì)算機(jī)。實(shí)現(xiàn)實(shí)施例的程序/軟件可以在包括計(jì)算機(jī)可讀記錄介質(zhì)的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)上記錄。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括磁記錄裝置、光盤、磁光盤和/或半導(dǎo)體存儲(chǔ)器(例如，RAM、ROM等)。磁記錄裝置的示例包括硬盤設(shè)備(HDD)、柔性盤(FD)和磁帶(MT)。光盤的示例包括DVD (數(shù)字多功能盤)、DVD-RAMXD-ROM (致密盤-只讀存儲(chǔ)器)、USB存儲(chǔ)器和⑶-R (可記錄的)/鼎。
[0090]此外，根據(jù)實(shí)施例的方面，可以提供所描述的特征、功能和/或操作的任意組合。
[0091]再者，顯示裝置可以包括至少一個(gè)處理器以執(zhí)行上述單元和方法中的至少一個(gè)。
[0092]前述的示例實(shí)施例和優(yōu)點(diǎn)僅是示例性的，并不應(yīng)被解釋為限制性的。本教導(dǎo)可以容易地應(yīng)用到其它類型的裝置。此外，示例實(shí)施例的描述旨在是示例性的，而并不是要限制權(quán)利要求書的范圍，并且對(duì)本領(lǐng)域技術(shù)人員來說，很多替代方式、修改和變化將是明顯的。
【權(quán)利要求】
1.一種顯示裝置的3維(3D)圖像轉(zhuǎn)換方法，所述3D圖像轉(zhuǎn)換方法包括: 生成多個(gè)圖像幀中的關(guān)鍵幀的深度幀； 計(jì)算圖像幀之間的運(yùn)動(dòng)矢量； 通過利用生成的深度幀和計(jì)算的運(yùn)動(dòng)矢量，插值與關(guān)鍵幀之間的中間幀相對(duì)應(yīng)的中間深度幀；以及 利用生成的深度幀和插值的中間深度幀生成所述多個(gè)圖像幀的左眼圖像和右眼圖像。
2.根據(jù)權(quán)利要求1所述的3D圖像轉(zhuǎn)換方法，其中，插值中間深度幀包括: 將圖像幀中的第一關(guān)鍵幀和第二關(guān)鍵幀之間的中間幀和第一關(guān)鍵幀之間的第一運(yùn)動(dòng)矢量與該中間幀和第二關(guān)鍵幀之間的第二運(yùn)動(dòng)矢量進(jìn)行比較； 根據(jù)比較結(jié)果，計(jì)算與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀的第一權(quán)重以及與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀的第二權(quán)重；以及 在第一深度幀上反映第一權(quán)重以及在第二深度幀上反映第二權(quán)重以在第一深度幀和第二深度幀之間插值中間深度幀。
3.根據(jù)權(quán)利要求2所述的3D圖像轉(zhuǎn)換方法，其中，第一權(quán)重和第二權(quán)重分別與第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量的大小成反比例。
4.根據(jù)權(quán)利要求1所述的3D圖像轉(zhuǎn)換方法，其中，如果多個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則插值中間深度幀包括:分級(jí)地插值與所述多個(gè)中間幀相對(duì)應(yīng)的中間深度幀。
5.根據(jù)權(quán)利要求4所述的3D圖像轉(zhuǎn)換方法，其中，如果第一中間幀、第二中間幀和第三中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則插值中間深度幀包括: 利用與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀、與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀、第一關(guān)鍵幀和第二中間幀之間的運(yùn)動(dòng)矢量、以及第二關(guān)鍵幀和第二中間幀之間的運(yùn)動(dòng)矢量，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀； 利用第一深度幀、第二中間深度幀、第一關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量、以及第二中間幀和第一中間幀之間的運(yùn)動(dòng)矢量，來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀；以及 利用第二深度幀、第二中間深度幀、第二中間幀和第三中間幀之間的運(yùn)動(dòng)矢量、以及第三中間幀和第二關(guān)鍵幀之間的運(yùn)動(dòng)矢量，來插值與第三中間幀相對(duì)應(yīng)的第三中間深度幀。
6.根據(jù)權(quán)利要求4所述的3D圖像轉(zhuǎn)換方法，其中，如果第一中間幀和第二中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則插值中間深度幀包括: 利用與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀、與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀、第一關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量、以及第二關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量，來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀；以及 利用第一中間深度幀、第二深度幀、第一中間幀和第二中間幀之間的運(yùn)動(dòng)矢量、以及第二中間幀和第二關(guān)鍵幀之間的運(yùn)動(dòng)矢量，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀。
7.根據(jù)權(quán)利要求1所述的3D圖像轉(zhuǎn)換方法，還包括: 每隔預(yù)設(shè)數(shù)量的圖像幀選擇多個(gè)圖像幀之一作為關(guān)鍵幀。
8.一種將2維(2D)圖像轉(zhuǎn)換成3D圖像的顯示裝置，該顯示裝置包括: 深度幀生成器，其生成多個(gè)圖像幀中的關(guān)鍵幀的深度幀；運(yùn)動(dòng)矢量計(jì)算器，其計(jì)算圖像幀之間的運(yùn)動(dòng)矢量； 中間深度插值器，其通過利用生成的深度幀和運(yùn)動(dòng)矢量來插值與關(guān)鍵幀之間的中間幀相對(duì)應(yīng)的中間深度幀；以及 3D圖像生成器，其通過利用生成的深度幀和插值的中間深度幀來生成所述多個(gè)圖像幀的左眼圖像和右眼圖像。
9.根據(jù)權(quán)利要求8所述的顯示裝置，其中，中間深度插值器將在圖像幀中的第一關(guān)鍵幀和第二關(guān)鍵幀之間的中間幀和第一關(guān)鍵幀之間的第一運(yùn)動(dòng)矢量與所述中間幀和第二關(guān)鍵幀之間的第二運(yùn)動(dòng)矢量進(jìn)行比較，以計(jì)算與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀的第一權(quán)重以及與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀的第二權(quán)重，并在第一深度幀上反映第一權(quán)重以及在第二深度幀上反映第二權(quán)重以在第一深度幀和第二深度幀之間插值中間深度幀。
10.根據(jù)權(quán)利要求9所述的顯示裝置，其中，第一權(quán)重和第二權(quán)重分別與第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量的大小成反比例。
11.根據(jù)權(quán)利要求8所述的顯示裝置，其中，如果多個(gè)中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器分級(jí)地插值與所述多個(gè)中間幀相對(duì)應(yīng)的中間深度幀。
12.根據(jù)權(quán)利要求11所述的顯示裝置，其中，如果第一中間幀、第二中間幀和第三中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器利用與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀、與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀、第一關(guān)鍵幀和第二中間幀之間的運(yùn)動(dòng)矢量、以及第二關(guān)鍵幀和第二中間幀之間的運(yùn)動(dòng)矢量，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀；利用第一深度幀、第二中間深度幀、第一關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量、以及第二中間幀和第一中間幀之間的運(yùn)動(dòng)矢量，來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀；以及利用第二深度幀、第二中間深度幀、第二中間幀和第三中間幀之間的運(yùn)動(dòng)矢量、以及第三中間幀和第二關(guān)鍵幀之間的運(yùn)動(dòng)矢量，來插值與第三中間幀相對(duì)應(yīng)的第三中間深度幀。
13.根據(jù)權(quán)利要求11所述的顯示裝置，其中，如果第一中間幀和第二中間幀存在于第一關(guān)鍵幀和第二關(guān)鍵幀之間，則中間深度插值器利用與第一關(guān)鍵幀相對(duì)應(yīng)的第一深度幀、與第二關(guān)鍵幀相對(duì)應(yīng)的第二深度幀、第一關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量、以及第二關(guān)鍵幀和第一中間幀之間的運(yùn)動(dòng)矢量，來插值與第一中間幀相對(duì)應(yīng)的第一中間深度幀；以及利用第一中間深度幀、第二深度幀、第一中間幀和第二中間幀之間的運(yùn)動(dòng)矢量、以及第二中間幀和第二關(guān)鍵幀之間的運(yùn)動(dòng)矢量，來插值與第二中間幀相對(duì)應(yīng)的第二中間深度幀。
14.根據(jù)權(quán)利要求8所述的顯示裝置，其中，深度幀生成器每隔預(yù)設(shè)數(shù)量的圖像幀選擇多個(gè)圖像幀之一作為關(guān)鍵幀以生成深度幀。
【文檔編號(hào)】H04N13/00GK103581646SQ201310328463
【公開日】2014年2月12日 申請(qǐng)日期:2013年7月31日 優(yōu)先權(quán)日:2012年7月31日
【發(fā)明者】李美妍, 韓昇勛 申請(qǐng)人:三星電子株式會(huì)社