專利名稱：圖像處理方法以及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從2維圖像生成用于立體顯示的視差圖像的圖像處理方法以及裝置。
背景技術(shù)：
已知有通過(guò)進(jìn)行顯示以便用左眼、右眼來(lái)視覺觀察每一個(gè)有視差的圖像，從而識(shí)別立體圖像的立體顯示技術(shù)。根據(jù)三角測(cè)量的要領(lǐng)，如果用右眼看用左眼看時(shí)的像，則位置會(huì)偏離若干。通過(guò)三角測(cè)量的要領(lǐng)掌握該偏差，從而判定該物體是在跟前還是在深處。艮口， 為了實(shí)現(xiàn)立體顯示，需要在圖像間有兩眼視差的3維圖像。近年來(lái)，正在開發(fā)對(duì)于一般的電視廣播那樣原本不包含3維信息的2維圖像也生成能夠進(jìn)行3維顯示那樣的影像的技術(shù)。在從2維圖像生成3維圖像時(shí)，表示從左眼看物體時(shí)和從右眼看物體時(shí)偏差多少的視差成為非常重要的因素。因?yàn)橛靡慌_(tái)照相機(jī)拍攝被拍攝體時(shí)進(jìn)深的信息損失，所以如何求出進(jìn)深就成為從2維圖像向3維圖像變換的問題。例如， 專利文獻(xiàn)1提供了如下所述的方法檢測(cè)從2維運(yùn)動(dòng)圖像的基準(zhǔn)幀向其它幀的運(yùn)動(dòng)向量， 根據(jù)運(yùn)動(dòng)向量的水平分量決定幀延遲量，根據(jù)運(yùn)動(dòng)向量的垂直分量決定線延遲量，從幀和/ 或線延遲量生成與基準(zhǔn)幀對(duì)應(yīng)的視差圖像，并根據(jù)運(yùn)動(dòng)立體原理對(duì)其進(jìn)行立體觀察。但在該方法中，雖然能夠修正畫面整體的上下運(yùn)動(dòng)而生成正確的視差圖像，但當(dāng)在畫面內(nèi)包含有局部運(yùn)動(dòng)的物體的情況下，物體晃動(dòng)而不能生成正確的視差圖像。另外，在專利文獻(xiàn)2中提供了如下的方法檢測(cè)運(yùn)動(dòng)向量和背景區(qū)域，從背景區(qū)域的運(yùn)動(dòng)向量計(jì)算背景向量，通過(guò)從全部運(yùn)動(dòng)向量中減去背景向量而計(jì)算出相對(duì)向量，并以相對(duì)向量越大越配置在跟前的方式生成視差圖像。但是，在這種方法中，根據(jù)背景區(qū)域的檢測(cè)結(jié)果，有時(shí)變成存在于深處的物體被配置在跟前那樣的異樣感的視差圖像。專利文獻(xiàn)1 日本特開平7464631號(hào)公報(bào)專利文獻(xiàn)2 日本特開2000-261828號(hào)公報(bào)

發(fā)明內(nèi)容
本發(fā)明的目的在于在輸入了 2維運(yùn)動(dòng)圖像時(shí)，生成能夠立體觀察的1張以上的視差圖像。另外，其目的還在于在用立體眼鏡立體觀察2維運(yùn)動(dòng)圖像那樣用途的情況下生成左右2張視差圖像。本發(fā)明的一方式提供一種從2維運(yùn)動(dòng)圖像生成用于3維顯示的視差圖像的圖像處理方法，該圖像處理方法具有根據(jù)2維運(yùn)動(dòng)圖像的任意時(shí)刻的第1圖像、和與上述第1圖像不同時(shí)刻的第2圖像，針對(duì)上述第1圖像的每個(gè)塊檢測(cè)與第2圖像之間的運(yùn)動(dòng)向量的步驟；從上述運(yùn)動(dòng)向量中檢測(cè)進(jìn)深為深處側(cè)的部分的最深向量的步驟；求各運(yùn)動(dòng)向量與上述最深向量的差分向量，越是與上述差分向量大的上述運(yùn)動(dòng)向量對(duì)應(yīng)的上述第1圖像的塊， 越分配跟前側(cè)的進(jìn)深的步驟；根據(jù)上述第1圖像和上述進(jìn)深生成1張以上的視差圖像的步馬聚ο


圖1是本發(fā)明的第1種實(shí)施方式的、從2維圖像生成用于立體顯示的視差圖像的圖像處理裝置的框圖。圖2是表示本發(fā)明的第1實(shí)施方式的圖像處理方法的流程圖。圖3是用于說(shuō)明運(yùn)動(dòng)立體的原理的圖。圖4是用于說(shuō)明運(yùn)動(dòng)晃動(dòng)的情況的圖。圖5是用于說(shuō)明從視差向量向進(jìn)深的變換模式的圖。圖6是用于說(shuō)明圖像的物體沖突的圖。圖7是表示最深向量檢測(cè)方法的流程圖。圖8是用于說(shuō)明進(jìn)深變換模式的圖。圖9是用于說(shuō)明視差圖像生成的圖。符號(hào)說(shuō)明21 幀存儲(chǔ)器22:運(yùn)動(dòng)向量檢測(cè)器23 分組(clustering)裝置24:最深向量檢測(cè)器25 進(jìn)深計(jì)算器26:視差向量計(jì)算器27 視差圖像生成器
具體實(shí)施例方式以下，詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式。[第1實(shí)施方式]參照?qǐng)D1的框圖說(shuō)明第1實(shí)施方式的、從2維圖像生成用于立體顯示的視差圖像的圖像處理裝置。根據(jù)圖1所示的圖像處理裝置，幀存儲(chǔ)器11以幀單位存儲(chǔ)來(lái)自視頻照相機(jī)、視頻再現(xiàn)機(jī)等視頻裝置的輸入運(yùn)動(dòng)圖像。該幀存儲(chǔ)器11與運(yùn)動(dòng)向量檢測(cè)器21連接。運(yùn)動(dòng)向量檢測(cè)器21通過(guò)塊匹配等公知的方法從輸入運(yùn)動(dòng)圖像和存儲(chǔ)在幀存儲(chǔ)器11中的圖像檢測(cè)運(yùn)動(dòng)向量。運(yùn)動(dòng)向量檢測(cè)器21的輸出與分組裝置23連接。分組裝置23將圖像(幀)分割成多個(gè)區(qū)域(組)。分組裝置23的輸出與最深向量檢測(cè)器M連接，該最深向量檢測(cè)器M 根據(jù)組檢測(cè)最深的物體的向量，即最深向量。具體地說(shuō)，根據(jù)組檢測(cè)深處的物體和跟前的物體的重合，將重疊最多的組確定為最深，將該組的向量作為最深向量檢測(cè)出來(lái)。最深向量檢測(cè)器M的輸出與進(jìn)深計(jì)算器25連接，該進(jìn)深計(jì)算器25從最深向量計(jì)算進(jìn)深。具體地說(shuō)， 從最深向量和最跟前的物體的向量、即最跟前向量計(jì)算直到最深物體的進(jìn)深。進(jìn)深計(jì)算器 25的輸出與視差向量計(jì)算器沈連接，該視差計(jì)算器沈根據(jù)進(jìn)深信息計(jì)算視差向量。視差向量計(jì)算器26的輸出與視差圖像生成器27連接。該視差圖像生成器27通過(guò)以后說(shuō)明的方法從視差向量制成用右眼看的影像和用左眼看的影像。在參照?qǐng)D2的流程圖說(shuō)明圖1的圖像處理裝置的作用之前，說(shuō)明從2維圖像變換到3維圖像的機(jī)理。
從2維圖像生成3維圖像的根據(jù)是利用圖3所示那樣的運(yùn)動(dòng)立體的原理。即如果考慮1臺(tái)照相機(jī)一邊從左向右移動(dòng)一邊拍攝的狀況，則可以考慮tl時(shí)刻的影像酷似能夠用左眼看到的圖像，t2時(shí)刻的影像酷似能夠用右眼看到的圖像。通過(guò)用右眼以及左眼看這樣的移動(dòng)照相機(jī)的影像，立體觀察成為可能。像這樣地將來(lái)自移動(dòng)照相機(jī)的運(yùn)動(dòng)圖像分別作為左視差圖像以及右視差圖像利用的技術(shù)就是運(yùn)動(dòng)立體。但如圖4所示，如果在畫面內(nèi)有和照相機(jī)的運(yùn)動(dòng)獨(dú)立地運(yùn)動(dòng)著的物體，則不同時(shí)刻的影像進(jìn)入到右眼和左眼，手和腳晃動(dòng)而不能正確地立體觀察物體。因此，在本實(shí)施方式中，求從輸入的運(yùn)動(dòng)圖像的基準(zhǔn)幀向其它時(shí)刻的幀的運(yùn)動(dòng)向量，將運(yùn)動(dòng)向量看做視差向量并從視差向量計(jì)算進(jìn)深圖，從計(jì)算出的進(jìn)深圖再次計(jì)算視差向量，根據(jù)視差向量從基準(zhǔn)幀生成2張視差圖像(但并不限于2張)。通過(guò)這樣做，因?yàn)槟軌驈?張(1時(shí)刻)基準(zhǔn)幀生成同時(shí)刻的視差圖像，所以能夠解決前面所述的手腳晃動(dòng)的問題。已知在將運(yùn)動(dòng)向量的水平分量作為視差向量時(shí)，從視差向量向進(jìn)深的變換是根據(jù)人的左右眼和向?qū)ο笪矬w的幾何學(xué)關(guān)系而按照?qǐng)D5的模式進(jìn)行的。因?yàn)樽笥已叟渲迷谒椒较蛏?，所以視差基本上在左右水平地發(fā)生。根據(jù)該模式能夠從運(yùn)動(dòng)再現(xiàn)自然的進(jìn)深。但是因?yàn)橹荒芾眠\(yùn)動(dòng)的水平分量，所以限于具有水平方向的運(yùn)動(dòng)的影像。在本實(shí)施方式不是檢測(cè)背景向量，而是采用從運(yùn)動(dòng)圖像的運(yùn)動(dòng)跟蹤進(jìn)深的方法。 即，檢測(cè)應(yīng)該配置在最深的區(qū)域的運(yùn)動(dòng)向量(最深向量)，將與最深向量的差分向量越大的物體越配置在跟前。最深向量從運(yùn)動(dòng)向量的重疊關(guān)系檢測(cè)出來(lái)。由此，就能夠根據(jù)運(yùn)動(dòng)向量的差，將物體從最深的區(qū)域依次配置到跟前。以下，參照?qǐng)D2的流程圖說(shuō)明圖1的圖像處理裝置的作用。設(shè)在輸入2維運(yùn)動(dòng)圖像的時(shí)刻t幀的位置X，y的像素值是lt(x，y)，時(shí)刻t_l幀的位置X，y的像素值是Ih (X，y)，時(shí)刻t+Ι幀的位置x, y的像素值是lt+1 (χ, y)?！催\(yùn)動(dòng)向量檢測(cè)步驟Sll>在運(yùn)動(dòng)向量檢測(cè)步驟Sl 1中，運(yùn)動(dòng)向量檢測(cè)器22檢測(cè)從t幀到t-Ι幀的運(yùn)動(dòng)向量。 在運(yùn)動(dòng)向量的檢測(cè)中可以使用各種方法，但在此講述使用了塊匹配的方法。但是并不限于此。塊匹配是將t幀分割為矩形塊的部分，從t-Ι幀上檢索與每個(gè)塊對(duì)應(yīng)的塊的方法。設(shè)塊的大小為M1, M2，塊的位置為i，j。作為用于求運(yùn)動(dòng)的誤差函數(shù)，能夠使用平均絕對(duì)值差分(Mean Absolute Difference :MAD)等。[數(shù)學(xué)式1]
權(quán)利要求
1.一種圖像處理方法，從2維運(yùn)動(dòng)圖像生成用于3維顯示的視差圖像，具有根據(jù)2維運(yùn)動(dòng)圖像的任意時(shí)刻的第1圖像、和與上述第1圖像不同時(shí)刻的第2圖像，針對(duì)上述第1圖像的每個(gè)塊檢測(cè)與第2圖像之間的運(yùn)動(dòng)向量的步驟；從上述運(yùn)動(dòng)向量中檢測(cè)對(duì)應(yīng)該將進(jìn)深設(shè)為最深側(cè)的塊求出的最深向量的步驟； 求各運(yùn)動(dòng)向量與上述最深向量的差分向量，越是與上述差分向量大的上述運(yùn)動(dòng)向量對(duì)應(yīng)的上述第1圖像的塊，越分配跟前側(cè)的進(jìn)深的步驟； 以及根據(jù)上述第1圖像和上述進(jìn)深生成1張以上的視差圖像的步驟。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于 檢測(cè)上述最深向量的步驟包括將上述運(yùn)動(dòng)向量分類為1個(gè)以上的組，并求上述組內(nèi)的平均運(yùn)動(dòng)向量的步驟；以及將上述平均運(yùn)動(dòng)向量的某一個(gè)設(shè)定為上述最深向量的步驟。
3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于上述最深向量檢測(cè)步驟包括檢測(cè)上述組間的運(yùn)動(dòng)向量的重合，將被覆蓋最多的組內(nèi)的平均運(yùn)動(dòng)向量設(shè)定為上述最深向量的步驟。
4.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于 上述差分向量的大小和上述進(jìn)深的關(guān)系成反比例。
5.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于 上述差分向量的大小和上述進(jìn)深的關(guān)系成比例。
6.一種圖像處理裝置，從2維運(yùn)動(dòng)圖像生成用于3維顯示的視差圖像，包括運(yùn)動(dòng)向量檢測(cè)器，根據(jù)2維運(yùn)動(dòng)圖像的任意時(shí)刻的第1圖像、和與上述第1圖像不同時(shí)刻的第2圖像，針對(duì)上述第1圖像的每個(gè)塊檢測(cè)與第2圖像之間的運(yùn)動(dòng)向量； 進(jìn)深向量檢測(cè)器，從上述運(yùn)動(dòng)向量中檢測(cè)進(jìn)深成為深側(cè)的部分的最深向量； 視差向量計(jì)算器，求各運(yùn)動(dòng)向量與上述最深向量的差分向量，越是與上述差分向量大的上述運(yùn)動(dòng)向量對(duì)應(yīng)的上述第1圖像的塊，越分配跟前側(cè)的進(jìn)深；以及視差圖像生成器，根據(jù)上述第1圖像和上述進(jìn)深生成1張以上的視差圖像。
全文摘要
一種從2維運(yùn)動(dòng)圖像生成用于立體顯示的視差圖像的圖像處理方法，具有根據(jù)2維運(yùn)動(dòng)圖像的任意時(shí)刻的第1圖像、和與第1圖像不同時(shí)刻的第2圖像，針對(duì)第1圖像的每個(gè)塊檢測(cè)與第2圖像之間的運(yùn)動(dòng)向量的步驟；從運(yùn)動(dòng)向量中檢測(cè)進(jìn)深成為最深側(cè)的部分的最深向量的步驟；求各運(yùn)動(dòng)向量與最深向量的差分向量，越是與差分向量大的運(yùn)動(dòng)向量對(duì)應(yīng)的第1圖像的塊，越分配跟前側(cè)的進(jìn)深的步驟；以及根據(jù)第1圖像和上述進(jìn)深生成1張以上的視差圖像的步驟。
文檔編號(hào)G06T7/20GK102326394SQ20098015719
公開日2012年1月18日 申請(qǐng)日期2009年9月8日 優(yōu)先權(quán)日2009年9月8日
發(fā)明者三島直, 三田雄志, 下山賢一, 井田孝 申請(qǐng)人:株式會(huì)社東芝