用于生成3d全景圖像的圖像生成裝置及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于生成3D全景圖像的圖像生成裝置及方法，具體而言，涉及一種用于基于多個2D圖像以及與多個2D圖像分別對應(yīng)的深度圖(depth map)來生成3D全景圖像的圖像生成裝置及方法。
【背景技術(shù)】
[0002]隨著電子技術(shù)的發(fā)展，多種類型的電子產(chǎn)品得到開發(fā)和普及。尤其，TV、手機、PC、筆記本電腦、PDA等各種拍攝裝置在大部分一般家庭中也都廣泛使用。
[0003]隨著拍攝裝置的使用增加，用戶對更為多樣的功能的需求(needs)也隨之增大。據(jù)此，各制造商為符合用戶需求加大了努力，從而具備以往沒有的新技能的產(chǎn)品也正在陸續(xù)登場。
[0004]特別是，近來開發(fā)的智能手機或平板電腦等電子裝置可利用通過內(nèi)置攝像機連續(xù)拍攝的2D圖像而生成2D全景圖像。進一步地，最近開發(fā)的電子裝置可以利用連續(xù)拍攝的多個2D圖像生成3D全景圖像。下述的方式作為如上所述的用于基于多個2D圖像來生成3D全景圖像的方式而得到應(yīng)用。
[0005]第一，是一種利用2D全景圖像和深度全景圖像生成3D全景圖像的方式(以下稱為‘第一現(xiàn)有技術(shù)’)。具體而言，第一現(xiàn)有技術(shù)利用連續(xù)拍攝的多個2D圖像生成2D全景圖像，并根據(jù)與多個2D圖像分別對應(yīng)的多個深度圖來生成深度全景圖像。之后，第一現(xiàn)有技術(shù)基于利用多個深度圖生成的深度全景圖像來把2D全景圖像生成為3D全景圖像。
[0006]但是，如上所述的通過第一現(xiàn)有技術(shù)生成3D全景圖像時，存在背景區(qū)域上發(fā)生隱藏區(qū)域的問題，而且對隱藏區(qū)域執(zhí)行孔填充時，會存在基于孔填充的3D全景圖像上出現(xiàn)圖像缺陷的問題。
[0007]第二，是一種在2D圖像中提取攝像機的條帶(Strip)而生成兩個系列的條帶(Strip)，并且對這兩個系列的條帶進行鑲嵌(Mosaicing)處理或者拼接(stitching)處理而生成3D全景圖像的方式(以下統(tǒng)稱為‘第二現(xiàn)有技術(shù)’)。
[0008]但是，在通過上述的第二現(xiàn)有技術(shù)從2D影像生成穩(wěn)定的條帶時，會存在必須得利用專門的旋轉(zhuǎn)型機械裝置的問題。即，在從2D圖像中生成穩(wěn)定的條帶時，2D圖像的拍攝方向或拍攝裝置的移動方向需要以垂直方向移動。但是，用戶拍攝時的拍攝裝置的拍攝方向及移動方向不規(guī)則，因此，連續(xù)拍攝的2D圖像會發(fā)生缺陷或失真。因此，利用這種發(fā)生失真的2D圖像生成3D全景圖像時，會存在所生成的3D全景圖像上發(fā)生階梯型圖像缺陷、結(jié)構(gòu)失真及發(fā)生全景圖像生成區(qū)域減少的飄移(Drift)現(xiàn)象等問題。

【發(fā)明內(nèi)容】

[0009]本發(fā)明是根據(jù)上述的必要性而提出的，本發(fā)明的目的在于從多個2D圖像中生成沒有失真的3D全景圖像。
[0010]進一步地，本發(fā)明的目的在于在沒有專門的補助裝置的情況下利用手提式(Hand-Held)攝像機生成沒有失真的3D全景圖像。
[0011]用于達成上述目的的根據(jù)本發(fā)明的一實施例的圖像生成裝置上生成3D全景圖像的方法包括如下步驟:接收多個2D圖像及與多個2D圖像對應(yīng)的多個深度圖；基于所述多個深度圖，對所述多個2D圖像分別設(shè)定左眼圖像區(qū)域及右眼圖像區(qū)域；合成所述多個2D圖像內(nèi)所設(shè)定的各個左眼圖像區(qū)域的圖像而生成左眼全景圖像，并合成所述多個2D圖像內(nèi)所設(shè)定的各個右眼圖像區(qū)域的圖像而生成右眼全景圖像。
[0012]而且，所述多個2D圖像中至少一個2D圖像與前后2D圖像的一部分重疊。
[0013]另外，在所述設(shè)定的步驟中，可以分析所述多個深度圖各自的區(qū)域的深度值，以在與具有相似深度值的區(qū)域?qū)?yīng)的各個2D圖像的圖像區(qū)域中，把屬于已設(shè)定的第一區(qū)域的圖像區(qū)域設(shè)定為左眼圖像區(qū)域，并把屬于已設(shè)定的第二區(qū)域的圖像區(qū)域設(shè)定為右眼圖像區(qū)域。
[0014]而且，在所述設(shè)定的步驟中，可以利用色彩分割算法設(shè)定所述多個2D圖像各自的圖像區(qū)域，并在所設(shè)定的所述圖像區(qū)域中，把屬于已設(shè)定的第一區(qū)域的圖像區(qū)域設(shè)定為左眼圖像區(qū)域，并把屬于已設(shè)定的第二區(qū)域的圖像區(qū)域設(shè)定為右眼圖像區(qū)域。
[0015]另外，還包括從所述多個2D圖像中提取特征點的步驟，而且在所述生成的步驟中，基于所述多個左眼圖像區(qū)域的各圖像的特征點來生成針對所述多個左眼圖像區(qū)域的左眼全景圖像，并基于所述多個右眼圖像區(qū)域的各圖像的特征點來生成針對所述多個右眼圖像區(qū)域的右眼全景圖像。
[0016]而且，還包括如下步驟:估計拍攝所述多個2D圖像的所述拍攝裝置的拍攝方向及位置；考慮所述估計結(jié)果，把所述多個2D圖像及所述多個深度圖校正為所述拍攝裝置在基準(zhǔn)方向及基準(zhǔn)位置拍攝時能夠獲得的基準(zhǔn)圖像及基準(zhǔn)深度圖；而且在所述設(shè)定的步驟中，可基于所述校正的基準(zhǔn)深度圖來對所述校正的多個2D圖像分別設(shè)定左眼及右眼圖像區(qū)域。
[0017]另外，在所述估計的步驟中，基于通過從所述多個2D圖像提取到的特征點的變化信息及傳感器來測到的結(jié)果中的至少一個來估計所述拍攝裝置的拍攝方向及位置，而且所述傳感器可以是慣性測量傳感器(IMU)。
[0018]而且，還可以包括如下步驟:在沒有接收到與所述多個2D圖像對應(yīng)的深度圖時，通過與基于經(jīng)由所述傳感器所測量到的結(jié)果而估計的所述拍攝裝置的方向及位置對應(yīng)的2D圖像之間的圖像匹配(Stereo Matching)來生成與所述多個2D圖像對應(yīng)的深度圖。
[0019]另外，所述生成的步驟可以利用圖像鑲嵌算法來合成所述多個左眼圖像區(qū)域的圖像，還可以合成所述多個右眼圖像區(qū)域的圖像。
[0020]另外，根據(jù)本發(fā)明的另一實施例，圖像生成裝置包括:圖像輸入部，接收多個2D圖像及與所述多個2D圖像對應(yīng)的多個深度圖；區(qū)域設(shè)定部，基于所述多個深度圖對所述多個2D圖像分別設(shè)定左眼圖像區(qū)域及右眼圖像區(qū)域；以及控制部，合成所述多個2D圖像內(nèi)所設(shè)定的各左眼圖像區(qū)域的圖像來生成左眼全景圖像，并合成所述多個2D圖像內(nèi)所設(shè)定的各右眼圖像區(qū)域的圖像來生成右眼全景圖像。
[0021]而且，所述多個2D圖像中至少一個2D圖像可以與前后2D圖像的一部分重疊。
[0022]另外，所述區(qū)域設(shè)定部可以對多個深度圖各自的各區(qū)域的深度值進行分析，以在與具有相似的深度值的區(qū)域?qū)?yīng)的各個2D圖像的圖像區(qū)域中，把屬于已設(shè)定的第一區(qū)域的圖像區(qū)域設(shè)定為左眼圖像區(qū)域，并把屬于已設(shè)定的第二區(qū)域的圖像區(qū)域設(shè)定為右眼圖像區(qū)域。
[0023]而且，所述區(qū)域設(shè)定部可以利用色彩分割算法對所述多個2D圖像分別設(shè)定圖像區(qū)域，并在所設(shè)定的所述圖像區(qū)域中，把屬于已設(shè)定的第一區(qū)域的圖像區(qū)域設(shè)定為左眼圖像區(qū)域，把屬于已設(shè)定的第二區(qū)域的圖像區(qū)域設(shè)定為右眼體現(xiàn)區(qū)域。
[0024]另外，所述控制部可以從所述多個2D圖像中提取特征點，而且在提取到的所述特征點中，可以基于所述多個左眼圖像區(qū)域的各圖像特征點來生成針對所述多個左眼圖像區(qū)域的左眼全景圖像，并基于所述多個右眼圖像區(qū)域的各圖像的特征點來生成針對所述多個右眼圖像區(qū)域的右眼全景圖像。
[0025]而且，還可以包括:位置估計部，估計拍攝所述多個2D圖像的拍攝裝置的拍攝方向及位置；圖像變換部，考慮由所述位置估計部估計到的估計結(jié)果，把所述多個2D圖像及所述多個深度圖校正為所述拍攝裝置在基準(zhǔn)方向及基準(zhǔn)位置拍攝時能夠獲得的基準(zhǔn)圖像及基準(zhǔn)深度圖，而且所述區(qū)域設(shè)定部可以基于所述校正的基準(zhǔn)深度圖來對所述校正的多個2D圖像分別設(shè)定左眼及右眼圖像區(qū)域。
[0026]另外，所述位置估計部基于通過從所述多個2D圖像提取到的特征點的變化信息及傳感器來測到的結(jié)果中的至少一個來估計所述拍攝裝置的拍攝方向及位置，而且所述傳感器可以是慣性測量傳感器(Inertial Measurement Unit:1MU) ο
[0027]還有，在沒有接收到與所述多個2D圖像對應(yīng)的深度圖時，所述控制部可以通過與基于經(jīng)由所述傳感器所測量的結(jié)果而估計的所述拍攝裝置的方向及位置對應(yīng)的2D圖像之間的圖像匹配(Stereo Matching)來生成與所述多個2D圖像對應(yīng)的深度圖。
[0028]另外，所述控制部可以利用圖像鑲嵌算法來合成所述多個左眼圖像區(qū)域的圖像，還可以合成所述多個右眼圖像區(qū)域的圖像。
[0029]如上所述地，根據(jù)本發(fā)明的多樣的實施例，圖像生成裝置可以基于多個2D圖像來生成無失真的3D全景圖像。
【附圖說明】
[0030]圖1是根據(jù)本發(fā)明的一實施例的將多個2D圖像生成為3D全景圖像的圖像生成裝置的模塊圖。
[0031]圖2是根據(jù)本發(fā)明的一實施例的圖像生成裝置的詳細(xì)模塊圖。
[0032]圖3是在根據(jù)本發(fā)明的一實施例的圖像生成裝置中，基于多個2D圖像來生成與多個2D圖像對應(yīng)的深度圖的示例圖。
[0033]圖4是在根據(jù)本發(fā)明的一實施例的圖像生成裝置中，基于2D圖像的深度圖來設(shè)定為左眼圖像區(qū)域的示例圖。
[0034]圖5是在根據(jù)本發(fā)明的一實施例的圖像生成裝置中，基于2D圖像的深度圖來設(shè)定為右眼圖像區(qū)域的示例圖。
[0035]圖6是根據(jù)本發(fā)明的一實施例的拍攝裝置的模塊圖。
[0036]圖7是根據(jù)本發(fā)明的一實施例的圖像生成裝置中生成3D全景圖像的方法的流程圖。
【具體實施方式】
[0037]圖1是根據(jù)本發(fā)明的一實施例的把多個2D圖像生