度圖420的第一區(qū)域421上把d區(qū)域421-1、e區(qū)域421-2及f區(qū)域421-3分離為具有相似的深度值的區(qū)域。因此，區(qū)域設(shè)定部120可以把具有相似的深度值的d區(qū)域421-l、e區(qū)域421-2以及f區(qū)域421-3設(shè)定為第二深度圖420的右眼圖像區(qū)域。如此，在第一深度圖410及第二深度圖420各自的第一區(qū)域411、421上右眼圖像區(qū)域被設(shè)定時(shí)，控制部130在與第一深度圖410及第二深度圖420分別對應(yīng)的第一 2D圖像及第二 2D圖像中獲得對應(yīng)于右眼圖像區(qū)域的第一圖像430和第二圖像440。之后，控制部130基于從與第一深度圖410及第二深度圖420分別對應(yīng)的第一 2D圖像及第二 2D圖像中獲得的第一圖像430及第二圖像440各自的特征點(diǎn)來合成第一圖像430及第二圖像440，由此生成右眼全景圖像。
[0063]與此相同，如圖5所示，區(qū)域設(shè)定部120在輸入的第一深度圖410及第二深度圖420各自的區(qū)域中分析屬于第二區(qū)域413、423的深度值而分離具有相似的深度值的區(qū)域。即，區(qū)域設(shè)定部120可在第一深度圖410的第二區(qū)域413上把a(bǔ)’區(qū)域413_l、b’區(qū)域413-2以及c’區(qū)域413-3分離為具有相似的深度值的區(qū)域。據(jù)此，區(qū)域設(shè)定部120可以把具有相似的深度值的a’區(qū)域413-1，b’區(qū)域413-2以及c’區(qū)域413-3設(shè)定為第一深度圖410的左眼圖像區(qū)域。另外，區(qū)域設(shè)定部120可在第二深度圖420的第二區(qū)域423上把d’區(qū)域423-1、e’區(qū)域423-2、f’區(qū)域423-3分離為具有相似的深度值的區(qū)域。據(jù)此，區(qū)域設(shè)定部120可以把具有相似的深度值的d’區(qū)域423-1、e’區(qū)域423-2、f ’區(qū)域423-3設(shè)定為第二深度圖410的左眼圖像區(qū)域。
[0064]如上所述地，第一深度圖410及第二深度圖420各自的第二區(qū)域413，423上右眼圖像區(qū)域被設(shè)定時(shí)，控制部130可在與第一深度圖410及第二深度圖410、420分別對應(yīng)的第一 D圖像及第二 2D圖像中獲得與左眼圖像區(qū)域?qū)?yīng)的第一圖像460及第二圖像470。之后，控制部130可基于從與第一深度圖410及第二深度圖420分別對應(yīng)的第一 D圖像及第二 2D圖像中獲得的第一圖像460及第二圖像470各自的特征點(diǎn)來合成第一圖像460及第二圖像470，由此生成左眼全景圖像。
[0065]目前為止，對在根據(jù)本發(fā)明的圖像生成裝置100中基于與多個(gè)2D圖像分別對應(yīng)的多個(gè)深度圖來生成針對多個(gè)2D圖像的3D全景圖像的操作進(jìn)行了詳細(xì)的說明。
[0066]以下，對包含前述的圖像生成裝置100的拍攝裝置10的各個(gè)構(gòu)成進(jìn)行詳細(xì)的說明。
[0067]圖6是根據(jù)本發(fā)明的一實(shí)施例的拍攝裝置的模塊圖。
[0068]拍攝裝置10可包括:通信部610、輸入部620、拍攝部630、圖像處理部640、全景圖像生成部650、顯示部660、存儲(chǔ)部670以及控制部680。
[0069]通信部610可以與外部裝置(未圖示)執(zhí)行數(shù)據(jù)通信而接收與由外部裝置(未圖示)生成的多個(gè)2D圖像分別對應(yīng)的深度圖。另外，通信部610與智能電視、平板電腦等電子設(shè)備執(zhí)行有線無線通信而傳送基于多個(gè)2D圖像生成的3D全景圖像。這種通信部610可以包括無線通信模塊以及有線通信模塊。在此，有線通信模塊可以是向外部裝置(未圖示)提供接口的USB通信模塊，而無線通信模塊可包含近距離通信模塊及遠(yuǎn)距離通信模塊中的至少一種。近距離通信模塊可包含無線直接接入(WiFi Direct)通信模塊，藍(lán)牙(Bluetooth)模塊、紅外線通信(IrDA, infrared data associat1n)模塊、近場通訊(NFC，Near Field Communicat1n)、無線傳感器網(wǎng)絡(luò)(ZigBee)模塊中的至少一種。而且，遠(yuǎn)距離通信模塊包含蜂窩通信(cellular communicat1n)模塊、3G移動(dòng)通信模塊、4G移動(dòng)通信模塊、4G LTE(Long Term Evolut1n)通信模塊中的至少一種。
[0070]輸入部620是用于接收用戶命令的構(gòu)成，其包含至少一個(gè)按鈕。不僅如此，輸入部620可以在顯示部660上實(shí)現(xiàn)為觸摸屏幕形態(tài)而接收用戶的觸摸命令。這種輸入部620可通過按鈕或觸摸屏幕接收針對于圖像的單張拍攝命令、全景拍攝命令等，或者可以接收針對根據(jù)全景拍攝命令而連接拍攝的多個(gè)2D圖像的3D全景圖像生成命令。
[0071]攝影部630可以根據(jù)通過輸入部620輸入的拍攝命令來執(zhí)行單張拍攝或者全景圖像拍攝。這種拍攝部630可以包括鏡頭、快門、光圈、固態(tài)攝像器件、模擬前端(AFE，AnalogFront End)、定時(shí)脈沖發(fā)生器(TG、Timing Generator)以及圖像傳感器。快門可調(diào)節(jié)被攝體上反射的光照進(jìn)圖像傳感器的時(shí)間，光圈通過機(jī)械地增加或減小用于使光照進(jìn)來的開口部的大小而調(diào)節(jié)入射到鏡頭的光量。固態(tài)攝像器件在被攝體上反射的光積累為光電荷時(shí)，可以把由光電荷形成的像輸出為電信號(hào)。TG輸出用于導(dǎo)出固態(tài)攝像裝置的像素?cái)?shù)據(jù)的時(shí)序信號(hào)，AFE對從固態(tài)攝像裝置輸出的電信號(hào)進(jìn)行采樣并數(shù)字化。當(dāng)全景圖像拍攝命令通過輸入部620輸入時(shí)，上述的拍攝部630可以對位于用戶拍攝方向的被攝體執(zhí)行連續(xù)拍攝。這種拍攝圖像的拍攝部630的構(gòu)成是公知技術(shù)，因此本發(fā)明中省略詳細(xì)的說明。
[0072]圖像處理部640將針對通過拍攝部630連續(xù)拍攝的2D圖像各自的原始圖像數(shù)據(jù)制造為YCbCr數(shù)據(jù)，并確定圖像黑電平，且調(diào)整各顏色的敏感度。除此之外，圖像處理部640還可以對連續(xù)拍攝的多個(gè)2D圖像執(zhí)行白平衡、伽瑪校正、色彩差補(bǔ)、色彩校正、分辨率變換等。
[0073]全景圖像生成部650利用前述的圖像生成裝置100，基于通過圖像處理部640處理的多個(gè)2D圖像及與多個(gè)2D圖像分別對應(yīng)的深度圖來生成3D全景圖像。如前所述，當(dāng)接收到多個(gè)2D圖像及與多個(gè)2D圖像分別對應(yīng)的深度圖時(shí)，全景圖像生成部650基于多個(gè)深度圖設(shè)定針對多個(gè)2D圖像各自的左眼圖像區(qū)域及右眼圖像區(qū)域。
[0074]根據(jù)一實(shí)施例，全景圖像生成部650分析多個(gè)深度圖各自的各區(qū)域的深度值，并且在與具有相似深度值的區(qū)域?qū)?yīng)的各個(gè)2D圖像的圖像區(qū)域中，可把屬于第一區(qū)域的圖像區(qū)域設(shè)定為左眼圖像區(qū)域，把屬于已設(shè)定的第二區(qū)域的圖像區(qū)域設(shè)定為右眼圖像區(qū)域。根據(jù)另一實(shí)施例，全景圖像生成部650可利用色彩分割算法設(shè)定多個(gè)2D圖像各自的圖像區(qū)域，并在所設(shè)定的圖像區(qū)域中，把屬于第一區(qū)域的圖像區(qū)域設(shè)定為左眼圖像區(qū)域，并把屬于已設(shè)定的第二區(qū)域的圖像區(qū)域設(shè)定為右眼圖像區(qū)域。
[0075]如上所述地，在多個(gè)2D圖像內(nèi)左眼及右眼圖像區(qū)域被設(shè)定時(shí)，全景圖像生成部650合成多個(gè)2D圖像內(nèi)所設(shè)定的各左眼圖像區(qū)域的圖像而生成左眼全景圖像。同樣地，全景圖像生成部650合成多個(gè)2D圖像內(nèi)所設(shè)定的各右眼圖像區(qū)域的圖像而生成右眼全景圖像。具體而言，全景圖像生成部650從多個(gè)2D圖像中提取特征點(diǎn)，而且在提取的特征點(diǎn)中，基于多個(gè)左眼圖像區(qū)域的各個(gè)圖像的特征點(diǎn)來合成針對左眼圖像區(qū)域的圖像，由此可以生成左眼全景圖像。同樣地，全景圖像生成部650在從多個(gè)2D圖像里提取的特征點(diǎn)中，基于多個(gè)右眼圖像區(qū)域的各個(gè)圖像的特征點(diǎn)來合成針對右眼圖像區(qū)域的圖像，由此可以生成右眼全景圖像。
[0076]顯示部660可以顯示拍攝到的2D圖像或從多個(gè)2D圖像中生成的3D全景圖像。為此，顯示部660可以由液晶顯示裝置(Liquid Crystal Display, LCD)、有機(jī)電致發(fā)光二極管(Organic Light Emiiting Display, OLED)或者等離子顯不板(Plasma DisplayPanel, PDP)等來實(shí)現(xiàn)。
[0077]存儲(chǔ)部670存儲(chǔ)拍攝到的2D圖像或由多個(gè)2D圖像生成的3D全景圖像。這種存儲(chǔ)部670可以由非揮發(fā)性存儲(chǔ)器(例如，閃速存儲(chǔ)器、EEROM (Electrically Erasable ROM))，硬盤等存儲(chǔ)介質(zhì)來實(shí)現(xiàn)。
[0078]控制部680對構(gòu)成拍攝裝置10的各構(gòu)成的動(dòng)作進(jìn)行全面的控制。具體而言，如果接收到針對通過顯示部660顯示的實(shí)時(shí)取景(live view)圖像的全景拍攝命令，則控制部680可控制為通過拍攝部630來執(zhí)行連續(xù)拍攝，并控制圖像處理部640使其對通過拍攝部630連續(xù)拍攝到的2D圖像進(jìn)行圖像處理。另外，控制部680把通過圖像處理部640得到圖像處理的多個(gè)2D圖像以及與通過通信部610所接收到的多個(gè)2D圖像分別對應(yīng)的深度圖傳送到全景圖像生成部650，并控制全景圖像生成部650使其生成針對多個(gè)2D圖像的3D全景圖像。
[0079]目前為止，對根據(jù)本發(fā)明的拍攝裝置10的各個(gè)構(gòu)成做出了詳細(xì)的說明。以下，將對在根據(jù)本發(fā)明的圖像生成裝置100中基于多個(gè)2D圖像來生成3D全景圖像的方法做出詳細(xì)的說明。
[0080]圖7是在根據(jù)本發(fā)明的一實(shí)施例的圖像生成裝置中生成3D全景圖像的方法的流程圖。
[0081]如圖7所示地，圖像生成裝置100接收多個(gè)2D圖像及與多個(gè)2D圖像分別對應(yīng)的多個(gè)深度圖像(S710)。在此，優(yōu)選地，多個(gè)2D圖像分別與其前后的2D圖像的一部分重疊。這種多個(gè)2D圖像是由拍攝裝置10拍攝到的圖像，而與多個(gè)2D圖像分別對應(yīng)的多個(gè)深度圖可以在圖像生成裝置100內(nèi)生成，或者可以從外部裝置(未圖示)中接收。在此，生成與多