本發(fā)明有關于影像處理，特別是有關于影像縫合方法及其影像處理裝置。

背景技術：

隨著科技發(fā)展，有許多裝置可利用魚眼鏡頭以擷取圓型環(huán)景影像，例如是空拍機、自拍棒、或是環(huán)景拍攝裝置等等。在市面上的環(huán)景拍攝裝置通常具有兩個魚眼鏡頭以分別擷取不同的圓型環(huán)景影像。然而在對不同的圓型環(huán)景影像進行影像縫合時，傳統(tǒng)的影像縫合方法及相關程序往往僅能選擇固定的縫合點，而且也無法對圓型環(huán)景影像的視角及影像效果任意調整，對使用者來說并不易操作。

因此，需要一種影像縫合方法及影像處理裝置以解決上述問題。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題在于，針對現(xiàn)有技術中的上述缺陷，提供影像縫合方法及影像處理裝置，可將不同的魚眼鏡頭所拍攝的圓型環(huán)景影像轉換為二維影像，可對圓型環(huán)景影像的視角及影像效果任意調整。

本發(fā)明為解決其技術問題所采用的技術方案是，提供一種影像縫合方法，用于影像處理裝置，該方法包括：由影像處理裝置接收第一視訊文件及第二視訊文件，其中該第一視訊文件包括至少第一影像及第一音軌，且該第二視訊文件包括至少第二影像及第二音軌；依據(jù)該第一音軌的第一音頻特性及該第二音軌的第二音頻特性，計算該第一音頻特性及該第二音頻特性間的延遲時間，以同步該第一影像及該第二影像；將該第一影像及該第二影像轉換成為第一校正影像及第二校正影像；對該第一校正影像及該第二校正影像進行影像縫合處理以產(chǎn)生縫合影像。

本發(fā)明更提供一種影像處理裝置，包括：存儲器單元，用以儲存影像縫合程序；以及處理器，用以執(zhí)行該影像縫合程序，并執(zhí)行下列步驟：由影像處理裝置接收第一視訊文件及第二視訊文件，其中該第一視訊文件包括至少第一影像及第一音軌，且該第二視訊文件包括至少第二影像及第二音軌；依據(jù)該第一音軌的第一音頻特性及該第二音軌的第二音頻特性，計算該第一音頻特性及該第二音頻特性間的延遲時間，以同步該第一影像及該第二影像；將該第一影像及該第二影像轉換成為第一校正影像及第二校正影像；對該第一校正影像及該第二校正影像進行影像縫合處理以產(chǎn)生縫合影像，該縫合影像位于該第一影像及該第二影像之間。

實施本發(fā)明的影像縫合方法及其影像處理裝置，其可將不同的魚眼鏡頭所拍攝的圓型環(huán)景影像轉換為二維影像，并對二維影像進行影像縫合以取得二維的全景影像。此外，本發(fā)明的影像處理裝置所執(zhí)行的影像縫合程序更提供了多種使用者接口，可讓使用者選擇影像縫合的不同影像效果，且使用者亦可利用手動的方式選擇欲同步的圓型環(huán)景影像，藉以達到更好的影像縫合效果及更佳的使用者體驗。

附圖說明

圖1是顯示依據(jù)本發(fā)明一實施例中的影像處理裝置的方塊圖。

圖2是顯示依據(jù)本發(fā)明一實施例中的影像處理裝置的示意圖。

圖3是顯示依據(jù)本發(fā)明一實施例中的影像處理裝置的方塊圖。

圖4a及4b是分別顯示依據(jù)本發(fā)明一實施例中的第一音軌及第二音軌的示意圖。

圖4c及4d是分別顯示依據(jù)本發(fā)明一實施例中調整時間后的第一音軌及第二音軌的示意圖。

圖4e及4f是分別顯示依據(jù)本發(fā)明一實施例中調整時間后以同步第一音軌及第二音軌的示意圖。

圖5a是顯示依據(jù)本發(fā)明一實施例中的第一圓型環(huán)景影像的示意圖。

圖5b是顯示依據(jù)圖5a的實施例中經(jīng)過等量矩形投影所產(chǎn)生的第一影像的示意圖。

圖5c是顯示依據(jù)本發(fā)明一實施例中的第二圓型環(huán)景影像的示意圖。

圖5d是顯示依據(jù)圖5c的實施例中經(jīng)過等量矩形投影所產(chǎn)生的第二影像。

圖5e是顯示依據(jù)圖5b及圖5d縫合的縫合影像。

圖6是顯示未經(jīng)顏色補償前的第一影像及第二影像的示意圖。

圖7a、7b、7c是顯示依據(jù)本發(fā)明一實施例中的影像縫合程序的使用者接口的示意圖。

圖7d及7e是顯示在使用者接口進行左右轉動的操作的示意圖。

圖7f及7g圖是顯示在使用者接口進行傾角調整的操作的示意圖。

圖7h、7i、7j是顯示在圖7b的使用者接口進行轉動操作的示意圖。

圖7k及7l是顯示在圖7b的使用者接口以調整鏡頭距離的示意圖。

圖8a及8b是顯示依據(jù)本發(fā)明一實施例中的影像縫合程序的使用者接口的示意圖。

圖9是顯示依據(jù)本發(fā)明一實施例中的影像縫合方法的流程圖。

圖10a是顯示依據(jù)本發(fā)明一實施例中的影像處理裝置進行影像縫合的示意圖。

圖10b～10d是顯示依據(jù)本發(fā)明一實施例中將第一圓型環(huán)景影像及第二圓型環(huán)景影像進行影像縫合的示意圖。

圖11a及11b是顯示依據(jù)本發(fā)明一實施例中的以155度視角所拍攝的第一圓型環(huán)景影像及相應的二維影像的示意圖。

圖11c及11d是顯示依據(jù)本發(fā)明一實施例中的以188度視角所拍攝的第三圓型環(huán)景影像及相應的二維影像的示意圖。

圖11e～11g是顯示依據(jù)本發(fā)明圖11a～11d的實施例以進行影像縫合的示意圖。

圖11h是表示在本發(fā)明圖11e～11g的實施例中進行影像縫合的示意圖。

圖12a是顯示依據(jù)本發(fā)明一實施例中的第一鏡頭以不同視角拍攝影像的示意圖。

圖12b是顯示依據(jù)本發(fā)明一實施例中的第二鏡頭以不同視角拍攝影像的示意圖。

圖12c是顯示依據(jù)本發(fā)明圖12a中的第一鏡頭以不同視角拍攝影像的分割部分的示意圖。

圖12d是顯示依據(jù)本發(fā)明圖12b中的第二鏡頭以不同視角拍攝影像的分割部分的示意圖。

具體實施方式

為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉一較佳實施例，并配合附圖，作詳細說明如下。

圖1是顯示依據(jù)本發(fā)明一實施例中的影像處理裝置的方塊圖。影像處理裝置100包括第一鏡頭110、第一麥克風111、第二鏡頭120、第二麥克風121、控制器130、存儲器單元140、殼體150。在一實施例中，第一鏡頭110及第二鏡頭120為曲面鏡頭或魚眼鏡頭，可拍攝圓型環(huán)景影像(sphericalpanoramaimage)，圓型環(huán)景影像亦可稱為360度影像。舉例來說，本發(fā)明的影像處理裝置100可應用于空拍機(flyingdrone)、自拍棒(selfiestick)、或是環(huán)景拍攝裝置。第一麥克風111及第二麥克風121分別依附或整合于第一鏡頭110及第二鏡頭120，用以將在第一鏡頭110及第二鏡頭120所面對的方向的音訊信號分別錄制為第一音軌及第二音軌。

控制器130例如可為中央處理器(cpu)或數(shù)字信號處理器(dsp)。存儲器單元140包括易失性存儲器141及非易失性存儲器142，其中易失性存儲器141例如是靜態(tài)隨機存取存儲器(sram)或動態(tài)隨機存取存儲器(dram)，非易失性存儲器142例如是硬盤、固態(tài)硬盤、閃存等等，但本發(fā)明并不限于此。非易失性存儲器142儲存視訊編譯碼程序，且控制器130可將儲存于非易失性存儲器142的視訊編譯碼程序讀取至易失性存儲器141并執(zhí)行，藉以對所擷取的圓型環(huán)景影像及音軌進行視訊編碼處理?？刂破?30及存儲器單元安置于殼體150之內，且第一鏡頭110及第二鏡頭120安置于殼體150的相對表面(oppositesurfaces)。

舉例來說，控制器130可將第一鏡頭110所拍攝的第一圓型環(huán)景影像及第一麥克風111所擷取的第一音軌錄制為第一視訊文件，并將第二鏡頭120所拍攝的第二圓型環(huán)景影像及第二麥克風121所擷取的第二音軌錄制為第二視訊文件?？刂破?30并將第一視訊文件及第二視訊文件儲存至非易失性存儲器142中，其中第一視訊文件及第二視訊文件例如可為mp4格式的視訊文件，但本發(fā)明并不限于此。

圖2是顯示依據(jù)本發(fā)明一實施例中的影像處理裝置100的示意圖。在一實施例中，第一鏡頭110及第二鏡頭120安置于殼體150的相對兩側，其中殼體150具有預定厚度d，如圖2所示，其中殼體150的厚度d可視為第一鏡頭110及第二鏡頭120之間的視差(parallax)。因第一鏡頭110及第二鏡頭120為魚眼鏡頭，故第一鏡頭110及第二鏡頭120所拍攝的預定俯角(angleofdepression)范圍可分別用區(qū)域210及區(qū)域220所表示，且第一鏡頭110所拍攝的第一圓型環(huán)景影像及第二鏡頭120所拍攝的第二圓型環(huán)景影像的縫合點會位于殼體的中心水平線215上的位置250及254，如此可有最佳的影像縫合位置。

然而，在安裝第一鏡頭110及第二鏡頭120于影像處理裝置100的過程中，第一鏡頭110及第二鏡頭120的俯角范圍有可能并不會與區(qū)域210及區(qū)域220完全一致，意即第一鏡頭110及第二鏡頭120的俯角范圍例如為區(qū)域212及區(qū)域222所示，且第一鏡頭110所拍攝的第一圓型環(huán)景影像及第二鏡頭120所拍攝的第二圓型環(huán)景影像的縫合點會產(chǎn)生偏移，例如位于位置252及256，并沒有落于殼體150的中心水平線215上，進而造成影像縫合的效果較差。本案后述的影像處理裝置可自動判斷第一圓型環(huán)景影像及第二圓型環(huán)景影像的縫合點是否位于殼體的中心水平線上。若第一圓型環(huán)景影像及第二圓型環(huán)景影像的縫合點并非位于殼體150的中心水平線215上，影像處理裝置更可自動調整第一圓型環(huán)景影像及第二圓型環(huán)景影像，使得調整后的第一圓型環(huán)景影像及第二圓型環(huán)景影像的縫合點位于殼體150的中心水平線215上，進而得到最佳的影像縫合位置。

圖3是顯示依據(jù)本發(fā)明一實施例中的影像處理裝置的方塊圖。影像處理裝置300例如是個人計算機或服務器。影像處理裝置300包括處理器310、存儲器單元320、及外圍接口330。存儲器單元320包括易失性存儲器321及非易失性存儲器322，其中易失性存儲器321例如是靜態(tài)隨機存取存儲器(sram)或動態(tài)隨機存取存儲器(dram)，非易失性存儲器322例如是硬盤、固態(tài)硬盤、閃存等等，但本發(fā)明并不限于此。非易失性存儲器142儲存視訊編譯碼程序，且處理器310可將儲存于非易失性存儲器322的視訊編譯碼程序讀取至易失性存儲器321并執(zhí)行，藉以對第一視訊文件及第二視訊文件進行視訊/音訊譯碼處理及對譯碼后的圓型環(huán)景影像進行影像縫合處理(imagestitchingprocess)。在后述段落中，將對影像縫合處理的細節(jié)進行詳細說明。外圍接口330可包括多媒體接口(例如hdmi)、數(shù)據(jù)傳輸接口(例如usb、sata)、及/或網(wǎng)絡傳輸接口(例如lan、wifi、bluetooth)等等，且處理器310可經(jīng)由外圍接口330由影像處理裝置100取得第一視訊文件及第二視訊文件。

圖4a及4b分別顯示依據(jù)本發(fā)明一實施例中的第一音軌及第二音軌的示意圖。圖4c及4d是分別顯示依據(jù)本發(fā)明一實施例中調整時間后的第一音軌及第二音軌的示意圖。圖4e及4f是分別顯示依據(jù)本發(fā)明一實施例中調整時間后以同步第一音軌及第二音軌的示意圖。請同時參考圖3及圖4a、4b，因為第一鏡頭110及第二鏡頭120的位置有些微差異，第一麥克風111及第二麥克風121所擷取到的第一音軌及第二音軌亦會有時間差異。舉例來說，第一麥克風111所擷取第一音軌如圖4a所示，第二麥克風121所擷取第二音軌如圖4b所示，其中第一音軌及第二音軌的波形是相當類似的，但是在時間上則會有些許差異。更進一步而言，處理器310先對第一視訊文件及第二視訊文件進行視訊/音訊譯碼處理，以取得第一圓型環(huán)景影像、第二圓型環(huán)景影像、第一音軌、及第二音軌。

首先，處理器310比較原始的第一音軌及第二音軌，即第一音軌及第二音軌的時間差tdiff＝0，并計算第一比對分數(shù)。接著，處理器310將第二音軌進行延遲處理(例如延遲1ms，即tdiff＝1)，并將原始的第一音軌(如第4c圖所示)與延遲后的第二音軌(如第4d圖所示)進行比較，并計算第二比對分數(shù)。類似地，處理器310可在一合理范圍內逐漸增加第二音軌的延遲時間，即增加tdiff，并計算不同tdiff數(shù)值下所相應的比對分數(shù)。

接著，處理器310決定具有最高的比對分數(shù)的時間差tdiff，并以該時間差做為延遲第二音軌及第二圓型環(huán)景影像的基準。例如在圖4e及4f中的時間差tdiff＝4時，具有最高的比對分數(shù)。需注意的是，上述決定時間差的方法僅用于說明，實際上可依據(jù)所決定的時間差以同步第一圓型環(huán)景影像及第二圓型環(huán)景影像，并進行后續(xù)的影像縫合處理。

在進行影像縫合處理之前，處理器310利用等量投影，等量投影可以是等量矩形投影(equirectangularprojection)將第一圓型環(huán)景影像及第二圓型環(huán)景影像分別投影為具有矩形形狀的第一影像及第二影像。舉例來說，圖5a是顯示第一圓型環(huán)景影像，圖5b是顯示經(jīng)過等量矩形投影所產(chǎn)生的第一影像，其中在圖5b中第一影像的水平邊緣表示了在第一圓型環(huán)景影像的水平方向正負90度的范圍，第一影像的垂直邊緣表示了在第一圓型環(huán)景影像的垂直方向正負90度的范圍。

類似地，圖5c是顯示第二圓型環(huán)景影像，圖5d是顯示經(jīng)過等量矩形投影所產(chǎn)生的第二影像。處理器310將第一影像置于中間，將第二影像的右半部份與第一影像的左側縫合，并將第二影像的左半部份與第一影像的右側縫合，以產(chǎn)生縫合影像，如圖5e所示。圖5e的縫合影像的水平邊緣即表示了水平方向正負180度的范圍，其垂直邊緣即表示了垂直方向正負180度的范圍。

在一些實施例中，第一鏡頭110及第二鏡頭120所分別擷取的第一圓型環(huán)景影像及第二圓型環(huán)景影像的曝光值及白平衡處理可能會有差異。因此，在進行影像縫合之前，處理器310對第一影像及第二影像進行顏色補償(colorcompensation)，使得第一影像及第二影像的顏色更為自然。

圖6是顯示未經(jīng)顏色補償前的第一影像600及第二影像610的示意圖。如圖6所示，在第一影像600的右側的方塊605、以及第二影像610的左側的方塊615即為縫合影像中的重迭區(qū)域。一般而言，方塊605及其對應的方塊615應具有相同的顏色，因此處理器310所使用的影像縫合算法可依據(jù)其顏色差異以計算第一影像600及第二影像610的色彩補償系數(shù)。

此外，若在方塊605中的平均顏色值與相應的方塊615中的平均顏色值差異很大，這可能表示在方塊605及615中所擷取的影像部份會由于視差而有所不同。因此，處理器310可忽略掉該顏色差異。需注意的是，處理器310所進行的色彩補償是在一線性空間中進行計算，例如可先經(jīng)過去gamma補償(de-gamma)，再進行色彩補償，接著再進行gamma補償。

圖7a～7c是顯示依據(jù)本發(fā)明一實施例中的影像縫合程序的使用者接口的示意圖。如圖7a所示，處理器310所讀取的第一視訊文件及第二視訊文件的預覽畫面702及704是顯示于使用者接口700的左側，縫合影像的預覽畫面710是顯示于畫面右側。需注意的是，第一視訊文件及第二視訊文件的畫面幀率(framerate)需相同才能進行影縫合。

使用者接口700更包括了調整鈕711、重置鈕712、影像效果按鈕713、輸出按鈕714、音頻同步按鈕715、鏡頭方向的選項716、717、及718、以及時間調整條719。鏡頭方向的選項716為前后(front-back)、選項717為上下(up-down)，選項718則為反轉。當使用者選擇選項718后，第一鏡頭及第二鏡頭所拍攝的第一圓型環(huán)景影像及第二圓型環(huán)景影像會被反轉。若使用者點擊了音頻同步按鈕715，則影像縫合程序則會依據(jù)音頻信號的特性自動調整視訊影像的輸出，其細節(jié)可參考前述實施例。當使用者選擇使用者接口700中的調整按鈕711時，處理器310是顯示使用者接口720以調整第一視訊文件及第二視訊文件。

舉例來說，圖7b中的使用者接口720包括搜尋條721及722、旋轉鈕723～726、鎖定鈕727、左右轉動調整條(panbar)728、傾角調整條(tiltbar)729、距離調整條(distancebar)730、以及確定鈕731。搜尋條721及722可讓使用者直接選定所要預覽的第一視訊文件及第二視訊文件的影片時間。旋轉鈕723及724是分別控制第一圓型環(huán)景影像702進行逆時針轉動及順時針轉動，旋轉鈕725及726是分別控制第二圓型環(huán)景影像704進行逆時針轉動及順時針轉動。當使用者按下鎖定鈕727時，則可讓第一視訊文件及第二視訊的操作同步進行。

當使用者按下影像效果按鈕713，影像縫合程序則會顯示一使用者接口750(如圖7c所示)以調整影像效果，例如包括了銳利度調整條(sharpnessbar)751、對比調整條(contrastbar)752、亮度調整條(brightnessbar)753、飽和度調整條(saturationbar)754、混色選項755及756、默認值按鈕757及確定鈕758，例如選項755為平滑化、選項756為銳利化。

圖7d及7e是顯示在使用者接口進行左右轉動的操作的示意圖。圖7d為第一鏡頭110的俯視圖，當使用者對圖7b中的左右轉動調整條728進行調整時，則仿如第一鏡頭110的左右轉動范圍會在處于一預定范圍內(例如是-10度至+10度)，對應至所擷取的第一圓型環(huán)景影像760的左右轉動則如圖7e所示。第二鏡頭亦可進行類似的左右轉動的調整。

圖7f及7g是顯示在使用者接口進行傾角調整的操作的示意圖。圖7f為第一鏡頭110的側視圖，當使用者對圖7b中的傾角調整條729進行調整時，則仿如第一鏡頭110的傾角范圍會在處于一預定范圍內(例如是-10度至+10度)，對應至所擷取的第一圓型環(huán)景影像760的傾角調整，如圖7g所示。第二鏡頭亦可進行類似的傾角調整。

圖7h、7i、7j是顯示在圖7b的使用者接口進行轉動操作的示意圖。第7h圖為第一鏡頭110的側視圖，當使用者對圖7b中的旋轉鈕723及724進行調整時，則仿如第一鏡頭110則會進行相應的逆時針轉動或順時針轉動，對應至所擷取的第一圓型環(huán)景影像的轉動調整，如圖7i所示。若使用者已按下使用者接口720中的鎖定鈕727，則表示無論使用者按下旋轉鈕723～726的任一者，第一圓型環(huán)景影像760及第二圓型環(huán)景影像762均會同步轉動，如第7j圖所示使用者透過無線傳輸方式使顯示單元與該顯示單元相互連接，其中該縫合影像藉由該處理器以轉換成環(huán)形影像或圓形影像；且該顯示單元可顯示該第一影像、第二影像或該縫合影像。

圖7k及7l是顯示在圖7b的使用者接口以調整鏡頭距離的示意圖。圖7k為第一鏡頭110及第二鏡頭120的側視圖，當使用者對圖7b中的距離調整條730進行調整時，則仿如第一鏡頭110及第二鏡頭120之間的距離會隨著變化，對應至所擷取的第一圓型環(huán)景影像760及第二圓型環(huán)景影像762的距離變化，則如第7l圖所示。

請同時參考圖1～3及圖7b，處理器310可自動判斷第一圓型環(huán)景影像及第二圓型環(huán)景影像的縫合點是否位于殼體150的中心水平線上。若第一圓型環(huán)景影像及第二圓型環(huán)景影像的縫合點并非位于殼體150的中心水平線215上，處理器310更可自動調整(例如透過調整左右轉動角度、傾斜角度、及第一圓型環(huán)景影像及第二圓型環(huán)景影像之間的距離)第一圓型環(huán)景影像及第二圓型環(huán)景影像，使得調整后的第一圓型環(huán)景影像及第二圓型環(huán)景影像的縫合點位于殼體150的中心水平線215上，進而得到最佳的影像縫合位置，其中處理器310依據(jù)偏移量大小，實際最佳的影像縫合位置可位于位置252及256、位置250及254之間。

更進一步而言，處理器310可自動調整第一圓型環(huán)景影像及第二圓型環(huán)景影像，使得調整后的第一圓型環(huán)景影像及第二圓型環(huán)景影像的縫合點位于殼體150的中心水平線215上。使用者亦可透過圖7b中的使用者接口720的各種功能(例如旋轉、左右轉動、傾斜、調整距離等等)進行手動調整第一圓型環(huán)景影像及第二圓型環(huán)景影像，以達到使用者所想要的縫合影像的效果，其中處理器還可將縫合影像轉換成例如環(huán)形影像、圓型影像，但本發(fā)明并不限于此。

圖8a及8b圖是顯示依據(jù)本發(fā)明一實施例中的影像縫合程序的使用者接口的示意圖。如圖8a所示，使用者接口800相較于圖7a的使用者接口700，更多了第一視訊文件及第二視訊文件的文件名稱、目前同步時間、同步畫面，如區(qū)域810所顯示的信息。當鎖定鈕820未按下(未鎖定狀態(tài))時，使用者可進行手動同步。當鎖定鈕820按下(鎖定狀態(tài))時，使用者則無法進行手動影像同步，僅能由影像縫合程序進行自動影像同步，例如可藉由前述實施例中利用音訊信號的延遲來判斷同步的畫面。此外，第一視訊文件及第二視訊文件中的各影像亦分別顯示于區(qū)域830，使用者可在鎖定鈕820處于未鎖定狀態(tài)時以手動選擇欲同步的影像。

承上所述，當使用者在鎖定鈕820處于未鎖定狀態(tài)時已手動選擇欲同步的影像，因為在區(qū)域830中的預覽縮圖的尺寸相當小，使用者并無法確認其畫面內容。因此，影像縫合程序會顯示一彈跳窗口(pop-upwindow)840以顯示一或多個已選擇的影像、或是所選擇的影像及其相鄰影像，如圖8b所示。當使用者完成上述選擇操作后，縫合影像的預覽畫面850則會顯示于使用者接口800上。

需了解的是，藉由本發(fā)明的影像縫合程序，使用者可更方便地調整兩個視訊文件的影像縫合的參數(shù)及細節(jié)，進而達到更好的縫合影像(例如全景影像)效果。

圖9是顯示依據(jù)本發(fā)明一實施例中的影像縫合方法的流程圖。在步驟s910，由影像處理裝置接收第一視訊文件及第二視訊文件，其中該第一視訊文件包括至少一第一圓型環(huán)景影像及第一音軌，且該第二視訊文件包括至少一第二圓型環(huán)景影像及第二音軌。在步驟s920，依據(jù)該第一音軌及該第二音軌的一音頻特性以同步該第一圓型環(huán)景影像及該第二圓型環(huán)景影像。舉例來說，該音頻特性的計算可參考圖4a～4f的實施例，利用第一音軌及第二音軌之間不同的延遲時間差以計算相應的比對分數(shù)，并以具有最高的比對分數(shù)的延遲時間差做為基準以同步第一圓型環(huán)景影像及第二圓型環(huán)景影像。

在步驟s930，將該第一圓型環(huán)景影像及該第二圓型環(huán)景影像轉換成為第一影像及第二影像。上述第一影像及第二影像即為具有矩形形狀的二維影像。在步驟s940，對該第一影像及該第二影像進行影像縫合處理以產(chǎn)生縫合影像。需了解的是，在步驟s940之前，可對第一影像及第二影像進行色彩補償處理，藉以得到更自然的顏色，亦利于影像縫合算法的判斷。

請再參考圖2，當?shù)谝荤R頭110及第二鏡頭120均為一般性能的鏡頭且具有相同的視角(例如預定俯角的區(qū)域210及220均為190度)，第一鏡頭110及第二鏡頭120均無法擷取4k分辨率的影像(底下簡稱為4k影像)，因4k影像的范圍比第一鏡頭110及第二鏡頭120的視角還要大。因此，并無法由單一鏡頭以取得4k影像。若欲取得4k影像，則需要背后鏡頭(例如第一鏡頭110的背后鏡頭即為第二鏡頭120)的輔助。

更進一步而言，若要從190度俯角的第一鏡頭110或第二鏡頭120取得4k影像，則第一鏡頭110或第二鏡頭120的分辨率需為2400萬像素，以目前的鏡頭制造技術而言，其成本相當昂貴。若由第一鏡頭110由第二鏡頭120所擷取的影像所組成的影像圓(imagecircle)的直徑由殼體150的長邊所決定，則鏡頭的尺寸將會相當大，因為需要配合殼體150的短邊的長度以符合190度的俯角。有鑒于此，本發(fā)明更提出一種影像處理裝置以解決擷取4k影像會產(chǎn)生的問題。

圖10a是顯示依據(jù)本發(fā)明一實施例中的影像處理裝置進行影像縫合的示意圖。圖10b～10d是顯示依據(jù)本發(fā)明一實施例中將第一圓型環(huán)景影像及第二圓型環(huán)景影像進行影像縫合的示意圖。

請同時參考圖1及圖10a，在另一實施例中，本發(fā)明圖1中的第一鏡頭110及第二鏡頭120除了設置于殼體150的相對兩側之外，第一鏡頭110及第二鏡頭120具有不同視角。舉例來說，第一鏡頭110及第二鏡頭120的視角可設定為多個預定視角的一者，例如是155度、235度、及360度，但本發(fā)明并不限于此。在一些實施例中，在第一鏡頭110及第二鏡頭120均為一般畫質模式(例如allround模式)的情況下，第一鏡頭110的視角范圍可設定于125度～195度，且第二鏡頭120的視角范圍可設定為235度±5度內，但本發(fā)明并不限于此。

為了便于說明，在圖10a中，第一鏡頭110的視角設定為155度，且第二鏡頭120的視角設定為235度。第一鏡頭110所拍攝的第一圓型環(huán)景影像1010(如圖10b所示)及第二鏡頭120所拍攝的第二圓型環(huán)景影像1020(如圖10c所示)用以合成360度環(huán)景影像1030，如圖10d所示。其中合成第一圓型環(huán)景影像1010及第二圓型環(huán)景影像1020以產(chǎn)生二維影像1031的方法可參考本案圖5a～5e的實施例。需注意的是，由第一鏡頭110所拍攝的第一圓型環(huán)景影像1010中的物體會較窄，且第二圓型環(huán)景影像1020中的物體會較寬，因此需在進行影像縫合前對第一圓型環(huán)景影像1010或第二圓型環(huán)景影像1020進行分辨率調整，藉以讓調整后的第一圓型環(huán)景影像1010及第二圓型環(huán)景影像1020的分辨率相符。亦需注意的是，在進行分辨率調整時，亦可同時進行對比度及飽和度的調整，其細節(jié)可參考本發(fā)明的前述實施例。

圖11a及11b是顯示依據(jù)本發(fā)明一實施例中的以155度視角所拍攝的第一圓型環(huán)景影像及相應的二維影像的示意圖。圖11c及11d是顯示依據(jù)本發(fā)明一實施例中的以188度視角所拍攝的第三圓型環(huán)景影像及相應的二維影像的示意圖。

在一實施例中，假定第一鏡頭110的影像傳感器的分辨率為2000萬像素，在前拍模式(frontmode)進行拍攝時，僅能從所拍攝的第一圓型環(huán)景影像1110中擷取出3k分辨率的二維影像1111，如圖11a所示。在前拍模式下，本發(fā)明可將第一鏡頭110的視角從155度擴展為188度或以上。因為第一鏡頭110的視角變大，所以第一鏡頭110以188度視角所拍攝的第三圓型環(huán)景影像1114的范圍也變大，此時即可從第三圓型環(huán)景影像1114中取得4k分辨率的二維影像1115，如圖11d所示。需注意的是，無論使用155度或188度以上的視角，第一鏡頭110的影像傳感器的分辨率固定于2000萬像素。

更進一步而言，在進行影像縫合時，從第一鏡頭110及第二鏡頭120所拍攝的圓型環(huán)景影像所擷取出來的二維影像的分辨率需相符。因為第二鏡頭120是以235度的視角進行拍攝，故可輕易地從所拍攝的第二圓型環(huán)景影像中擷取出4k影像，但若第一鏡頭110僅以155度視角進行拍攝，則僅能擷取出3k影像。因此，本發(fā)明將第一鏡頭110的視角增大，藉以從第三圓型環(huán)景影像1114中取得4k分辨率的二維影像1115。

圖11e～11g是顯示依據(jù)本發(fā)明圖11a～11d的實施例以進行影像縫合的示意圖。

需注意的是，第三圓型環(huán)景影像1114中即包括了第一圓型環(huán)景影像1110。在進行影像縫合處理時，本發(fā)明從第三圓型環(huán)景影像1114取出第一圓型環(huán)景影像1110，如圖11e所示。接著，并將所取出的第一圓型環(huán)景影像1110進行分辨率調整后再與第二圓型環(huán)景影像1120進行影像縫合以產(chǎn)生二維影像1131，如圖11f及11g所示。因為本發(fā)明的第一鏡頭110使用155度視角的第一圓型環(huán)景影像1110，第一鏡頭110僅需要2000萬畫素且尺寸較小的鏡頭即可實現(xiàn)4k影像，而不需使用較昂貴的2400萬畫素且尺寸較大的鏡頭。圖11h是表示在本發(fā)明圖11e～11g的實施例中進行影像縫合的示意圖。需注意的是，本發(fā)明圖11e～11g的實施例可利用圖11h表示。即利用第一圓型環(huán)景影像1110與第二圓型環(huán)景影像1120進行影像縫合以產(chǎn)生360視角的環(huán)景影像1130，而環(huán)景影像1130則通常會映像至二維影像，即第11g圖中所示的二維影像1131。

圖12a是顯示依據(jù)本發(fā)明一實施例中的第一鏡頭以不同視角拍攝影像的示意圖。圖12b是顯示依據(jù)本發(fā)明一實施例中的第二鏡頭以不同視角拍攝影像的示意圖。

在一實施例中，假定第一鏡頭110及第二鏡頭120均為2000萬畫素，若以矩形影像1212表示則為5184x3888分辨率，在圖12a中，若第一鏡頭110以225度視角進行拍攝，則可得到圓型環(huán)景影像1210，若以165度視角進行拍攝，則可得到圓型環(huán)景影像1211。然而，若目標是欲直接輸出4k影像1213，僅能使用圓型環(huán)景影像1210。

在圖12b中，若第二鏡頭120以225度視角進行拍攝，則可得到圓型環(huán)景影像1220，若以165度視角進行拍攝，則可得到圓型環(huán)景影像1221。然而，若目標是欲直接輸出4k影像1223，很明顯地，圓型環(huán)景影像1221所涵蓋的范圍仍不足4k分辨率。此時，僅能使用圓型環(huán)景影像1220。需注意的是，在圖12a及12b的實施例中，第一鏡頭110及第二鏡頭120中的影像傳感器(imagesensor)具有旋轉90度的角度差。需注意的是，為便于說明，在圖12a～12b的實施例中，僅以視角225度及165度進行說明，在此實施例中，第一鏡頭110及第二鏡頭120采用相同的視角(例如125度～235度之間)進行拍攝。

圖12c是顯示依據(jù)本發(fā)明圖12a中的第一鏡頭以不同視角拍攝影像的分割部分的示意圖。圖12d是顯示依據(jù)本發(fā)明圖12b中的第二鏡頭以不同視角拍攝影像的分割部分的示意圖。

在圖12c中，第一鏡頭110以不同視角所拍攝的圓型環(huán)景影像1210及1211可分割為四個部份圓型環(huán)景影像12a-1、12a-2、12a-3、及12a-4。其中部份圓型環(huán)景影像12a-1及12a-2包含于圓型環(huán)景影像1211，部份圓型環(huán)景影像12a-3及12a-4包含于圓型環(huán)景影像1210。類似地，在圖12d中，第二鏡頭120以不同視角所拍攝的圓型環(huán)景影像1220及1221可分割為四個部份圓型環(huán)景影像12b-1、12b-2、12b-3、及12b-4。其中部份圓型環(huán)景影像12b-1及12b-2包含于圓型環(huán)景影像1220，部份圓型環(huán)景影像12b-3及12b-4包含于圓型環(huán)景影像1221。更進一步而言，在進行影像縫合時，因為第一鏡頭110及第二鏡頭120之間具有90度的角度差且采用相同的視角進行拍攝，所以需采用相應位置的部份圓型環(huán)景影像進行影像縫合。

舉例來說，部份圓型環(huán)景影像12a-1對應于部份圓型環(huán)景影像12b-1，故部份圓型環(huán)景影像12a-1與部份圓型環(huán)景影像12b-1進行影像縫合。類似地，部份圓型環(huán)景影像12a-2對應于部份圓型環(huán)景影像12b-2，故部份圓型環(huán)景影像12a-2與部份圓型環(huán)景影像12b-2進行影像縫合。

類似地，部份圓型環(huán)景影像12a-3對應于部份圓型環(huán)景影像12b-3，故部份圓型環(huán)景影像12a-3與部份圓型環(huán)景影像12b-3進行影像縫合。類似地，部份圓型環(huán)景影像12a-4對應于部份圓型環(huán)景影像12b-4，故部份圓型環(huán)景影像12a-4與部份圓型環(huán)景影像12b-4進行影像縫合。

更進一步而言，在各對應位置的部份圓型環(huán)景影像進行影像縫合后即產(chǎn)生全天球影像(omnidirectionalimage)，其在水平方向及垂直方向均有較高的分辨率。因此，若要從全天球影像取得前拍影像，例如是4:3或16:9的影像，均可輕易地得到4k影像。再者，第一鏡頭110及第二鏡頭120為一般畫素的情況下，仍然可以得到較高分辨率的影像。

綜上所述，本發(fā)明提供一種影像縫合方法及其影像處理裝置，其可將不同的魚眼鏡頭所拍攝的圓型環(huán)景影像轉換為二維影像，并對二維影像進行影像縫合以取得二維的全景影像。此外，本發(fā)明的影像處理裝置所執(zhí)行的影像縫合程序更提供了多種使用者接口，可讓使用者選擇影像縫合的不同影像效果，且使用者亦可利用手動的方式選擇欲同步的圓型環(huán)景影像，藉以達到更好的影像縫合效果及更佳的使用者體驗。

本發(fā)明亦針對4k分辨率的環(huán)景影像提出較低成本的解決方法。例如本發(fā)明中的兩個鏡頭可采用不同視角，故其擷取的圓型環(huán)景影像得以互補，也因此可不必使用成本昂貴的鏡頭。此外，本發(fā)明更提出了兩個鏡頭可使用相同視角，且所拍攝的兩張圓形環(huán)景影像之間具有大于90度的角度差值，且兩張圓型環(huán)景影像可切割為復數(shù)個部份圓型環(huán)景影像，在轉換為二維影像后，其在水平方向及垂直方向可互補并進行影像縫合，故盡管兩個鏡頭若僅配備一般畫素，亦可利用本發(fā)明所提供的方法以得到分辨率較高的環(huán)景影像。

本發(fā)明的方法，或特定型態(tài)或其部份，可以以程序代碼的型態(tài)包含于實體媒體，如軟盤、光盤片、硬盤、或是任何其它機器可讀取(如計算機可讀取)儲存媒體，其中，當程序代碼被機器，如計算機加載且執(zhí)行時，此機器變成用以參與本發(fā)明的裝置或系統(tǒng)。本發(fā)明的方法、系統(tǒng)與裝置也可以以程序代碼型態(tài)透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態(tài)進行傳送，其中，當程序代碼被機器，如計算機接收、加載且執(zhí)行時，此機器變成用以參與本發(fā)明的裝置或系統(tǒng)。當在一般用途處理器實作時，程序代碼結合處理器提供一操作類似于應用特定邏輯電路的獨特裝置。

本發(fā)明雖以較佳實施例揭露如上，但其并非用以限定本發(fā)明的范圍，本領域的技術人員，在不脫離本發(fā)明的精神和范圍內，當可做些許的更動與潤飾，因此本發(fā)明的保護范圍當視權利要求所界定者為準。