合成虛擬視角影像的處理系統(tǒng)及其處理方法
【專利摘要】一種合成虛擬視角影像的處理系統(tǒng)及其處理方法，將不同的全景（如魚眼，多鏡頭攝影機）攝像裝置所拍攝的同一空間的平面影像合成為虛擬視角影像。處理系統(tǒng)包括計算機裝置與多個以特定排列方式布滿欲觀看空間的全景攝像裝置。計算機裝置電性連接于每一個全景攝像裝置。計算機裝置根據(jù)每一全景攝像裝置與使用者(觀看者)欲觀看角度、位置與距離選擇出至少兩個以上的攝像裝置。計算機裝置對所選的平面影像進行合成處理，用以產(chǎn)生虛擬視角影像。
【專利說明】合成虛擬視角影像的處理系統(tǒng)及其處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)碼影像處理系統(tǒng)與方法，特別涉及一種合成虛擬視角影像的處理系統(tǒng)及其處理方法。
【背景技術(shù)】
[0002]隨著監(jiān)控設(shè)備的普及化，越來越多人會裝設(shè)監(jiān)控設(shè)備來保障自身的財產(chǎn)與人身安全。為能無死角的監(jiān)控，因此有廠商提出可全景(panorama)拍攝的攝影機。而全景攝影機的實現(xiàn)方式可以由多組鏡頭所接合而成，也可以利用以單一個魚眼鏡頭(fisheye lens)而實現(xiàn)。全景拍攝的優(yōu)點在于可以全方位且無死角的方式觀看所拍攝的數(shù)碼影像。
[0003]而全景拍攝雖然具有上述的優(yōu)點，然數(shù)碼影像仍是屬于二維的平面影像。而觀看者只能從實體攝影機所在的角度觀看平面影像。如果觀看者欲查看平面影像的其他角度的話，觀看者要通過其他拍攝角度的攝影機方能達成此一目的。如果該角度不存在攝影機則無法觀看。而現(xiàn)有的虛擬視角影像生成技術(shù)(Virtual View Synthesis)可用來將不同角度的原始影像合成為一虛擬視角影像。但傳統(tǒng)的做法是使用非全景攝像裝置，所以使用者要重新調(diào)整攝像裝置的角度，讓攝像裝置面向欲觀看空間。所以這樣的調(diào)整方式較為麻煩。

【發(fā)明內(nèi)容】

[0004]鑒于以上的問題，本發(fā)明的目的在于提供一種合成虛擬視角影像的處理系統(tǒng)，將不同的全景攝像裝置所拍攝的同一空間的平面影像合成為任意虛擬視角影像。
[0005]本發(fā)明所揭露的合成虛擬視角影像的處理系統(tǒng)包括計算機裝置與多個全景攝像裝置。全景攝像裝置用以拍攝其所在位置的全角度影像，全景攝像裝置并以特定間隔距離布滿欲觀察的空間。計算機裝置電性連接于這些攝像裝置。觀看者由計算機裝置的輸入界面輸入欲由空間中哪一位置朝哪個方向觀看，計算機裝置再根據(jù)每一攝像裝置所拍攝的全角度影像選擇出與觀看者欲觀看角度與位置距離最近的至少兩個以上的攝像裝置，計算機裝置根據(jù)所選擇的這些攝像裝置位置與欲觀看角度位置決定一拍攝夾角。計算機裝置根據(jù)拍攝夾角對這些全角度影像進行合成處理，用以產(chǎn)生可在拍攝夾角中觀看的虛擬視角影像。
[0006]本發(fā)明另提出一種合成虛擬視角影像的處理方法包括以下步驟:驅(qū)動至少二臺以上的全景攝像裝置，并各自拍攝全角度影像；根據(jù)全景攝像裝置的觀看角度、位置與距離選取至少兩全景攝像裝置；根據(jù)全景攝像裝置所拍攝的全角度影像進行合成處理，用以產(chǎn)生虛擬視角影像。
[0007]本發(fā)明是從多臺全景攝像裝置中選擇至少兩臺以上的攝像裝置，并且利用所選擇的攝像裝置以不同的角度拍攝平面影像。將不同拍攝角度的平面影像進行合成處理，藉以產(chǎn)生相應(yīng)的虛擬視角影像。
[0008]以下結(jié)合附圖和具體實施例對本發(fā)明進行詳細描述，但不作為對本發(fā)明的限定?！緦＠綀D】

【附圖說明】
[0009]圖1為本發(fā)明的架構(gòu)示意圖；
[0010]圖2A為本發(fā)明的實時合成的運作流程示意圖；
[0011]圖2B為本發(fā)明的一般合成的運作流程示意圖；
[0012]圖3為本發(fā)明的拍攝距離的示意圖；
[0013]圖4A為本發(fā)明的不同攝像裝置拍攝平面影像的平面圖；
[0014]圖4B-1為本發(fā)明的所拍攝的不同角度的平面影像示意圖；
[0015]圖4B-2為本發(fā)明的所拍攝的不同角度的平面影像示意圖；
[0016]圖4C為本發(fā)明的所拍攝的合成后的虛擬視角影像示意圖。
[0017]其中，附圖標記
[0018]全景攝像裝置110
[0019]計算裝置120
[0020]處理單元121
[0021]儲存單元122
[0022]連接端口123
[0023]反扭曲程序124
[0024]合成程序125
[0025]影像物件310
[0026]全角度影像410
[0027]立體影像物件420
[0028]全景攝像裝置A、B
【具體實施方式】
[0029]下面結(jié)合附圖對本發(fā)明的結(jié)構(gòu)原理和工作原理作具體的描述:
[0030]本發(fā)明所述的攝影系統(tǒng)可以被應(yīng)用于道路安全監(jiān)控、家庭監(jiān)控(homesurveillance)或保全監(jiān)控等范圍中。本發(fā)明的攝影系統(tǒng)包括多臺全景攝像裝置110與計算機裝置120。請參考圖1所示，其為本發(fā)明的架構(gòu)示意圖。本發(fā)明可根據(jù)不同的環(huán)境(如室內(nèi)有天花板的空間，室內(nèi)有墻壁的空間，室外或開放空間)進而將全景攝像裝置110以固定間隔距離依二維格狀的方式布設(shè)于不同的位置。而本發(fā)明所述的全景攝像裝置110是屬于一種可360度全景拍攝的攝像裝置。因此使用者可以在天花板、地板或墻壁上架設(shè)全景攝像裝置110，就可以觀看該區(qū)域的所有方向的影像。
[0031]計算機裝置120更包括處理單元121、儲存單元122與攝像裝置連接端口 123。一般而言，計算機裝置120可以藉由個人計算機、筆記型計算機或數(shù)碼影像錄制主機(digital video recorder,簡稱DVR)所實現(xiàn)。處理單元121電性連接于處儲存單元122與連接端口 123。本發(fā)明的儲存單元122除了可以記錄全景攝像裝置110所拍攝的數(shù)碼影像，更儲存有反扭曲程序124 (dewarp)與合成程序125。計算機裝置120可以通過實體電纜(cable)或無線傳輸(wireless)的連接端口 123連接于每一個全景攝像裝置110。計算機裝置120接收全景攝像裝置110所拍攝的全角度影像410。而全角度影像410可能是靜態(tài)的影像，也可以是動態(tài)影片。而本發(fā)明的全角度影像410的觀看角度與位置可以由使用者所指定。
[0032]接著，處理單元121對全角度影像410進行合成程序125的處理。本發(fā)明分為實時合成與一般合成兩種。為清楚說明本發(fā)明的影像合成處理的流程，還請配合圖2A、圖2B所示，其為本發(fā)明的實時合成與一般合成運作流程示意圖。
[0033]本發(fā)明的實時合成的判斷與處理包括以下步驟:
[0034]步驟S211:根據(jù)全景攝像裝置的觀看角度、位置與距離選取至少兩全景攝像裝置，再驅(qū)動這些全景攝像裝置拍攝全角度影像；以及
[0035]步驟S212:根據(jù)全景攝像裝置所拍攝的全角度影像進行合成處理，用以產(chǎn)生虛擬視角影像。
[0036]本發(fā)明的一般合成處理的判斷與處理包括以下步驟:
[0037]步驟S221:驅(qū)動所有的全景攝像裝置，并各自拍攝全角度影像；
[0038]步驟S222:根據(jù)全景攝像裝置的觀看角度、位置與距離選取至少兩全景攝像裝置；以及
[0039]步驟S223:根據(jù)全景攝像裝置所拍攝的全角度影像進行合成處理，用以產(chǎn)生虛擬視角影像，而拍攝的方式可為實時影像或錄影影像。
[0040]首先，從觀看者的輸入中決定欲進行與觀看的目標位置。在決定目標位置后計算機裝置120可以根據(jù)目標位置，判斷各全景攝像裝置110與目標間的觀看角度與兩相距的距離。
[0041]計算機裝置120可以從所有的全景攝像裝置110中選擇至少兩個以上的全景攝像裝置110。而選擇的方式可以根據(jù)全景攝像裝置的觀看角度、位置與距離來選取至少兩臺全景攝像裝置。請參考圖3所示，其為本發(fā)明的拍攝位置的示意圖。在圖3中所有的全景攝像裝置110均會拍攝到影像物件310。而為凸顯所選取的全景攝像裝置110，所以是以黑色雙箭頭線表示所選取的全景攝像裝置110與影像物件310。由于所采用的是全景攝像裝置110，因此全角度影像410的成相可能會有變形(distortion)的情況發(fā)生。所以為能顯示正確平面的全角度影像410，就需要對前述全景攝像裝置110所拍攝的全角度影像410進行反扭曲程序124的處理，藉以產(chǎn)生該張全角度影像410相應(yīng)的平面影像。平面影像指的是反扭曲處理后的影像。若是全角度影像410沒有變形的情況，則不需進行反扭曲程序124的處理。
[0042]當(dāng)計算機裝置120取得這些全景攝像裝置110所拍攝的全角度影像410后，進行合成程序125。合成程序125將這些不同拍攝角度的全角度影像410進行演算法的運算(例如內(nèi)插法(Interpolation))。請參考圖4A、圖4B-1、圖4B-2與圖4C所示，其為本發(fā)明的所拍攝的不同角度的全角度影像與合成后的虛擬角度影像示意圖。
[0043]以圖4A中的盒子為例，在圖4A中全景攝像裝置A與全景攝像裝置B以不同拍攝角度拍攝該盒子。而圖4B-1為全景攝像裝置A所拍攝的全角度影像410，圖4B-2為全景攝像裝置B所拍攝的全角度影像410。合成程序125會根據(jù)已知的演算法(如前述內(nèi)插法(Interpolation))，用以計算全角度影像410的合成后的外觀。
[0044]最后，計算機裝置120根據(jù)圖4B-1與圖4B_2的不同角度的全角度影像410進行虛擬視角影像與所屬的立體影像物件420的建立。由于全景攝像裝置A與全景攝像裝置B所拍攝的角度有限，因此所建立的立體影像物件420可旋轉(zhuǎn)的角度是介于全景攝像裝置A與全景攝像裝置B所拍攝的角度。
[0045]本發(fā)明是從多臺全景攝像裝置110中選擇至少兩臺以上的全景攝像裝置110，并且利用所選擇的全景攝像裝置110以不同的角度拍攝全角度影像410。將不同拍攝角度的全角度影像410進行合成處理，藉以產(chǎn)生相應(yīng)的立體影像物件420。
[0046]當(dāng)然，本發(fā)明還可有其他多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護范圍。
【權(quán)利要求】
1.一種合成虛擬視角影像的處理系統(tǒng)，將所拍攝的多張平面影像合成為一虛擬視角影像，其特征在于，該處理系統(tǒng)包括: 多個全景攝像裝置，每一該全景攝像裝置用以拍攝一全角度影像；以及 一計算機裝置，電性連接于該多個全景攝像裝置，該計算機裝置根據(jù)每一該全景攝像裝置的觀看角度、位置與拍攝距離，選擇出至少兩該多個全景攝像裝置； 其中，該計算機裝置根據(jù)所選擇的該多個全景攝像裝置決定一拍攝夾角，該計算機裝置根據(jù)該拍攝夾角對該多個所選擇的全景攝像裝置所拍攝的該全角度影像進行合成處理，用以產(chǎn)生該虛擬視角影像。
2.根據(jù)權(quán)利要求1所述的合成虛擬視角影像的處理系統(tǒng)，其特征在于，該全景攝像裝置為魚眼攝像裝置或多鏡頭攝像裝置。
3.根據(jù)權(quán)利要求1所述的合成虛擬視角影像的處理系統(tǒng)，其特征在于，該多個全景攝像裝置是以固定的間隔距離以二維格狀的方式架設(shè)。
4.根據(jù)權(quán)利要求1所述的合成虛擬視角影像的處理系統(tǒng)，其特征在于，該計算機裝置對該全角度影像進行一反扭曲程序，用以產(chǎn)生該全角度影像的一平面影像。
5.一種合成虛擬視角影像的處理方法，其特征在于，包括以下步驟: 驅(qū)動至少二臺以上的全景攝像裝置，并各自拍攝一全角度影像； 根據(jù)該多個全景攝像裝置的觀看角度、位置與距離選取至少兩臺該多個全景攝像裝置；以及 根據(jù)該多個所選取的全景攝像裝置所拍攝的該全角度影像進行合成處理，用以產(chǎn)生該虛擬視角影像。
6.根據(jù)權(quán)利要求5所述的合成虛擬視角影像的處理方法，其特征在于，該全景攝像裝置為魚眼攝像裝置或多鏡頭攝像裝置。
7.根據(jù)權(quán)利要求5所述的合成虛擬視角影像的處理方法，其特征在于，于驅(qū)動該多個全景攝像裝置前更包括:以二維格狀且固定的間隔距離的方式架設(shè)該多個全景攝像裝置。
8.根據(jù)權(quán)利要求5所述的合成虛擬視角影像的處理方法，其特征在于，該全景攝像裝置于拍攝該數(shù)碼影像中更包括:對該全角度影像進行一反扭曲程序，用以產(chǎn)生該全角度影像的一平面影像。
【文檔編號】H04N7/18GK103546720SQ201310276253
【公開日】2014年1月29日 申請日期:2013年7月3日 優(yōu)先權(quán)日:2012年7月13日
【發(fā)明者】吳仁智 申請人:晶睿通訊股份有限公司