本發(fā)明是關于一種具備自身校準的深度攝影裝置以及相關的自身校準方法。

背景技術：

隨著科技的進步，現今的深度攝影裝置已經能取得并儲存三維影像信息。搭配不同的后端演算功能，三維影像信息可進一步地運用于立體建模、動作辨識等用途。

以立體視覺為基礎的深度攝影裝置，需要準確的裝置信息來計算深度信息。因此，在正式開始使用前，深度攝影裝置都需要進行校準以取得準確的裝置信息。舉例而言，現有的校準方式是藉由外部的校準機構來協助取得裝置信息。另一方面，深度攝影裝置還可以利用不同的視角拍攝的影像，分析其中的特征點信息，然后取得裝置信息。

一般而言，透過特定的校準機構來進行校準的效果是較佳的，但非專業(yè)人士不易取得前述校準機構，也沒有受過相關的操作訓練。因此，一旦深度攝影裝置受到溫度變化、外力撞擊、震動等影響造成深度信息的失真，通常必須送回生產廠商進行校準，在使用上是相當不便的。因此，如何有效且較佳地對深度攝影裝置進行校準，仍是本領域人員努力的目標之一。

技術實現要素：

本發(fā)明提供一種具備自身校準的深度攝影裝置以及自身校準方法，能夠實時地進行校準并且取得深度攝影裝置當前的裝置信息，藉以精準地擷取深度信息。

本發(fā)明的一實施例提出一種具備自身校準的深度攝影裝置，包括投影裝置、取像裝置以及校準模塊。投影裝置基于預設校準模板與預設深度計算模板，投射校準模板與深度計算模板至基準面，其中校準模板合并于深 度計算模板。取像裝置截取包括校準模板與深度計算模板的影像。校準模塊耦接取像模塊，依據影像的校準模板、預設校準模板以及對應于預設校準模板的預設對照表，調整深度攝影裝置的多個裝置參數以校準深度計算誤差。

于本發(fā)明一實施例中，校準模塊更包括分離模塊、適配模塊、梯形修正模塊、比較模塊以及優(yōu)化模塊。分離模塊耦接取像裝置，從影像中分離出包括校準模板的第一過渡影像。適配模塊耦接分離模塊，定位第一過渡影像的校準模板的多個模板特征以產生第二過渡影像。梯形修正模塊耦接適配模塊，修正第二過渡影像的梯形失真以產生第三過渡影像。比較模塊耦接梯形校準模塊，比較預設對照表的多個預設參數以及第三過渡影像的模板特征之間的多個幾何關系，藉以取得至少部分的模板特征的多個實際位置以及多個偏移量。優(yōu)化模塊耦接比較模塊，依據實際位置、偏移量以及預設對照表的預設參數，執(zhí)行優(yōu)化算法以調整深度攝影裝置的裝置參數。

于本發(fā)明一實施例中，分離模塊依據影像的每一像素點以及鄰近于每一像素點的多個鄰近像素點，判斷每一像素點的連結性性質。分離模塊排除影像中具有弱連結性的像素點，并且對具有強連結性的像素點執(zhí)行侵蝕算法以分離出具有校準模板的第一過渡影像。

于本發(fā)明一實施例中，適配模塊對第一過渡影像執(zhí)行霍夫轉換(Hough Transform)以定位校準模板的模板特征。

于本發(fā)明一實施例中，適配模塊比對預設校準模板與第一過渡影像以定位校準模板的模板特征。

于本發(fā)明一實施例中，適配模塊比對預設對照表與第一過渡影像以定位校準模板的模板特征。

于本發(fā)明一實施例中，比較模塊對第三過渡影像執(zhí)行霍夫轉換(Hough Transform)以定位修正后的模板特征。比較模塊計算模板特征在第三過渡影像的實際位置以及模板特征之間的幾何關系，并且比較實際位置、幾何關系以及預設對照表的預設參數以取得模板特征的偏移量。

于本發(fā)明一實施例中，預設對照表的預設參數包括多個先前校準模板的多個先前模板特征在多張先前影像中的多個先前位置以及先前模板特征之間的多個先前幾何關系。先前校準模板分別為深度攝影裝置在不同的 多個已知偏斜角度以及多個已知距離下，基于預設校準模板而投影至基準面。

于本發(fā)明一實施例中，優(yōu)化模塊執(zhí)行萊文貝格-馬夸特(Levenberg-Marquardt)優(yōu)化算法以取得深度攝影裝置的多個校準裝置參數。優(yōu)化模塊以校準裝置參數作為深度攝影裝置的裝置參數，藉以校準深度計算誤差。

本發(fā)明的另一實施例提出一種自身校準方法，適用于深度攝影裝置。自身校準方法包括下列步驟。基于預設校準模板與預設深度計算模板，投射校準模板與深度計算模板至基準面，其中校準模板合并于深度計算模板。截取包括校準模板與深度計算模板的影像。依據影像的校準模板、預設校準模板以及對應于預設校準模板的預設對照表，調整深度攝影裝置的多個裝置參數以校準深度計算誤差。

基于上述，本發(fā)明實施例所提供的具備自身校準的深度攝影裝置以及相關的自身校準方法，首先于基準面投射校準模板與深度計算模板，擷取校準模板與深度計算模板的影像，然后藉由校準模板以及已知的預設校準模板、預設對照表，進一步地調整深度攝影裝置的裝置參數以校準深度計算誤差。如此一來，深度攝影裝置得以實時且較有效率地進行自身校準，從而維持深度信息在計算上的準確度。

為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合所附圖式作詳細說明如下。

附圖說明

圖1為依據本發(fā)明一實施例所繪示的深度攝影裝置的示意圖。

圖2為依據本發(fā)明一實施例所繪示的自身校準方法的流程圖。

圖3A至圖3G分別為依據本發(fā)明一實施例所繪示的預設深度計算模板與預設校準模板的示意圖。

圖4為依據本發(fā)明一實施例所繪示的校準模塊的示意圖。

圖5為依據本發(fā)明一實施例所繪示的依據校準模板、預設校準模板以及對應于預設校準模板的預設對照表而調整裝置參數的流程圖。

【符號說明】

100：深度攝影裝置

120：投影裝置

140：取像裝置

160：校準模塊

161：分離模塊

162：適配模塊

163：梯形修正模塊

164：比較模塊

165：優(yōu)化模塊

CP：預設校準模板

DP：預設深度計算模板

SP：模板特征的實際位置

DV：模板特征的偏移量

L：直線

Cr：交點

IL：辨識標記

Im：影像

Im1：第一過渡影像

Im2：第二過渡影像

Im3：第三過渡影像

S220、S240、S260：自身校準方法的步驟

S261、S262、S263、S264、S265：依據校準模板、預設校準模板以及對應于預設校準模板的預設對照表而調整裝置參數的步驟

具體實施方式

本發(fā)明實施例提供一種具備自身校準的深度攝影裝置以及自身校準方法。深度攝影裝置依據預設校準模板與預設深度計算模板，同時于基準面上投影校準模板與深度計算模板，然后擷取校準模板與深度計算模板的影像。藉由圖像處理與分析，深度攝影裝置判斷校準模板與預設校準模板 的差異，藉以校準深度攝影裝置的多個裝置參數。裝置參數例如包括取像裝置的內部參數與外部參數。內部參數例如是光軸中心位置(Optical Center)、焦距(Focal Length)等參數。外部參數則用于描述取像裝置與投影裝置之間的平移、旋轉關系。

圖1為依據本發(fā)明一實施例所繪示的深度攝影裝置的示意圖。參照圖1，深度攝影裝置100包括投影裝置120、取像裝置140以及校準模塊160。于本實施例中，投影裝置120可以依據預設校準模板與預設深度計算模板而投影校準模板與深度計算模板。投影裝置120例如是雷射光源搭配衍射光學元件(Diffractive Optical Element，DOE)的組合、發(fā)光二極管(Light Emitting Diode，LED)光源搭配光源屏蔽的組合或者是可以投射光點的投影機(Projector)或微型投影機(Pico Projector)。

對應于投影裝置120的設計，取像裝置140例如是紅外光(Infrared，IR)取像裝置、紅外光(IR)取像裝置與紅藍綠(RGB)取像裝置的組合或其它可取像的取像裝置。于本實施例中，取像裝置140用于取得包括校準模板與深度計算模板的影像I_m。

校準模塊160耦接至取像裝置140，并且由取像裝置140接收包括校準模板與深度計算模板的影像I_m?；陬A設校準模板、對應于預設校準模板的預設對照表以及影像I_m中的校準模板，校準模塊160調整深度攝影裝置100的裝置參數以校準深度計算誤差。于本實施例中，校準模塊160還可以是由處理器(未繪示)所執(zhí)行軟件程序。前述處理器例如是微控制器(micro-controller)、嵌入式控制器(embedded controller)、中央處理器(central processing unit，CPU)、場效可程序邏輯門陣列(Field programmable gate array，FPGA)、特殊應用集成電路(Application-specific integrated circuit，ASIC)或類似的元件。前述處理器還可基于影像Im中的深度計算模板來進行深度計算。值得注意的是，于其它實施例中，校準模塊160還例如是以特定的電路結構而實現。

圖2為依據本發(fā)明一實施例所繪示的自身校準方法的流程圖。本實施例的自身校準方法適用于圖1所示的深度攝影裝置100。參照圖1與圖2，投影裝置120基于預設校準模板與預設深度計算模板，投射校準模板與深度計算模板至基準面，其中校準模板合并于深度計算模板(步驟S220)。

更具體而言，如同前述，投影裝置120可以由不同的元件或元件組合來實現，例如是雷射光源與衍射光學元件的組合。當投影裝置120包括雷射光源以及衍射光學元件時，衍射光學元件是對應于預設深度計算模板與預設校準模板而設計。藉此，當雷射光源所發(fā)射的雷射光經過衍射光學元件而投影至平坦且非鏡面的基準面時，便會于基準面上形成深度計算模板與校準模板。

類似地，于另一實施例中，當投影裝置120包括發(fā)光二極管光源與光源屏蔽時，光源屏蔽對應于預設深度計算模板與預設校準模板而設計，而發(fā)光二極管光源所發(fā)射的光束經過光源屏蔽而投影至平坦且非鏡面的基準面時，便會于基準面上形成深度計算模板與校準模板。于本發(fā)明又一實施例中，當投影裝置120為可投射光點的投影機或微型投影機時，藉由對投影光束的控制，深度攝影裝置100可以依據預設深度計算模板與預設校準模板而于基準面上形成深度計算模板與校準模板。

圖3A至圖3G分別為依據本發(fā)明一實施例所繪示的預設深度計算模板與預設校準模板的示意圖。如圖3A至圖3F所示，預設深度計算模板DP例如是包括多個點狀區(qū)域。預設校準模板CP則包括多個預設模板特征，而前述預設模板特征包括多條直線L(即線狀區(qū)域)以及直線L間的多個交點Cr。預設校準模板CP可以為不同的設計，例如是圖3A與圖3D所示的田字形式的預設校準模板CP、圖3B與圖3E所示的方格形式的預設校準模板CP或圖3C與圖3F所示的雙箭號交叉形式的預設校準模板CP。另一方面，當預設深度計算模板DP以及預設校準模板CP以模板中心為基準而重疊合并時，預設校準模板CP的涵蓋范圍可以是大于預設深度計算模板DP的涵蓋范圍(如圖3A至圖3C)，又或者預設校準模板CP的涵蓋范圍可以是小于預設深度計算模板DP的涵蓋范圍(圖3D至圖3F)。

于本發(fā)明的一實施例中，預設校準模板CP隱藏于預設深度計算模板DP之中。如圖3G所示，預設校準模板CP由部分點狀區(qū)域所組成而隱藏于預設深度計算模板DP之中。預設校準模板CP之中還包括多個辨識標記IL，分別坐落于預設深度計算模板DP上的不同方位，并且辨識標記IL則作為從預設深度計算模板DP中辨識預設校準模板CP的主要依據。具 體而言，前述圖3D至圖3G的預設校準模板CP例如是以此形式呈現于預設深度計算模板DP之中。

重新參照圖1、圖2、圖3A至圖3G，對于投影裝置120依據預設深度計算模板DP以及預設校準模板CP而投影在基準面上的校準模板與深度計算模板，取像裝置140進一步截取包括校準模板與深度計算模板的影像I_m(步驟S240)，而后傳輸至校準模塊160。校準模塊160則依據影像I_m的校準模板、預設校準模板CP以及對應于預設校準模板CP的預設對照表，調整深度攝影裝置100的多個裝置參數以校準深度計算誤差(步驟S260)。

一般而言，當投影裝置120依據預設深度計算模板DP以及預設校準模板CP而于基準面投影深度計算模板以及校準模板時，深度計算模板以及校準模板會隨深度攝影裝置100的傾斜、深度攝影裝置100與基準面間的距離、投影裝置120的偏差等因素而不同于預設深度計算模板DP以及預設校準模板CP。因此，在正式使用前，可利用深度攝影裝置100在不同的多個已知偏斜角度以及多個已知距離下，基于預設校準模板CP而投影多個先前校準模板至基準面。此時，多個先前校準模板的多個先前模板特征在多張先前影像中的多個先前位置以及先前模板特征之間的多個先前幾何關系，可以作為預設參數而建立一個預設對照表于深度攝影裝置100中。先前模板特征的先前位置例如是先前模板特征在先前影像上所對應的像素點。先前幾何關系則包括先前模板特征在先前影像中的間隔像素點數等，但不以此為限。

圖4為依據本發(fā)明一實施例所繪示的校準模塊的示意圖。

圖5為依據本發(fā)明一實施例所繪示的依據校準模板、預設校準模板以及對應于預設校準模板的預設對照表而調整裝置參數的流程圖。參照圖4與圖5，校準模塊160更包括分離模塊161、適配模塊162、梯形修正模塊163、比較模塊164以及優(yōu)化模塊165。分離模塊161耦接取像裝置140。當校準模塊160由取像裝置140接收包括校準模板與深度計算模板的影像I_m后，分離模塊161從影像I_m中分離出包括校準模板的第一過渡影像I_m1(步驟S261)。

詳細而言，分離模塊161依據影像I_m的每一像素點以及鄰近于每一像素點的多個鄰近像素點，判斷每一像素點的連結性性質。舉例而言，分離模塊161例如是選擇以每一像素點的鄰近像素點的個數作為閥值。當一個像素點的鄰近像素點的個數不超過閥值時，分離模塊161將前述像素點視為具有弱連結性的像素點。相對的，當一個像素點的鄰近像素點的個數超過閥值時，分離模塊161將前述像素點視為具有強連結性的像素點。接著，分離模塊161排除影像I_m中具有弱連結性的像素點，并且對具有強連結性的像素點執(zhí)行侵蝕算法，藉以進一步細線化具有強連結性的像素點群，從而分離出具有校準模板的第一過渡影像I_m1。

一般而言，影像I_m中的校準模板是投影裝置120基于預設校準模板CP所投射的校準模板，故而校準模板對應于預設校準模板CP的多個預設模板特征而同樣具有多個模板特征。由于影像I_m中的校準模板具有相互關聯的模板特征，故通常是對應至具有強連結性的像素點群。因此，分離模塊161可以藉由保留具有強連結性的像素點群而從影像I_m中分離出具有校準模板的第一過渡影像I_m1。

參照圖4與圖5，分離模塊161分離出具有校準模板的第一過渡影像I_m1后，耦接至分離模塊161的適配模塊162更接收第一過渡影像I_m1，并且定位第一過渡影像I_m1的校準模板的多個模板特征以產生第二過渡影像I_m2(步驟S262)。詳細而言，由于分離模塊161所分離出的第一過渡影像I_m1可能還包括非校準模板的像素點群，因而適配模塊162更進一步地定位第一過渡影像I_m1的校準模板的多個模板特征而產生第二過渡影像I_m2。

于本實施例中，適配模塊162例如是直接地比對第一過渡影像I_m1與預設校準模板CP以定位第一過渡影像I_m1的校準模板的模板特征，但本發(fā)明不限于此。具體而言，于另一實施例中，適配模塊162例如是比對預設對照表與第一過渡影像I_m1以定位校準模板的模板特征。換言之，即是利用預設對照表內的預設參數來定位第一過渡影像Im1的校準模板的模板特征。于又一實施例中，當投影裝置120使用雷射光源時，適配模塊162則例如是利用第一過渡影像I_m1在影像中心的零級光點(Zero order)作為基準，對第一過渡影像I_m1執(zhí)行轉換以定位第一過渡影像I_m1的校準模板的模板特征。更詳細而言，由于第一過渡影像I_m1的模板特征包括了多條直線， 故利用例如霍夫轉換(Hough Transform)以準確地定位第一過渡影像I_m1的校準模板的模板特征。

參照圖4與圖5，梯形修正模塊163耦接于適配模塊162，并且于接收第二過渡影像I_m2后，修正第二過渡影像I_m2的梯形失真以產生第三過渡影像I_m3(步驟S263)。具體而言，在自身校準的流程中，梯形失真可能是肇因于深度攝影裝置100的傾斜配置而使得取像軸與基準面不為直角。此時，梯形修正模塊163可以依據第二過渡影像I_m2的影像邊緣或者是第二過渡影像I_m2的多個圖形特征來判斷第二過渡影像I_m2是否具有梯形失真，并且對應地修正第二過渡影像I_m2的梯形失真來產生第三過渡影像I_m3。

參照圖4與圖5，比較模塊164耦接梯形校準模塊163，并且于接收第三過渡影像I_m3后，比較預設對照表的多個預設參數以及第三過渡影像I_m3的模板特征之間的多個幾何關系，藉以取得至少部分的模板特征的實際位置SP以及偏移量DV(步驟S264)。于本實施例中，比較模塊164計算模板特征在第三過渡影像I_m3的實際位置SP以及模板特征之間的幾何關系。類似于先前影像中的先前模板特征以及先前幾何關系，模板特征在第三過渡影像I_m3的實際位置SP例如是模板特征在第三過渡影像I_m3上所對應的像素點，而模板特征間在第三過渡影像I_m3中的幾何關系則包括多個模板特征在第三過渡影像I_m3中的間隔像素點數等，但不以此為限。

更進一步而言，比較模塊164比較前述的實際位置SP、模板特征之間的幾何關系以及預設對照表的預設參數以取得模板特征的偏移量DV。由于預設對照表的預設參數對應了先前校準模板的多個先前模板特征在先前影像中的先前位置以及多個先前模板特征之間的先前幾何關系，因而可用于確認模板特征在第三過渡影像I_m3的實際位置SP是否與相對應的先前影像的先前模板特征的先前位置有所偏差，進而計算第三過渡影像I_m3的模板特征的偏移DV量。

參照圖4與圖5，優(yōu)化模塊165耦接比較模塊164，并且于接收至少部分的模板特征的實際位置SP以及偏移量DV后，依據實際位置SP、偏移量DV以及預設對照表的預設參數，執(zhí)行優(yōu)化算法以調整深度攝影裝置100的裝置參數(步驟S265)。于本實施例中，優(yōu)化模塊165例如是執(zhí)行萊文貝格-馬夸特(Levenberg-Marquardt)優(yōu)化算法以取得深度攝影裝置100 的多個校準裝置參數。更詳細而言，優(yōu)化模塊165基于模板特征的實際位置SP、模板特征的偏移量DV、第三過渡影像I_m3的影像分辨率(影像寬度與影像長度)等數據以及優(yōu)化算法執(zhí)行次數、停止閥值等設定，而最終可以取得如深度攝影裝置100的實際偏移角度、實際傾斜角度、實際焦距位置、實際主點位置等校準裝置參數。優(yōu)化模塊165以前述校準裝置參數作為深度攝影裝置100的裝置參數，使得深度攝影裝置100可以在后續(xù)的深度計算程序中校準深度計算誤差并正確地計算深度信息。

值得注意的是，優(yōu)化模塊165還可以是執(zhí)行高斯牛頓法(Gauss-Newton method)、QR分解法(QR Decomposition)、奇異值分解(Singular Value Decomposition)等優(yōu)化算法，而不限于萊文貝格-馬夸特優(yōu)化算法。

綜上所述，本發(fā)明實施例所提供之具備自身校準的深度攝影裝置以及相關的自身校準方法，首先于基準面投射校準模板與深度計算模板，擷取校準模板與深度計算模板的影像，然后藉由校準模板以及已知的預設校準模板、預設對照表，進一步地調整深度攝影裝置的裝置參數以校準深度計算誤差。如此一來，深度攝影裝置得以實時且較有效率地進行自身校準，從而維持深度信息在計算上的準確度。

雖然本發(fā)明已以實施例公開如上，然其并非用以限定本發(fā)明，任何所屬技術領域中具有通常知識者，在不脫離本發(fā)明的精神和范圍內，當可作些許的更動與潤飾，故本發(fā)明的保護范圍當視權利要求保護范圍為準。