本文公開的實施方式總體涉及數(shù)字成像,尤其但非排他地涉及調(diào)整基線的系統(tǒng)及方法。
背景技術(shù):
立體成像是一種使用多個成像裝置通過立體觀測形成三維圖像的技術(shù),在很多領(lǐng)域正變得越來越常用。立體成像在機(jī)器人學(xué)尤其有用,因為其經(jīng)常需要收集有關(guān)機(jī)器環(huán)境的三維信息。立體成像模擬人類眼睛的雙目視覺,通過應(yīng)用立體觀測原理來實現(xiàn)深度感知。這種技術(shù)可以通過人工成像裝置經(jīng)由使用多個成像裝置從略有不同的有利地點觀察給定的目標(biāo)物而再現(xiàn)。對目標(biāo)物的不同觀察之間的區(qū)別代表物體位置的深度信息,因此能夠?qū)崿F(xiàn)物體的三維成像。
成像系統(tǒng)執(zhí)行立體成像以分辨深度的能力是一種基線功能,所述基線是兩個成像裝置之間的距離。所述基線以不同方式限制立體成像系統(tǒng)的有效視野。例如,當(dāng)所述基線過小時,所述成像系統(tǒng)不能分辨遠(yuǎn)距離的物體。當(dāng)所述基線過大時,所述成像系統(tǒng)不能看到近距離的物體(導(dǎo)致對近距離的物體產(chǎn)生盲點)。此外,當(dāng)基線過大時,兩個成像裝置的視野的重疊減小,限制了利用深度感知可以被觀察到的物體的數(shù)量。此外,大的、固定的基線可能占據(jù)大量的空間并且可能很笨重。因此,在大部分的現(xiàn)有立體成像系統(tǒng)中,所述基線是固定的,這取決于通常是否需要近距離物體或者遠(yuǎn)距離物體的成像。
根據(jù)前述描述,需要一種成像系統(tǒng)及方法,其能夠支持立體成像的自動基線調(diào)整。
技術(shù)實現(xiàn)要素:
根據(jù)本文公開的第一方面,提供一種自動調(diào)整成像系統(tǒng)的基線的方法,所述成像系統(tǒng)具有多個成像裝置,包括至少第一成像裝置及第二成像裝置,所述方法包括:
獲取成像系統(tǒng)以及目標(biāo)物之間的物體距離;及
根據(jù)所述物體距離自動調(diào)整基線。
在所公開方法的一個示例性實施方式中,獲取所述物體距離包括:
使用第一成像裝置獲取所述目標(biāo)物的第一圖像;
使用第二成像裝置獲取所述目標(biāo)物的第二圖像;
確定所述第一圖像以及所述第二圖像之間的雙目視差;及
使用所述雙目視差確定所述物體距離。
在所公開方法的一個示例性實施方式中,獲取所述物體距離進(jìn)一步包括在確定所述雙目視差之前糾正所述第一圖像及所述第二圖像。
在所公開方法的一個示例性實施方式中,獲取所述物體距離包括:
獲取所述目標(biāo)物上的多個特征點;
確定所述成像系統(tǒng)與每一個所述特征點之間各自的特征距離;及
使用所述特征距離確定所述物體距離。
在所公開方法的一個示例性實施方式中,確定所述物體距離包括基于所述特征距離的平均值確定所述物體距離。
在所公開方法的一個示例性實施方式中,確定所述物體距離包括選擇一個或者多個特征點,及基于所選擇的特征點的特征距離獲取所述物體距離。
在所公開方法的一個示例性實施方式中,選擇所述特征點包括選擇與所述成像系統(tǒng)最近的預(yù)定百分比的特征點,并獲取所選擇的特征點中距離所述成像系統(tǒng)最遠(yuǎn)的特征距離作為所述物體距離。
在所公開方法的一個示例性實施方式中,所選擇的特征點的預(yù)定百分比為百分之八十。
在所公開方法的一個示例性實施方式中,確定所述成像系統(tǒng)與每一個所述特征點之間各自的特征距離包括對于由所述第一成像裝置或者所述第二成像裝置獲取的圖像,基于所述圖像上對應(yīng)所述特征點的像素確定所述特征距離。
在所公開方法的一個示例性實施方式中,獲取所述物體距離包括使用激光獲取所述物體距離。
在所公開方法的一個示例性實施方式中,獲取所述物體距離包括使用超聲波系統(tǒng)獲取所述物體距離。
在所公開方法的一個示例性實施方式中,所述自動調(diào)整包括如果所述基線低于最小基線,則增加所述基線。
在所公開方法的一個示例性實施方式中,所述最小基線是4*Z*L/f,且其中Z是所述物體距離,L是所述成像裝置中至少一個成像裝置的像素寬度,及f是所述成像裝置中至少一個成像裝置的焦距。
在所公開方法的一個示例性實施方式中,所述自動調(diào)整包括如果所述基線高于最大基線,則減小所述基線。
在所公開方法的一個示例性實施方式中,所述自動調(diào)整包括如果所述基線低于所述最大基線,則增加所述基線。
在所公開方法的一個示例性實施方式中,所述最大基線是Z*tan(θ/2),且其中Z是所述物體距離及θ是所述成像裝置中至少一個成像裝置的視角。
在所公開方法的一個示例性實施方式中,所述自動調(diào)整包括增加所述基線,直到所述第一成像裝置的視野與所述第二成像裝置的視野重疊達(dá)到至少某個閾值。
所公開方法的示例性實施方式進(jìn)一步包括在自動調(diào)整基線之后校正所述成像系統(tǒng)的外部參數(shù)。
在所公開方法的一個示例性實施方式中,所述校正包括校正所述成像系統(tǒng)的平移外部參數(shù)和/或旋轉(zhuǎn)外部參數(shù)中的至少一項。
在所公開方法的一個示例性實施方式中,所述校正包括根據(jù)所述對基線的自動調(diào)整,初始校正所述平移外部參數(shù)。
在所公開方法的一個示例性實施方式中,所述校正包括在所述初始校正之后,進(jìn)一步校正所述外部參數(shù),以最優(yōu)化所述外部參數(shù)。
在所公開方法的一個示例性實施方式中,所述進(jìn)一步校正包括光束平差法。
在所公開方法的一個示例性實施方式中,所述成像系統(tǒng)是移動平臺。
在所公開方法的一個示例性實施方式中,所述成像系統(tǒng)是無人飛行器(UAV),且其中所述自動調(diào)整取決于所述無人飛行器的飛行模式。
在所公開方法的一個示例性實施方式中,所述自動調(diào)整包括當(dāng)所述飛行模式為著陸模式時,減小所述基線。
在所公開方法的一個示例性實施方式中,所述自動調(diào)整包括當(dāng)所述飛行模式為起飛模式時,增加所述基線。
在所公開方法的一個示例性實施方式中,所述自動調(diào)整包括當(dāng)所述飛行模式是空中圖像獲取模式時,增加所述基線。
根據(jù)本文公開的另一方面,提出一種成像系統(tǒng),其用于根據(jù)上述任一種方法執(zhí)行自動基線調(diào)整。
根據(jù)本文公開的另一方面,提出一種計算機(jī)程序產(chǎn)品,所述計算機(jī)程序產(chǎn)品包括用于根據(jù)上述任一種方法自動調(diào)整成像系統(tǒng)的基線的指令,所述成像系統(tǒng)具有第一成像裝置及第二成像裝置。
根據(jù)本文公開的另一方面,提出一種設(shè)備,其用于自動調(diào)整具有多個成像裝置的成像系統(tǒng)中第一成像裝置及第二成像裝置之間的基線,包括:
基線調(diào)整機(jī)構(gòu),其聯(lián)接所述第一及第二成像裝置;及
控制器,其用于提供控制信號給所述基線調(diào)整機(jī)構(gòu),用于根據(jù)成像系統(tǒng)與目標(biāo)物之間的物體距離自動調(diào)整所述基線。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于通過如下手段獲取物體距離:
使用第一成像裝置獲取目標(biāo)物的第一圖像;
使用第二成像裝置獲取目標(biāo)物的第二圖像;
確定所述第一圖像以及所述第二圖像之間的雙目視差;及
使用所述雙目視差確定所述物體距離。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于在確定所述雙目視差之前糾正所述第一及第二圖像。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于通過如下手段獲取所述物體距離:
獲取所述目標(biāo)物上的多個特征點;
確定所述成像系統(tǒng)與每一個所述特征點之間各自的特征距離;及
使用所述特征距離確定所述物體距離。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于基于所述特征距離的平均值獲取所述物體距離。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于選擇一個或者多個特征點,及基于所選擇的特征點的特征距離獲取所述物體距離。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于通過選擇與所述成像系統(tǒng)最近的預(yù)定百分比的特征點來選擇特征點,并獲取所選擇的特征點中距離所述成像系統(tǒng)最遠(yuǎn)的特征距離作為所述物體距離。
在所公開設(shè)備的一個示例性實施方式中,所選擇的特征點的預(yù)定百分比為百分之八十。
在所公開設(shè)備的一個示例性實施方式中,確定所述成像系統(tǒng)與每一個所述特征點之間各自的特征距離包括對于由所述第一成像裝置或者所述第二成像裝置獲取的圖像,基于所述圖像上的所述特征點對應(yīng)的像素確定所述特征距離。
所公開設(shè)備的示例性實施方式進(jìn)一步包括激光器,其用于獲取所述物體距離。
所公開設(shè)備的示例性實施方式進(jìn)一步包括超聲波系統(tǒng),其用于獲取所述物體距離。
在所公開設(shè)備的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括螺桿軸機(jī)構(gòu)。
在所公開設(shè)備的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括齒條-齒輪機(jī)構(gòu)。
在所公開設(shè)備的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括曲柄滑塊機(jī)構(gòu)。
在所公開設(shè)備的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括線性馬達(dá)。
在所公開設(shè)備的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括可調(diào)框架。
在所公開設(shè)備的一個示例性實施方式中,所述控制信號是一種信號,用于當(dāng)所述基線低于最小基線時,自動增加所述基線。
在所公開設(shè)備的一個示例性實施方式中,所述最小基線是4*Z*L/f,且其中Z是所述物體距離,L是所述成像裝置中至少一個成像裝置的像素寬度,及f是所述成像裝置中至少一個成像裝置的焦距。
在所公開設(shè)備的一個示例性實施方式中,所述控制信號是一種信號,用于當(dāng)所述基線高于最大基線時,自動減小所述基線。
在所公開設(shè)備的一個示例性實施方式中,所述控制信號是一種信號,用于當(dāng)所述基線低于最大基線時,自動增加所述基線。
在所公開設(shè)備的一個示例性實施方式中,所述最大基線是Z*tan(θ/2),且其中Z是所述物體距離及θ是所述成像裝置中至少一個成像裝置的視角。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于自動增加所述基線,直到所述第一成像裝置的視野與所述第二成像裝置的視野重疊達(dá)到至少某個閾值。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于在所述自動調(diào)整基線之后校正所述成像系統(tǒng)的外部參數(shù)。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于校正平移外部參數(shù)和/或旋轉(zhuǎn)外部參數(shù)中的至少一項。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于根據(jù)所述基線調(diào)整機(jī)構(gòu)的線位移,初始校正所述平移外部參數(shù)。
在所公開設(shè)備的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括螺桿軸機(jī)構(gòu),且所述控制器用于根據(jù)所述螺桿軸機(jī)構(gòu)的旋轉(zhuǎn)度,初始校正所述平移外部參數(shù)。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于在所述初始校正之后,進(jìn)一步校正所述外部參數(shù),以最優(yōu)化所述外部參數(shù)。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于使用光束平差法進(jìn)一步校正所述外部參數(shù)。
在所公開設(shè)備的一個示例性實施方式中,所述成像系統(tǒng)是移動平臺。
在所公開設(shè)備的一個示例性實施方式中,所述成像系統(tǒng)是無人飛行器(UAV)。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于基于所述無人飛行器的飛行模式自動調(diào)整所述基線。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于當(dāng)所述飛行模式為著陸模式時,減小所述基線。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于當(dāng)所述飛行模式為起飛模式時,增加所述基線。
在所公開設(shè)備的一個示例性實施方式中,所述控制器用于當(dāng)所述飛行模式是空中圖像獲取模式時,增加所述基線。
根據(jù)本文公開的另一方面,提供一種成像系統(tǒng),包括:
多個成像裝置,至少包括用于對目標(biāo)物成像的第一成像裝置,以及用于對目標(biāo)物成像的第二成像裝置;
基線調(diào)整機(jī)構(gòu),用于調(diào)整第一成像裝置及第二成像裝置之間的基線;及
控制器,其用于根據(jù)成像系統(tǒng)及目標(biāo)物之間的物體距離使用基線調(diào)整機(jī)構(gòu)自動調(diào)整所述基線。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于通過如下手段獲取物體距離:
使用第一成像裝置獲取目標(biāo)物的第一圖像;
使用第二成像裝置獲取目標(biāo)物的第二圖像;
確定所述第一圖像以及所述第二圖像之間的雙目視差;及
使用所述雙目視差確定所述物體距離。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于在確定所述雙目視差之前糾正所述第一及第二圖像。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于通過如下手段獲取所述物體距離:
獲取所述目標(biāo)物上的多個特征點;
確定所述成像系統(tǒng)與每一個所述特征點之間各自的特征距離;及
使用所述特征距離確定所述物體距離。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于基于所述特征距離的平均值獲取所述物體距離。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于選擇一個或者多個特征點,及基于所選擇的特征點的特征距離獲取所述物體距離。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于通過選擇與所述成像系統(tǒng)最近的特征點的預(yù)定百分比來選擇特征點,并獲取所述物體距離作為選擇的特征點中距離所述成像系統(tǒng)最遠(yuǎn)的特征距離。
在所公開成像系統(tǒng)的一個示例性實施方式中,所選擇的特征點的預(yù)定百分比為百分之八十。
在所公開成像系統(tǒng)的一個示例性實施方式中,確定所述成像系統(tǒng)與每一個所述特征點之間各自的特征距離包括對于由所述第一成像裝置或者所述第二成像裝置獲取的圖像,基于所述圖像上所述特征點對應(yīng)的像素確定所述特征距離。
所公開成像系統(tǒng)的示例性實施方式進(jìn)一步包括激光器,其用于獲取所述物體距離。
所公開成像系統(tǒng)的示例性實施方式進(jìn)一步包括超聲波系統(tǒng),其用于獲取所述物體距離。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括螺桿軸機(jī)構(gòu)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括齒條-齒輪機(jī)構(gòu)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括曲柄滑塊機(jī)構(gòu)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括線性馬達(dá)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括可調(diào)框架。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于當(dāng)所述基線低于最小基線時,自動增加所述基線。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述最小基線是4*Z*L/f,且其中Z是所述物體距離,L是所述成像裝置中至少一個成像裝置的像素寬度,及f是所述成像裝置中至少一個成像裝置的焦距。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于當(dāng)所述基線高于最大基線時,自動減小所述基線。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于當(dāng)所述基線低于所述最大基線時,自動增加所述基線。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述最大基線是Z*tan(θ/2),且其中Z是所述物體距離及θ是所述成像裝置中至少一個成像裝置的視角。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于自動增加所述基線,直到所述第一成像裝置的視野與所述第二成像裝置的視野重疊達(dá)到至少某個閾值。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于在所述自動調(diào)整基線之后校正所述成像系統(tǒng)的外部參數(shù)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于校正平移外部參數(shù)和/或旋轉(zhuǎn)外部參數(shù)中的至少一項。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于根據(jù)所述基線調(diào)整機(jī)構(gòu)的線位移,初始校正所述平移外部參數(shù)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述基線調(diào)整機(jī)構(gòu)包括螺桿軸機(jī)構(gòu),且所述控制器用于根據(jù)所述螺桿軸機(jī)構(gòu)的旋轉(zhuǎn)度,初始校正所述平移外部參數(shù)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于在所述初始校正之后,進(jìn)一步校正所述外部參數(shù),以最優(yōu)化所述外部參數(shù)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于使用光束平差法進(jìn)一步校正所述外部參數(shù)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述成像系統(tǒng)是移動平臺。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述移動平臺是無人飛行器(UAV)。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于基于所述無人飛行器的飛行模式自動調(diào)整所述基線。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于當(dāng)所述飛行模式為著陸模式時,減小所述基線。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于當(dāng)所述飛行模式為起飛模式時,增加所述基線。
在所公開成像系統(tǒng)的一個示例性實施方式中,所述控制器用于當(dāng)所述飛行模式是空中圖像獲取模式時,增加所述基線。
附圖說明
圖1是示出了包括多個成像裝置的成像系統(tǒng)的一個實施方式的示例性頂層框圖。
圖2是示出了圖1的成像系統(tǒng)的實施方式的示例性頂層框圖,其中所述成像系統(tǒng)包括用于調(diào)整基線的基線調(diào)整機(jī)構(gòu)。
圖3是示出了用于自動調(diào)整圖1的成像系統(tǒng)的基線的方法的實施方式的示例性頂層圖。
圖4是示出了圖3的方法的一個替換實施方式的示例圖,其中使用多個成像裝置確定物體距離。
圖5是示出了圖4的方法的另一個替換實施方式的示例圖,其中使用三角測量法確定物體距離。
圖6是示出了圖3的方法的另一個替換實施方式的示例圖,其中使用雙目視差確定物體距離。
圖7是示出了圖3的方法的另一個替換實施方式的示例圖,其中使用多個特征點確定物體距離。
圖8是示出了圖3的方法的另一個替換實施方式的示例性流程圖,其中基于物體距離調(diào)整基線。
圖9是示出了圖3的方法的另一個替換實施方式的示例圖,其中在基線調(diào)整之后校正外部參數(shù)。
圖10是圖2的基線調(diào)整機(jī)構(gòu)的實施方式的詳圖,其中所述基線調(diào)整機(jī)構(gòu)包括螺桿軸機(jī)構(gòu)。
圖11是示出了圖1的成像系統(tǒng)的實施方式的示例圖,其中所述成像系統(tǒng)安裝在無人飛行器(UAV)上。
圖12是示出了圖11的成像系統(tǒng)的示例圖,其中所述成像系統(tǒng)的基線已經(jīng)被調(diào)整。
圖13是示出了圖11的成像系統(tǒng)的替換實施方式的示例圖,其中所述成像系統(tǒng)安裝在無人飛行器的機(jī)身上。
圖14是示出了圖11的成像系統(tǒng)的示例圖,其中成像裝置附在一個可調(diào)框架上。
圖15是示出了圖14的成像系統(tǒng)的替換實施方式的示例圖,其中所述成像系統(tǒng)的基線已經(jīng)被調(diào)整。
圖16是示出了圖1的指向一個目標(biāo)物的成像系統(tǒng)的實施方式的示例圖。
圖17是示出了用于調(diào)整圖1的成像系統(tǒng)的基線的設(shè)備的實施方式的示例性頂層圖。
應(yīng)該說明的是,附圖并不是按照比例繪制,并且為了說明的目的,具有相似結(jié)構(gòu)或者功能的元件在全部附圖中一般由相似的標(biāo)號表示。還應(yīng)該說明的是,附圖僅旨在便于描述優(yōu)選實施方式。附圖并未示出所描述實施方式的每個方面,并且不限制本公開的范圍。
具體實施方式
本公開提出的系統(tǒng)及方法用于自動調(diào)整用于立體成像的成像系統(tǒng)的基線,所述系統(tǒng)及方法克服了傳統(tǒng)固定基線成像系統(tǒng)的限制。進(jìn)一步地,成像系統(tǒng)中的成像裝置可以通過一組外部參數(shù)進(jìn)行精細(xì)校正。這些外部參數(shù)定義了成像裝置的相對位置,使得能夠基于從不同視角獲取的不同二維圖像實現(xiàn)單一三維物體的重構(gòu)。在所述基線被調(diào)整之后,以及在進(jìn)一步成像之前,仍需要調(diào)整對應(yīng)的外部參數(shù)。因此,本公開也提出了用于在基線調(diào)整之后自動校正外部參數(shù)的系統(tǒng)及方法。
現(xiàn)參照圖1,示例性成像系統(tǒng)100被示出為包括多個成像裝置110以及控制器190。所述成像系統(tǒng)100可以根據(jù)需要包括任何預(yù)定數(shù)量的成像裝置110。例如,所述成像系統(tǒng)100可以具有2、3、4、5、6甚至更多數(shù)量的成像裝置110。作為一個非限制性示例,圖1示出的成像系統(tǒng)100包括四個成像裝置110。盡管出于說明的目的,本文示出和描述的成像系統(tǒng)100的各個其他實施方式僅具有兩個成像裝置110,但成像系統(tǒng)100不限于僅具有兩個成像裝置110。對于具有多于兩個成像裝置110的成像系統(tǒng)100,本文所描述的自動基線調(diào)整以及參數(shù)校正可以應(yīng)用于任何對成像裝置110。
在成像系統(tǒng)100中,所述成像裝置110可以以任何想要的方式布置。成像裝置110的具體布置可以取決于成像應(yīng)用。在某些實施方式中,例如,所述成像裝置110可以并行放置,以便成像裝置110具有平行的光軸130(如圖5所示)。在其他實施方式中,所述成像裝置110可被放置為使得所述成像裝置110中至少兩個的光軸130不平行。任意兩個成像裝置110的中心(本文也稱之為原點)之間的線性距離為這些成像裝置110之間的基線b(如圖2所示)。更具體地,所述基線b可以指第一成像裝置110的鏡頭105的中心與第二成像裝置110的鏡頭105的中心之間的距離。
每一個成像裝置110可以執(zhí)行感應(yīng)光線并將所感應(yīng)的光線轉(zhuǎn)換為電信號的功能,其中所述電信號最終可以呈現(xiàn)為圖像。本公開的系統(tǒng)及方法中所使用的適合的示例性成像裝置110包括但不限于市售的相機(jī)及攝像機(jī)。適合的成像裝置110可以包括模擬成像裝置(例如攝像管)和/或數(shù)字成像裝置(例如,電荷耦合裝置(CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS),N型金屬-氧化物-半導(dǎo)體(NMOS)成像裝置,及其混合/變體)。數(shù)字成像裝置,例如,可以包括二維陣列的光敏元件(未示出),其每一個用于捕獲圖像信息的一個像素。所述成像裝置110優(yōu)選具有至少10萬像素、50萬像素、100萬像素、200萬像素、500萬像素、1000萬像素、2000萬像素、5000萬像素、10000萬像素甚或更高數(shù)量像素的分辨率。所述成像裝置110也可以包括鏡頭105用于聚光在光敏元件上,例如,數(shù)字單反(DSLR)鏡頭、針孔鏡頭、生物鏡頭、簡單凸面玻璃鏡頭、微距鏡頭、變焦鏡頭、長焦鏡頭、魚眼鏡頭、廣角鏡頭等。所述成像裝置110也可以包括基于顏色分離和/或過濾感應(yīng)的光,并將所述光導(dǎo)向合適的光敏元件上的設(shè)備(未示出)。例如,所述成像裝置110可以包括顏色濾波器陣列,其將紅色、綠色及藍(lán)色的光傳到所選擇的像素傳感器,并形成一個拜耳模式的交織彩色馬賽克網(wǎng)格。或者,例如,所述成像裝置110可以包括一個分層像素光敏元件陣列,其基于光敏元件的屬性分離不同波長的光。所述成像裝置110可以具有特定的功能以用于不同的應(yīng)用,例如溫度記錄、產(chǎn)生多譜圖像、紅外檢測、伽馬檢測、X射線檢測等。所述成像裝置110可以包括,例如,光電傳感器、熱/紅外傳感器、彩色或單色傳感器、多譜成像傳感器、分光光度計、分光儀、溫度計和/或照度計等。
如圖1所示,所述成像裝置110可以與一個或者多個控制器190界接。例如,所述成像裝置110中的每一個可以獲取目標(biāo)物150(圖4-5所示)的二維圖像120,并通過一個數(shù)據(jù)通信系統(tǒng)(未示出)將所述圖像120本地和/或遠(yuǎn)程地中繼至控制器190。所述控制器190可用于,例如,通過立體觀測,使用所述二維圖像120重構(gòu)所述目標(biāo)物150的三維描述,以根據(jù)成像裝置110與目標(biāo)物150之間的距離確定是否需要調(diào)整基線,以傳送和/或傳送控制信號給成像系統(tǒng)110的任何部件用于基線調(diào)整。額外地和/或可選地,所述控制器190可被有利地配置用于自動校正一個或多個外部參數(shù)用于立體成像。
所述控制器190可以包括任何在執(zhí)行圖像獲取、基線調(diào)整、校正以及本文描述的任何其他功能和操作時所需的處理硬件。非限制地,所述控制器190可以包括一個或者多個通用微處理器(例如,單核或者多核處理器)、專用集成電路、專用指令集處理器、圖形處理單元、物理處理單元、數(shù)字信號處理單元、協(xié)處理器、網(wǎng)絡(luò)處理單元、音頻處理單元、加密處理單元等。在某些實施方式中,所述控制器190可以包括圖像處理引擎或者媒體處理單元,其可以包括專用硬件以加強(qiáng)圖像獲取、過濾及處理操作的速度及效率。此類操作包括,例如,拜耳轉(zhuǎn)換、去馬賽克操作、減噪操作和/或圖像銳化/柔化操作。
在某些實施方式中,所述控制器190可以包括專用硬件用于執(zhí)行基線調(diào)整及參數(shù)校正。例如,可以提供專用硬件用于某些功能,包括但不限于,通過立體觀測使用所述二維圖像120重構(gòu)所述目標(biāo)物150的三維描述、基于成像裝置110和目標(biāo)物150之間的距離確定是否需要基線調(diào)整、確定最佳基線、傳送控制信號給成像系統(tǒng)100的任何部件用于基線調(diào)整、和/或校正一個或者多個外部參數(shù)用于立體成像。
在某些實施方式中,所述控制器190物理定位于所述成像裝置110附近,這種情況下控制器190以及成像裝置110之間的數(shù)據(jù)可以本地通信。本地通信的優(yōu)勢在于傳輸延遲減少,便于實時的基線調(diào)整、圖像處理及參數(shù)校正。在其他實施方式中,所述控制器190相對于所述成像裝置110遠(yuǎn)程定位。例如,由于重量限制或者關(guān)于成像系統(tǒng)100的操作環(huán)境的其他原因,遠(yuǎn)程處理可能會更好。作為一個非限制性示例,如果成像裝置110安裝于一個移動平臺上,例如無人飛行器200(UAV)上(圖11-13所示),可能需要將成像數(shù)據(jù)傳送給遠(yuǎn)程終端(未示出),例如地面終端或者基站,用于集中處理。例如當(dāng)多個無人飛行器200正在以協(xié)調(diào)的方式對一個指定的目標(biāo)物150成像時,可能需要集中處理。
在成像裝置110與控制器190之間進(jìn)行遠(yuǎn)程通信時,可以采用各種通信方法。適合的通信方法包括,例如,無線電、無線保真(Wi-Fi)、蜂窩、衛(wèi)星及廣播。示例性無線通信技術(shù)包括,但不限于,全球移動通信系統(tǒng)(GSM)、通用分組無線業(yè)務(wù)(GPRS)、碼分多址(CDMA)、寬帶碼分多址(W-CDMA)、CDMA2000、IMT單載波、GSM演進(jìn)增強(qiáng)數(shù)據(jù)率(EDGE)、長期演進(jìn)(LTE)、增強(qiáng)LTE、時分LTE(TD-LTE)、高性能無線局域網(wǎng)(HiperLAN)、高性能無線廣域網(wǎng)(HiperWAN)、高性能無線城域網(wǎng)(HiperMAN)、本地多點分配服務(wù)(LMDS)、全球互通微波存取(WiMAX)、ZigBee、藍(lán)牙、閃光正交頻分復(fù)用(Flash-OFDM)、大容量空分多址接入(HC-SDMA)、iBurst、通用移動通信系統(tǒng)(UMTS)、UMTS時分雙工(UMTS-TDD)、演化高速分組接入(HSPA+)、時分同步碼分多址接入(TD-SCDMA)、演進(jìn)數(shù)據(jù)優(yōu)化(EV-DO)、數(shù)字增強(qiáng)無線通信(DECT)以及其他。
在某些實施方式中,所述成像系統(tǒng)100可以包括一個或者多個所需的額外的硬件部件(未示出)。示例性額外的硬件部件包括,但不限于,存儲器(例如,隨機(jī)存取存儲器(RAM)、靜態(tài)隨機(jī)存取存儲器、動態(tài)隨機(jī)存取存儲器、只讀存儲器(ROM)、可編程只讀存儲器、可擦除可編程只讀存儲器、電可擦除可編程只讀存儲器、閃存、安全數(shù)字(SD)卡等),和/或一個或者多個輸入/輸出接口(例如,通用串行總線(USB)、數(shù)字視頻接口(DVI)、顯示端口、串行ATA(SATA)、IEEE 1394接口(也稱為火線)、串行接口、視頻圖形陣列(VGA)、超級視頻圖形陣列(SVGA)、小型計算機(jī)系統(tǒng)接口(SCSI)、高清晰度多媒體接口(HDMI)、音頻端口和/或?qū)S休斎?輸出接口)。非限制地,成像系統(tǒng)100根據(jù)需要也可以包括一個或者多個輸入/輸出裝置(例如,按鍵、鍵盤、鍵區(qū)、軌跡球、顯示器及監(jiān)視器)。
現(xiàn)參照圖2,成像系統(tǒng)100的一個示例性實施方式被示出為包括基線調(diào)整機(jī)構(gòu)170用于自動調(diào)整第一成像裝置110a以及第二成像裝置110b之間的基線b。所述成像系統(tǒng)100進(jìn)一步包括一個控制器190,如上述關(guān)于圖1詳細(xì)描述的。所述基線調(diào)整機(jī)構(gòu)170可以包括終端區(qū)域單元1001a及1001b(如圖10所示),用于分別附裝成像裝置110a及110b。所述基線調(diào)整機(jī)構(gòu)170可以使成像裝置110a及110b彼此相對移動。在一個實施方式中,一個成像裝置110可以動,而另一個成像裝置110不能動。在另一個實施方式中,兩個成像裝置110a及110b都可以動。由所述基線調(diào)整機(jī)構(gòu)170所導(dǎo)致的成像裝置之間的相互運動可以沿著一個單一的維度或者沿著一個以上的維度。在優(yōu)選實施方式中,所述相對運動是沿著一個單一維度。在另一個實施方式中,對于復(fù)雜的成像應(yīng)用,當(dāng)需要的時候,所述相對運動可以是沿著多個維度。
為了明晰起見,這里的基線b指的是第一成像裝置110a的中心(這里也稱之為原點)以及第二成像裝置110b的中心之間的距離。因此,這里的基線b的最小長度可能取決于成像裝置110的寬度。進(jìn)一步地,本示例中所述基線b的最大長度可能取決于所述基線調(diào)整機(jī)構(gòu)170所附于的物理系統(tǒng)的長度和/或所述成像系統(tǒng)100在其中操作的操作環(huán)境的尺寸。所述基線調(diào)整機(jī)構(gòu)170的運動范圍可進(jìn)一步取決于所述基線調(diào)整機(jī)構(gòu)170的具體實施。在某些示例性實施方式中,所述基線b的可調(diào)整范圍可以是從約3厘米到約20厘米。在某些示例性實施方式中,所述基線b的可調(diào)整范圍可以是3厘米到5厘米、3厘米到7厘米、3厘米到9厘米、3厘米到10厘米、3厘米到12厘米、3厘米到15厘米、3厘米到20厘米、5厘米到7厘米、5厘米到10厘米、5厘米到12厘米、5厘米到15厘米、5厘米到17厘米、5厘米到20厘米、5厘米到25厘米、7厘米到10厘米、7厘米到12厘米、7厘米到15厘米、7厘米到17厘米、7厘米到20厘米、7厘米到25厘米、10厘米到15厘米、10厘米到17厘米、10厘米到20厘米、10厘米到25厘米、或者10厘米到30厘米。在其他實施方式中,所述基線b可以增加到30厘米、35厘米、40厘米、50厘米、60厘米、70厘米、80厘米或者更長。在一個優(yōu)選實施方式中,所述基線b的范圍是從5厘米到15厘米。
現(xiàn)在參照圖3,示出了自動調(diào)整成像系統(tǒng)100的基線b的方法300的一個實施方式。在301,獲取成像系統(tǒng)100及目標(biāo)物150之間的物體距離Z。根據(jù)需要,所述物體距離Z可以使用若干不同方法中的任一種獲取。在某些實施方式中,所述物體距離Z可以通過立體觀測使用成像系統(tǒng)100中的多個成像裝置110獲取。例如,對于兩個成像裝置100,其中每一個都可以獲取目標(biāo)物150的圖像120(如圖4-5所示),并且所獲取的圖像120的重疊部分可被分析以評估目標(biāo)物150的景深。可選地和/或附加地,所述物體距離Z可以使用非立體觀測方法獲取,例如使用激光或者使用超聲波。在302,所述基線b根據(jù)所述物體距離Z自動調(diào)整。
現(xiàn)參照圖4,其中示出了使用立體觀測確定物體距離Z的方法,所述方法參考兩個成像裝置110:左成像裝置110a;右成像裝置110b。成像裝置110a及110b各自感測相同目標(biāo)物150,但是位于不同的空間坐標(biāo),如坐標(biāo)軸(x1,y1,z1)及(x2,y2,z2)所示。所述成像裝置110a及110b沿著它們各自的光軸130a及130b感測所述目標(biāo)物150,因此獲取目標(biāo)物150的兩個不同的二維圖像120a及120b。所述二維圖像120a及120b通常不同,因為是從不同的位置捕獲到的,除非將成像裝置110a及110b放置為使它們的光軸130a和130b一致。因此,在大部分情況下,可以發(fā)現(xiàn)雙目視差d(例如,方程式4中所示)位于圖像120a與120b之間,如以下參照圖5所描述。
現(xiàn)參照圖5,二維圖像120a及120b可以相對比,以確定一對成像裝置110a及110b(或者相當(dāng)?shù)?,成像系統(tǒng)100)和所述目標(biāo)物150之間的物體距離Z。三角測量法可以用于使用圖像120a及120b之間的雙目視差d確定物體距離Z。特別地,具有索引i,由其坐標(biāo)(Xi,Yi,Zi)表示的目標(biāo)物150的位置可以給出如下:
Xi=b*(xil–cx)/d 方程式(1)
Yi=b*(yil–cy)/d 方程式(2)
Zi=b*f/d 方程式(3)
其中cx及cy代表成像裝置110a及110b各自的中心坐標(biāo),xi及yi代表目標(biāo)物150在圖像120a及120b中一個或者兩個中的坐標(biāo),b是基線(換句話說,是成像裝置110a及110b的中心坐標(biāo)之間的距離),f是每一個成像裝置110a及110b的焦距(這里假設(shè)成像裝置具有相同的焦距),i是多個目標(biāo)物150上或者目標(biāo)物150的多個特征點155上的索引,以及d是圖像120a及120b之間的雙目視差,在此表示為:
基于上述原則,現(xiàn)參照圖6,示出了基于立體觀測,使用第一成像裝置110a及第二成像裝置110b獲取物體距離Z的方法600的示例性實施方式。在601,使用第一成像裝置110a獲取目標(biāo)物150的第一圖像120a(圖4及圖5中所示)。在602,使用第二成像裝置110b獲取目標(biāo)物150的第二圖像120b(圖4及圖5中所示)。根據(jù)需要,所述第一及第二圖像120a、120b可以同時獲取或者接續(xù)獲取。在一個優(yōu)選實施方式中,所述第一及第二圖像120a、120b有利地是同時獲取的,以減少由于目標(biāo)物150和/或成像系統(tǒng)100隨著時間而轉(zhuǎn)換引起的誤差。
在603,在確定一個雙目視差d之前,可選地,可以矯正所述目標(biāo)物150的第一及第二圖像120a、120b。即,圖像120a、120b可以被校正以去除失真,校正的方法例如,通過旋轉(zhuǎn)使所述圖像120a、120b置于相同的平面,縮放圖像120a、120b以使圖像120a、120b具有相同的尺寸,以及進(jìn)行偏斜調(diào)整使得圖像120a、120b的對應(yīng)像素排成一行。所述校正可以基于一組表示兩個成像裝置110之間平移及旋轉(zhuǎn)關(guān)系的外部參數(shù)而執(zhí)行。所述外部參數(shù)可以存儲于例如成像系統(tǒng)100的存儲器(未示出)中。
在604,在第一圖像120a及第二圖像120b之間可以找到雙目視差d。例如,特定目標(biāo)物150的雙目視差d可以基于所述目標(biāo)物150在第一圖像120a中的位置以及所述目標(biāo)物150在第二圖像120b中的位置而確定。確定目標(biāo)物150在一個選擇的圖像120中的位置可以通過任何期望的方式并可基于各種設(shè)置(例如,特寫、中距、遠(yuǎn)景、人物、風(fēng)景等)來進(jìn)行。所述目標(biāo)物150可以基于機(jī)器視覺和/或人工智能等方法來識別。合適的方法包括特征檢測、提取和/或匹配技術(shù),例如RANSAC(隨機(jī)抽樣一致(RANdom SAmple Consensus))、施和托馬西角點檢測、SURF(加速穩(wěn)健特征)斑點檢測、MSER(最大穩(wěn)定極值區(qū)域)斑點檢測、SURF(加速穩(wěn)健特征)描述符、SIFT(尺度不變特征變換)描述符、FREAK(快速視網(wǎng)膜關(guān)鍵點(Fast REtinA Keypoint))描述符、BRISK(二進(jìn)制穩(wěn)健不變尺度關(guān)鍵點)描述符、HOG(方向梯度直方圖)描述符等。相似地,這些方法可以用于識別目標(biāo)物150中的一個或者多個特征點155(圖5所示)。
在某些實施方式中,所述目標(biāo)物150可以包括成像裝置110的整個視野。例如,一個選擇的成像裝置110可以與所述目標(biāo)物150很接近,以使得所述目標(biāo)物150填充成像裝置110的整個視野。作為另一個示例,所述目標(biāo)物150可以是成像裝置110的視野內(nèi)的許多單獨個體的組合(例如,風(fēng)景),且并不需要聚焦所述組合中的單獨個體。在這種情況下,所述組合的圖像中的每一個像素都可以被視為一個單獨的特征點155,并且所述物體距離Z可以基于所述特征點155或者像素而確定。在某些實施方式中,所述目標(biāo)物150可以包括成像裝置110的視野的一部分。例如,可以指定所述視野的中心(例如,視野中中心10%、20%、30%、40%、50%、60%、70%、80%、或者90%的像素視野)作為目標(biāo)物150。在某些實施方式中,所述目標(biāo)物150可以包括第一成像裝置110a所獲取的第一圖像120a及第二成像裝置110b所獲取的第二圖像120b之間的重疊區(qū)域的所有或者部分。
在605,使用雙目視差d確定所述物體距離Z。例如,所述物體距離Z可以作為雙目視差d的函數(shù)、第一與第二成像裝置110a及110b之間的基線b以及第一與第二成像裝置110a及110b中的至少一個的焦距f,利用公式(1)-(4)確定。在某些實施方式中,所述第一及第二成像裝置110a及110b具有相同的焦距f。
現(xiàn)參照圖7,示出了使用目標(biāo)物150上的特征點155獲取物體距離Z的方法700的示例性實施方式。在701,獲取目標(biāo)物150上的多個特征點155。所述特征點155可以使用多種不同的方法獲取。在一個示例性實施方式中,所述特征點155被識別為目標(biāo)物150的預(yù)定形狀。在另一個實施方式中,所述特征點155被識別為目標(biāo)物150上具有特殊顏色或亮度的一個或多個部分。在另一個實施方式中,所述特征點155被選擇為目標(biāo)物150的隨機(jī)部分。在另一個實施方式中,所述特征點155在目標(biāo)物150上是按照規(guī)則隔開的間隔選擇的,例如,每一個像素、每隔一個像素、每第三個像素、每第四個像素等。所述特征點155根據(jù)需要可以具有變化的形狀和尺寸。在某些實施方式中,以上描述方法的結(jié)合可以用于選擇所述特征點155。
在702,可以確定每一個特征點155與所述成像系統(tǒng)100之間的特征距離z。每一個特征距離z可以使用任何適合的方式確定,包括通過使用由第一成像裝置110a(圖4及圖5中所示)捕獲的第一圖像120a(圖4及圖5中所示)中的特征點155的位置與由第二成像裝置110b(圖4及圖5中所示)捕獲的第二圖像120b(圖4及圖5中所示)中的特征點155的位置之間的雙目視差d。使用所述雙目視差d,所述特征距離z可以通過公式(1)-(4),以與如上參照圖3-6描述獲取物體距離Z相同的方式確定。
在703,使用在702確定的特征距離z確定所述物體距離Z。多種方法中的任何一種都可以用于根據(jù)目標(biāo)物150的單個特征距離z確定所述物體距離Z。在一個實施方式中,所述物體距離Z可以基于特征距離z的平均值確定。平均值的示例性類型可以包括算術(shù)平均、幾何平均、中值或者模。在另一個實施方式中,所述物體距離Z通過選擇特征點155中的一個或者多個特征點,并基于所選擇的的特征點155的特征距離z獲取所述物體距離Z來確定。根據(jù)選擇的特征點155的子集計算所述物體距離Z的好處包括,例如能夠過濾掉雜點、能夠過濾掉太遠(yuǎn)(或者太近)的特征點155,或者能夠基于亮度或者顏色過濾掉特征點155。例如,距離成像系統(tǒng)100太遠(yuǎn)的特征點155在估計物理距離Z時可能易于出錯。因此,在一個實施方式中,可以選擇距離所述成像系統(tǒng)100最近的特征點155的預(yù)定百分比,過濾之后剩下的特征點155可以用于確定所述物體距離Z。在某些實施方式中,所選擇的特征點155的百分比是10%、20%、30%、40%、50%、60%、70%、80%或者90%。在一個優(yōu)選實施方式中,特征點155的80%被選擇。在另一個優(yōu)選實施方式中,所述特征點155是圖像中的像素,且像素的80%被選擇用于確定所述物體距離Z。過濾掉不想要的特征點155之后,所選擇的(或者,換句話說,剩下的)距離所述成像系統(tǒng)100最遠(yuǎn)的特征點155可以用于確定物體距離Z。換種有些不同的說法,所述物體距離Z是所選擇的與成像系統(tǒng)100距離最遠(yuǎn)的特征點155的特征距離z。
現(xiàn)在請參照圖8,示出了根據(jù)物體距離Z自動調(diào)整基線b的方法800的示例性實施方式。所述方法800利用一個最小的基線bmin以及一個最大的基線bmax,所述最小基線及最大基線限定了基線b的一個優(yōu)選的范圍值。在某些實施方式中,bmin及bmax中的一個或者兩個可以是物體距離Z的函數(shù)。在某些實施方式中,bmin及bmax中的一個或者兩個可以獨立于所述物體距離Z。
在801,確定所述成像系統(tǒng)100的基線b(或者,換句話說,所述基線b的當(dāng)前值)。例如,所述基線b可以是一個內(nèi)部參數(shù),控制器190(如圖1所示)可以持續(xù)追蹤所述內(nèi)部參數(shù),和/或所述內(nèi)部參數(shù)可以存儲于一個存儲器(未示出)中??蛇x地和/或附加地,所述基線b可以基于一個基線調(diào)整機(jī)構(gòu)170(如圖2-3所示)和/或一個或者多個其部件的物理位置而確定。在確定了基線b之后,所述基線b可以與最小基線bmin以及一個最大基線bmax相比較,以確定是否需要進(jìn)行基線調(diào)整。
在802,所述基線b與所述最小基線bmin相比較。如果所述基線b大于或者等于所述最小基線bmin,則在805,確定所述基線b是否大于所述最大基線bmax。如果所述基線b小于所述最小基線bmin,則可選地,在803,進(jìn)一步確定所述基線b與最小基線bmin之間的差是否大于第一公差δ1。如果所述基線b與最小基線bmin之間的差大于所述第一公差δ1,則在804,增加所述基線b。如果所述基線b與最小基線bmin之間的差小于或者等于所述第一公差δ1,則在801,確定所述成像系統(tǒng)100的基線b。所述第一公差δ1可以取決于或可以不取決于(例如,作為其一部分)所述基線b和/或最小基線bmin.。
在805,確定基線b是否大于所述最大基線bmax。如果所述基線b小于或者等于所述最大基線bmax,則在808,確定所述基線b是否小于所述最大基線bmax。如果所述基線b大于所述最大基線bmax,則可選地,執(zhí)行806,在其中可選地進(jìn)一步確定所述基線b與所述最大基線bmax之間的差是否大于第二公差δ2。如果所述基線b與所述最大基線bmax之間的差大于所述第二公差δ2,則在807,減小所述基線b。如果所述基線b與所述最大基線bmax之間的差小于或者等于所述第二公差δ2,則在801,確定所述成像系統(tǒng)100的基線b。所述第二公差δ2可以取決于或者可以不取決于(例如,作為其一部分)所述基線b和/或最大基線bmax.。所述公差δ1和/或公差δ2可被有利地配置用于平衡基線調(diào)整,以使成像中斷最小化。
在808,確定所述基線b是否小于最大基線bmax。如果小于,則在809,可選地增加基線b直到所述基線b達(dá)到所述最大基線bmax。在809中可選地增加基線b的益處在于通過設(shè)置基線b達(dá)到所述最大基線bmax,可以以最小量的誤差來解析目標(biāo)物150。
對所述最小基線bmin的設(shè)置可以是例如基于以下事實,即當(dāng)基線b變小時,對遠(yuǎn)處物體的解析變得越來越困難。通過三角測量法,按照上述給的方程式(3),物體距離Z與基線b成正比,并且與雙目視差d成反比。因此,通過可以測量雙目視差d的分辨率能夠限制測量物體距離Z的精確度。例如,對于具有數(shù)字成像裝置110的數(shù)字成像系統(tǒng),雙目視差d的分辨率可以依賴于所述成像裝置110的分辨率。在圖像120中的小于一個像素的長度L的位置變換很難被數(shù)字成像裝置110檢測到。因此,在一個數(shù)字圖像中的物體的位置可能具有高達(dá)一個像素的長度L的誤差。當(dāng)在此使用兩個圖像確定了雙目視差d之后,所述雙目視差d的累積誤差可能高達(dá)2L(換句話說,兩個像素的長度)。因此,為了更加精確,所述最小基線bmin可以設(shè)置為將給出一個雙目視差d的值,所述雙目視差d的值可以是給定的物體距離Z的至少一個預(yù)定數(shù)量的像素長度,例如1、2、3、4、5、6、7、8、9、10或者更多個像素長度。在一個優(yōu)選實施方式中,所述最小基線bmin被設(shè)置為使得所述雙目視差d至少是給定物體距離Z的四個像素長度。換種有些不同的說法,所述最小基線bmin可以被設(shè)置為4*Z*L/f,其中Z是所述物體距離,L是至少一個所述成像裝置110的像素寬度,以及f是至少一個所述成像裝置110的焦距。在某些實施方式中,所述成像系統(tǒng)100的第一及第二成像裝置110a及110b可能具有相同的焦距f和/或相同的像素寬度L。
所述最大基線bmax可以是例如基于以下事實,即當(dāng)基線b太大時,兩個成像裝置110獲取的圖像120之間的重疊區(qū)域太小。因此,所述最大基線bmax可以基于維持所述圖像之間的重疊超過一個閾值,例如至少10%、20%、30%、40%、50%、60%、70%、80%或者90%。在優(yōu)選實施方式中,所述閾值是50%。在優(yōu)選實施方式中,所述自動調(diào)整包括增加基線b直到所述重疊達(dá)到所述閾值,例如50%。用數(shù)學(xué)表達(dá)來表示,所述最大基線bmax可以設(shè)置為Z*tan(θ/2),其中Z是所述物體距離及θ是至少一個成像裝置110的視角。在某些實施方式中,所述成像系統(tǒng)110的第一及第二成像裝置110a及110b具有相同的視角θ。
在成像系統(tǒng)100是一個移動平臺(例如無人飛行器200)(圖11-13所示),和/或所述成像系統(tǒng)100被安裝于所述移動平臺的實施方式中,所述基線調(diào)整可以有利地將所述移動平臺的操作模式作為考量因素。如果所述移動平臺是無人飛行器200,例如,所述操作模式可以包括無人飛行器200的飛行模式。例如,當(dāng)所述飛行模式是著陸模式時,所述基線b可以減小,因為所述無人飛行器200可以受益于在著陸期間無人飛行器200下面區(qū)域的特寫圖像。類似地,當(dāng)所述飛行模式為起飛模式時,所述基線b可以增加,因為所述無人飛行器200可以受益于在起飛期間無人飛行器200周圍的更好的可視性??蛇x地和/或附加地,當(dāng)所述飛行模式是航空圖像獲取模式時,所述基線b可以增加,因為在空中成像期間,通常視線越遠(yuǎn)越好。
現(xiàn)在參照圖9,示出了在自動調(diào)整基線b后校正成像系統(tǒng)100的外部參數(shù)的方法900的實施方式。外部參數(shù)包括,例如,三乘三的旋轉(zhuǎn)矩陣R以及三維平移向量t。換種有些不同的說法,所述外部參數(shù)可以包括在所述旋轉(zhuǎn)矩陣R內(nèi)的多個旋轉(zhuǎn)參數(shù),以及在所述平移向量t內(nèi)的多個平移參數(shù)。所述外部參數(shù)可以定義所述成像裝置110的相對位置,使得能夠使用立體成像技術(shù)對目標(biāo)物150進(jìn)行三維成像。在某些實施方式中,所述旋轉(zhuǎn)矩陣R可以是一個正交矩陣或者是一個標(biāo)準(zhǔn)正交矩陣。例如,可能期望RRT=I及RTR=I。在某些實施方式中,所述旋轉(zhuǎn)矩陣R的維度可以不是三乘三(例如,一個齊次矩陣)。在某些實施方式中,所述平移向量t的維度可以不是3。
在成像系統(tǒng)100的基線b調(diào)整之后,所述外部參數(shù)可能變得不準(zhǔn)確,需要校正(或者再校正)。通常,假設(shè)物體距離Z比基線b大得多,則基線調(diào)整將導(dǎo)致成像裝置110相對于目標(biāo)物在旋轉(zhuǎn)方向上相對小的變化。因此,在一個優(yōu)選實施方式中,所述外部參數(shù)可以使用兩步過程進(jìn)行校正。在901,平移參數(shù)t基于基線b的自動調(diào)整進(jìn)行初始校正。換種有些不同的說法,所述初始調(diào)整之后的外部參數(shù)為R0及λt0,其中,R0及t0是預(yù)先調(diào)整的外部參數(shù),以及λ是一個常數(shù),其反映達(dá)到t0所需的初始調(diào)整量。
例如,其中成像系統(tǒng)100的基線調(diào)整機(jī)構(gòu)170包括螺桿軸機(jī)構(gòu)1000(圖10所示),所述平移參數(shù)t的初始校正可以是基于所述螺桿軸機(jī)構(gòu)1000在基線調(diào)整過程中的旋轉(zhuǎn)度。所述基線調(diào)整量可以進(jìn)一步基于螺桿軸1002(圖10所示)的半徑以及槽間距。類似的方法可以用于其它基線調(diào)整機(jī)構(gòu)(例如齒條和齒輪機(jī)構(gòu)、曲柄滑塊機(jī)構(gòu)、線性馬達(dá)等)的平移參數(shù)t的初始校正。
在902,初始校正之后,所述外部參數(shù)R及t可以進(jìn)一步校正以最優(yōu)化。多種最優(yōu)化方法可以用于進(jìn)一步校正所述外部參數(shù)。適于最優(yōu)化的示例性算法包括線性編程、插值、元演算法、差分演化、演化算法、遺傳算法、動態(tài)松弛、爬山算法、隨機(jī)重啟算法、模擬退火、階梯下降等。在一個優(yōu)選實施方式中,所述進(jìn)一步校正使用如下描述的光束法平差優(yōu)化方法。例如,所述光束法平差優(yōu)化方法可以通過最小化如下的擬合函數(shù)的值來執(zhí)行:
這里,Pl及Pr分別代表第一成像裝置110a及第二成像裝置110b(圖4-5所示)的投影矩陣,xl及xr分別是第一成像裝置110a及第二成像裝置110b的位置,X是目標(biāo)物的位置,以及i是多個目標(biāo)物150(圖4-5所示)或者是多個特征點155(圖5所示)的索引。所述投影矩陣Pl及Pr可以通過如下關(guān)系式囊括所述外部參數(shù)R及t:
Pl=Kl[I0], 方程式(6)
Pr=Kr[Rt], 方程式(7)
其中Kl及Kr分別是第一成像裝置110a及第二成像裝置110b(圖4-5所示)的固有參數(shù),并且可以例如根據(jù)成像裝置的出廠設(shè)置確定。因此,一旦通過最小化方程式(5)的擬合函數(shù)得到最優(yōu)化值Pl及Pr,則可以基于所述固有參數(shù)Kl及Kr使用方程式(6)及(7)確定所述外部參數(shù)R及t。
上述相對于圖3-9描述的方法可以實施為計算機(jī)程序產(chǎn)品(未示出),所述計算機(jī)程序產(chǎn)品包括用于自動調(diào)整具有第一成像裝置110a及第二成像裝置110b的成像系統(tǒng)100的基線的指令。所述計算機(jī)程序產(chǎn)品的指令可以存儲在一個控制器190(圖1所示)上,例如,存儲器上。所述指令可以例如在所述控制器190的處理器(未示出)上執(zhí)行。所述控制器基于例如成像系統(tǒng)100以及目標(biāo)物150之間的物體距離Z以及基于所述物體距離Z所需的任何基線調(diào)整來產(chǎn)生控制信號。所述控制信號根據(jù)需要可以輸出至一個基線調(diào)整機(jī)構(gòu)170(圖2所示),以根據(jù)所述控制器的指令實現(xiàn)基線調(diào)整。
現(xiàn)參照圖10,基線調(diào)整機(jī)構(gòu)170的一個優(yōu)選實施方式被示出為包括一個螺桿軸機(jī)構(gòu)1000。所述螺桿軸機(jī)構(gòu)1000包括螺桿軸1002a及1002b,可旋轉(zhuǎn)地與其聯(lián)接的中心殼體1003,以及可旋轉(zhuǎn)地套在所述螺桿軸1002a及1002b上的終端區(qū)域單元1001a及1001b。每一個終端區(qū)域單元1001a及1001b可用于聯(lián)接到一個成像裝置110(未示出)。所述螺桿軸1002a及1002b可以通過一個致動器(未示出)彼此獨立旋轉(zhuǎn),所述致動器例如是步進(jìn)馬達(dá),使得終端區(qū)域單元1001a及1001b可以相對于彼此線性移動。每一個終端區(qū)域單元1001a及1001b可以有利地包括設(shè)于其內(nèi)的多個滾珠軸承(未示出),以減少與所述螺桿軸1002a及1002b的摩擦。用于基線調(diào)整的所述螺桿軸機(jī)構(gòu)1000的一個好處在于螺桿軸1002a及1002b的旋轉(zhuǎn)運動可以精確地轉(zhuǎn)換成終端區(qū)域單元1001a及1001b的平移運動,這可能對于基線b(圖2所示)的微調(diào)是所期望的。用于基線調(diào)整的所述螺桿軸機(jī)構(gòu)1000的另外一個好處在于線性運動的程度與旋轉(zhuǎn)運動的程度成正比,以允許基于例如螺桿軸1002a及1002b的半徑以及槽間距精確推斷基線調(diào)整量。
可選地和/或附加地,所述基線調(diào)整機(jī)構(gòu)170可以包括用于將旋轉(zhuǎn)運動轉(zhuǎn)換為線性運動的機(jī)構(gòu),例如,滑動曲柄機(jī)構(gòu)、齒條和齒輪機(jī)構(gòu)、線性馬達(dá)等。所述基線調(diào)整機(jī)構(gòu)170可進(jìn)一步包括額外的部件,用于促進(jìn)和/或?qū)崿F(xiàn)所述成像裝置110的線性或者非線性運動,包括但不限于,例如軌道系統(tǒng)及滑塊、端部軸承支架、滾珠絲杠、滑動襯套、滑動螺釘、傳送帶、帶輪等。
所述基線調(diào)整機(jī)構(gòu)170根據(jù)需要可以附在成像系統(tǒng)100的任何支撐結(jié)構(gòu)(未示出)上。進(jìn)一步地,盡管所述基線調(diào)整機(jī)構(gòu)170在圖10中僅為了說明的目的被描述為單一的單元,但所述基線調(diào)整機(jī)構(gòu)170不需要如此限制。在某些實施方式中,所述基線調(diào)整機(jī)構(gòu)170可以包括多個單元(例如,分離螺桿軸、齒條與齒輪、和/或滑動曲柄機(jī)構(gòu)),其分離地附在所述成像系統(tǒng)100的某些部位。在某些實施方式中,每一個成像裝置110可以附在所述基線調(diào)整機(jī)構(gòu)170的一個獨立的移動單元上。根據(jù)需要,所述基線調(diào)整機(jī)構(gòu)170可以有利地位于成像系統(tǒng)100不同的部位。當(dāng)所述基線調(diào)整機(jī)構(gòu)170作為一個單一的單元實施時,所述基線調(diào)整機(jī)構(gòu)170的旋轉(zhuǎn)將允許固定在其上的成像裝置110一起旋轉(zhuǎn),這對于成像裝置100之間的協(xié)調(diào)可能是有利的。即使成像裝置110分離地附在基線調(diào)整機(jī)構(gòu)170的獨立移動單元上,所述成像裝置110的旋轉(zhuǎn)也是可以協(xié)調(diào)的(例如,如圖1所示,通過控制器190)。
在圖11-13中,成像系統(tǒng)100的示例性實施方式被示出為其中所述成像系統(tǒng)100是一個移動平臺,例如無人飛行器(UAV)200。換種有些不同的說法,所述成像系統(tǒng)100可被安裝在所述移動平臺上,例如無人飛行器200上。在圖11-13中成像裝置110被示出為以不同配置安裝在無人飛行器200上。
無人飛行器200,通俗地稱為“無人駕駛飛機(jī)”,是沒有人類飛行員的飛行器,它的飛行是自主控制或者通過遠(yuǎn)程的飛行員控制(或者有時是兩者)。無人飛行器現(xiàn)在越來越廣泛地應(yīng)用在需要各種形式的空中數(shù)據(jù)收集的民事應(yīng)用中。各種類型的無人飛行器200都適于在成像系統(tǒng)100中使用。無人飛行器200的一種適合的類型例如是航拍旋翼飛行器,其由多個旋翼所驅(qū)動。一種適合類型的旋翼飛行器具有四個旋翼,且被稱為四軸飛行器、四旋翼直升機(jī)或四旋翼。適于本系統(tǒng)及方法用于成像(例如,立體成像)的示例性四軸飛行器包括當(dāng)前市售的多種模型。適于本系統(tǒng)及方法的無人飛行器200進(jìn)一步包括,但不限于,其他的旋翼設(shè)計,例如,單旋翼、雙旋翼、三旋翼、六旋翼及十旋翼設(shè)計。也可以采用固定翼無人飛行器200以及混合旋翼飛行器-固定翼無人飛行器。
現(xiàn)請參照圖11,一個示例性成像系統(tǒng)100被示出為無人飛行器200,其具有固定于其上的左(或者左舷)成像裝置110a以及右(或者右舷)成像裝置110b。各種成像裝置110都適于用在無人飛行器200上,其中一般優(yōu)選為所述成像裝置110輕巧而緊湊。在圖11的示例中,所述成像裝置110a及110b通過基線調(diào)整機(jī)構(gòu)170固定在無人飛行器200的下面。將成像裝置110a及110b置于無人飛行器200下面的好處在于下面的位置對無人飛行器的飛行操作的影響相對較小。進(jìn)一步地,將所述成像裝置110a及110b置于所述無人飛行器200的下面能夠?qū)o人飛行器200正下方的區(qū)域進(jìn)行成像,為著陸和/或其他空中監(jiān)測提供便利。所述基線調(diào)整機(jī)構(gòu)170可以是固定在無人飛行器200上的一個單一單元,或者是獨立地固定在所述無人飛行器200上的多個單元?;€b被示出為左、右成像裝置110a、110b的中心之間的距離。在本示例中,左、右成像裝置110a、110b物理抵持,且因此使基線b達(dá)到最小值。
在本示例中,基于來自控制器190(圖1所示)的控制信號,所述基線調(diào)整機(jī)構(gòu)170可以增加所述基線b到一個所需值,直到達(dá)到基于所述無人飛行器200的物理配置的最大值。所述基線b達(dá)到最大值的一個示例性實施方式相對于圖11的實施方式在圖12中示出。在本示例中,增加基線b的能力可進(jìn)一步依賴于所述無人飛行器200的額外部件,例如位于無人飛行器200橫向側(cè)面的起落架210。在本示例中,所述起落架210可能阻擋成像裝置110a及110b的視野和/或物理地阻止所述成像裝置110a及110b移動超過某個點。因此,在某些實施方式中,所述起落架210可能有利地是可伸縮的或者可自動移位。
現(xiàn)請參照圖13,另一個示例性成像系統(tǒng)100被示出為無人飛行器200,其具有固定在無人飛行器200的機(jī)體(或機(jī)身)220側(cè)面的左成像裝置110a及右成像裝置110b。在本示例中,所述成像裝置110a及110b通過所述基線調(diào)整機(jī)構(gòu)170的分離單元獨立地安裝于所述無人飛行器200上。本實施方式的優(yōu)點包括,如圖所示,所述基線b可以取較大的值,并且所述成像裝置110a及110b的視野不會被所述起落架210所阻擋。
現(xiàn)在請參照圖14,另一個示例性成像系統(tǒng)100被示出為無人飛行器200,其具有固定在所述無人飛行器200的一個可調(diào)框架250上的左成像裝置110a及右成像裝置110b。換種略有不同的說法,所述基線調(diào)整機(jī)構(gòu)170是所述可調(diào)框架250,或者可以是所述可調(diào)框架250的一部分。所述可調(diào)框架250可以包括一個或者多個可調(diào)件251,其可調(diào)地附在所述無人飛行器200的機(jī)身220上。作為一個非限制性示例,所述可調(diào)件251可用于相對于附接點252樞轉(zhuǎn)。在一個實施方式中,所述附接點252在機(jī)身220上。所述左成像裝置110以及右成像裝置110b可分別固定至所述可調(diào)件251的末端。圖14示出了緊湊配置的可調(diào)件251。調(diào)整可調(diào)件251的位置(例如,通過繞一個或者多個附接點252樞轉(zhuǎn))可以導(dǎo)致成像裝置110a及110b之間的基線b增加,從而達(dá)到如圖15所示的擴(kuò)展配置。類似地,如圖14所示,通過將所述可調(diào)件251折成緊湊配置,所述基線b可以根據(jù)需要減小。
在本示例中,所述成像裝置110a及110b通過所述基線調(diào)整機(jī)構(gòu)170的分離單元獨立地安裝于所述無人飛行器200上。本實施方式的優(yōu)點包括,如圖所示,所述基線b可以取較大的值,并且所述成像裝置110a及110b的視野不會被起落架210所阻擋。
在所述成像系統(tǒng)100是無人飛行器200(或者,相當(dāng)?shù)?,所述成像系統(tǒng)100安裝于一個無人飛行器200上)的實施方式中,所述控制器190可有利地用于根據(jù)所述無人飛行器的飛行模式執(zhí)行基線調(diào)整。例如,當(dāng)所述飛行模式為著陸模式時,所述控制器190可用于減小所述基線b??蛇x地和/或附加地,當(dāng)所述飛行模式為起飛模式時,所述控制器190可用于增加所述基線b。可選地和/或附加地,當(dāng)所述飛行模式為航空圖像獲取模式時,所述控制器190可用于增加所述基線b。
盡管在圖11-15所述成像裝置110相對于無人飛行器200對稱地放置,但所述成像裝置110并非必須對稱地放置。在某些實施方式中,所述成像裝置100的位置非對稱地放置。進(jìn)一步地,盡管只為了說明的目的關(guān)于無人飛行器200進(jìn)行了圖示和描述,但所述成像系統(tǒng)100可以是任何類型的移動平臺,或者安裝于任何類型的移動平臺上。示例性的合適移動平臺包括,但不限于,自行車、機(jī)動車、卡車、輪船、小船、火車、直升飛機(jī)、飛行器以及其各種混合等。
現(xiàn)在請參照圖16,示例性成像系統(tǒng)100被示出為包括用于確定成像系統(tǒng)100到目標(biāo)物150之間距離Z的部件。在一個優(yōu)選實施方式中,所述成像系統(tǒng)100的多個成像裝置110a和110b可以使用立體成像來確定所述物體距離,更加詳細(xì)的解釋請參照圖3的方法??蛇x地和/或附加地,所述物體距離Z可以使用一個或者多個能夠進(jìn)行深度評估的輔助裝置180來確定。
在一個實施方式中,所述輔助裝置180是一個激光器(例如,紅外激光器),其具有一個光源,能夠發(fā)出具有特殊空間結(jié)構(gòu)的光到目標(biāo)物150。此外,這種輔助激光設(shè)備180可配備一個鏡頭以及一個過濾芯片,用于接收從目標(biāo)物150發(fā)射的光??刂破?90(圖1所示)可以計算所接收的光的結(jié)構(gòu),并通過光結(jié)構(gòu)的變化,能夠感知目標(biāo)物150的結(jié)構(gòu)以及距離信息。所述激光器的功率能夠根據(jù)需要加強(qiáng),以適應(yīng)戶外環(huán)境,克服陽光的紅外特性。
在另一個實施方式中,所述輔助裝置180是一個超聲系統(tǒng)。超聲輔助裝置180可以例如具有一個或者多個超聲波發(fā)射器以及傳感器(例如,陣列式超聲換能器),用于使用目標(biāo)物150將超聲波返回到輔助裝置180所用的時間來確定所述物體距離Z。在某些實施方式中,所述超聲波輔助裝置180可以與一個或者多個成像裝置110集成為一個單一裝置(例如,集成為一個用于深度感知的RGB-D相機(jī))。使用多種類型的裝置感測物體距離的一個益處在于通過冗余性使得測量更加精確,并且對于在某種類型的輔助裝置180中可能產(chǎn)生誤差而在另一類型的輔助裝置180中可能不產(chǎn)生誤差的環(huán)境條件,所述測量更加穩(wěn)健和/或不受其干擾。
現(xiàn)在請參照圖17,示出了一個用于自動調(diào)整第一成像裝置110a(圖2所示)以及第二成像裝置110b(圖2所示)之間基線的獨立設(shè)備1700的示例性實施方式。所述用于自動基線調(diào)整的獨立設(shè)備1700的一個益處在于所述獨立設(shè)備1700可被準(zhǔn)備性配置用于不同的成像裝置110,例如,用于不同類型的成像裝置110或者用新的成像裝置110更換壞的成像裝置110。所述獨立設(shè)備1700進(jìn)一步的益處在于所述獨立設(shè)備1700可以用于不同的成像系統(tǒng)100(例如,用于不同的移動平臺,如不同的無人飛行器)。所述獨立設(shè)備1700包括一個用于調(diào)整基線b(圖2所示)的基線調(diào)整機(jī)構(gòu)170,以及一個用于使用所述基線調(diào)整機(jī)構(gòu)170,根據(jù)成像系統(tǒng)與目標(biāo)物150(未示出)之間的物體距離自動調(diào)整基線b的控制器190。所述基線調(diào)整機(jī)構(gòu)170相對于成像系統(tǒng)100(參照,例如,圖3)如前所述。所述基線調(diào)整機(jī)構(gòu)170根據(jù)需要可以包括各種部件,用于實現(xiàn)成像裝置110相對于彼此或者相對于環(huán)境的線性或者非線性運動。用于實現(xiàn)運動的示例性部件包括,但不限于,馬達(dá)(例如步進(jìn)馬達(dá))、螺桿軸機(jī)構(gòu)、滑動曲柄機(jī)構(gòu)、齒條和齒輪機(jī)構(gòu)、線性馬達(dá)等。額外的部件可以促進(jìn)和/或?qū)崿F(xiàn)成像裝置110的運動,包括但不限于滾珠軸承、軌道系統(tǒng)、滑塊、端部軸承支架、滾珠絲杠、滑動襯套、滑動螺釘、傳送帶、滑輪、各種類型的潤滑劑等。所述設(shè)備1700可以包括終端區(qū)域單元1001a及1001b,其用于相對于彼此線性移動。每一個終端區(qū)域單元1001a及1001b可以安裝有一個成像裝置110,從而允許成像裝置110相對于彼此的平移運動,并實現(xiàn)基線b(未示出)的調(diào)整。
所述控制器190控制所述基線調(diào)整機(jī)構(gòu)170的功能,從而能夠使得基線b的調(diào)整自動化。所述控制器190可以通過數(shù)據(jù)通信部件(例如,串行總線,未示出)傳送控制信號給基線調(diào)整機(jī)構(gòu)170。所述控制器190可進(jìn)一步接收和/或向外傳送用于基線調(diào)整的數(shù)據(jù)(例如,通過輸入/輸出端口)??蛇x地和/或附加地,所述控制器190可以使用遠(yuǎn)程數(shù)據(jù)通信系統(tǒng)(未示出)接收和/或向外傳送數(shù)據(jù)。由所述控制器190傳送的數(shù)據(jù)可包括,例如,給所述基線調(diào)整機(jī)構(gòu)170的控制信號。進(jìn)一步地,所述控制器可以接收由一個或者多個成像裝置110捕獲的圖像。所述控制器190也可以用于,例如,使用立體成像重構(gòu)目標(biāo)物150的三維描述,以基于目標(biāo)物150的物體確定是否需要調(diào)整基線,等等。所述控制器190可進(jìn)一步被有利地配置用于自動校正一個或者多個用于立體成像的外部參數(shù),如以上關(guān)于圖9的方法所更詳細(xì)討論的。
所公開的實施方式可具有各種修改及替代形式,并且其具體示例已在附圖中通過示例的方式示出并在本文中進(jìn)行了詳細(xì)描述。然而,應(yīng)理解,所公開的實施方式并不限于所公開的具體形式或方法,而是相反,所公開的實施方式意在涵蓋所有的修改、同等替換或替代形式。