本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種雙目攝像機(jī)系統(tǒng)。

背景技術(shù)：

立體視覺(jué)是機(jī)器視覺(jué)應(yīng)用中的重要組成部分，立體視覺(jué)使機(jī)器具有通過(guò)二維圖像認(rèn)知三維環(huán)境信息的能力，這種能力不僅使機(jī)器能夠感知三維環(huán)境中的物體的幾何信息(例如形狀、位置、姿態(tài)、運(yùn)動(dòng)狀態(tài)等)，而且還能夠?qū)ξ矬w進(jìn)行描述、存儲(chǔ)、識(shí)別與理解，以滿足特定的需求。

目前，在自動(dòng)駕駛領(lǐng)域，主要是通過(guò)在車輛上安裝雙目攝像機(jī)來(lái)實(shí)現(xiàn)立體視覺(jué)，雙目攝像機(jī)的工作原理如圖1所示：假設(shè)p為目標(biāo)點(diǎn)，a、b為兩個(gè)攝像機(jī)的鏡頭中心，e、f為攝像機(jī)a、b的成像點(diǎn)，則p點(diǎn)在a、b兩個(gè)攝像機(jī)中的視差d＝ec+df，根據(jù)公式z＝fq/d即可得到目標(biāo)點(diǎn)與雙目相機(jī)平面的距離，該公式中f為相機(jī)焦距、q為兩個(gè)攝像機(jī)光軸的間距、z為目標(biāo)點(diǎn)到兩個(gè)攝像機(jī)的平面的距離，采用該雙目攝像機(jī)即可計(jì)算出目標(biāo)物體到兩個(gè)攝像機(jī)的平面的距離，即實(shí)現(xiàn)了雙目測(cè)距功能。

然而，在車載端設(shè)置雙目攝像機(jī)進(jìn)行視頻拍攝的過(guò)程中，由于拍攝環(huán)境較為復(fù)雜，存在拍攝環(huán)境明暗差異較大情況(例如車輛進(jìn)出隧道、橋洞等)，如果一直采用固定的相機(jī)參數(shù)進(jìn)行拍攝，將可能會(huì)導(dǎo)致部分圖像太亮或太暗，從而導(dǎo)致拍攝得到的圖像質(zhì)量較差。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問(wèn)題，本發(fā)明提供一種雙目攝像機(jī)系統(tǒng)，使用該雙目攝像機(jī)系統(tǒng)進(jìn)行拍攝的過(guò)程中能夠及時(shí)調(diào)整攝像機(jī)相機(jī)參數(shù)以適用于各種拍攝環(huán)境，以實(shí)現(xiàn)在各種拍攝環(huán)境下均能拍攝得到質(zhì)量較佳的圖像。

一種雙目攝像機(jī)系統(tǒng)，包括：

雙目攝像機(jī)，用于采集圖像；

圖像傳輸裝置，用于將雙目攝像機(jī)采集的雙目圖像傳輸至圖像處理裝置；

圖像處理裝置，用于對(duì)接收到的雙目圖像進(jìn)行圖像處理；以及，根據(jù)所述雙目圖像確定拍攝環(huán)境，并根據(jù)拍攝環(huán)境調(diào)整所述雙目攝像機(jī)的相機(jī)參數(shù)。

本發(fā)明技術(shù)方案提供的雙目攝像機(jī)系統(tǒng)中，圖像處理裝置不僅能夠?qū)崿F(xiàn)對(duì)雙目圖像進(jìn)行圖像處理，并且還能夠根據(jù)雙目圖像確定當(dāng)前拍攝環(huán)境，并根據(jù)當(dāng)前拍攝環(huán)境調(diào)整雙目攝像機(jī)的相機(jī)參數(shù)，以使得調(diào)整相機(jī)參數(shù)之后的雙目攝像機(jī)適用于當(dāng)前拍攝環(huán)境，從而實(shí)現(xiàn)在拍攝過(guò)程中不斷調(diào)整相機(jī)參數(shù)以適應(yīng)不同拍攝環(huán)境的目的。

附圖說(shuō)明

附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。

圖1為雙目攝像機(jī)實(shí)現(xiàn)雙目測(cè)距的原理圖；

圖2為本發(fā)明實(shí)施例中雙目攝像機(jī)系統(tǒng)的結(jié)構(gòu)示意圖之一；

圖3為本發(fā)明實(shí)施例中雙目攝像機(jī)系統(tǒng)的結(jié)構(gòu)示意圖之二；

圖4為本發(fā)明實(shí)施例中雙目攝像機(jī)系統(tǒng)的結(jié)構(gòu)示意圖之三；

圖5為本發(fā)明實(shí)施例中第一濾波電路的結(jié)構(gòu)示意圖；

圖6為本發(fā)明實(shí)施例中第二濾波電路的結(jié)構(gòu)示意圖；

圖7為本發(fā)明實(shí)施例中雙目攝像機(jī)系統(tǒng)的結(jié)構(gòu)示意圖之四；

圖8為本發(fā)明實(shí)施例中對(duì)雙目圖像進(jìn)行處理得到不同圖像數(shù)據(jù)格式的圖像的示意圖；

圖9為本發(fā)明實(shí)施例中雙目攝像機(jī)系統(tǒng)的一種具體實(shí)例；

圖10為本發(fā)明實(shí)施例中配置max9271、max9286和圖形信號(hào)處理器之間的鏈路的設(shè)置列表。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明中的技術(shù)方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。

為便于本領(lǐng)域技術(shù)人員對(duì)本發(fā)明技術(shù)方案的理解，下面結(jié)合附圖對(duì)本方案進(jìn)行詳細(xì)的描述。

參見(jiàn)圖2，為本發(fā)明實(shí)施例中提供的雙目攝像機(jī)系統(tǒng)的結(jié)構(gòu)示意圖，該雙目攝像機(jī)系統(tǒng)包括雙目攝像機(jī)1、圖像傳輸裝置2和圖像處理裝置3，其中：

雙目攝像機(jī)1，用于采集圖像。

雙目攝像機(jī)1包括左目攝像機(jī)和右目攝像機(jī)。

圖像傳輸裝置2，用于將雙目攝像機(jī)采集的雙目圖像傳輸至圖像處理裝置。

圖像處理裝置3，用于對(duì)接收到的雙目圖像進(jìn)行圖像處理；以及，根據(jù)所述雙目圖像確定當(dāng)前拍攝環(huán)境，并根據(jù)當(dāng)前拍攝環(huán)境調(diào)整所述雙目攝像機(jī)的相機(jī)參數(shù)。

目前局限于現(xiàn)有的視頻傳輸方式(例如usb(universalserialbus，通用串行總線)傳輸、mii(mediaindependentinterface，介質(zhì)無(wú)關(guān)接口)/gmii(gigabitmediaindependentinterface，超高速介質(zhì)無(wú)關(guān)接口)網(wǎng)線連接等)無(wú)法實(shí)時(shí)、快速的遠(yuǎn)距離傳輸高清圖像，因此市面上的雙目攝像機(jī)的光軸距離普遍較短，大約為15厘米，因此，采用該雙目攝像機(jī)進(jìn)行雙目測(cè)距的距離有限?；谠搯?wèn)題，本發(fā)明技術(shù)方案改進(jìn)雙目圖像的傳輸方式，即在圖像傳輸裝置實(shí)現(xiàn)對(duì)雙目攝像機(jī)采集得到的圖像進(jìn)行編解碼，無(wú)需在攝像機(jī)和圖像處理裝置進(jìn)行編解碼，從而提高了視頻圖像傳輸實(shí)時(shí)性，因此，雙目攝像機(jī)的光軸距離不受限制，可以將雙目攝像機(jī)之間的光軸距離設(shè)置較大，進(jìn)而實(shí)現(xiàn)遠(yuǎn)距離雙目測(cè)距的目的。

如圖3為本發(fā)明實(shí)施例中圖像傳輸裝置2的結(jié)構(gòu)示意圖，該圖像傳輸裝置2包括：

編碼單元21，用于將雙目攝像機(jī)采集的雙目圖像分別轉(zhuǎn)換成數(shù)據(jù)信號(hào)，并將數(shù)據(jù)信號(hào)進(jìn)行編碼后通過(guò)同軸電纜傳輸給解碼單元22；

解碼單元22，用于對(duì)接收到的數(shù)據(jù)信號(hào)進(jìn)行解碼，并將解碼后的數(shù)據(jù)信號(hào)發(fā)送給所述圖像處理裝置3。

由于雙目攝像機(jī)需要供電，因此，為進(jìn)一步簡(jiǎn)化布線設(shè)計(jì)，本發(fā)明技術(shù)方案可通過(guò)一條同軸電纜同時(shí)傳輸電源信號(hào)和數(shù)據(jù)信號(hào)，因此，前述圖像傳輸裝置2還可進(jìn)一步包括濾波單元23，如圖4所示，其中：

濾波單元23，用于獲取電源信號(hào)，并將所述電源信號(hào)與所述數(shù)據(jù)信號(hào)進(jìn)行隔離后，通過(guò)所述同軸電纜將所述電源信號(hào)傳輸給所述編碼單元21。

優(yōu)選地，在一個(gè)具體實(shí)例中，所述濾波單元23包括分別設(shè)置在所述同軸電纜的兩端的第一濾波電路和第二濾波電路，其中：

第一濾波電路，用于獲取電源信號(hào)，并將電源信號(hào)與數(shù)據(jù)信號(hào)進(jìn)行隔離后將電源信號(hào)加載到所述同軸電纜上；

第二濾波電路，用于從所述同軸電纜上分離電源信號(hào)，并將分離出的電源信號(hào)傳輸給所述編碼單元21。

優(yōu)選地，本發(fā)明實(shí)施例中，編碼單元21可通過(guò)具有編碼功能的芯片或元器件實(shí)現(xiàn)，例如max9271芯片、max96705芯片等，本申請(qǐng)不做嚴(yán)格限定。

優(yōu)選地，本發(fā)明實(shí)施例中，解碼單元22可通過(guò)具有解碼功能的芯片或元器件實(shí)現(xiàn)，例如max9286芯片、max9272芯片等，本申請(qǐng)不做嚴(yán)格限定。

優(yōu)選地，本發(fā)明實(shí)施例中，前述第一濾波電路的結(jié)構(gòu)可如圖5所示，第二濾波電路可如圖6所示，圖5和圖6僅僅是一個(gè)具體示例，本領(lǐng)域技術(shù)人員可以根據(jù)圖5和圖6所示的電路進(jìn)行變形。

優(yōu)選地，在前述實(shí)施例中，圖像處理裝置3包括圖形信號(hào)處理器31和微處理器32，如圖7所示，其中：

圖形信號(hào)處理器31，用于從圖像傳輸裝置2接收雙目圖像，并對(duì)所述雙目圖像進(jìn)行圖像處理，將處理后的雙目圖像發(fā)送給微處理器32；

微處理器32，用于根據(jù)接收到的雙目圖像確定當(dāng)前拍攝環(huán)境，并根據(jù)所述當(dāng)前拍攝環(huán)境調(diào)整所述雙目攝像機(jī)1的相機(jī)參數(shù)。

優(yōu)選地，所述微處理器32具體可通過(guò)以下步驟a1～步驟a2實(shí)現(xiàn)，其中：

步驟a1、根據(jù)接收到的雙目圖像的亮度信息確定當(dāng)前拍攝環(huán)境；

步驟a2、從預(yù)存的拍攝環(huán)境與參數(shù)調(diào)整策略的第一對(duì)應(yīng)關(guān)系中，確定所述當(dāng)前拍攝環(huán)境對(duì)應(yīng)的參數(shù)調(diào)整策略，并根據(jù)確定的參數(shù)調(diào)整策略調(diào)整所述雙目攝像機(jī)的相機(jī)參數(shù)。

在該步驟a2中，根據(jù)確定的參數(shù)調(diào)整策略調(diào)整所述雙目攝像機(jī)的相機(jī)參數(shù)，可通過(guò)但不僅限于以下方式實(shí)現(xiàn)：微處理器32根據(jù)確定的參數(shù)調(diào)整策略確定所述雙目攝像機(jī)的目標(biāo)相機(jī)參數(shù)，并控制所述圖形信號(hào)處理器31根據(jù)所述目標(biāo)相機(jī)參數(shù)對(duì)所述雙目攝像機(jī)1的相機(jī)參數(shù)進(jìn)行調(diào)整。

本發(fā)明實(shí)施例中，相機(jī)參數(shù)可包括但不僅限于以下一種或多種：色度、飽和度、亮度、銳化、曝光強(qiáng)度、增益、白平衡、高動(dòng)態(tài)范圍等。

本發(fā)明實(shí)施例中，參數(shù)調(diào)整策略可以直接是相應(yīng)拍攝環(huán)境對(duì)應(yīng)的各相機(jī)參數(shù)的取值/取值范圍，還可以是對(duì)各相機(jī)參數(shù)進(jìn)行調(diào)整的操作信息，本申請(qǐng)不做嚴(yán)格的限定。不管調(diào)整參數(shù)策略是何種形式，均要使得調(diào)整后的相機(jī)參數(shù)符合當(dāng)前拍攝環(huán)境。

以幾個(gè)具體實(shí)例描述，當(dāng)拍攝環(huán)境為黑暗環(huán)境時(shí)，則對(duì)應(yīng)的參數(shù)調(diào)整策略為增大雙目攝像機(jī)的曝光時(shí)間和曝光強(qiáng)度的取值；和/或，當(dāng)拍攝環(huán)境為明暗相間時(shí)，則對(duì)應(yīng)的參數(shù)調(diào)整策略為調(diào)高動(dòng)態(tài)范圍值；和/或，當(dāng)拍攝環(huán)境為背對(duì)光線則對(duì)應(yīng)的參數(shù)調(diào)整策略為進(jìn)行背景補(bǔ)償。

優(yōu)選地，本發(fā)明實(shí)施例中，為滿足用戶對(duì)圖形信號(hào)處理器31輸出的圖像數(shù)據(jù)格式的不同需求，本發(fā)明實(shí)施例中，圖形信號(hào)處理器31可根據(jù)預(yù)先設(shè)置的圖像數(shù)據(jù)格式(后續(xù)稱為目標(biāo)圖像數(shù)據(jù)格式)選擇不同的圖像處理策略對(duì)接收到的雙目圖像進(jìn)行處理，以使得處理后的雙目圖像的圖像數(shù)據(jù)格式為用戶預(yù)先設(shè)置的目標(biāo)圖像數(shù)據(jù)格式。圖形信號(hào)處理器31具體可通過(guò)以下步驟b1～步驟b2實(shí)現(xiàn)：

步驟b1、根據(jù)預(yù)存的圖像數(shù)據(jù)格式與圖像處理策略的第二對(duì)應(yīng)關(guān)系，確定出預(yù)置的目標(biāo)圖像數(shù)據(jù)格式對(duì)應(yīng)的圖像處理策略。

步驟b2、根據(jù)確定出的圖像處理策略對(duì)接收到的雙目圖像進(jìn)行處理，得到數(shù)據(jù)格式為所述目標(biāo)圖像數(shù)據(jù)格式的雙目圖像。

以目標(biāo)圖像數(shù)據(jù)格式分別為raw12/16/20格式、raw/y12格式和yuv422格式為例，其各自對(duì)應(yīng)的圖像處理策略，如圖8所示：

當(dāng)目標(biāo)圖像數(shù)據(jù)格式為raw12/16/20格式時(shí)，圖形信號(hào)處理器31對(duì)接收到的雙目圖像依次進(jìn)行鏡頭陰影校正(lenc)、自動(dòng)白平衡處理(awb)、缺陷像素校正(dpc)、去噪(dns)、高動(dòng)態(tài)光照渲染(hdr)、色彩插補(bǔ)(cip)和色調(diào)映射(tonemapping)；

當(dāng)目標(biāo)圖像數(shù)據(jù)格式為raw/y12格式時(shí)，圖形信號(hào)處理器31對(duì)接收到的雙目圖像依次進(jìn)行鏡頭陰影校正(lensshadingcorrection，即lenc)、自動(dòng)白平衡處理(automaticwhitebalance，即awb)、缺陷像素校正(defectpixelcorrection，即dpc)、去噪(dns)、高動(dòng)態(tài)光照渲染(high-dynamicrange，即hdr)、色彩插補(bǔ)(cip)和分段線性處理(piecewiselinear，即pwl)；

當(dāng)目標(biāo)圖像數(shù)據(jù)格式為yuv422格式時(shí)，圖形信號(hào)處理器31對(duì)接收到的雙目圖像依次進(jìn)行鏡頭陰影校正(lenc)、自動(dòng)白平衡處理(awb)、缺陷像素校正(dpc)、去噪(dns)、線性延伸(linearstretch)、去噪(dns)、色彩插補(bǔ)(cip)、顏色矩陣處理(cmx)、伽馬變換(gamma)和rgb2yuvdns。

優(yōu)選地，本發(fā)明實(shí)施例中，所述圖形信號(hào)處理器31可通過(guò)但不僅限于ov490芯片實(shí)現(xiàn)。

下面以一具體的實(shí)例，對(duì)本發(fā)明實(shí)施例提供的雙目系統(tǒng)進(jìn)行詳細(xì)描述。在該實(shí)例中，如圖9所示，雙目攝像機(jī)1為兩個(gè)ov10640芯片；圖像傳輸裝置2包括兩個(gè)對(duì)兩個(gè)ov10640芯片采集的圖像進(jìn)行編碼的max9271芯片、以及對(duì)兩個(gè)max9271芯片進(jìn)行編碼后的圖像進(jìn)行解碼的max9286芯片，其中max9271芯片和max9286芯片通過(guò)同軸電纜連接；圖像處理裝置3包括ov490芯片和微處理器(后續(xù)用soc(system-on-a-chip)表示)。

在該實(shí)例中，ov10640芯片采集圖像輸出rawrgb數(shù)據(jù)(即未經(jīng)處理的原始圖像格式數(shù)據(jù))；max9271芯片對(duì)rawrgb數(shù)據(jù)進(jìn)行編碼得到gmsl串行數(shù)據(jù)，并通過(guò)同軸電纜將該gmsl(高速千兆多媒體串行鏈路)串行數(shù)據(jù)發(fā)送給max9286芯片；max9286芯片對(duì)接收到的gmsl串行數(shù)據(jù)進(jìn)行解碼得到rawrgb數(shù)據(jù)，并將該rawrgb數(shù)據(jù)通過(guò)mipicsi-2接口發(fā)送給ov490芯片；ov490芯片對(duì)接收到的rawrgb數(shù)據(jù)進(jìn)行處理輸出yuv格式的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)傳輸給soc；soc對(duì)接收到的圖像數(shù)據(jù)做進(jìn)一步的處理或者壓縮存儲(chǔ)。

本發(fā)明實(shí)施例中，ov490芯片可利用控制通道配置max9271芯片和max9286芯片的寄存器，控制通道包括以下兩種工作模式：基本模式和旁路模式，其中基本模式采用i2c或gmsluart(universalasynchronousreceiver/transmitter，異步收發(fā)傳輸器)協(xié)議，旁路模式采用用戶自定義的uart協(xié)議。當(dāng)ov490芯片設(shè)置max9271芯片和max9286芯片的工作模式之后開(kāi)啟視頻模式，即可實(shí)現(xiàn)從max9286芯片的mipicsi-2接口接收雙目圖像。配置ov490芯片設(shè)置max9271芯片和max9286芯片的鏈路過(guò)程如圖10所示。

本發(fā)明實(shí)施例中，soc可通過(guò)i2c總線對(duì)ov490芯片的參數(shù)進(jìn)行設(shè)置，即通過(guò)i2c總線控制ov490芯片的工作狀態(tài)，進(jìn)而設(shè)置雙目攝像機(jī)的相機(jī)參數(shù)?？刂苚v490芯片的soc不需要直接訪問(wèn)ov490芯片的內(nèi)部寄存器，可通過(guò)命令形式將確定的相機(jī)參數(shù)發(fā)送給ov490芯片，命令可包括但不僅限于以下一種或多種：色調(diào)調(diào)節(jié)、亮度調(diào)節(jié)、銳度調(diào)節(jié)、對(duì)比度調(diào)節(jié)、曝光/增益設(shè)置、白平衡設(shè)置、幀率設(shè)置、視頻流開(kāi)關(guān)控制、測(cè)試模式選擇等。例如，輸出命令cmd_hue_set即為色調(diào)調(diào)節(jié)命令，該命令的命令號(hào)為0xf5；輸出命令cmd_brightness_set即為亮度調(diào)節(jié)，該命令的命令號(hào)為0xf1。

本發(fā)明實(shí)施例提供的雙目攝像機(jī)系統(tǒng)，一方面，能夠?qū)崿F(xiàn)在拍攝過(guò)程中不斷調(diào)整相機(jī)參數(shù)以適應(yīng)不同拍攝環(huán)境，以確保在不同拍攝環(huán)境中拍攝得到的圖像質(zhì)量；另一方面，還能夠通過(guò)本發(fā)明實(shí)施例提供的圖像傳輸裝置解決現(xiàn)有技術(shù)中雙目攝像機(jī)的光軸間距過(guò)短的問(wèn)題，并且還能夠?qū)崿F(xiàn)通過(guò)一條同軸電纜實(shí)現(xiàn)電源信號(hào)的圖像數(shù)據(jù)信號(hào)的傳輸，簡(jiǎn)化布線設(shè)計(jì)。

以上是本發(fā)明的核心思想，為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明實(shí)施例中的技術(shù)方案，并使本發(fā)明實(shí)施例的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例中技術(shù)方案作進(jìn)一步詳細(xì)的說(shuō)明。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。