本文討論的實(shí)施例涉及繪圖裝置、繪圖方法和繪圖程序。

背景技術(shù)：

近年來(lái)，例如，環(huán)視監(jiān)視器已經(jīng)付諸實(shí)踐。關(guān)于環(huán)視監(jiān)視器，汽車設(shè)置有視場(chǎng)角相交疊的多個(gè)相機(jī)并且從多個(gè)相機(jī)獲得的圖像(視頻)按照合成處理進(jìn)行處理，使得駕駛員可以在其查看汽車四周的同時(shí)平行停放汽車或者將汽車停放在車庫(kù)中。

換言之，例如，繪圖裝置已經(jīng)付諸實(shí)踐。關(guān)于繪圖裝置，通過(guò)多個(gè)輸入裝置例如相機(jī)獲得的實(shí)際圖像被投影在被視為地面的三維投影面上，使得繪圖裝置模擬好像從上面觀察地面的視頻。

這樣的繪圖裝置(合成圖像的生成裝置)不限于設(shè)置在汽車中的環(huán)視監(jiān)視器(多角度環(huán)視監(jiān)視器)。例如，繪圖裝置還可以設(shè)置在火車、船、飛行器或者建筑中，或者可以應(yīng)用于監(jiān)視器相機(jī)、家用電器或玩具等。

在本說(shuō)明書中，將對(duì)具有設(shè)置在汽車的前方、后方、左方和右方的四個(gè)相機(jī)的環(huán)視監(jiān)視器進(jìn)行說(shuō)明作為繪圖裝置的示例。但是，如上所述，本實(shí)施例可以應(yīng)用于各種領(lǐng)域和對(duì)象，并且相機(jī)的數(shù)目不限于四個(gè)。

合成圖像(繪制圖像(drawn image)不限于從高的位置進(jìn)行俯瞰的圖像(俯視圖像)?？商娲?，例如，要理解的是，合成圖像(繪制圖像)可以是從天空對(duì)角地俯瞰的鳥(niǎo)瞰視圖圖像和從下向上看的蛙眼視圖圖像，或者是被執(zhí)行了各種合成處理的圖像。

如上所述，例如，已經(jīng)提出了各種方案作為用于通過(guò)對(duì)由多個(gè)相機(jī)捕獲的多個(gè)圖像數(shù)據(jù)進(jìn)行處理來(lái)獲得繪制圖像的繪圖技術(shù)。然而，例如，當(dāng)通過(guò)處理多個(gè)圖像數(shù)據(jù)來(lái)模擬繪制圖像(例如，俯視圖像)時(shí)，例如，執(zhí)行復(fù)雜的處理以例如基于三維(3D)坐標(biāo)選擇通過(guò)預(yù)定相機(jī)獲得的圖像數(shù)據(jù)以獲得高圖像質(zhì)量的模擬結(jié)果。

可替代地，因?yàn)榛诶缦鄼C(jī)的附接位置來(lái)對(duì)以多個(gè)相機(jī)獲得的多個(gè) 圖像數(shù)據(jù)進(jìn)行選擇，所以存在以下的問(wèn)題：難以獲得充分實(shí)現(xiàn)每個(gè)相機(jī)(鏡頭)的特性的高圖像質(zhì)量的模擬結(jié)果(繪圖數(shù)據(jù)(繪制圖像))。

附帶地，在過(guò)去，已經(jīng)提出了各種方案作為用于通過(guò)對(duì)由多個(gè)相機(jī)捕獲的多個(gè)圖像數(shù)據(jù)進(jìn)行處理來(lái)生成繪制圖像的繪圖技術(shù)。

專利文獻(xiàn)1：國(guó)際公布小冊(cè)No.WO2011/036892。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)實(shí)施例的一個(gè)方面，提出一種繪圖裝置，其包括第一控制單元和第二控制單元。第一控制單元從多個(gè)相機(jī)接收包括對(duì)象的多個(gè)圖像數(shù)據(jù)，并且輸出從通過(guò)參考LUT數(shù)據(jù)所執(zhí)行的坐標(biāo)變換中獲得的數(shù)據(jù)。

第二控制單元關(guān)于對(duì)象導(dǎo)出距所述多個(gè)圖像數(shù)據(jù)的光學(xué)中心的每個(gè)確定距離，基于確定距離選擇多個(gè)圖像數(shù)據(jù)中的一個(gè)圖像數(shù)據(jù)作為選擇圖像數(shù)據(jù)(selection image data)，以及通過(guò)導(dǎo)出與選擇圖像數(shù)據(jù)中的對(duì)象的像素相對(duì)應(yīng)的坐標(biāo)來(lái)重寫LUT數(shù)據(jù)。

發(fā)明效果

根據(jù)本實(shí)施例的繪圖裝置、繪圖方法和繪圖程序，可以通過(guò)執(zhí)行簡(jiǎn)單的處理來(lái)獲得高圖像質(zhì)量的繪圖數(shù)據(jù)。

附圖說(shuō)明

圖1為用于說(shuō)明如何通過(guò)將LUT數(shù)據(jù)應(yīng)用于原始圖像數(shù)據(jù)來(lái)獲得繪制圖像的圖；

圖2為用于說(shuō)明設(shè)置在汽車中的繪圖裝置的示例的圖(第一部分)；

圖3為用于說(shuō)明設(shè)置在汽車中的繪圖裝置的示例的圖(第二部分)；

圖4為用于說(shuō)明以圖2和圖3所示的繪圖裝置執(zhí)行的繪圖處理的示例的圖；

圖5為用于說(shuō)明以圖2和圖3所示的繪圖裝置執(zhí)行的繪圖處理的另一示例的圖；

圖6為用于說(shuō)明在圖5所示的繪圖處理中的LUT數(shù)據(jù)的生成處理的示例的流程圖；

圖7為示出設(shè)置在汽車中的繪圖裝置的相機(jī)布置的示例的圖；

圖8為用于說(shuō)明與圖7所示的繪圖裝置的相機(jī)布置相關(guān)聯(lián)的問(wèn)題的示例的圖；

圖9為用于說(shuō)明與圖7所示的繪圖裝置的相機(jī)布置相關(guān)聯(lián)的問(wèn)題的另一示例的圖；

圖10為示意性地示出根據(jù)本實(shí)施例的繪圖裝置的框圖；

圖11為用于說(shuō)明相機(jī)的鏡頭特性的示例的圖；

圖12為用于說(shuō)明由設(shè)置在汽車中的繪圖裝置的每個(gè)相機(jī)所捕獲的圖像數(shù)據(jù)的圖；

圖13為用于說(shuō)明根據(jù)本實(shí)施例的繪圖裝置中的LUT數(shù)據(jù)的重寫處理的示例的圖(第一部分)；

圖14為用于說(shuō)明根據(jù)本實(shí)施例的繪圖裝置中的LUT數(shù)據(jù)的重寫處理的示例的圖(第二部分)；

圖15為用于說(shuō)明根據(jù)本實(shí)施例的繪圖裝置中的LUT數(shù)據(jù)的生成處理的示例的流程圖；

圖16為示出圖10所示的繪圖裝置的配置的示例的框圖；

圖17為用于說(shuō)明根據(jù)本實(shí)施例的繪圖裝置的效果的圖；以及

圖18為示意性地示出對(duì)于圖10所示的繪圖裝置的修改的框圖。

具體實(shí)施方式

首先，在詳細(xì)說(shuō)明根據(jù)本實(shí)施例的繪圖裝置、繪圖方法和繪圖程序之前，將參照?qǐng)D1至圖9來(lái)說(shuō)明繪圖技術(shù)的示例以及與之相關(guān)聯(lián)的問(wèn)題。圖1為用于說(shuō)明如何通過(guò)將LUT(查找表)數(shù)據(jù)應(yīng)用于原始圖像數(shù)據(jù)來(lái)獲得繪制圖像的圖。

在圖1中，附圖標(biāo)記B1表示存儲(chǔ)原始圖像數(shù)據(jù)(紋理圖像)的緩沖器(SRC緩沖器)，附圖標(biāo)記B2表示存儲(chǔ)LUT數(shù)據(jù)(紋理坐標(biāo))的緩沖器(WARP緩沖器)。附圖標(biāo)記B3表示用于存儲(chǔ)繪圖結(jié)果(模擬結(jié)果)的繪制圖像的緩沖器(繪圖緩沖器)。

如圖1所示，例如，二維(2D)繪圖引擎通過(guò)參考WARP緩沖器B2中存儲(chǔ)的LUT數(shù)據(jù)來(lái)對(duì)SRC緩沖器B1中存儲(chǔ)的原始圖像數(shù)據(jù)執(zhí)行坐標(biāo) 變換，并且將其結(jié)果(繪圖結(jié)果)存儲(chǔ)至繪圖緩沖器B3。

圖2和圖3為用于說(shuō)明設(shè)置在汽車中的繪圖裝置的示例的圖，并且圖2和圖3用于示出根據(jù)由設(shè)置在汽車的前方、后方、左方和右方的四個(gè)相機(jī)捕獲的圖像數(shù)據(jù)來(lái)生成汽車的四周的圖像的環(huán)視監(jiān)視器。

在圖2中，附圖標(biāo)記100表示汽車(車輛)，附圖標(biāo)記CF表示前方相機(jī)、附圖標(biāo)記CB表示后方相機(jī)、附圖標(biāo)記CL表示左方相機(jī)以及附圖標(biāo)記CR表示右方相機(jī)。附圖標(biāo)記IF表示由前方相機(jī)CF捕獲的前方圖像，附圖標(biāo)記IB表示由后方相機(jī)CB捕獲的后方圖像，附圖標(biāo)記IL表示由左方相機(jī)CL捕獲的左方圖像，附圖標(biāo)記IR表示由右方相機(jī)CR捕獲的右方圖像，以及附圖標(biāo)記Io表示構(gòu)成的俯視圖像(從高的位置俯瞰的圖像)。

在圖3中，附圖標(biāo)記VP表示視點(diǎn)，附圖標(biāo)記CRoa表示右方相機(jī)CR(鏡頭)的光軸，以及附圖標(biāo)記PP表示投影面(Z＝0)。如圖2和圖3所示，繪圖裝置(環(huán)視監(jiān)視器)具有例如相機(jī)CF、CB、CL和CR——相機(jī)CF、CB、CL、CR的視場(chǎng)角為180度并且被設(shè)置在汽車100的前方、后方、左方、右方，并且繪圖裝置基于相機(jī)所提供的圖像(圖像數(shù)據(jù))IF、IB、IL、IR來(lái)構(gòu)成俯視圖像Io。

更具體地，例如，繪圖裝置對(duì)圖像IF、IB、IL、IR執(zhí)行合成處理，并且在與相機(jī)CF、CB、CL和CR的視野范圍中Z為零的投影面(地面)PP相對(duì)應(yīng)的三維投影面上生成(繪制)圖像(俯視圖像Io)。

換言之，如參照?qǐng)D1所說(shuō)明的，從相機(jī)CF、CB、CL、CR提供的圖像(實(shí)際圖像)IF、IB、IL、IR為紋理圖像，并且圖像IF、IB、IL、IR基于根據(jù)緩沖器B2中存儲(chǔ)的每個(gè)相機(jī)的位置所計(jì)算的紋理坐標(biāo)(LUT數(shù)據(jù))被映射。

如上所說(shuō)明的，2D繪圖引擎(二維圖形計(jì)算裝置)用于計(jì)算并且輸出基于紋理坐標(biāo)被映射的數(shù)據(jù)。該功能將被稱為L(zhǎng)UT(查找表)，并且保存紋理坐標(biāo)的緩沖器B2將被稱為WARP緩沖器。

在本說(shuō)明書中，將對(duì)環(huán)視監(jiān)視器進(jìn)行說(shuō)明作為示例，在環(huán)視監(jiān)視器中四個(gè)相機(jī)設(shè)置在汽車的前方、后方、左方和右方，并且生成俯視圖像。要理解的是，相機(jī)的數(shù)目不限于四個(gè)，并且所生成的圖像不限于俯視圖像。

此外，繪圖裝置不限于設(shè)置在汽車中的環(huán)視監(jiān)視器。例如，繪圖裝置還可以應(yīng)用于駕駛監(jiān)視器(drive monitor)或者應(yīng)用于設(shè)置在火車、船、 飛行器或建筑物中的監(jiān)視器，或者可以應(yīng)用于監(jiān)視器相機(jī)、家用電器或玩具等。

圖4為用于說(shuō)明由圖2和圖3所示的繪圖裝置執(zhí)行的繪圖處理的示例的圖。如圖4所示，在映射處理中通過(guò)參考WARP緩沖器B2中存儲(chǔ)的LUT數(shù)據(jù)來(lái)對(duì)存儲(chǔ)于SRC緩沖器B1中的前方、后方、左方和右方的紋理圖像(捕獲輸入)IF、IB、IL、IR進(jìn)行處理，并且生成中間文件。

前方、后方、左方和右方的中間文件(映射結(jié)果)在用于限定掩膜區(qū)域(圖4的阿爾法映射(alpha map)中的實(shí)心填充區(qū)域)的阿爾法混合(alpha blending)處理中被處理，并且存儲(chǔ)于繪圖緩沖器B3中的前方、后方、左方和右方的區(qū)域被確定為繪圖結(jié)果。注意，阿爾法映射的映射區(qū)域(掩膜區(qū)域)是固定的。

換言之，在前方、后方、左方和右方的中間文件中的交疊區(qū)域中，要確定將中間文件的哪個(gè)中間文件中的數(shù)據(jù)用于生成繪制圖像。如上所述，繪圖緩沖器B3(層0)存儲(chǔ)繪制圖像(俯視圖像)Io，并且從層0讀取俯視圖像Io，并且例如顯示俯視圖像Io。

如圖4所示，例如，2D繪圖引擎通過(guò)將LUT數(shù)據(jù)應(yīng)用于紋理圖像IF、IB、IL、IR來(lái)執(zhí)行映射處理四次以生成中間文件。此外，通過(guò)對(duì)四個(gè)中間文件執(zhí)行阿爾法混合處理來(lái)執(zhí)行映射處理四次以生成繪圖圖像。換言之，在圖4所示的繪圖處理中，由2D繪圖引擎進(jìn)行的映射處理被執(zhí)行八次。

圖5為用于說(shuō)明以圖2和圖3所示的繪圖裝置執(zhí)行的繪圖處理的另一示例的圖。

如圖5所示，在映射處理中通過(guò)參考存儲(chǔ)于WARP緩沖器B2中的LUT數(shù)據(jù)對(duì)存儲(chǔ)于SRC緩沖器B1中的前方、后方、左方和右方的紋理圖像IF、IB、IL和IR進(jìn)行處理，并且前方、后方、左方和右方的繪制圖像被存儲(chǔ)至繪圖緩沖器B3。

LUT數(shù)據(jù)包括掩膜區(qū)域(圖5的LUT數(shù)據(jù)中實(shí)心填充的區(qū)域)，并且通過(guò)在映射處理中基于LUT數(shù)據(jù)對(duì)紋理圖像IF、IB、IL、IR進(jìn)行處理所獲得的繪制圖像(部分繪制圖像)被存儲(chǔ)至繪圖緩沖器B3中的四個(gè)不同的層0至3。注意，LUT數(shù)據(jù)的映射區(qū)域(掩膜區(qū)域)是固定的。

然后，例如，當(dāng)在顯示器上顯示繪制圖像(俯視圖像)Io時(shí)，顯示器控制器讀取在繪圖緩沖器B3的層0至層3中存儲(chǔ)的四個(gè)部分繪制圖像， 構(gòu)成俯視圖像Io，并且在顯示器上顯示俯視圖像Io。

如圖5所示，例如，2D繪圖引擎可以通過(guò)將LUT數(shù)據(jù)應(yīng)用于紋理圖像IF、IB、IL、IR僅執(zhí)行映射處理四次，以生成部分繪制圖像。

然而，四個(gè)生成的部分繪制圖像被分別存儲(chǔ)至繪圖緩沖器B3的不同的層0至3，并且為了在顯示器上顯示繪制圖像，存儲(chǔ)于層0至層3中的部分繪制圖像通過(guò)顯示器控制器被組合。

如上所述，在圖4所示的繪圖處理中，使用2D繪圖引擎進(jìn)行的映射處理被執(zhí)行八次。在圖5所示的繪圖處理中，使用繪圖緩沖器B3中的四個(gè)層。此外，在圖4所示的繪圖處理和圖5所示的繪圖處理二者中，映射區(qū)域是固定的。

圖6為用于說(shuō)明圖5所示的繪圖處理中的LUT數(shù)據(jù)的生成處理的示例的流程圖。如圖6所示，當(dāng)LUT數(shù)據(jù)的生成處理開(kāi)始時(shí)，在步驟ST101中生成任意給定投影面的頂點(diǎn)坐標(biāo)，并且隨后執(zhí)行步驟ST102。

例如，投影面的頂點(diǎn)坐標(biāo)為通常例如在下述時(shí)候使用的XYZ(三維)空間中的頂點(diǎn)的坐標(biāo)：當(dāng)根據(jù)由布置在汽車的前方、后方、左方和右方的相機(jī)捕獲的圖像(IF、IB、IL、IR)通過(guò)執(zhí)行多邊形處理來(lái)生成俯視圖像時(shí)。

在步驟ST102中，根據(jù)相機(jī)位置、步驟ST101中生成的投影面的頂點(diǎn)坐標(biāo)等來(lái)生成紋理坐標(biāo)(LUT數(shù)據(jù))，并且然后結(jié)束LUT數(shù)據(jù)的生成處理。

在步驟ST102中基于投影面的頂點(diǎn)坐標(biāo)、相機(jī)位置等生成的紋理坐標(biāo)中，例如，如參照?qǐng)D5所說(shuō)明的，映射區(qū)域是固定的。

圖7為示出設(shè)置在汽車中的繪圖裝置的相機(jī)布置的示例的圖。認(rèn)為設(shè)置在汽車100的前方、后方、左方和右方的前方相機(jī)CF、后方相機(jī)CB、左方相機(jī)CL和右方相機(jī)CR包括180度的視場(chǎng)角。

此外，將前方相機(jī)CF朝向前方中心進(jìn)行附接，將后方相機(jī)CB朝向后方中心進(jìn)行附接，將左方相機(jī)CL在朝向左后方約45度處進(jìn)行附接，以及將右方相機(jī)CR在朝向右后方約15度處進(jìn)行附接。注意，相機(jī)CF、CB、CL、CR的附接角度僅為示例，并且要理解的是可以存在各種情況。

在圖7的俯視圖像Io中，附圖標(biāo)記R_FL表示由前方相機(jī)CF捕獲的前方圖像IF和由左方相機(jī)CL捕獲的左方圖像IL彼此交疊的區(qū)域，以及 附圖標(biāo)記R_FR表示前方圖像IF和由右方相機(jī)CR捕獲的右方圖像IR彼此交疊的區(qū)域。注意，附圖標(biāo)記R_F表示可以僅由前方相機(jī)CF捕獲的前方圖像IF中的區(qū)域。

在俯視圖像Io中，附圖標(biāo)記R_BL表示由后方相機(jī)CB捕獲的后方圖像IB與左方圖像IL彼此交疊的區(qū)域，附圖標(biāo)記R_BR表示后方圖像IB與右方圖像IR彼此交疊的區(qū)域，以及附圖標(biāo)記R_BLR表示后方圖像IB、左方圖像IL和右方圖像IR彼此交疊的區(qū)域。注意，附圖標(biāo)記R_LR表示左方圖像IL和右方圖像IR彼此交疊的區(qū)域。

此外，在俯視圖像Io中，附圖標(biāo)記R_L表示可以僅由左方相機(jī)CL捕獲的左方圖像IL中的區(qū)域，以及附圖標(biāo)記R_R表示可以僅由右方相機(jī)CR捕獲的右方圖像IR中的區(qū)域。

因此，由前方相機(jī)CF捕獲的前方圖像IF可以繪制俯視圖像Io中的區(qū)域R_FL、R_F和R_FR。由后方相機(jī)CB捕獲的后方圖像IB可以繪制俯視圖像Io中的區(qū)域R_BL、R_BLR和R_BR。

此外，由左方相機(jī)CL捕獲的左方圖像IL可以繪制俯視圖像Io中的區(qū)域R_FL、R_L、R_BL、R_BLR和R_LR。由右方相機(jī)CR捕獲的右方圖像IR可以繪制俯視圖像Io中的區(qū)域R_FR、R_R、R_LR、R_BR和R_BLR。

在圖7中，不能被捕獲的區(qū)域，例如R_BLR和R_LR，——因?yàn)檫@些區(qū)域被汽車100它自身所遮擋——不被予以考慮。實(shí)際上，這些區(qū)域、區(qū)域R_BLR和區(qū)域R_LR分別包括在R_BR和R_R中。

圖8為用于說(shuō)明與圖7所示的繪圖裝置的相機(jī)布置相關(guān)聯(lián)的問(wèn)題的示例的圖，并且圖8對(duì)根據(jù)固定相機(jī)映射處理的俯視圖像Io的繪制(合成)進(jìn)行說(shuō)明。圖8(a)示出固定相機(jī)映射區(qū)域的示例，以及圖8(b)示出此時(shí)所繪制的俯視圖像Io。

當(dāng)如圖8(a)所示繪制俯視圖像Io時(shí)，將固定相機(jī)映射區(qū)域F_F、F_B、F_L和F_R應(yīng)用于設(shè)置在汽車100的前方、后方、左方和右方的前方相機(jī)CF、后方相機(jī)CB、左方相機(jī)CL和右方相機(jī)CR，然后例如獲得圖8(b)。

換言之，基于固定相機(jī)映射區(qū)域F_F、F_B、F_L和F_R對(duì)來(lái)自相機(jī)CF、CB、CL、CR的圖像IF、IB、IL、IR進(jìn)行選擇，并且繪制俯視圖像Io。

然而，如參照?qǐng)D7所說(shuō)明的，例如，當(dāng)沒(méi)有將左方相機(jī)CL朝向左側(cè)的中心進(jìn)行附接而是在朝向左后方約45度處進(jìn)行附接時(shí)，由左方相機(jī)CL捕獲的圖像IL不能覆蓋映射區(qū)域F_L的全部區(qū)域，并且可能存在缺失區(qū)域 DD。

如上所述，當(dāng)通過(guò)執(zhí)行固定相機(jī)映射處理來(lái)繪制俯視圖像時(shí)，以固定方式確定每個(gè)相機(jī)的映射區(qū)域(圖像(視頻)的使用范圍)。因此，由未示出考慮中的位置的相機(jī)捕獲的圖像可能根據(jù)相機(jī)位置而被使用。

作為結(jié)果，繪制的俯視圖像可能包括缺失區(qū)域。該關(guān)于俯視圖像(繪制圖像)中的缺失區(qū)域的問(wèn)題與從由多個(gè)相機(jī)捕獲的圖像中所選的最優(yōu)(最高質(zhì)量)圖像的選擇有關(guān)。

換言之，當(dāng)通過(guò)執(zhí)行固定相機(jī)映射處理來(lái)繪制俯視圖像時(shí)，在繪圖結(jié)果中使用了低質(zhì)量圖像，或者使用了由實(shí)際上并未示出期望部分的相機(jī)捕獲的圖像。這使得難以獲得最優(yōu)的繪圖結(jié)果。

用戶可能能夠基于繪圖結(jié)果(俯視圖像)來(lái)細(xì)微地調(diào)節(jié)每個(gè)相機(jī)的視頻的使用范圍。然而，例如，通過(guò)用眼睛進(jìn)行目測(cè)，難以找到哪些相機(jī)提供了最高質(zhì)量的視頻并且對(duì)于任意給定像素是最佳的。

圖9為用于說(shuō)明與圖7所示的繪圖裝置的相機(jī)布置相關(guān)聯(lián)的問(wèn)題的另一示例的圖，并且圖9用于說(shuō)明根據(jù)最近位置的相機(jī)映射處理的俯視圖像Io的繪制以使用由最接近的位置處的相機(jī)捕獲的圖像。圖9(a)示出最近位置處的相機(jī)映射區(qū)域的示例。圖9(b)示出此時(shí)繪制的俯視圖像Io。

當(dāng)如圖9(a)所示繪制俯視圖像Io時(shí)，將最近位置的相機(jī)映射區(qū)域N_F、N_B、N_L和N_R應(yīng)用于設(shè)置在汽車100上的前方相機(jī)CF、后方相機(jī)CB、左方相機(jī)CL和右方相機(jī)CR，然后例如獲得圖9(b)。

換言之，基于最近位置處的相機(jī)映射區(qū)域N_F、N_B、N_L和N_R對(duì)來(lái)自相機(jī)CF、CB、CL、CR的圖像IF、IB、IL、IR進(jìn)行選擇，并且繪制俯視圖像Io。

然而，例如，當(dāng)將左方相機(jī)CL在朝向左右方約45度處進(jìn)行附接，并且將右方相機(jī)CR在朝向右后方約15度處進(jìn)行附接時(shí)，缺失區(qū)域DD1、DD2、DD3、DD4會(huì)出現(xiàn)于汽車100的四個(gè)角的部分中。

如上所述，當(dāng)通過(guò)執(zhí)行最近位置的相機(jī)映射處理來(lái)繪制俯視圖像時(shí)，例如，附接的相機(jī)的方向未被予以考慮。因此，因?yàn)橛捎谙鄼C(jī)的方向而不存在于圖像中的部分，所以繪制的俯視圖像包括缺失區(qū)域。

換言之，當(dāng)通過(guò)執(zhí)行最近位置的相機(jī)映射處理來(lái)繪制俯視圖像時(shí)，在繪圖結(jié)果中同樣使用了低質(zhì)量圖像，或者使用了由實(shí)際上并未示出期望部 分的相機(jī)所捕獲的圖像。這使得難以獲得高圖像質(zhì)量的繪圖數(shù)據(jù)(最優(yōu)繪圖結(jié)果)。注意，例如，為了通過(guò)考慮相機(jī)的方向來(lái)確定任意給定像素是否被示出，執(zhí)行針對(duì)該確定的額外的處理——這并非優(yōu)選的。

在下文中將參照附圖來(lái)說(shuō)明繪圖裝置、繪圖方法和繪圖程序的實(shí)施例。圖10為示意性地示出根據(jù)本實(shí)施例的繪圖裝置的框圖。

如圖10所示，根據(jù)本實(shí)施例的繪圖裝置包括第一控制單元(2D繪圖引擎)1、第二控制單元(LUT計(jì)算裝置)2和LUT 3，并且繪圖裝置被配置成根據(jù)由多個(gè)相機(jī)51、52捕獲的多個(gè)圖像數(shù)據(jù)I1、I2來(lái)生成繪制圖像(合成圖像)。在該相機(jī)中，設(shè)置了至少兩個(gè)相機(jī)，并且由至少兩個(gè)相機(jī)捕獲的至少兩個(gè)圖像包括示出相同對(duì)象(subject)的區(qū)域。

在根據(jù)本實(shí)施例的繪圖裝置中，第一控制單元1從多個(gè)相機(jī)51、52接收包括對(duì)象的多個(gè)圖像數(shù)據(jù)I1、I2，并且將從通過(guò)參考LUT(LUT數(shù)據(jù))3所執(zhí)行的坐標(biāo)變換中獲得的數(shù)據(jù)輸出至顯示器4作為繪圖數(shù)據(jù)。

第二控制單元2從關(guān)于對(duì)象的多個(gè)圖像數(shù)據(jù)I1、I2中的每個(gè)圖像數(shù)據(jù)的光學(xué)中心導(dǎo)出確定距離(d)，并且基于確定距離來(lái)選擇多個(gè)圖像數(shù)據(jù)中的一個(gè)圖像數(shù)據(jù)作為選擇圖像數(shù)據(jù)。

此外，第二控制單元2導(dǎo)出與選擇圖像數(shù)據(jù)中的對(duì)象的像素相對(duì)應(yīng)的坐標(biāo)，并且重寫存儲(chǔ)于LUT 3中的LUT數(shù)據(jù)。例如，第二控制單元2基于相機(jī)特性(相機(jī)的相機(jī)特性)來(lái)導(dǎo)出與多個(gè)圖像數(shù)據(jù)I1、I2中拍攝的相同位置(對(duì)象的同一像素)相對(duì)應(yīng)的坐標(biāo)，并且重寫LUT數(shù)據(jù)。

相機(jī)特性可以包括例如由鏡頭所引起的特性例如鏡頭數(shù)據(jù)(鏡頭畸變數(shù)據(jù))以及由圖像捕獲設(shè)備(例如，CMOS圖像傳感器)和圖像引擎等所引起的特性。

然而，為了簡(jiǎn)化說(shuō)明，認(rèn)為多個(gè)相機(jī)51、52包括相同的鏡頭視場(chǎng)角和相同的圖像捕獲設(shè)備等，并且通過(guò)主要聚焦于由于鏡頭特性而引起的每個(gè)圖像捕獲區(qū)域中的圖像質(zhì)量來(lái)描述相機(jī)特性。

圖11為用于說(shuō)明相機(jī)的鏡頭特性的示例的圖，并且圖11示出由相機(jī)(51、52)捕獲的圖像數(shù)據(jù)I(I1、I2)的示例。如圖11所示，在圖像數(shù)據(jù)(幀存儲(chǔ)器上的二維圖像數(shù)據(jù))I中、距離圖像中心O的距離較長(zhǎng)的外圍部分中，分辨率和焦度較低，并且畸變較大，然后可以理解為圖像質(zhì)量較低。

換言之，應(yīng)用于繪圖裝置的相機(jī)的鏡頭通常為具有寬的視場(chǎng)角(例如， 180度的視場(chǎng)角)的被稱為魚眼鏡頭或(超)廣角鏡頭的鏡頭，該鏡頭在接近于鏡頭的光軸的圖像捕獲區(qū)域(距離圖像中心O的距離較短的中心部分)中實(shí)現(xiàn)高的圖像質(zhì)量。

即，一般而言，廣角(魚眼)鏡頭由于漸暈(vegnette)和壓縮而在較接近于光軸中心(圖像中心)的像素處實(shí)現(xiàn)較高的繪圖精度，并且在與光軸中心較遠(yuǎn)的像素處實(shí)現(xiàn)較低的繪圖精度。因此，在考慮表示真實(shí)世界中的任意給定點(diǎn)的像素(對(duì)象的考慮中的位置OP)時(shí)，所有相機(jī)的最高圖像質(zhì)量的像素可以被認(rèn)為通常是最接近于光軸中心的像素。

因此，在圖10所示的根據(jù)本實(shí)施例的繪圖裝置中，例如，第二控制單元2重寫LUT數(shù)據(jù)以基于相機(jī)特性(鏡頭特性)選擇多個(gè)圖像數(shù)據(jù)I1、I2中的確定距離d最短的一個(gè)圖像數(shù)據(jù)作為選擇圖像數(shù)據(jù)。

即使在相機(jī)51的鏡頭特性并未使得圖像質(zhì)量簡(jiǎn)單地根據(jù)確定距離d的長(zhǎng)度而下降時(shí)，圖10所示的繪圖裝置仍有效。例如，圖10所示的繪圖裝置即使在下述時(shí)候仍有效：相機(jī)51的鏡頭特性使得圖像質(zhì)量降低直到確定距離d變?yōu)轭A(yù)定距離為止，但是圖像質(zhì)量此后提高并且然后圖像質(zhì)量再次降低。

換言之，例如，當(dāng)確定距離d大于預(yù)定距離并且達(dá)到較高的圖像質(zhì)量時(shí)，第二控制單元2將確定距離d乘以常數(shù)(＜1)以確定用于根據(jù)基于鏡頭特性的確定距離d來(lái)選擇圖像數(shù)據(jù)I1和I2中的任一圖像數(shù)據(jù)的確定距離。

如上所述，例如，當(dāng)存在雖然確定距離d較長(zhǎng)但是圖像質(zhì)量仍較高的區(qū)域時(shí)，將與該區(qū)域相對(duì)應(yīng)的確定距離d乘以小于“1”的常數(shù)，這使得易于選擇高圖像質(zhì)量區(qū)域中的圖像數(shù)據(jù)。

例如，當(dāng)相機(jī)51、52的鏡頭的視場(chǎng)角不同時(shí)或者當(dāng)基于圖像捕獲設(shè)備等的特性在相機(jī)51、52中不同時(shí)，可以通過(guò)對(duì)確定距離d執(zhí)行預(yù)定的處理來(lái)選擇最優(yōu)圖像數(shù)據(jù)。注意，這樣的處理可以通過(guò)應(yīng)用例如各種已知方法來(lái)實(shí)現(xiàn)。

例如，根據(jù)本實(shí)施例的上面說(shuō)明的繪圖裝置可以應(yīng)用于具有四個(gè)相機(jī)——四個(gè)相機(jī)附接至汽車的前方、后方、左方和右方——的環(huán)視監(jiān)視器，并且由這些相機(jī)捕獲的圖像在合成處理中進(jìn)行處理，使得生成(繪制)俯視圖像并且在顯示器4上顯示。

本實(shí)施例不限于設(shè)置在汽車中的環(huán)視監(jiān)視器。例如，本實(shí)施例還可以 應(yīng)用于駕駛監(jiān)視器或者設(shè)置在火車、船、飛行器或建筑物中的監(jiān)視器，或者可以應(yīng)用于監(jiān)視器相機(jī)、家用電器或玩具等。相機(jī)的數(shù)目不限于四個(gè)，并且所生成的圖像不限于俯視圖像。

此外，多個(gè)相機(jī)的視場(chǎng)角和捕獲的圖像的分辨率通常相同，但是不必須應(yīng)用相同的視場(chǎng)角和分辨率。在該情況下，例如，由第二控制單元2執(zhí)行的比較處理(基于確定距離d的圖像數(shù)據(jù)的選擇處理)被修改成選擇最優(yōu)圖像數(shù)據(jù)作為選擇數(shù)據(jù)。

圖12為用于說(shuō)明由設(shè)置在汽車中的繪圖裝置的每個(gè)相機(jī)所捕獲的圖像數(shù)據(jù)的圖。圖12示出以下的環(huán)視監(jiān)視器的情況：該環(huán)視監(jiān)視器根據(jù)由設(shè)置在汽車(車輛)100的前方、后方、左方和右方的四個(gè)相機(jī)CF、CB、CL、CR所捕獲的圖像數(shù)據(jù)(IF、IB、IL、IR)來(lái)生成汽車四周的圖像(俯視圖像)Io。

在圖12中，就像上面所說(shuō)明的圖7，將左方相機(jī)CL在朝向左后方約45度處進(jìn)行附接，以及將右方相機(jī)CR在朝向右后方約15度處進(jìn)行附接。換言之，將前方相機(jī)CF的光軸CFoa朝向前方中心進(jìn)行定位，將后方相機(jī)CB的光軸CBoa朝向后方中心進(jìn)行定位，將左方相機(jī)CL的光軸CLoa在朝向左后方約45度處進(jìn)行定位，以及將右方相機(jī)CR的光軸CRoa在朝向右后方約15度處進(jìn)行定位。

將考慮以下情況：如上所述，例如，根據(jù)由相機(jī)CF、CB、CL、CR捕獲的圖像數(shù)據(jù)IF、IB、IL、IR來(lái)構(gòu)成(繪制)俯視圖像(與Z為零的投影面(地面)相對(duì)應(yīng)的三維投影面的圖像)Io，其中，相機(jī)CF、CB、CL、CR的視場(chǎng)角為180度并且設(shè)置在汽車100的前面、后方、左方和右方。

如圖12所示，首先，通過(guò)相機(jī)CF、CB、CL、CR中的全部相機(jī)來(lái)捕獲對(duì)象(周圍環(huán)境)。此時(shí)，例如，俯視圖像Io中沿左前方向的位置(對(duì)象的考慮中的位置OP)在視場(chǎng)角之外。因此，該位置不能通過(guò)后方相機(jī)CB和右方相機(jī)CR捕獲并且該位置僅包括在由前方相機(jī)CF和左方相機(jī)CL捕獲的圖像數(shù)據(jù)IF和IL中。

在本實(shí)施例中，從通過(guò)在由全部相機(jī)CF、CB、CL、CR捕獲的圖像數(shù)據(jù)IF、IB、IL、IR中捕獲相同對(duì)象而獲得的多個(gè)圖像數(shù)據(jù)中選擇具有最優(yōu)選的圖像質(zhì)量的數(shù)據(jù)作為繪圖數(shù)據(jù)(選擇數(shù)據(jù))，并且將具有最優(yōu)選的圖像質(zhì)量的數(shù)據(jù)用于俯視圖像Io的生成。

換言之，根據(jù)本實(shí)施例，對(duì)LUT數(shù)據(jù)進(jìn)行重寫使得從通過(guò)以重疊方式捕獲對(duì)象的考慮中的位置OP所獲得的至少兩個(gè)圖像數(shù)據(jù)中選擇最高圖像質(zhì)量數(shù)據(jù)，并且將所選的最高圖像質(zhì)量數(shù)據(jù)用于繪制俯視圖像Io。

圖13和圖14為用于說(shuō)明根據(jù)本實(shí)施例的繪圖裝置中的LUT數(shù)據(jù)的重寫處理的示例的圖。圖13對(duì)應(yīng)于上面所說(shuō)明的圖7，并且圖13示出俯視圖像Io中的對(duì)象的考慮中的位置OP以及通過(guò)附接至汽車100的前方、后方、左方和右方的相機(jī)CF、CB、CL、CR所捕獲的圖像(圖像數(shù)據(jù))IF、IB、IL、IR。

圖14(a)示出前方圖像數(shù)據(jù)IF的處理。圖14(b)示出左方圖像數(shù)據(jù)IL的處理。如圖13所示，對(duì)象的考慮中的位置OP存在于區(qū)域R_FL中。因此，對(duì)象的考慮中的位置OP包括在圖像數(shù)據(jù)IF和IL中作為考慮中的位置OP_F和OP_L，但是對(duì)象的考慮中的位置OP并不包括在圖像數(shù)據(jù)IB和IR中。

換言之，在上面說(shuō)明的圖10所示的繪圖裝置中，第二控制單元2根據(jù)相機(jī)特性(鏡頭數(shù)據(jù)(鏡頭畸變數(shù)據(jù)))識(shí)別出對(duì)象的考慮中的位置OP在后方相機(jī)CB和右方相機(jī)CR的圖像捕獲范圍之外。

鏡頭畸變數(shù)據(jù)包括關(guān)聯(lián)表，關(guān)聯(lián)表包括例如相對(duì)于相機(jī)的光軸的向量(或者通過(guò)光軸形成的入射角)以及形成圖像的二維坐標(biāo)(或者實(shí)際圖像高度)。

因此，第二控制單元2對(duì)由前方相機(jī)CF捕獲的前方圖像數(shù)據(jù)IF以及由左方相機(jī)CL捕獲的左方圖像數(shù)據(jù)IL執(zhí)行參照?qǐng)D14說(shuō)明的處理，并且第二控制單元2執(zhí)行處理以確定采用哪些圖像數(shù)據(jù)作為選擇圖像數(shù)據(jù)。

如圖14(a)所示，例如，將俯視圖像Io中的對(duì)象的考慮中的位置OP捕獲作為由前方相機(jī)CF捕獲的圖像數(shù)據(jù)(幀存儲(chǔ)器中存儲(chǔ)的幀圖像)IF中的考慮中的位置OP_F。

在將幀圖像IF中的圖像中心的位置表示為原點(diǎn)O_F(0,0)并且將考慮中的位置OP_F的坐標(biāo)表示為(x_F,y_F)的情況下，從原點(diǎn)O_F至考慮中的位置OP_F的距離(確定距離)d_F被導(dǎo)出為d_F＝(x_F²,y_F²)^1/2。

如圖14(b)所示，例如，將俯視圖像Io中的對(duì)象的考慮中的位置OP捕獲作為由左方相機(jī)CL捕獲的圖像數(shù)據(jù)(幀存儲(chǔ)器中存儲(chǔ)的幀圖像)IL中的考慮中的位置OP_L。

在將幀圖像IL中的圖像中心的位置表示為原點(diǎn)O_L(0,0)并且將考 慮中的位置OP_L的坐標(biāo)表示為(x_L,y_L)的情況下，從原點(diǎn)O_F至考慮中的位置OP_F的確定距離d_L被導(dǎo)出為d_L＝(x_L²,y_L²)^1/2。

然后，將確定距離d_F和d_L進(jìn)行比較，并且在例如d_F<d_L成立的情況下，選擇確定距離較短的圖像數(shù)據(jù)IF作為選擇圖像數(shù)據(jù)。換言之，在上面說(shuō)明的圖10所示的繪圖裝置中，第二控制單元2重寫LUT數(shù)據(jù)，使得選擇確定距離較短的圖像數(shù)據(jù)IF作為選擇圖像數(shù)據(jù)。

要理解的是，當(dāng)對(duì)象的考慮中的位置OP僅在單條圖像數(shù)據(jù)中被捕獲時(shí)，第二控制單元2重寫LUT數(shù)據(jù)以選擇圖像數(shù)據(jù)作為選擇數(shù)據(jù)。

例如，當(dāng)使用了許多相機(jī)并且對(duì)象的考慮中的位置OP在三個(gè)或更多個(gè)圖像數(shù)據(jù)中被捕獲時(shí)，第二控制單元2重寫LUT數(shù)據(jù)以選擇確定距離d最短的圖像數(shù)據(jù)作為選擇數(shù)據(jù)。

如上所述，根據(jù)本實(shí)施例，可以通過(guò)執(zhí)行以下簡(jiǎn)單的處理來(lái)獲得高圖像質(zhì)量的繪圖數(shù)據(jù)(俯視圖像)：導(dǎo)出并且比較每個(gè)幀圖像中的圖像中心(原點(diǎn))O與考慮中的位置OP之間的二維確定距離d。

根據(jù)本實(shí)施例，當(dāng)圖像數(shù)據(jù)包括在由多個(gè)相機(jī)CF、CB、CL、CR捕獲的圖像數(shù)據(jù)IF、IB、IL、IR中的任意一個(gè)圖像數(shù)據(jù)中時(shí)，采用該圖像數(shù)據(jù)作為選擇數(shù)據(jù)。因此，這可以消除繪制圖像(俯視圖像)中的缺失部分。

換言之，根據(jù)本實(shí)施例，可以自動(dòng)確定(選擇)最適合于每個(gè)像素的根據(jù)相機(jī)位置而不同的圖像數(shù)據(jù)(相機(jī)視頻)。因?yàn)閺膶?shí)際示出像素的圖像中選擇針對(duì)像素的最高圖像質(zhì)量的相機(jī)視頻，所以可以在不考慮相機(jī)方向的情況下獲得高圖像質(zhì)量的視頻。此外，在計(jì)算中，僅導(dǎo)出關(guān)于二維坐標(biāo)的距離是足夠的。因此，處理可以以高速度來(lái)執(zhí)行。

圖15為用于說(shuō)明根據(jù)本實(shí)施例的繪圖裝置中的LUT數(shù)據(jù)的生成處理的示例的流程圖。如圖15所示，當(dāng)LUT數(shù)據(jù)的生成處理開(kāi)始時(shí)，在步驟ST1中生成任意給定投影面的頂點(diǎn)坐標(biāo)，并且隨后執(zhí)行步驟ST2。在步驟ST2中，確定是否所有像素均被處理。

在步驟ST2中，當(dāng)確定所有像素均被處理(是)時(shí)，終止LUT數(shù)據(jù)的生成處理。當(dāng)確定所有像素并未被全部處理(否)時(shí)，隨后執(zhí)行步驟ST3。

如上所述，投影面的頂點(diǎn)坐標(biāo)為通常例如在下述時(shí)候使用的三維空間中的頂點(diǎn)的坐標(biāo)：當(dāng)根據(jù)由布置在汽車的前方、后方、左方和右方的相機(jī) 所捕獲的圖像、通過(guò)執(zhí)行多邊形處理來(lái)生成俯視圖像時(shí)。

在步驟ST3中，基于通過(guò)光軸形成的入射角或者步驟ST1中生成的投影面的頂點(diǎn)坐標(biāo)的每個(gè)視向量(eye vector)來(lái)搜索鏡頭畸變數(shù)據(jù)，并且獲得對(duì)應(yīng)輸入圖像上的二維坐標(biāo)或?qū)嶋H圖像高度，并且然后接著執(zhí)行步驟ST4。

在步驟ST4中，計(jì)算從輸入圖像的二維坐標(biāo)至圖像中心(光軸)的距離(確定距離d)，并且然后接著執(zhí)行步驟ST5。在步驟ST5中，計(jì)算并且比較所有相機(jī)中距離中心的距離，并且將距離最短的像素分配至作為紋理坐標(biāo)的像素。然后，如上所述，當(dāng)在步驟ST2中確定所有像素均被處理時(shí)，終止數(shù)據(jù)的生成處理。

例如，當(dāng)鏡頭畸變數(shù)據(jù)(鏡頭特性)在相機(jī)之間不同時(shí)，或者當(dāng)距離中心的距離與圖像質(zhì)量之間的關(guān)系存在復(fù)雜改變時(shí)，執(zhí)行處理以例如將由每個(gè)相機(jī)捕獲的圖像的確定距離乘以常數(shù)。

圖16為示出圖10所示的繪圖裝置的配置的示例的框圖。如圖16所示，繪圖裝置的示例包括2D繪圖引擎1、LUT計(jì)算裝置2、ROM(只讀存儲(chǔ)器)201和RAM(隨機(jī)存取存儲(chǔ)器)202。此外，繪圖裝置的示例包括內(nèi)部總線203、外部總線204、多個(gè)(四個(gè))相機(jī)CF、CB、CL和CR以及顯示器4。

ROM 201存儲(chǔ)(布置)：在引導(dǎo)之后立即操作的引導(dǎo)加載程序(boot loader)211；使用LUT來(lái)執(zhí)行2D繪圖處理的軟件程序212；以及數(shù)據(jù)213，例如鏡頭畸變數(shù)據(jù)、任意給定的三維原始投影面和相機(jī)位置/角度。

RAM 202包括例如存儲(chǔ)區(qū)(軟件程序222和數(shù)據(jù)223)，在存儲(chǔ)區(qū)中存儲(chǔ)于ROM 201中的軟件程序212和數(shù)據(jù)213基于引導(dǎo)期間的引導(dǎo)加載程序211被復(fù)制并且被提取。數(shù)據(jù)223對(duì)應(yīng)于圖10中的相機(jī)特性(鏡頭數(shù)據(jù))。

此外，RAM 202包括：存儲(chǔ)相機(jī)輸入圖像(紋理圖像)的緩沖器(SRC緩沖器)B1；存儲(chǔ)LUT數(shù)據(jù)的LUT 3(WARP緩沖器B2)；以及用作存儲(chǔ)繪圖結(jié)果的緩沖器(繪圖緩沖器)B3的存儲(chǔ)區(qū)(數(shù)據(jù))。

2D繪圖引擎(第一控制單元)1經(jīng)由內(nèi)部總線203連接至RAM 202，從RAM 202讀取軟件程序222，并且使用LUT來(lái)執(zhí)行2D繪圖處理。

換言之，2D繪圖引擎1不僅從緩沖器B1讀取相機(jī)輸入圖像(圖像數(shù)據(jù)IF、IB、IL、IR)，而且從LUT 3讀取LUT數(shù)據(jù)，并且將數(shù)據(jù)—— 該數(shù)據(jù)通過(guò)參考LUT數(shù)據(jù)來(lái)應(yīng)用坐標(biāo)變化而獲得——輸出至緩沖器B3作為繪圖數(shù)據(jù)。

注意，相機(jī)CF、CB、CL、CR和顯示器4經(jīng)由外部總線204連接至RAM 202，并且由相機(jī)CF、CB、CL、CR捕獲的圖像數(shù)據(jù)IF、IB、IL、IR經(jīng)由外部總線204被輸入并且寫入到緩沖器B1中。存儲(chǔ)于緩沖器B3中的繪圖數(shù)據(jù)(例如，俯視圖像)經(jīng)由外部總線204被輸出，并且被顯示在顯示器4上。

LUT計(jì)算裝置(第二控制單元2)經(jīng)由內(nèi)部總線203連接至RAM 202，從RAM 202讀取數(shù)據(jù)(相機(jī)特性)223，并且執(zhí)行LUT計(jì)算處理。該LUT計(jì)算處理對(duì)應(yīng)于例如用于針對(duì)存儲(chǔ)于RAM(存儲(chǔ)器)202的緩沖器B1中的幀圖像(紋理圖像IF、IB、IL、IR)中的每個(gè)幀圖像基于圖像中心O與對(duì)象的考慮中的位置OP之間的距離來(lái)重寫LUT數(shù)據(jù)的處理。

接著，將對(duì)圖16所示的繪圖裝置的操作的概況進(jìn)行說(shuō)明。ROM 201預(yù)先存儲(chǔ)引導(dǎo)加載程序211、軟件程序212和數(shù)據(jù)(最優(yōu)紋理坐標(biāo)數(shù)據(jù))。

首先，處理從引導(dǎo)加載程序211的頭部開(kāi)始。隨著引導(dǎo)加載程序211的處理，軟件程序212和數(shù)據(jù)213被存儲(chǔ)至RAM 202。然后，當(dāng)引導(dǎo)加載程序211的處理結(jié)束時(shí)，軟件程序222被啟動(dòng)，并且由相機(jī)CF、CB、CL、CR捕獲的圖像數(shù)據(jù)IF、IB、IL、IR經(jīng)由外部總線204被輸入到緩沖器B1中。

例如，LUT計(jì)算裝置(第二控制單元)2通過(guò)參考鏡頭畸變數(shù)據(jù)以及任意給定三維投影面和相機(jī)位置/角度(相機(jī)特性)的數(shù)據(jù)關(guān)于繪圖緩沖器B3(繪制圖像Io)的每個(gè)像素(連接點(diǎn)與光軸中心之間的確定距離d)來(lái)計(jì)算每個(gè)相機(jī)的分辨率。

將所有相機(jī)的圖像(幀圖像)IF、IB、IL、IR中的像素的分辨率進(jìn)行比較，并且將由具有最高分辨率的相機(jī)所捕獲的像素的值輸出作為映射目標(biāo)，即，計(jì)算(重寫)LUT數(shù)據(jù)。

然后，2D繪圖引擎1通過(guò)參考緩沖器B2(LUT數(shù)據(jù))和緩沖器B1(紋理圖像)使用LUT來(lái)執(zhí)行2D繪圖處理。注意，繪圖結(jié)果被寫至繪圖緩沖器B3，并且繪圖結(jié)果被讀取并且顯示在顯示器4上。

2D繪圖引擎1、LUT計(jì)算裝置2、ROM 201、RAM 202和內(nèi)部總線203可以形成為單個(gè)半導(dǎo)體集成電路(繪圖裝置LSI)。注意，相機(jī)CF、CB、CL、CR和顯示器4經(jīng)由外部總線204連接至繪圖裝置LSI。

可替代地，可以將LUT計(jì)算裝置2與繪圖裝置LSI相分離并且將LUT計(jì)算裝置2設(shè)置作為單個(gè)工具。例如，可以將LUT計(jì)算裝置2設(shè)置作為用于汽車(100)的工具，汽車(100)設(shè)置有包括2D繪圖引擎1、ROM201和RAM 202等的繪圖裝置LSI、多個(gè)相機(jī)CF、CB、CL和CR以及顯示器4。

可以提供本實(shí)施例作為用于繪圖裝置的繪圖程序，以及在該情況下，可以將繪圖程序存儲(chǔ)至ROM 201、LUT計(jì)算裝置2的存儲(chǔ)器等等。注意，ROM 201可以例如為電可重寫的閃速存儲(chǔ)器等，以及例如軟件程序212和數(shù)據(jù)213可以被配置成可更新的。

圖17為用于說(shuō)明根據(jù)本實(shí)施例的繪圖裝置的效果的圖。圖17(a)對(duì)應(yīng)于圖7和圖13，以及圖17(b)和圖17(c)對(duì)應(yīng)于圖8(a)和圖8(b)。圖17(d)和圖17(e)為對(duì)應(yīng)于根據(jù)本實(shí)施例的圖17(b)和圖17(c)的繪圖。

如圖17(b)和圖17(c)所示，在生成繪制圖像Io并且將固定相機(jī)映射區(qū)域F_F、F_B、F_L和F_R應(yīng)用于設(shè)置在汽車100的前方、后方、左方和右方的相機(jī)CF、CB、CL、CR時(shí)，例如，出現(xiàn)缺失區(qū)域DD。此外，如圖17(c)所示的繪制圖像Io不是充分利用由相機(jī)CF、CB、CL、CR捕獲的圖像數(shù)據(jù)IF、IB、IL、IR的高質(zhì)量圖像。

與此相反，如圖17(d)和圖17(e)所示，根據(jù)本實(shí)施例，在上面說(shuō)明的繪制圖像Io中，相機(jī)映射區(qū)域F_F、F_B、F_L和F_R通過(guò)圖像數(shù)據(jù)IF、IB、IL、IR被最優(yōu)化。

換言之，由根據(jù)本實(shí)施例的繪圖裝置生成的繪制圖像Io不會(huì)是有缺陷的(不會(huì)包括缺失區(qū)域DD)，只要其通過(guò)相機(jī)CF、CB、CL、CR中的至少任意一個(gè)相機(jī)被捕獲即可。此外，由根據(jù)本實(shí)施例的繪圖裝置生成的繪制圖像Io是充分利用圖像數(shù)據(jù)IF、IB、IL、IR的高質(zhì)量圖像。

如上所述，根據(jù)本實(shí)施例，例如，即使當(dāng)相機(jī)的位置和定向不同時(shí)，仍可以通過(guò)充分利用由該狀態(tài)下的相機(jī)捕獲的圖像數(shù)據(jù)來(lái)生成包含較少的圖像質(zhì)量變化和包含較少的映射缺失的高質(zhì)量繪制圖像。特別地，這具有關(guān)于廣角(魚眼)鏡頭的較大的影響，廣角(魚眼)鏡頭受例如漸暈和比例上的變化(例如，圖像的畸變)極大地影響。

圖18為示意性地示出圖10所示的繪圖裝置的修改的框圖。根據(jù)圖18與上面說(shuō)明的圖10之間的比較，明顯的是，在本修改中，第二控制單 元2接收?qǐng)D像數(shù)據(jù)I1、I2而不是提前準(zhǔn)備的多個(gè)相機(jī)51、52的相機(jī)特性(鏡頭數(shù)據(jù))。

換言之，在根據(jù)圖18所示的修改的繪圖裝置中，例如，在初始設(shè)置中，被采用作為預(yù)定圖案的對(duì)象通過(guò)相機(jī)51、52被捕獲并且其圖像數(shù)據(jù)I1、I2被輸入第二控制單元2中。

例如，第二控制單元2根據(jù)通過(guò)使相機(jī)51、52捕獲預(yù)定圖案所獲得的圖像數(shù)據(jù)I1、I2來(lái)計(jì)算相機(jī)51、52的相機(jī)特性，并且通過(guò)參考如此計(jì)算的相機(jī)特性來(lái)選擇選擇圖像數(shù)據(jù)。

在圖18所示的修改中，例如，稍微麻煩的是計(jì)算按照初始設(shè)置執(zhí)行的相機(jī)特性，但是在該狀態(tài)下，可以設(shè)置不僅包括由鏡頭引起的特性而且包括由圖像捕獲設(shè)備和圖像引擎等引起的特性的相機(jī)特性。

除了以第二控制單元2進(jìn)行的相機(jī)特性的設(shè)置以外的配置與參照?qǐng)D10說(shuō)明的相機(jī)51、相機(jī)52、第一控制單元1、第二控制單元2、LUT 3和顯示器4相同，并且省略關(guān)于其的說(shuō)明說(shuō)明。

注意，本實(shí)施例不限于通過(guò)在汽車的前方、后方、左方和右方布置四個(gè)相機(jī)來(lái)生成俯視圖像的環(huán)視監(jiān)視器。換言之，本實(shí)施例還可以應(yīng)用于駕駛監(jiān)視器，或者設(shè)置在火車、船、飛行器或建筑物中的監(jiān)視器，或者可以應(yīng)用于監(jiān)視器相機(jī)、家用電器或玩具等。

相機(jī)的數(shù)目不限于四個(gè)，并且只要在至少兩個(gè)捕獲的圖像中示出相同對(duì)象，則可以應(yīng)用本實(shí)施例。生成的繪制圖像不限于俯視圖像。