駕駛輔助裝置制造方法
【專利摘要】本發(fā)明提供防止盡管檢測出立體物而在俯瞰圖像中車輛附近的立體物卻消失的情況的駕駛輔助裝置。該裝置中，配置于車輛的左前方拐角的左前方拐角聲納(12a)的檢測范圍，包含在配置于車輛的左前方拐角的第二拍攝單元(14)的視角內(nèi)。當(dāng)左前方拐角聲納(12a)在車輛的左前方拐角檢測出立體物時(shí)，圖像處理單元(3)將第二拍攝單元(14)的拍攝圖像和對本車輛的全部周圍進(jìn)行拍攝的四個(gè)攝像機(jī)(7a～7d)的拍攝圖像進(jìn)行合成來生成俯瞰圖像(40b)。使左前方拐角聲納(12a)的檢測范圍包含在該俯瞰圖像(40b)中的基于第二拍攝單元(14)的拍攝圖像而得到的俯瞰圖像的區(qū)域內(nèi)。
【專利說明】駕駛輔助裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及在停車時(shí)告知與障礙物之間碰撞的可能性的駕駛輔助裝置。
【背景技術(shù)】
[0002]以往，已知有駕駛輔助裝置，其使用由多個(gè)攝像機(jī)拍攝到的圖像，合成以俯瞰視點(diǎn)表示車輛的全部周圍的全周圍圖像，并加以顯示，從而輔助駕駛(例如參照專利文獻(xiàn)I)。
[0003]但是，全周圍圖像是使用投影到路面位置的各攝像機(jī)圖像而合成的，因此，在相鄰的攝像機(jī)的接合邊界發(fā)生立體物的消失(死角)。一般，由于攝像機(jī)安裝位置或其視角、像素密度等的限制，各攝像機(jī)圖像的接合邊界被設(shè)定在車輛的四角附近。即使通過駕駛員目視，車輛的四角也容易變成死角。因此，駕駛員無法在該接合邊界附近識別出立體物而繼續(xù)駕駛，從而立體物有可能與車輛碰撞。
[0004]為了解決該問題，以往，與聲納或換擋裝置等聯(lián)動(dòng)地改變攝像機(jī)圖像的接合邊界的位置或角度(例如，參照專利文獻(xiàn)2、專利文獻(xiàn)3)。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:國際公開第00/64175號
[0008]專利文獻(xiàn)2:日本特開2007-104373號公報(bào)
[0009]專利文獻(xiàn)3:日本特開2006-121587號公報(bào)

【發(fā)明內(nèi)容】

[0010]發(fā)明要解決的問題
[0011]但是，以往的方法存在以下的問題:在車輛附近(距車體數(shù)十厘米以內(nèi)的距離)依然產(chǎn)生死角。特別地，例如盡管由聲納等檢測出存在立體物，也有可能在俯瞰圖像上立體物消失、駕駛員無法識別出立體物存在。
[0012]本發(fā)明的目的在于提供駕駛輔助裝置，其能夠防止檢測出立體物但在俯瞰圖像中車輛附近立體物消失的情況。
[0013]解決問題的方案
[0014]本發(fā)明的駕駛輔助裝置中，傳感器的檢測范圍包含在第二拍攝單元的視角內(nèi)，在傳感器檢測出立體物時(shí)，圖像處理單元將第二拍攝單元的拍攝圖像和第一拍攝單元的拍攝圖像進(jìn)行合成來生成俯瞰圖像，使傳感器的檢測范圍包含在該俯瞰圖像中的基于第二拍攝單元的拍攝圖像而得到的俯瞰圖像的區(qū)域內(nèi)。
[0015]發(fā)明效果
[0016]根據(jù)本發(fā)明的駕駛輔助裝置，得到如下的效果:由于能夠防止檢測出立體物卻在俯瞰圖像中車輛附近立體物消失的情況，因此駕駛員容易識別出車輛附近的立體物。
【專利附圖】

【附圖說明】[0017]圖1是表示本發(fā)明實(shí)施方式I的駕駛輔助裝置的結(jié)構(gòu)的方框圖。
[0018]圖2是用示意圖說明將本發(fā)明實(shí)施方式I中的第一拍攝單元、第二拍攝單元向車輛安裝的安裝位置的圖。
[0019]圖3是用示意圖說明將本發(fā)明實(shí)施方式I中的聲納向車輛安裝的安裝位置的圖。
[0020]圖4是用水平面的示意圖說明本發(fā)明實(shí)施方式I中的第二拍攝單元的視角和聲納的檢測范圍的圖。
[0021]圖5是用示意圖說明本發(fā)明實(shí)施方式I中的立體物的圖。
[0022]圖6是本發(fā)明實(shí)施方式I中的駕駛輔助裝置的駕駛輔助處理的流程圖。
[0023]圖7是用示意圖說明同圖6的步驟S65中所生成的俯瞰圖像的圖。
[0024]圖8是用示意圖說明同圖7的俯瞰圖像中產(chǎn)生的死角區(qū)域的圖。
[0025]圖9是用示意圖說明同圖8的死角區(qū)域的邊界的圖。
[0026]圖10是表示本發(fā)明實(shí)施方式2中的駕駛輔助裝置的結(jié)構(gòu)的方框圖。
[0027]圖11是用示意圖說明將本發(fā)明實(shí)施方式2中的第一拍攝單元、第二拍攝單元向車輛安裝的安裝位置的圖。
[0028]圖12是用示意圖說明將本發(fā)明實(shí)施方式2中的聲納向車輛安裝的安裝位置的圖。
[0029]圖13是用于水平面的示意圖說明本發(fā)明實(shí)施方式2中的第二拍攝單元的視角和聲納的檢測范圍的圖。
[0030]圖14是本發(fā)明實(shí)施方式2中的駕駛輔助裝置的駕駛輔助處理的流程圖。
[0031]標(biāo)號說明
[0032]I駕駛輔助裝置
[0033]3圖像處理單元
[0034]5控制單元
[0035]7第一拍攝單元
[0036]12 聲納
[0037]14第二拍攝單元
【具體實(shí)施方式】
[0038](實(shí)施方式I)
[0039]以下，參照【專利附圖】

【附圖說明】本發(fā)明實(shí)施方式I的駕駛輔助裝置。此外，本實(shí)施方式中，作為一例說明車輛為右駕駛的情況。在為左駕駛的情況下，左右相反。
[0040]圖1是表示本發(fā)明實(shí)施方式I的駕駛輔助裝置的結(jié)構(gòu)的方框圖。
[0041]在圖1中，駕駛輔助裝置I由進(jìn)行圖像處理的圖像ECU(Electric Control Unit,電子控制單元)構(gòu)成，具有易失性存儲器2、圖像處理單元3、非易失性存儲器4、控制單元5以及將這些單元相互連接的總線6。駕駛輔助裝置I與第一拍攝單元7、輸入單元8、車速傳感器9、轉(zhuǎn)向傳感器10、換擋裝置11、聲納12、顯示單元13、以及第二拍攝單元14連接。也可以將輸入單元8、車速傳感器9、轉(zhuǎn)向傳感器10、換擋裝置11、聲納12、顯示單元13、第二拍攝單元14包含在駕駛輔助裝置I中。此外，也可以將圖1所示的轉(zhuǎn)向傳感器10及轉(zhuǎn)向信號分別另稱為“方向盤轉(zhuǎn)角傳感器10”及“方向盤轉(zhuǎn)角信號”。
[0042]易失性存儲器2，例如由視頻存儲器或RAM (Random Access Memory,隨機(jī)存儲器)構(gòu)成。易失性存儲器2與第一拍攝單元7連接。另外，易失性存儲器2與第二拍攝單元14連接。易失性存儲器2暫時(shí)存儲根據(jù)每隔規(guī)定時(shí)間從第一拍攝單元7、第二拍攝單元14輸入的拍攝圖像得到的圖像數(shù)據(jù)。易失性存儲器2所存儲的圖像數(shù)據(jù)通過總線6輸出到圖像處理單元3。
[0043]圖像處理單兀 3 例如由 ASIC (Application Specific Integrated Circuit,專用集成電路)或VLSI (Very Large Scale Integration,超大規(guī)模集成電路)構(gòu)成。圖像處理單元3與顯示單元13連接。圖像處理單元3對從易失性存儲器2輸入的圖像數(shù)據(jù)進(jìn)行視點(diǎn)變換，每隔規(guī)定時(shí)間生成將從非易失性存儲器4輸入的圖像數(shù)據(jù)重疊所得到的俯瞰圖像。圖像處理單元3也可以生成對俯瞰圖像并列了未實(shí)施視點(diǎn)變換的正常圖像所得到的合成圖像。對于視點(diǎn)變換的方法，例如可以使用國際公開第00/64175號中公開的技術(shù)。圖像處理單元3將每隔該規(guī)定時(shí)間生成的合成圖像作為顯示圖像輸出到顯示單元13。
[0044]非易失性存儲器4例如由瞬時(shí)存儲器或ROM (Read Only Memory,只讀存儲器)構(gòu)成。非易失性存儲器4存儲有本車輛的圖像數(shù)據(jù)等各種圖像數(shù)據(jù)、與顯示方法相關(guān)的數(shù)據(jù)表，且該顯示方法是與駕駛狀況相應(yīng)的顯示方法。根據(jù)控制單元5的命令讀出非易失性存儲器4所存儲的圖像數(shù)據(jù)，并用于圖像處理單元3的各種圖像處理。
[0045]控制單兀5 例如由 CPU (Central Processing Unit,中心處理單兀)或 LSI (LargeScale Integration,大規(guī)模集成電路)構(gòu)成?？刂茊卧?與輸入單元8、車速傳感器9、轉(zhuǎn)向傳感器10、換擋裝置11、以及聲納12連接?？刂茊卧?根據(jù)從輸入單元8、車速傳感器
9、轉(zhuǎn)向傳感器10、換擋裝置U、以及聲納12輸入的各種信號，對圖像處理單元3的圖像處理、從易失性存儲器2或非易失性存儲器4讀出的數(shù)據(jù)、來自第一拍攝單元7或第二拍攝單元14的輸入或向顯示單元13的輸出等進(jìn)行控制。
[0046]第一拍攝單元7分別由四個(gè)攝像機(jī)構(gòu)成。另一方面，第二拍攝單元14由一個(gè)攝像機(jī)構(gòu)成。第一拍攝單元7、第二拍攝單元14將每隔規(guī)定時(shí)間拍攝到的拍攝圖像輸入到駕駛輔助裝置I的易失性存儲器2。第一拍攝單元7以能夠拍攝本車輛的全部周圍的方式安裝在車體上。另外，第二拍攝單元14設(shè)置于車輛的左前方拐角。說明將該第一拍攝單元7、第二拍攝單元14向車體安裝的安裝位置。
[0047]圖2是用示意圖說明將第一拍攝單元7、第二拍攝單元14向車輛安裝的安裝位置的圖。如圖2所示，第一拍攝單元7由前方攝像機(jī)7a、右側(cè)方攝像機(jī)7b、左側(cè)方攝像機(jī)7c、以及后方攝像機(jī)7d構(gòu)成。如方攝像機(jī)7a、后方攝像機(jī)7d例如分別安裝在車體如后的減震器上。右側(cè)方攝像機(jī)7b、左側(cè)方攝像機(jī)7c例如分別安裝在本車輛的左右后視鏡下部。另一方面，第二拍攝單元14安裝在本車輛的左前方拐角上。
[0048]輸入單元8例如由觸摸面板、遙控器或開關(guān)構(gòu)成。輸入單元8在是由觸摸面板構(gòu)成的情況下，也可以設(shè)置在顯示單元13中。
[0049]車速傳感器9、轉(zhuǎn)向傳感器10、換擋裝置11、以及聲納12分別將表示本車輛車速的車速信號、表示方向盤轉(zhuǎn)角的方向盤轉(zhuǎn)角信號、表示換擋桿的狀態(tài)的擋位信號、立體物的檢測信號或距離信號輸出到控制單元5。聲納12由八個(gè)聲納構(gòu)成，并安裝在本車輛的車體四角的四個(gè)部位、車體前后的四個(gè)部位。說明將該聲納12向車體安裝的安裝位置。
[0050]圖3是用示意圖說明將聲納12向車輛安裝的安裝位置的圖。如圖3所示，聲納12由左前方拐角聲納12a、右前方拐角聲納12b、左后方拐角聲納12c、右后方拐角聲納12d、左前方聲納12e、右前方聲納12f、左后方聲納12g、以及右后方聲納12h構(gòu)成。如圖3所示，將左前方聲納12e、右前方聲納12f、左后方聲納12g、右后方聲納12h各自的水平面的檢測范圍16e?16h設(shè)定為窄于左前方拐角聲納12a、右前方拐角聲納12b、左后方拐角聲納12c、右后方拐角聲納12d各自的水平面的檢測范圍16a?16d。下面，說明左前方拐角聲納12a的檢測范圍和第二拍攝單元14的視角之間的關(guān)系。
[0051]圖4是用示意圖說明第二拍攝單元14的視角和左前方拐角聲納12a的水平面的檢測范圍的圖。如圖4所示，將第二拍攝單元14的視角17設(shè)定為在水平面大致180度。而且，左前方拐角聲納12a的檢測范圍16a包含在第二拍攝單元14的視角17內(nèi)。S卩，在第二拍攝單元14的視角17內(nèi)包含左前方拐角聲納12a的檢測范圍16a的全部。
[0052]優(yōu)選將第二拍攝單元14安裝在比左前方拐角聲納12a靠車體上方的位置。由此，容易使左前方拐角聲納12a的檢測范圍16a三維地包含在第二拍攝單元14的視角17內(nèi)。另外，優(yōu)選第二拍攝單元14和左前方拐角聲納12a的光軸大致相等。由此，第二拍攝單元14的視角17內(nèi)的左前方拐角聲納12a的檢測范圍16a的偏差變小，能夠降低左前方拐角聲納12a的檢測范圍16a的一部分超出第二拍攝單元14的視角17外的可能性。
[0053]顯示單元13例如由導(dǎo)航裝置或后座顯示器構(gòu)成。顯示單元13顯示從圖像處理單元3輸入的合成圖像。該合成圖像也可以只是俯瞰圖像，還可以是將俯瞰圖像和正常圖像并列地排列后的圖像。若在該俯瞰圖像的邊界附近存在死角，則立體物會(huì)消失。這里，示例本實(shí)施方式中的立體物。
[0054]圖5是用示意圖說明本實(shí)施方式中的立體物的圖。如圖5所示，將寬度、縱深、高度分別為約30cm、約30cm、約50cm的色碼(注冊商標(biāo))設(shè)定為本實(shí)施方式中的立體物。在該色碼(注冊商標(biāo))在俯瞰圖像上三維地消失了一半以上時(shí)，意味著在俯瞰圖像的邊界附近存在死角。
[0055]接著，說明控制單元5的駕駛輔助處理。
[0056]圖6是控制單元5的駕駛輔助處理的流程圖。
[0057]首先，如步驟S61所示，控制單元5根據(jù)從換擋裝置11輸入的擋位信號判定換擋桿是否是倒檔的狀態(tài)。
[0058]當(dāng)在步驟S61中為“是”的情況下，根據(jù)控制單元5的命令，圖像處理單元3使用從易失性存儲器2取得的第一拍攝單元7的拍攝圖像生成俯瞰圖像。而且，如步驟S62所示，顯示單元13并列顯示該生成的俯瞰圖像和從易失性存儲器2取得的后方攝像機(jī)7d的后方圖像。
[0059]接著，當(dāng)在步驟S61中為“否”的情況下，如步驟S63所示，根據(jù)控制單元5的命令，圖像處理單元3使用從易失性存儲器2取得的第一拍攝單元7的拍攝圖像生成俯瞰圖像，顯示單元13并列顯示該生成的俯瞰圖像和從易失性存儲器2取得的前方攝像機(jī)7a的前方圖像。
[0060]接著，如步驟S64所示，控制單元5根據(jù)聲納12的檢測結(jié)果，判定本車輛的左前方拐角是否存在立體物。即，控制單元5判定左前方拐角聲納12a是否檢測出立體物。當(dāng)在步驟S64中為“否”的情況下，再次進(jìn)行步驟S61的處理。
[0061]另一方面，當(dāng)在步驟S64中為“是”的情況下，如步驟S65所示，圖像處理單元3使用第一拍攝單元7的拍攝圖像和第二拍攝單元14的拍攝圖像生成新的俯瞰圖像，并使顯示單元13顯示該生成的俯瞰圖像。即，只在左前方拐角聲納12a檢測出立體物時(shí)，圖像處理單元3使用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像和第二拍攝單元14的拍攝圖像生成俯瞰圖像。相反地，在左前方拐角聲納12a未檢測出本車輛的左前方拐角的立體物時(shí)，圖像處理單元3只生成使用了第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像的到此為止的俯瞰圖像。對于在該步驟S65中生成的俯瞰圖像、和利用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像生成的通常的俯瞰圖像之間的不同之處，將在后面敘述。
[0062]接著，如步驟S66所示，控制單元5判定本車輛的行進(jìn)方向是否為正在前行。這時(shí)，控制單元5根據(jù)從換擋裝置11輸入的擋位信號確定本車輛的行進(jìn)方向。即，控制單元5根據(jù)擋位信號判定換擋桿是否是前進(jìn)擋。
[0063]當(dāng)在步驟S66中為“是”的情況下，如步驟S67所示，控制單元5使顯示單元13顯示第二拍攝單元14的拍攝圖像，代替通過步驟S62并列顯示在顯示單元13的后方圖像或通過步驟S63并列顯示在顯示單元13的前方圖像。
[0064]在步驟S67的處理之后，或在步驟S66中為“否”的情況下，如步驟S68所示，控制單元5判定是否檢測出駕駛輔助模式結(jié)束。在步驟S68中為“是”的情況下，控制單元5結(jié)束駕駛輔助處理。例如，在從輸入單元8進(jìn)行了駕駛輔助模式結(jié)束的輸入的情況下，控制單元5結(jié)束駕駛輔助處理。另一方面，在步驟S68中為“否”的情況下，控制單元5再次進(jìn)行步驟S61的處理。
[0065]接著，說明在左前方拐角聲納12a檢測出立體物的情況下，在步驟S65中生成的俯瞰圖像、以及利用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像生成的通常的俯瞰圖像之間的不同之處。圖7是用示意圖說明在步驟S65中生成的俯瞰圖像的圖。
[0066]如圖7的左方所示，在左前方拐角聲納12a檢測出立體物之前，圖像處理單元3生成使用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像所得到的俯瞰圖像40a。在俯瞰圖像40a的中央重疊本車輛的示意圖圖像21。俯瞰圖像40a的各區(qū)域22?25分別與前方攝像機(jī)7a、右側(cè)方攝像機(jī)7b、左側(cè)方攝像機(jī)7c、后方攝像機(jī)7d的拍攝圖像的視點(diǎn)變換圖像對應(yīng)。將各區(qū)域22?25的接合面表示為合成邊界31?34。當(dāng)左前方拐角聲納12a在本車輛附近檢測出立體物41時(shí)，如果是使用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像而得到的俯瞰圖像不變，則在合成邊界34產(chǎn)生死角，立體物41消失。
[0067]因此，在左前方拐角聲納12a檢測出立體物的情況下，如圖7的右方所示，圖像處理單元3除了使用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像以外，還使用對檢測出立體物41的左前方拐角進(jìn)行拍攝的第二拍攝單元14的拍攝圖像生成俯瞰圖像40b。該俯瞰圖像40b的各區(qū)域22?26分別與前方攝像機(jī)7a、右側(cè)方攝像機(jī)7b、左側(cè)方攝像機(jī)7c、后方攝像機(jī)7d、第二拍攝單元14的拍攝圖像的視點(diǎn)變換圖像對應(yīng)。將前方攝像機(jī)7a和第二拍攝單元14之間的合成邊界35、左側(cè)方攝像機(jī)7d和第二拍攝單元14之間的合成邊界36設(shè)定在第二拍攝單元14的視點(diǎn)變換圖像的區(qū)域26能夠包含左前方拐角聲納12a的檢測范圍的位置。換言之，將合成邊界35、36設(shè)定在左前方拐角聲納12a的檢測范圍外。由此，由左前方拐角聲納12a檢測出的立體物41，在俯瞰圖像40b中的合成邊界35、36附近不會(huì)消失，而保持處于區(qū)域26內(nèi)的立體物41的可見性。特別地，在合成邊界附近，立體物41的傾倒方式不再會(huì)急劇地變動(dòng)，因此，駕駛員能夠看到立體物41而不會(huì)有不協(xié)調(diào)感。另外，由于立體物41向以車輛為基點(diǎn)呈放射狀地遠(yuǎn)離的方向傾倒，所以，能夠直覺上掌握立體物41的位置和方向。
[0068]此外，為了盡可能使立體物41遠(yuǎn)離合成邊界35、36，一般希望將合成邊界35、36設(shè)定為盡可能接近第二拍攝單元14的視角。另一方面，若使合成邊界35、36與第二拍攝單元14的視角大致相等，則在第二拍攝單元14從安裝位置偏離了的情況下，發(fā)生本來在視角外卻拍攝進(jìn)來的情況。因此，希望將合成邊界35、36設(shè)定在相對于第二拍攝單元14的視角為幾度到十度左右內(nèi)側(cè)的位置。
[0069]接著，說明在步驟S65中生成的俯瞰圖像的死角區(qū)域、以及利用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像生成的通常的俯瞰圖像的死角區(qū)域。圖8是用示意圖說明圖7的俯瞰圖像中產(chǎn)生的死角區(qū)域的圖。
[0070]圖8的左方表示利用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像生成的通常的俯瞰圖像50a。圖8的右方表示在步驟S65中生成的俯瞰圖像50b。在俯瞰圖像50a、50b中，將距本車輛示意圖51的一定范圍設(shè)定為死角測定區(qū)域52。將該一定范圍設(shè)定為數(shù)十厘米(cm)左右。例如，設(shè)定為50cm。其表示本車輛以3km/h左右的滑行行進(jìn)過程中能夠急剎車而停止的距離。
[0071]如圖8的左方所示，在利用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像生成的通常的俯瞰圖像50a中，左前方拐角聲納12a的檢測范圍53與由于前方攝像機(jī)7a和左側(cè)方攝像機(jī)7c之間的合成邊界34而產(chǎn)生的死角區(qū)域54部分重疊。若左前方拐角聲納12a的檢測范圍53與死角區(qū)域54重疊，則在該重疊范圍內(nèi)立體物41消失。因此，在通過步驟S65生成的俯瞰圖像50b中，使用第二拍攝單元14的拍攝圖像使合成邊界35、36遠(yuǎn)離左前方拐角聲納12a的檢測范圍53。由此，如圖8的右方所示，在通過步驟S65生成的俯瞰圖像50b中，左前方拐角聲納12a的檢測范圍53與由于第二拍攝單元14和前方攝像機(jī)7a的合成邊界35而產(chǎn)生的死角區(qū)域55、由于第二拍攝單元14和左側(cè)方攝像機(jī)7d的合成邊界36而產(chǎn)生的死角區(qū)域56離開，而不重疊。由此，存在于左前方拐角聲納12a的檢測范圍的立體物不會(huì)在俯瞰圖像50b上消失而被顯示在顯示單元13上。
[0072]接著，說明由于圖8的俯瞰圖像的合成邊界而產(chǎn)生的死角區(qū)域。圖9是利用示意圖說明圖8的死角區(qū)域的邊界的圖。圖9中，以圖8左方的俯瞰圖像50a為例進(jìn)行說明。
[0073]圖9左上方所示的邊界線54a表示死角區(qū)域54的圖8紙面左方的邊界。S卩，邊界線54a表示死角測定區(qū)域52的外緣。
[0074]圖9左下方所示的邊界線54b表示死角區(qū)域54的圖8紙面下方的邊界。邊界線54b表示當(dāng)在區(qū)域25內(nèi)存在立體物41的情況下產(chǎn)生死角的邊界。在向前方攝像機(jī)7a與左側(cè)方攝像機(jī)7d的合成邊界34使立體物41移動(dòng)到圖9的紙面上方時(shí)，立體物41在高度方向上消失一半以上(25cm以上)。這時(shí)的立體物41的在圖9紙面最下方的位置為邊界線54b的構(gòu)成要素。而且，使立體物41向圖9的紙面左方慢慢移動(dòng)并反復(fù)進(jìn)行相同的處理時(shí)的立體物41的在圖9紙面最下方的位置的集合表示邊界線54b。
[0075]圖9右上方所示的邊界線54c表示死角區(qū)域54的圖8紙面右方的邊界。S卩，邊界線54c表示本車輛示意圖51的外緣。
[0076]圖9右下方所示的邊界線54d表示死角區(qū)域54的圖8紙面上方的邊界。邊界線54d表示在區(qū)域22內(nèi)存在立體物41的情況下產(chǎn)生死角的邊界。在向前方攝像機(jī)7a與左側(cè)方攝像機(jī)7d的合成邊界34使立體物41移動(dòng)到圖9的紙面下方時(shí)，立體物41在寬度方向上消失一半以上(15cm以上)。這時(shí)的立體物41的在圖9紙面最上方的位置為邊界線54d的構(gòu)成要素。而且，使立體物41向圖9的紙面左方慢慢移動(dòng)并反復(fù)進(jìn)行相同的處理時(shí)的立體物41的在圖9紙面最上方的位置的集合表示邊界線54d。
[0077]即使對于圖8右方的俯瞰圖像50b的死角區(qū)域55、56，邊界的判定方法也相同，因此，省略詳細(xì)的說明。
[0078]以上，根據(jù)本發(fā)明，在左前方拐角聲納12a的檢測范圍包含在第二拍攝單元14的視角內(nèi)，且左前方拐角聲納12a檢測出立體物時(shí)，圖像處理單元3將第二拍攝單元14的拍攝圖像和第一拍攝單元的四個(gè)攝像機(jī)7a?7d的拍攝圖像進(jìn)行合成來生成俯瞰圖像40b，使左前方拐角聲納12a的檢測范圍包含在該俯瞰圖像40b中的基于第二拍攝單元14的拍攝圖像而得到的俯瞰圖像的區(qū)域內(nèi)。即，圖像處理單元3使立體物的死角移動(dòng)到左前方拐角聲納12a的檢測范圍外。因此，能夠防止盡管左前方拐角聲納12a檢測出立體物而在顯示單元13的俯瞰圖像上本車輛附近的立體物卻消失的情況。特別地，本實(shí)施方式中，對于在俯瞰圖像上本車輛附近的立體物消失的情況，不是將本車輛的四角全部作為對象，而是僅將在是右駕駛時(shí)對于駕駛員來說容易成為死角的左前方作為對象。由此，對于攝像機(jī)輸入端口數(shù)有限的駕駛輔助裝置1，不設(shè)置選擇器為好，因此，能夠防止由于選擇器而引起的駕駛輔助裝置I的控制ECU的大型化。
[0079]此外，在本實(shí)施方式的圖6中所示的駕駛輔助處理中，通過并列顯示俯瞰圖像和正常圖像(前方圖像和后方圖像)，從而對駕駛員提示多個(gè)判斷基準(zhǔn)，提高了立體物的可見性，但只要至少顯示俯瞰圖像即可。即，只要至少進(jìn)行圖6的步驟S64、步驟S65的處理即可。具體而言，圖像處理單元3將第一拍攝單元7的拍攝圖像和第二拍攝單元14的拍攝圖像，基于共同的映射數(shù)據(jù)合成為俯瞰圖像。然后，顯示單元3顯示該俯瞰圖像。根據(jù)這些，由于在俯瞰圖像的合成邊界前后保持了顯示圖像的連續(xù)性，所以，在檢測出立體物后，能夠在抑制駕駛者的不協(xié)調(diào)感的同時(shí)防止俯瞰圖像的合成邊界處產(chǎn)生死角或立體物消失的情況。
[0080]另外，本實(shí)施方式中，由于假定了車輛為右駕駛的情況，因此，使用設(shè)置在左前方拐角的第二拍攝單元14和左前方拐角聲納12a，能夠防止容易變成駕駛員的死角的左前方拐角附近的立體物在俯瞰圖像上消失的情況，但是，在車輛為左駕駛的情況下，對象不是左前方而是右前方。即，在車輛為左駕駛的情況下，本實(shí)施方式中的第二拍攝單元14的設(shè)置位置被置換為右前方拐角，左前方拐角聲納12a被置換為右前方拐角聲納12b。
[0081]S卩，第二拍攝單元14對本車輛的四角中的與本車輛的駕駛位置反方向的前方拐角進(jìn)行拍攝。對存在于與本車輛的駕駛位置反方向的前方拐角的立體物進(jìn)行檢測的聲納12的檢測范圍包含在第二拍攝單元14的視角內(nèi)。在聲納12檢測出立體物時(shí)，圖像處理單元3對第一拍攝單元7的拍攝圖像和第二拍攝單元14的拍攝圖像進(jìn)行合成來生成俯瞰圖像，使聲納12的檢測范圍包含在該俯瞰圖像中的基于第二拍攝單元14的拍攝圖像所得到的俯瞰圖像的區(qū)域內(nèi)。另一方面，在聲納12未檢測出存在于與本車輛的駕駛位置反方向的前方拐角的立體物時(shí)，圖像處理單元3對第一拍攝單元7的拍攝圖像進(jìn)行合成來生成俯瞰圖像。
[0082]此外，本實(shí)施方式中，聲納12中的對車輛前后的立體物進(jìn)行檢測的聲納由四個(gè)聲納12e?12f構(gòu)成，但為了至少對車輛前后的立體物進(jìn)行檢測，由兩個(gè)聲納構(gòu)成即可。
[0083]另外，本實(shí)施方式中，作為對立體物進(jìn)行檢測的立體物檢測單元，使用聲納12，但是，只要是對立體物進(jìn)行檢測的傳感器，也可以使用紅外線傳感器等其他單元。[0084](實(shí)施方式2)
[0085]接著，參照【專利附圖】

【附圖說明】本發(fā)明實(shí)施方式2的駕駛輔助裝置。對于與實(shí)施方式I相同的描述，標(biāo)以相同的標(biāo)號并省略其詳細(xì)的說明。
[0086]圖10是表示本發(fā)明實(shí)施方式2的駕駛輔助裝置的結(jié)構(gòu)的方框圖。圖10中，駕駛輔助裝置I相對于實(shí)施方式I的駕駛輔助裝置，還具有選擇器15。駕駛輔助裝置I經(jīng)由該選擇器15與第二拍攝單元14連接。也可以將選擇器15包含于駕駛輔助裝置I中。易失性存儲器2經(jīng)由選擇器15與第二拍攝單元14連接?？刂茊卧?根據(jù)來自聲納12的輸入信號對選擇器15進(jìn)行控制，選擇第二拍攝單元14。
[0087]第二拍攝單元14分別具有四個(gè)攝像機(jī)。第一拍攝單元7、第二拍攝單元14將每隔規(guī)定時(shí)間拍攝到的拍攝圖像輸入到駕駛輔助裝置I的易失性存儲器2。第二拍攝單元14被安裝于本車輛的車體四角。說明將該第二拍攝單元14向車體安裝的安裝位置。
[0088]圖11是使用示意圖說明將第一拍攝單元7、第二拍攝單元14向車輛安裝的安裝位置的圖。如圖11所示，第二拍攝單元14由左前方拐角攝像機(jī)14a、右前方拐角攝像機(jī)14b、左后方拐角攝像機(jī)14c、以及右后方拐角攝像機(jī)14d構(gòu)成。選擇器15根據(jù)控制單元5的命令從該左前方拐角攝像機(jī)14a、右前方拐角攝像機(jī)14b、左后方拐角攝像機(jī)14c、右后方拐角攝像機(jī)14d中選擇一個(gè)攝像機(jī)。將該選擇出的攝像機(jī)的拍攝圖像每隔規(guī)定時(shí)間輸入到駕駛輔助裝置I的易失性存儲器2。
[0089]聲納12由四個(gè)聲納構(gòu)成，并被安裝于本車輛的車體四角。說明將該聲納12向車體安裝的安裝位置。
[0090]圖12是使用示意圖說明將聲納12向車輛安裝的安裝位置的圖。如圖12所示，聲納12由左前方拐角聲納12a、右前方拐角聲納12b、左后方拐角聲納12c、右后方拐角聲納12d構(gòu)成。如圖12所示，將左前方拐角聲納12a、右前方拐角聲納12b、左后方拐角聲納12c、右后方拐角聲納12d各自的水平面的檢測范圍16a?16d設(shè)定在180度以下。
[0091]圖13是使用示意圖說明左前方拐角攝像機(jī)14a的視角和左前方拐角聲納12a的水平面的檢測范圍的圖。如圖13所示，該聲納12的檢測范圍和第二拍攝單元14的視角之間的關(guān)系與實(shí)施方式I的圖4所示的關(guān)系相同。即，將左前方拐角攝像機(jī)14a的視角17a設(shè)定為在水平面為大致180度。而且，左前方拐角聲納12a的檢測范圍16a包含于左前方拐角攝像機(jī)14a的視角17a內(nèi)。即，在左前方拐角攝像機(jī)14a的視角17a內(nèi)包含左前方拐角聲納12a的檢測范圍16a的全部。與實(shí)施方式I相同，優(yōu)選將左前方拐角攝像機(jī)14a安裝在比左前方拐角聲納12a靠車體上方的位置。另外，優(yōu)選使左前方拐角攝像機(jī)14a和左前方拐角聲納12a的光軸大致相等。
[0092]此外，在圖13中，作為一例，使用左前方拐角攝像機(jī)14a的視角和左前方拐角聲納12a的檢測范圍說明了聲納12的檢測范圍和第二拍攝單元14的視角之間的關(guān)系，但是對于其他車輛四角，同樣的關(guān)系也成立。即，將右前方拐角聲納12b、左后方拐角聲納12c、右后方拐角聲納12d的檢測范圍分別包含于右前方拐角攝像機(jī)14b、左后方拐角攝像機(jī)14c、右后方拐角攝像機(jī)14d的視角內(nèi)。
[0093]下面，說明控制單元5的駕駛輔助處理。
[0094]圖14是控制單元5的駕駛輔助處理的流程圖。直到步驟S71?S73，是分別與實(shí)施方式I的圖6中對應(yīng)的步驟S61?S63相同的處理。步驟S74中，控制單元5根據(jù)聲納12的檢測結(jié)果判定在本車輛周邊的所定范圍內(nèi)是否存在立體物。當(dāng)在步驟S74中為“否”的情況下，再次進(jìn)行步驟S71的處理。另一方面，當(dāng)在步驟S74中為“是”的情況下，如步驟S75所示，控制單元5確定存在于距本車輛最短距離處的立體物反應(yīng)位置。即，在設(shè)置于本車輛四角的聲納12a?12d中的檢測出立體物的聲納是一個(gè)的情況下，控制單元5將檢測出立體物的聲納被配置的拐角判定為立體物反應(yīng)位置。相對于此，在設(shè)置于本車輛四角的聲納12a?12d中的檢測出立體物的聲納是多個(gè)的情況下，控制單元5根據(jù)從聲納12輸入的本車輛與立體物之間的距離信號，將檢測出最接近本車輛的立體物的聲納被配置的拐角判定為立體物反應(yīng)位置。
[0095]接著，如步驟S76所示，圖像處理單元3除了使用第一拍攝單元7的拍攝圖像以夕卜，還使用在步驟S75確定的距本車輛最短距離處的立體物反應(yīng)位置附近的拍攝圖像生成新的俯瞰圖像，使顯示單元13顯示該生成的俯瞰圖像。即，圖像處理單元3使用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像、和第二拍攝單元14的攝像機(jī)14a?14d中的、與在步驟S75中確定的聲納12的立體物反應(yīng)位置對應(yīng)的攝像機(jī)的拍攝圖像，生成俯瞰圖像。對于該步驟S76中生成的俯瞰圖像、和利用第一拍攝單元7的四個(gè)攝像機(jī)7a?7d的拍攝圖像生成的通常的俯瞰圖像之間的不同點(diǎn)，與在實(shí)施方式I中說明的不同點(diǎn)相同，所以省略其詳細(xì)的說明。
[0096]接著，如步驟S77所示，控制單元5判定在本車輛的行進(jìn)方向上距車輛最短距離處是否存在立體物。這時(shí)，控制單元5根據(jù)從換擋裝置11輸入的擋位信號，確定本車輛的行進(jìn)方向。即，控制單元5在根據(jù)擋位信號判定為換擋桿是前進(jìn)擋時(shí)，確定為行進(jìn)方向是前方，在是倒檔時(shí)，確定為行進(jìn)方向是后方。接著，控制單元5通過對該確定的行進(jìn)方向和在步驟S75中確定的立體物反應(yīng)位置進(jìn)行比較，來進(jìn)行步驟S77的判定。S卩，控制單元5在根據(jù)擋位信號判定為換擋桿是前進(jìn)擋且車輛的行進(jìn)方向?yàn)榍胺綍r(shí)，判定在步驟S75中確定的立體物反應(yīng)位置是否是左前方或右前方。另一方面，控制單元5在根據(jù)擋位信號判定為換擋桿是倒檔且車輛的行進(jìn)方向是后方時(shí)，判定在步驟S75中確定的立體物反應(yīng)位置是否是左后方或右后方。
[0097]在步驟S77中為“是”的情況下，如步驟S78所示，控制單元5使顯示單元13顯示第二拍攝單元14中的、對在步驟S65中確定的距本車輛最短距離處的立體物反應(yīng)位置附近進(jìn)行拍攝的攝像機(jī)的拍攝圖像，代替通過步驟S72在顯示單元13并列顯示的后方圖像或通過步驟S73在顯示單元13并列顯示的前方圖像。在進(jìn)行了步驟S78的處理后，或在步驟S77中為“否”的情況下，進(jìn)行步驟S79的處理。該步驟S79的處理是與實(shí)施方式I的圖6的步驟S68相同的處理，因此省略其說明。
[0098]以上，根據(jù)本發(fā)明，在聲納12a?12d的檢測范圍分別包含于拐角攝像機(jī)14a?d的視角內(nèi)，且聲納12a?12d檢測出立體物時(shí)，利用選擇器15選擇與檢測出最接近車輛的立體物的聲納對應(yīng)的拐角攝像機(jī)。然后，圖像處理單元3將該選擇出的拐角攝像機(jī)的拍攝圖像和第一拍攝單元7的四個(gè)攝像機(jī)a?7d的拍攝圖像進(jìn)行合成來生成俯瞰圖像40b，使聲納的檢測范圍包含在該俯瞰圖像40b中的基于拐角攝像機(jī)的拍攝圖像得到的俯瞰圖像的區(qū)域內(nèi)。即，圖像處理單元3使立體物的死角移動(dòng)到聲納12的檢測范圍外。因此，能夠防止盡管聲納12檢測出立體物而在顯示單元13的俯瞰圖像上本車輛附近的立體物卻消失的情況。[0099]在2011年8月26日提出的日本專利申請?zhí)卦?011-184416號、特愿2011-184419號中包含的說明書、附圖以及摘要的公開內(nèi)容全部引用于本申請。
[0100]工業(yè)實(shí)用性
[0101]本發(fā)明的駕駛輔助裝置，特別地在由聲納等檢測出本車輛四角的立體物時(shí)，顯示立體物而不會(huì)使其在俯瞰圖像上消失，從而駕駛員能夠容易識別出立體物這方面是有用的。
【權(quán)利要求】
1.駕駛輔助裝置，包括: 第一拍攝單元，其對本車輛周圍進(jìn)行拍攝； 傳感器，其對存在于本車輛的四角中的至少與本車輛的駕駛位置反方向的前方拐角的立體物進(jìn)行檢測； 第二拍攝單元，其對本車輛的四角中的至少與本車輛的駕駛位置反方向的前方拐角進(jìn)行拍攝； 圖像處理單元，其將從所述第一拍攝單元輸入的本車輛周圍的拍攝圖像進(jìn)行合成來生成俯瞰圖像；以及 顯示單元，其顯示所述圖像處理單元合成的俯瞰圖像， 所述傳感器的檢測范圍包含在所述第二拍攝單元的視角內(nèi)， 在所述傳感器檢測出立體物時(shí)，所述圖像處理單元將所述第二拍攝單元的拍攝圖像和所述第一拍攝單元的拍攝圖像進(jìn)行合成來生成俯瞰圖像，使所述傳感器的檢測范圍包含該俯瞰圖像中的基于所述第二拍攝單元的拍攝圖像而得到的俯瞰圖像的區(qū)域內(nèi)。
2.如權(quán)利要求1所述的駕駛輔助裝置， 所述第一拍攝單元由分別對本車輛的前后左右進(jìn)行拍攝的四個(gè)攝像機(jī)構(gòu)成，所述傳感器由對本車輛的四角 的立體物進(jìn)行檢測的四個(gè)傳感器和對本車輛的前方和后方的立體物進(jìn)行檢測的至少兩個(gè)傳感器構(gòu)成， 所述圖像處理單元只在所述傳感器中的配置于與本車輛的駕駛位置反方向的前方拐角的傳感器檢測出立體物時(shí)，將由所述第二拍攝單元拍攝到的拍攝圖像和由所述第一拍攝單元拍攝到的拍攝圖像進(jìn)行合成來生成俯瞰圖像，在所述傳感器中的配置于與本車輛的駕駛位置反方向的前方拐角的傳感器未檢測出立體物時(shí)，生成將由所述第一拍攝單元拍攝到的拍攝圖像進(jìn)行合成而得到的俯瞰圖像。
3.如權(quán)利要求1所述的駕駛輔助裝置， 所述傳感器由對本車輛的四角的立體物進(jìn)行檢測的四個(gè)傳感器構(gòu)成， 該駕駛輔助裝置還具有根據(jù)所述傳感器的檢測結(jié)果選擇所述第二拍攝單元的選擇單元， 在所述傳感器檢測出立體物時(shí)，所述圖像處理單元將由所述選擇單元選擇出的所述第二拍攝單元的拍攝圖像和所述第一拍攝單元的拍攝圖像進(jìn)行合成來生成俯瞰圖像，使該俯瞰圖像中的基于所述第二拍攝單元的拍攝圖像而得到的俯瞰圖像的區(qū)域內(nèi)包含所述傳感器的檢測范圍。
4.如權(quán)利要求3所述的駕駛輔助裝置， 所述第一拍攝單元由分別對本車輛的前后左右進(jìn)行拍攝的四個(gè)攝像機(jī)構(gòu)成，所述傳感器由對本車輛的四角的立體物進(jìn)行檢測的四個(gè)傳感器構(gòu)成，所述第二拍攝單元由分別對本車輛的四角進(jìn)行拍攝的四個(gè)攝像機(jī)構(gòu)成， 在所述傳感器檢測出立體物時(shí)，所述選擇單元選擇配置在與該檢測出立體物的傳感器相同的角部的攝像機(jī)， 所述圖像處理單元將該選擇出的攝像機(jī)圖像和由所述第一拍攝單元拍攝到的四個(gè)攝像機(jī)圖像進(jìn)行合成來生成俯瞰圖像。
5.如權(quán)利要求1所述的駕駛輔助裝置，所述傳感器和所述第二拍攝單元的光軸大致一致。
6.如權(quán)利要求1所述的駕駛輔助裝置， 將所述俯瞰圖像中的、所述第一拍攝單元的拍攝圖像和所述第二拍攝單元的拍攝圖像之間的合成邊界，設(shè)定在 相對于所述第二拍攝單元的視角為幾度到十度內(nèi)側(cè)的位置。
【文檔編號】B60R1/00GK103782591SQ201280040835
【公開日】2014年5月7日 申請日期:2012年8月24日 優(yōu)先權(quán)日:2011年8月26日
【發(fā)明者】道口將由, 流鄉(xiāng)達(dá)人, 岡野謙二, 菅野由希子 申請人:松下電器產(chǎn)業(yè)株式會(huì)社