專利名稱：操縱支援裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及操縱支援裝置，尤其涉及設(shè)置在機(jī)動車那樣的移動體上來檢測周邊的障礙物的操縱支援裝置。
背景技術(shù)：
例如，在專利文獻(xiàn)1中公開此種裝置的一例。根據(jù)該背景技術(shù)，投光裝置朝向車輛后方的路面以彼此不同的多個投射角度投射點光束。通過攝像頭捕捉包含投射的點光束的亮點的車輛后方的影像。控制單元從由攝像頭捕捉的影像檢測亮點，基于檢測結(jié)果而算出車輛后方的路面狀況?？刂茊卧€參照算出的路面狀況來確定車輛的通過存在問題的范圍，將表示確定的范圍的圖像顯示在顯示器上。專利文獻(xiàn)1 日本特開2002-36987號公報然而，根據(jù)背景技術(shù)，為了算出路面狀況，需要連續(xù)地變更點光束的投射角度。換言之，為了基于這樣投射的點光束算出路面狀況，需要復(fù)雜的處理。

發(fā)明內(nèi)容
本發(fā)明的操縱支援裝置具備發(fā)射機(jī)構(gòu)其設(shè)置于移動體上且向斜下方發(fā)射光線；攝像機(jī)構(gòu)，其設(shè)置于移動體上，具有與發(fā)射機(jī)構(gòu)的發(fā)射方向?qū)?yīng)的視野；判別機(jī)構(gòu)，其基于攝像機(jī)構(gòu)的輸出，判別由發(fā)射機(jī)構(gòu)發(fā)射出的光線的反射位置的變化量是否超過基準(zhǔn); 變更機(jī)構(gòu)，其在判別機(jī)構(gòu)的判別結(jié)果從否定的結(jié)果更新為肯定的結(jié)果時，變更發(fā)射機(jī)構(gòu)的發(fā)射方向；檢測機(jī)構(gòu)，其基于與變更機(jī)構(gòu)的變更處理并行的攝像機(jī)構(gòu)的輸出，來檢測由發(fā)射機(jī)構(gòu)發(fā)射出的光線的反射位置的變化的方式；以及報告機(jī)構(gòu)，其向移動體的操縱者輸出根據(jù)檢測機(jī)構(gòu)的檢測結(jié)果而不同的報告。優(yōu)選發(fā)射機(jī)構(gòu)發(fā)射沿攝像機(jī)構(gòu)的視野的左右方向延伸的線狀的光線，變更機(jī)構(gòu)向上方變更發(fā)射方向。優(yōu)選檢測機(jī)構(gòu)包括第一報告機(jī)構(gòu)，其在檢測機(jī)構(gòu)的檢測結(jié)果表示反射的光線消失時以第一方式輸出報告；第二報告機(jī)構(gòu)，其在檢測機(jī)構(gòu)的檢測結(jié)果表示檢測出反射的光線的至少一部分時以第二方式輸出報告。優(yōu)選操縱支援裝置還具備基于攝像機(jī)構(gòu)的輸出而制成鳥瞰像的制成機(jī)構(gòu)，判別機(jī)構(gòu)及檢測機(jī)構(gòu)分別參照通過制成機(jī)構(gòu)制成的鳥瞰像來執(zhí)行判別處理及檢測處理。優(yōu)選攝像機(jī)構(gòu)包括在移動體的周邊設(shè)置的多個攝像頭，發(fā)射機(jī)構(gòu)包括分別分配給多個攝像頭的多個激光照射器，操縱支援裝置還具備反復(fù)更新為了判別機(jī)構(gòu)的判別處理而關(guān)注的攝像頭以及激光照射器的更新機(jī)構(gòu)。優(yōu)選操縱支援裝置還具備設(shè)定機(jī)構(gòu)，該設(shè)定機(jī)構(gòu)將所述更新機(jī)構(gòu)的更新方式設(shè)定為根據(jù)所述移動體的移動速度及所述移動體的移動方向中至少一方而不同的方式。優(yōu)選操縱支援裝置還具備調(diào)整機(jī)構(gòu)，其參照移動體的移動速度及移動體的移動方向的至少一方，調(diào)整攝像機(jī)構(gòu)的攝像方向及發(fā)射機(jī)構(gòu)的發(fā)射方向，變更機(jī)構(gòu)以通過調(diào)整機(jī)構(gòu)調(diào)整的發(fā)射方向作為基準(zhǔn)，執(zhí)行發(fā)射方向變更處理。本發(fā)明的操縱支援程序產(chǎn)品由操縱支援裝置的處理器執(zhí)行，操縱支援裝置具備設(shè)置在移動體且向斜下方發(fā)射光線的發(fā)射機(jī)構(gòu)和設(shè)置于移動體且具有與發(fā)射機(jī)構(gòu)的發(fā)射方向?qū)?yīng)的視野的攝像機(jī)構(gòu)，所述操縱支援程序產(chǎn)品包括基于攝像機(jī)構(gòu)的輸出，判別由發(fā)射機(jī)構(gòu)發(fā)射出的光線的反射位置的變化量是否超過基準(zhǔn)的判別步驟；在判別步驟的判別結(jié)果從否定的結(jié)果更新為肯定的結(jié)果時，變更發(fā)射機(jī)構(gòu)的發(fā)射方向的變更步驟；基于與變更步驟的變更處理并行的攝像機(jī)構(gòu)的輸出，檢測由發(fā)射機(jī)構(gòu)發(fā)射出的光線的反射位置的變化的方式的檢測步驟；以及向移動體的操縱者輸出根據(jù)檢測步驟的檢測結(jié)果而不同的報告的報告步驟。本發(fā)明的操縱支援方法由操縱支援裝置執(zhí)行，操縱支援裝置具備設(shè)置在移動體且向斜下方發(fā)射光線的發(fā)射機(jī)構(gòu)和設(shè)置于移動體且具有與發(fā)射機(jī)構(gòu)的發(fā)射方向?qū)?yīng)的視野的攝像機(jī)構(gòu)，所述操縱支援方法包括基于攝像機(jī)構(gòu)的輸出，判別由發(fā)射機(jī)構(gòu)發(fā)射出的光線的反射位置的變化量是否超過基準(zhǔn)的判別步驟；在判別步驟的判別結(jié)果從否定的結(jié)果更新為肯定的結(jié)果時，變更發(fā)射機(jī)構(gòu)的發(fā)射方向的變更步驟；基于與變更步驟的變更處理并行的攝像機(jī)構(gòu)的輸出，檢測由發(fā)射機(jī)構(gòu)發(fā)射出的光線的反射位置的變化的方式的檢測步驟； 以及向移動體的操縱者輸出根據(jù)檢測步驟的檢測結(jié)果而不同的報告的報告步驟。本發(fā)明的上述的目的、其它目的、特征及優(yōu)點根據(jù)參照附圖進(jìn)行的以下的實施例的詳細(xì)說明會變得更加清楚。


圖1是表示本發(fā)明的一實施例的構(gòu)成的框圖。圖2(A)是表示觀察機(jī)動車的正面的狀態(tài)的圖解圖，(B)是表示觀察機(jī)動車的右側(cè)面的狀態(tài)的圖解圖，(C)是表示觀察機(jī)動車的背面的狀態(tài)的圖解圖，(D)是表示觀察機(jī)動車的左側(cè)面的狀態(tài)的圖解圖。圖3是表示由安裝在機(jī)動車上的多個激光照射器照射的激光的亮線及由安裝在機(jī)動車上的多個攝像頭捕捉的視野的一例的圖解圖。圖4(A)是表示基于前攝像頭的輸出的鳥瞰像的一例的圖解圖，(B)是表示基于右攝像頭的輸出的鳥瞰像的一例的圖解圖，(C)是表示基于左攝像頭的輸出的鳥瞰像的一例的圖解圖，(D)是表示基于后攝像頭的輸出的鳥瞰像的一例的圖解圖。圖5是表示基于圖4(A) 圖4(D)所示的鳥瞰像的全周鳥瞰像的一例的圖解圖。圖6是表示通過顯示裝置顯示的操縱支援圖像的一例的圖解圖。圖7是表示安裝在車輛上的攝像頭的角度的圖解圖。圖8是表示攝像頭坐標(biāo)系、攝像面的坐標(biāo)系、世界坐標(biāo)系的關(guān)系的圖解圖。圖9(A)是表示從側(cè)面觀察朝向障礙物后退的機(jī)動車的狀態(tài)的一例的圖解圖，(B) 是表示從上面觀察朝向障礙物后退的機(jī)動車的狀態(tài)的一例的圖解圖。圖10(A)是表示從側(cè)面觀察朝向障礙物后退的機(jī)動車的狀態(tài)的另一例的圖解圖， (B)是表示從上面觀察朝向障礙物后退的機(jī)動車的狀態(tài)的另一例的圖解圖。圖11㈧是表示從側(cè)面觀察朝向障礙物后退的機(jī)動車的狀態(tài)的又一例的圖解圖，(B)是表示從上面觀察朝向障礙物后退的機(jī)動車的狀態(tài)的又一例的圖解圖。圖12(A)是表示從側(cè)面觀察朝向另一障礙物后退的機(jī)動車的狀態(tài)的一例的圖解圖，(B)是表示從上面觀察朝向另一障礙物后退的機(jī)動車的狀態(tài)的一例的圖解圖。圖13(A)是表示從側(cè)面觀察朝向另一障礙物后退的機(jī)動車的狀態(tài)的另一例的圖解圖，(B)是表示從上面觀察朝向另一障礙物后退的機(jī)動車的狀態(tài)的另一例的圖解圖。圖14(A)是表示從側(cè)面觀察朝向另一障礙物后退的機(jī)動車的狀態(tài)的又一例的圖解圖，(B)是表示從上面觀察朝向另一障礙物后退的機(jī)動車的狀態(tài)的又一例的圖解圖。圖15是表示適用于圖1實施例的CPU的動作的一部分的流程圖。圖16是表示適用于圖1實施例的CPU的動作的另一部分的流程圖。圖17是表示適用于圖1實施例的CPU的動作的又一部分的流程圖。圖18是表示另一實施例的構(gòu)成的框圖。圖19是表示適用于圖18實施例的CPU的動作的一部分的流程圖。圖20是表示適用于圖18實施例的CPU的動作的另一部分的流程圖。圖21是表示適用于圖18實施例的CPU的動作的又一部分的流程圖。圖22是表示適用于圖18實施例的CPU的動作的再一部分的流程圖。
具體實施例方式圖1所示的本實施例的操縱支援裝置10包括四個激光照射器L_1 L_4和四個攝像頭C_1 C_4。激光照射器L_1 L_4分別產(chǎn)生具有屬于近紅外區(qū)域的波長且沿水平方向線狀地延伸的激光。另外，攝像頭C_1 C_4分別響應(yīng)共用的垂直同步信號Vsync而每隔1/30秒輸出拍攝景像P_1 P_4。輸出的拍攝景像P_1 P_4由圖像處理電路12取入。參照圖2㈧ 圖2(D)，操縱支援裝置10搭載于在地面行駛的機(jī)動車100上。具體而言，激光照射器L_1以朝向機(jī)動車100的前斜下方的姿態(tài)設(shè)置在機(jī)動車100的前部的寬度方向中央且高度方向下側(cè)。攝像頭c_l以朝向機(jī)動車100的前斜下方的姿態(tài)設(shè)置在機(jī)動車100的前部的大致中央。激光照射器L_2以朝向機(jī)動車100的右斜下方的姿態(tài)設(shè)置在機(jī)動車100的右側(cè)的大致中央。攝像頭C_2以朝向機(jī)動車100的右斜下方的姿態(tài)設(shè)置在機(jī)動車100的右側(cè)的寬度方向大致中央且高度方向上側(cè)。激光照射器L_3以朝向機(jī)動車100的后斜下方的姿態(tài)設(shè)置在機(jī)動車100的后部的大致中央。攝像頭C_3以朝向機(jī)動車100的后斜下方的姿態(tài)設(shè)置在機(jī)動車100的后部的寬度方向大致中央且高度方向上側(cè)。激光照射器L_4以朝向機(jī)動車100的左斜下方的姿態(tài)設(shè)置在機(jī)動車100的左側(cè)的大致中央。攝像頭C_4以朝向機(jī)動車100的左斜下方的姿態(tài)設(shè)置在機(jī)動車100的左側(cè)的寬度方向大致中央且高度方向上側(cè)。圖3中表示俯視機(jī)動車100和不存在障礙物的機(jī)動車100的周邊的地面的狀態(tài)。 根據(jù)圖3，從激光照射器L_1發(fā)射出的激光在機(jī)動車100的前方的地面上描繪沿左右延伸的亮線G_l。從激光照射器L_2發(fā)射出的激光在機(jī)動車100的右側(cè)的地面上描繪沿前后延伸的亮線G_2。從激光照射器L_3發(fā)射出的激光在機(jī)動車100的后方的地面上描繪沿左右延伸的亮線G_3。從激光照射器L_4發(fā)射出的激光在機(jī)動車100的左側(cè)的地面上描繪沿前后延伸的亮線G_4。攝像頭C_1具有捕捉機(jī)動車100的前方的視野VW_1，攝像頭C_2具有捕捉機(jī)動車 100的右方的視野VW_2，攝像頭C_3具有捕捉機(jī)動車100的后方的視野VW_3，并且攝像頭 C_4具有捕捉機(jī)動車100的左方的視野VW_4。另外，視野VW_1與VW_2具有共同視野VW_12， 視野VW_2與VW_3具有共同視野VW_23，視野VW_3與VW_4具有共同視野VW_34，并且，視野 Vff_4與VW_1具有共同視野VW_41。S卩，在機(jī)動車100的周圍不存在障礙物的狀態(tài)下，亮線G_1 G_4都直線狀延伸， 并且亮線G_1 G_4被攝像頭C_1 C_4分別捕捉。返回圖1，在圖像處理電路12中設(shè)置的CPU12p基于從攝像頭C_1輸出的拍攝景像 P_l，生成圖4 (A)所示的鳥瞰像BEV_1，基于從攝像頭C_2輸出的拍攝景像P_2，生成圖 4(B)所示的鳥瞰像BEV_2。CPU12p還基于從攝像頭(_3輸出的拍攝景像？_3，生成圖 4(C)所示的鳥瞰像BEV_3，基于從攝像頭C_4輸出的拍攝景像？_4，生成圖4(D)所示的鳥瞰像BEV_4。鳥瞰像BEV_1相當(dāng)于由沿鉛垂方向俯視視野VW_1的虛擬攝像頭捕捉的圖像， 鳥瞰像BEV_2相當(dāng)于由沿鉛垂方向俯視視野VW_2的虛擬攝像頭捕捉的圖像。另外，鳥瞰像BEV_3相當(dāng)于由沿鉛垂方向俯視視野VW_3的虛擬攝像頭捕捉的圖像，鳥瞰像 BEV_4相當(dāng)于由沿鉛垂方向俯視視野VW_4的虛擬攝像頭捕捉的圖像。根據(jù)圖4㈧ 圖4(D)，鳥瞰像BEV_1具有鳥瞰圖坐標(biāo)系Xl ·Υ1，鳥瞰像 BEV_2具有鳥瞰圖坐標(biāo)系X2 · Y2，鳥瞰像BEV_3具有鳥瞰圖坐標(biāo)系X3 · Y3，并且，鳥瞰像BEV_4具有鳥瞰圖坐標(biāo)系X4 ·Υ4。這樣的鳥瞰像BEV_1 BEV_4保持于存儲器 12m的工作區(qū)域Wl。CPU12p接著通過坐標(biāo)轉(zhuǎn)換將鳥瞰像BEV_1 BEV_4互相結(jié)合。鳥瞰像 BEV_2 BEV_4以鳥瞰像BEV_1為基準(zhǔn)進(jìn)行旋轉(zhuǎn)及/或移動，其結(jié)果是，在存儲器I^ii 的工作區(qū)域W2內(nèi)得到圖5所示的全周鳥瞰像。在圖5中，重復(fù)區(qū)域0L_12相當(dāng)于再現(xiàn)共同視野VW_12的區(qū)域，重復(fù)區(qū)域0L_23相當(dāng)于再現(xiàn)共同視野VW_23的區(qū)域。另外，重復(fù)區(qū)域0L_34相當(dāng)于再現(xiàn)共同視野VW_34的區(qū)域，并且，重復(fù)區(qū)域0L_41相當(dāng)于再現(xiàn)共同視野VW_41的區(qū)域。設(shè)置在機(jī)動車100的駕駛員座的顯示裝置16從工作區(qū)域W2上的全周鳥瞰像抽出重復(fù)區(qū)域0L_12 0L_41位于四角的一部分的圖像D1，將模仿機(jī)動車100上部的車輛圖像D2粘貼在抽出的圖像Dl的中央。其結(jié)果是，在監(jiān)視畫面上顯示圖6所示的操縱支援圖像。接著，說明鳥瞰像BEV_1 BEV_4的制成要領(lǐng)。其中，鳥瞰像BEV_1 BEV_4都利用相同的要領(lǐng)制成，以鳥瞰像BEV_1 BEV_4為代表，說明鳥瞰像BEV3 的制成要領(lǐng)。參照圖7，攝像頭C_3在機(jī)動車100的后部朝向后斜下方配置。當(dāng)攝像頭C_3的俯角為“ θ d”時，圖7所示的角度相當(dāng)于“180° - θ d”。另外，角度θ被在90° < θ <180° 的范圍內(nèi)定義。圖8表示攝像頭坐標(biāo)系X · Y · Ζ、攝像頭C_3的攝像面S的坐標(biāo)系Xp · Yp、世界坐標(biāo)系Xw · Yw · Zw的關(guān)系。攝像頭坐標(biāo)系X · Y · Z是以X軸、Y軸及Z軸為坐標(biāo)軸的三維坐標(biāo)系。坐標(biāo)系Xp · Yp是以Xp軸及Yp軸為坐標(biāo)軸的二維坐標(biāo)系。世界坐標(biāo)系Xw · Yw · Zw 是以Xw軸、Yw軸及Zw軸為坐標(biāo)軸的三維坐標(biāo)系。在攝像頭坐標(biāo)系X ·Υ ·Ζ中，以攝像頭C3的光學(xué)的中心為原點0，將Z軸定義為光軸方向，將X軸定義為與Z軸正交且平行于地面的方向，并且，將Y軸定義為與Z軸及X軸正交的方向。在攝像面S的坐標(biāo)系Xp -Yp中，以攝像面S的中心為原點，將Xp軸定義為攝像面S的橫向，將Yp軸定義為攝像面S的縱向。在世界坐標(biāo)系Xw · Yw · Zw中，將通過攝像頭坐標(biāo)系XYZ的原點0的鉛垂線與地面的交點作為原點0w，將Yw軸定義為與地面垂直的方向，將Xw軸定義為與攝像頭坐標(biāo)系 X · Y · Z的X軸平行的方向，并且，將Zw軸定義為與Xw軸及Yw軸正交的方向。另外，從Xw 軸到X軸的距離為“h”，由Zw軸及Z軸形成的鈍角相當(dāng)于上述的角度θ。在將攝像頭坐標(biāo)系Χ· Y· Z中的坐標(biāo)記作(x, y, ζ)時，“χ”、“y”及“ζ”分別表示攝像頭坐標(biāo)系X ·Υ ·Ζ中的X軸分量、Y軸分量及Z軸分量。在將攝像面S的坐標(biāo)系Xp -Yp 中的坐標(biāo)記作(xp, yp)時，“χρ”及“yp”分別表示攝像面S的坐標(biāo)系Χρ·Υρ中的Xp軸分量及Yp軸分量。在將世界坐標(biāo)系XwYwZw中的坐標(biāo)記作(xw，yw，zw)時，“題”、“—”及 "zw"分別表示世界坐標(biāo)系Xw · Yw · Zw中的Xw軸分量、Yw軸分量及Zw軸分量。攝像頭坐標(biāo)系X · Y · Z的坐標(biāo)(X，y，ζ)與世界坐標(biāo)系Xw · Yw · Zw的坐標(biāo)(xw，yw, zw)之間的轉(zhuǎn)換式由式1表示。[式1]
權(quán)利要求
1.一種操縱支援裝置，其為根據(jù)本發(fā)明的操縱支援裝置，其具備 發(fā)射機(jī)構(gòu)其設(shè)置于移動體上且向斜下方發(fā)射光線；攝像機(jī)構(gòu)，其設(shè)置于所述移動體上，具有與所述發(fā)射機(jī)構(gòu)的發(fā)射方向?qū)?yīng)的視野； 判別機(jī)構(gòu)，其基于所述攝像機(jī)構(gòu)的輸出，判別由所述發(fā)射機(jī)構(gòu)發(fā)射出的光線的反射位置的變化量是否超過基準(zhǔn)；變更機(jī)構(gòu)，其在所述判別機(jī)構(gòu)的判別結(jié)果從否定的結(jié)果更新為肯定的結(jié)果時變更所述發(fā)射機(jī)構(gòu)的發(fā)射方向；檢測機(jī)構(gòu)，其基于與所述變更機(jī)構(gòu)的變更處理并行的所述攝像機(jī)構(gòu)的輸出，來檢測由所述發(fā)射機(jī)構(gòu)發(fā)射出的光線的反射位置的變化的方式；和報告機(jī)構(gòu)，其向所述移動體的操縱者輸出與所述檢測機(jī)構(gòu)的檢測結(jié)果對應(yīng)而不同的報告O
2.根據(jù)權(quán)利要求1所述的操縱支援裝置，其中，所述發(fā)射機(jī)構(gòu)發(fā)射沿所述攝像機(jī)構(gòu)的視野的左右方向延伸的線狀的光線， 所述變更機(jī)構(gòu)向上方變更所述發(fā)射方向。
3.根據(jù)權(quán)利要求1所述的操縱支援裝置，其中， 所述檢測機(jī)構(gòu)包括第一報告機(jī)構(gòu)，其在所述檢測機(jī)構(gòu)的檢測結(jié)果表示反射的光線消失時，以第一方式輸出所述報告；和第二報告機(jī)構(gòu)，其在所述檢測機(jī)構(gòu)的檢測結(jié)果表示檢測出反射的光線的至少一部分時，以第二方式輸出所述報告。
4.根據(jù)權(quán)利要求1所述的操縱支援裝置，其中，還具備基于所述攝像機(jī)構(gòu)的輸出而制成鳥瞰像的制成機(jī)構(gòu)， 所述判別機(jī)構(gòu)及所述檢測機(jī)構(gòu)分別參照由所述制成機(jī)構(gòu)制成的鳥瞰像來執(zhí)行判別處理及檢測處理。
5.根據(jù)權(quán)利要求1所述的操縱支援裝置，其中，所述攝像機(jī)構(gòu)包括在所述移動體的周邊設(shè)置的多個攝像頭， 所述發(fā)射機(jī)構(gòu)包括分別分配給所述多個攝像頭的多個激光照射器， 所述操縱支援裝置還具備更新機(jī)構(gòu)，該更新機(jī)構(gòu)反復(fù)更新為了所述判別機(jī)構(gòu)的判別處理而關(guān)注的攝像頭及激光照射器。
6.根據(jù)權(quán)利要求1所述的操縱支援裝置，其中，還具備設(shè)定機(jī)構(gòu)，該設(shè)定機(jī)構(gòu)將所述更新機(jī)構(gòu)的更新方式設(shè)定為與所述移動體的移動速度及所述移動體的移動方向中至少一方對應(yīng)而不同的方式。
全文摘要
本發(fā)明涉及操縱支援裝置，其中，激光照射器(L_N(N1～4))設(shè)置于機(jī)動車上且向斜下方發(fā)射激光，攝像頭(C_N)分別設(shè)置于機(jī)動車并具有與激光(L_N)的發(fā)射方向?qū)?yīng)的視野(VW_N)，CPU基于攝像頭(C_N)的輸出判別由激光照射器(L_N)發(fā)射出激光的反射位置的變化量是否超過基準(zhǔn)，在判別結(jié)果從否定的結(jié)果更新為肯定的結(jié)果時，通過CPU變更激光照射器(L_N)的發(fā)射方向，基于與發(fā)射方向的變更處理并行的攝像頭(C_N)的輸出，通過CPU檢測由激光照射器(L_N)發(fā)射出的激光的反射位置的變化的方式，CPU向機(jī)動車的駕駛員輸出對應(yīng)該檢測結(jié)果而不同的報告。
文檔編號H04N5/225GK102165503SQ20098013794
公開日2011年8月24日 申請日期2009年9月7日 優(yōu)先權(quán)日2008年9月25日
發(fā)明者本鄉(xiāng)仁志 申請人:三洋電機(jī)株式會社