專利名稱：車輛周圍監(jiān)測裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于監(jiān)測車輛周圍情況的裝置，更具體地講，本發(fā)明涉及如下一種裝置對車輛周圍情況進(jìn)行監(jiān)測時(shí)，該裝置能利用車輛的移動距離，在拍到的圖像中將不屬于所希望的被監(jiān)測對象從候選被監(jiān)測對象中去除。
背景技術(shù)：
在現(xiàn)有技術(shù)中，人們提出了一種用于抽取存在于車輛周圍的各種被監(jiān)測對象的裝置。在下述專利文獻(xiàn)I中記載有如下一種計(jì)算距離的方法將I個(gè)攝像頭搭載在車輛上，從該攝像頭所拍到的圖像中檢測出車輛周圍的被監(jiān)測對象，根據(jù)該被監(jiān)測對象在圖像中的大小變化率來計(jì)算到該被監(jiān)測對象的距離
專利文獻(xiàn)I :日本發(fā)明專利公報(bào)特許第4267657號
在現(xiàn)有技術(shù)中，對于從攝像頭等所拍到的圖像中檢測出的被監(jiān)測對象而言，都要判定該被監(jiān)測對象的種類，即判定該被監(jiān)測對象是否是如行人一樣的人，還是除此之外的像建筑物等的人工構(gòu)筑物。進(jìn)行上述判定時(shí)，一般來講，由于包含確定被監(jiān)測對象的形狀特征和圖像處理，或包含按時(shí)間序列對被監(jiān)測對象進(jìn)行跟蹤以確認(rèn)其舉動的圖像處理，所以運(yùn)算量較大。如果對檢測出的所有被監(jiān)測對象都進(jìn)行上述種類判定處理，會產(chǎn)生運(yùn)算量變大的問題。
另外，在上述種類判定處理中，對所希望種類的被監(jiān)測對象進(jìn)行判定時(shí)，優(yōu)選盡量降低將其他種類的被監(jiān)測對象誤判為該所希望種類的被監(jiān)測對象的可能性。尤其是該所希望種類的被監(jiān)測對象是行人時(shí)，更優(yōu)選盡量降低將人工構(gòu)筑物誤判為行人的可能性。
還有，如上述專利文獻(xiàn)中所述，在車輛上搭載有I個(gè)攝像頭以檢測出被監(jiān)測對象。 所以與搭載有I對攝像頭的情況相比，前者能降低成本。發(fā)明內(nèi)容
鑒于上述情況，本發(fā)明的目的之一是提供如下一種方法在進(jìn)行上述種類判定處理之前，篩選從圖像中檢測出的候選被監(jiān)測對象，以從候選被監(jiān)測對象去除屬于所希望種類可能性較低的被監(jiān)測對象的。這樣不僅能降低后續(xù)的圖像處理負(fù)擔(dān)，還能降低將其他種類的被監(jiān)測對象誤判為所希望種類的被監(jiān)測對象的可能性。尤其是所希望種類的被監(jiān)測對象是行人時(shí)，還能降低將人工構(gòu)筑物誤判為行人的可能性。另外，本發(fā)明的另一目的是提供如下一種方法即使使用I個(gè)攝像頭，也能簡單且高效地進(jìn)行上述篩選處理。
采用本發(fā)明的第I技術(shù)方案時(shí)，搭載在車輛上并且用于監(jiān)測車輛周圍情況的裝置具有拍攝機(jī)構(gòu)，其用于拍攝所述車輛的周圍情況；根據(jù)拍攝到的圖像用以抽出存在于車輛外的候選被監(jiān)測對象的機(jī)構(gòu)；去除機(jī)構(gòu)，由其從抽出的候選被監(jiān)測對象中，去除被判斷為所希望種類的被監(jiān)測對象的可能性較低的候選被監(jiān)測對象；種類判定機(jī)構(gòu)，由其對經(jīng)上述去除處理而剩下的各上述候選被監(jiān)測對象，都進(jìn)行該候選被監(jiān)測對象是否是所希望種類的被監(jiān)測對象的判定。還有，上述去除機(jī)構(gòu)具有以下機(jī)構(gòu)假設(shè)抽出的上述候選被監(jiān)測對象具有針對上述所希望種類的被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定大小，根據(jù)當(dāng)前的上述圖像中的抽出的該候選被監(jiān)測對象的大小(GhdO)來求出從該車輛到該候選被監(jiān)測對象的距離(ZO)的機(jī)構(gòu)；求出上述車輛在從拍攝之前圖像的時(shí)刻到拍攝當(dāng)前圖像的時(shí)刻之間的時(shí)間間隔內(nèi)的移動距離(ΛΖ)的機(jī)構(gòu)；根據(jù)求出的到該候選被監(jiān)測對象的上述距離和上述移動距離之間的圖像變化率縮小上述當(dāng)前圖像中的上述候選被監(jiān)測對象的大小的機(jī)構(gòu)；對比機(jī)構(gòu)，其用于對上述之前圖像中的上述候選被監(jiān)測對象的大小(Ghdl)和按上述圖像變化率縮小的上述候選被監(jiān)測對象的大小(Ghv)進(jìn)行對比；將由上述對比機(jī)構(gòu)獲得的對比結(jié)果、上述候選被監(jiān)測對象的大小之差判定為大于規(guī)定數(shù)值的候選被監(jiān)測對象，判斷為屬于上述所希望種類的被監(jiān)測對象的可能性較低而將其去除的機(jī)構(gòu)。另外，采用本發(fā)明的其他技術(shù)方案時(shí)，上述去除機(jī)構(gòu)具有以下機(jī)構(gòu)假設(shè)抽出的上述候選被監(jiān)測對象具有針對上述所希望種類的被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定大小，根據(jù)之前的上述圖像中的抽出的該候選被監(jiān)測對象的大小(Ghdl)來求出從該車輛到該候選被監(jiān)測對象的距離(Zl)的機(jī)構(gòu)；求出上述車輛在從拍攝上述之前圖像的時(shí)刻到拍攝當(dāng)前圖像的時(shí)刻之間的時(shí)間間隔內(nèi)的移動距離(ΛΖ)的機(jī)構(gòu)；根據(jù)求出的到該候選被監(jiān)測對象的上述距離和上述移動距離之間的圖像變化率放大上述之前圖像中的上述候選被監(jiān)測對象的大小的機(jī)構(gòu)；對比機(jī)構(gòu)，其用于對上述當(dāng)前圖像中的上述候選被監(jiān)測對象的大小(GhdO)和按上述圖像變化率放大的上述候選被監(jiān)測對象的大小(Ghv)進(jìn)行對比；將由上述對比機(jī)構(gòu)獲得的對比結(jié)果、上述候選被監(jiān)測對象的大小之差判定為大于規(guī)定數(shù)值的候選被監(jiān)測對象，判斷為屬于上述所希望種類的被監(jiān)測對象的可能性較低而將其去除的機(jī)構(gòu)。由本發(fā)明可知，以從圖像中抽出的候選被監(jiān)測對象具有針對所希望種類的被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定大小為前提，根據(jù)車輛的移動距離而確定該圖像中的候選被監(jiān)測對象是否是該所希望種類的被監(jiān)測對象而進(jìn)行篩選。如果該圖像中的候選被監(jiān)測對象不屬于該所希望種類的被監(jiān)測對象，則上述前提未得到滿足，因此，對比結(jié)果、候選被監(jiān)測對象的大小之差變大而能去除該候選被監(jiān)測對象。該篩選處理中，由于只需確定圖像中的被監(jiān)測對象的大小即可，而無需進(jìn)行了解該被監(jiān)測對象的形狀特征或在時(shí)間序列上的舉動的較為復(fù)雜的處理，所以只通過簡單的運(yùn)算就能去除所希望種類的被監(jiān)測對象以外的候選被監(jiān)測對象。因此，在后續(xù)的種類判定處理中，由于能去除可能成為噪音的候選被監(jiān)測對象，所以不僅能減少該種類判定的運(yùn)算量，還能夠促進(jìn)該種類判定的誤判的降低。例如所希望種類的被監(jiān)測對象是行人時(shí)，能降低將人工構(gòu)筑物等其他種類的被監(jiān)測對象誤判為行人的可能性。采用本發(fā)明的I個(gè)實(shí)施方式時(shí)，上述拍攝機(jī)構(gòu)由單個(gè)紅外線攝像頭構(gòu)成，對由上述單個(gè)紅外線攝像頭拍到的圖像進(jìn)行二值處理，并將所獲得的高輝度區(qū)域作為上述候選被監(jiān)測對象而抽出。由本發(fā)明可知，由于只要有I個(gè)攝像頭即可，所以能降低成本。另外，由于對由紅外線攝像頭拍到的圖像進(jìn)行二值處理，所以能容易地抽出如行人這樣溫度較高的候選被監(jiān)測對象。人們能從以下詳細(xì)說明中了解本發(fā)明的其他特征和優(yōu)點(diǎn)。


圖I是本發(fā)明一個(gè)實(shí)施方式中表示車輛周圍監(jiān)測裝置的構(gòu)成的框圖。
圖2是本發(fā)明一個(gè)實(shí)施方式中用于說明攝像頭的安裝位置的圖。
圖3是本發(fā)明一個(gè)實(shí)施方式中表示圖像處理單元的功能框圖。
圖4中(a)是本發(fā)明一個(gè)實(shí)施方式中表示之前和當(dāng)前時(shí)刻的車輛和被監(jiān)測對象的距離方向關(guān)系的圖，圖4中(b)是本發(fā)明一個(gè)實(shí)施方式中表示由之前圖像和當(dāng)前圖像生成的假想圖像的對比處理的示意圖。
圖5是本發(fā)明一個(gè)實(shí)施方式中表示由當(dāng)前圖像和之前圖像生成的假想圖像的對比處理的示意圖。
圖6是本發(fā)明一個(gè)實(shí)施方式中被監(jiān)測對象判定處理的流程圖。
具體實(shí)施方式
下面，參照

本發(fā)明的實(shí)施方式。圖I是本發(fā)明一個(gè)實(shí)施方式中表示用于監(jiān)測車輛的周圍情況的裝置的構(gòu)成的框圖。所述裝置具有紅外線攝像頭1，其數(shù)量為I個(gè)， 搭載在車輛上并且能檢測出遠(yuǎn)紅外線；圖像處理單元2，其根據(jù)由攝像頭I拍到的圖像數(shù)據(jù)檢測出車輛周圍的被監(jiān)測對象并對其進(jìn)行種類判定；揚(yáng)聲器3，其根據(jù)該種類判定結(jié)果用聲音發(fā)出警報(bào)；平視顯示器(以下稱為HUD)4，其既用于顯示由攝像頭I拍到的圖像，還用于顯示根據(jù)該種類判定結(jié)果做出的警報(bào)顯示。還有，上述用于監(jiān)測車輛的周圍情況的裝置還具有橫向角速度傳感器6，其用于檢測出車輛的橫向角速度；車速傳感器7，其用于檢測出車輛的行駛速度(車速)，這些傳感器的檢測結(jié)果輸入圖像處理單元2，根據(jù)需要進(jìn)行規(guī)定的處理時(shí)要用到它們。
該實(shí)施例中，如圖2所示，為了拍攝車輛10的前方，攝像頭I被設(shè)置車輛10的前部的通過車寬中心的中心軸上。紅外線攝像頭I具有如下特性被監(jiān)測對象的溫度越高，其輸出信號的強(qiáng)度越高(即，拍攝圖像中的灰度越大)。
圖像處理單元2具有A/D變換電路，由其將輸入的模擬信號變換為數(shù)字信號；圖像存儲器，由其存儲數(shù)字形式的圖像信號；中央運(yùn)算處理裝置(CPU)，由其進(jìn)行各種運(yùn)算處理；RAM (隨機(jī)存取存儲器)，其用于在CPU進(jìn)行運(yùn)算時(shí)存儲數(shù)據(jù)；R0M(只讀存儲器)，其用于存儲CPU所執(zhí)行的程序和使用的數(shù)據(jù)(包括表格、圖表)；輸出電路，其用于輸出揚(yáng)聲器3 的驅(qū)動信號和HUD4的顯示信號等。來自攝像頭I的輸出信號被變換為數(shù)字信號后輸出給 CPU。如圖2所示，HUD4設(shè)置成在駕駛員前方的車輛10前車窗位置上顯示出畫面4a，從而使駕駛員能看到由HUD4顯示的畫面。
另外，例如能用安裝在儀表板上的顯示裝置來代替HUD4。作為顯示裝置，例如可以利用所謂導(dǎo)航裝置(未圖示)的顯示裝置。眾所周知，導(dǎo)航裝置是這樣一種裝置，其不僅能檢測出車輛的當(dāng)前位置，還能計(jì)算到達(dá)目的地的最佳路徑而在地圖信息上顯示該當(dāng)前位置和該路徑。
圖3是本發(fā)明一個(gè)實(shí)施方式中表示圖像處理單元2的功能框圖。
由候選被監(jiān)測對象抽出部21獲取由攝像頭I拍到的圖像并從該圖像中抽出候選被監(jiān)測對象的圖像區(qū)域。如上所述，在本實(shí)施方式中，由于攝像頭I所拍到的圖像是具有對應(yīng)于拍攝對象的溫度的灰度值的灰度圖像，所以該抽出處理可根據(jù)該灰度圖像的灰度值來實(shí)現(xiàn)。具體地講，在拍攝圖像中，將具有高于規(guī)定灰度值ITH的灰度值的圖像區(qū)域作為候選被監(jiān)測對象而抽出。通過該抽出處理，雖能抽出像生物體那樣具有較高溫度的被監(jiān)測對象，但是如果人工構(gòu)筑物具有熱源時(shí)，也能抽出該人工構(gòu)筑物。在現(xiàn)有技術(shù)中，將通過上述方法抽出的候選被監(jiān)測對象作為判定對象而進(jìn)行功能框25所示的種類判定處理。種類判定處理是用于最終判定候選被監(jiān)測對象是何種被監(jiān)測對象的處理。作為其種類，例如有行人(人)和人工構(gòu)筑物等。通過上述判定處理就能夠確定候選被監(jiān)測對象是行人還是人工構(gòu)筑物等。對于上述種類判定處理而言，因根據(jù)其判定結(jié)果而發(fā)出警報(bào)，所以一般對該種類判定處理有較高的精度要求。因此經(jīng)常需要確認(rèn)候選被監(jiān)測對象在圖像中的形狀或該候選被監(jiān)測對象在時(shí)序圖像中的舉動，這樣的處理運(yùn)算量較大。例如想要判定行人時(shí)，需要進(jìn)行能否從候選被監(jiān)測對象抽出有關(guān)行人特有形狀的特征等的處理。例如可能需要進(jìn)行能否從候選被監(jiān)測對象抽出表示頭部的圓形形狀的確認(rèn)處理，或者需要進(jìn)行能否針對身體各部位(頭部、軀體部、腳部)檢測出相應(yīng)的規(guī)定的高輝度區(qū)域的確認(rèn)處理。另外，還有可能需要進(jìn)行能否根據(jù)時(shí)序圖像中的候選被監(jiān)測對象舉動檢測出行人正在作行走舉動的確認(rèn)處理。若對各抽出的候選被監(jiān)測對象都進(jìn)行上述精細(xì)的種類判定處理，運(yùn)算量有可能會變大。對此，本發(fā)明中，在候選被監(jiān)測對象抽出部21和種類判定部25之間設(shè)有去除處理部(篩選部)23。在進(jìn)行種類判定處理之前，去除處理部23具有對抽出的候選被監(jiān)測對象大體上(粗略地)進(jìn)行篩選的功能，對候選被監(jiān)測對象中，屬于所希望種類可能性較低的被監(jiān)測對象進(jìn)行去除，而不對其進(jìn)行后續(xù)的種類判定處理。這樣在種類判定處理時(shí)，成為噪音的候選被監(jiān)測對象能夠預(yù)先被去除?！八ＭN類”預(yù)先已被確定，在本實(shí)施例中為行人(人)。對于沒有被去除處理部23去除的各候選被監(jiān)測對象，如上所述，由后續(xù)的種類判定部25來最終判定該候選被監(jiān)測對象是否是該所希望種類的被監(jiān)測對象、即行人。若最終被判定為是行人，經(jīng)由揚(yáng)聲器3和(或)HUD4發(fā)出警報(bào)，以向乘員提示存在該行人。由于去除處理部23只關(guān)注候選被監(jiān)測對象的大小而不關(guān)注有關(guān)該候選被監(jiān)測對象的形狀的特征或時(shí)間序列上的舉動，所以能夠通過簡單的運(yùn)算來選別候選被監(jiān)測對象。因此，設(shè)置去除處理部23，能夠減少整個(gè)圖像處理中的運(yùn)算量。另外，沒有被去除處理部23去除的候選被監(jiān)測對象有可能是所希望種類的被監(jiān)測對象，所以在種類判定部25進(jìn)行種類判定時(shí)能夠降低誤判的可能性。如上所述，若所希望種類的被監(jiān)測對象是行人時(shí)，能降低將人工構(gòu)筑物誤判為行人的可能性。如上所述，以下實(shí)施例中將行人當(dāng)作所希望種類，在去除處理部23中，去除判斷為行人的可能性較低的候選被監(jiān)測對象，由種類判定部25對經(jīng)上述去除處理后剩下的各候選被監(jiān)測對象最終判定其是否是行人。對行人的種類判定處理，可利用已知的任意合適的方法，例如該方法記載在日本發(fā)明專利公報(bào)特開2007-241740號、日本發(fā)明專利公報(bào)特開2007-264778號、日本發(fā)明專利公報(bào)特開2007-334751號等中。另外，在種類判定處理中，也可以結(jié)合行人判定而進(jìn)行人工構(gòu)筑物判定或動物判定。這樣，對于沒有被判定為行人的候選被監(jiān)測對象，能判定其為人工構(gòu)筑物還是動物等種類。此時(shí)，對人工構(gòu)筑物種類判定處理，例如可利用日本發(fā)明專利公報(bào)特開2003-016429號、日本發(fā)明專利公報(bào)特開2008-276787號等中記載的方法。另外，對動物種類判定處理，例如可利用日本發(fā)明專利公報(bào)特開2007-310705號、日本發(fā)明專利公報(bào)特開2007-310706號等中記載的方法。下面參照圖4說明由去除處理部23完成的具體的篩選方法。圖4中(a)是表示之前時(shí)刻tl和當(dāng)前時(shí)刻to的自己車輛和被監(jiān)測對象的距離方向關(guān)系的圖。用三角形表示自己車輛100。這里，作為被監(jiān)測對象101的行人位于自己車輛100的前方，由搭載在自己車輛100上的攝像頭I對該行人進(jìn)行拍攝。
在之前時(shí)刻tl，從自己車輛100到被監(jiān)測對象101的距離為Zl，而在當(dāng)前時(shí)刻to， 從自己車輛100到被監(jiān)測對象101的距離為Z0。自己車輛100在之前時(shí)刻tl和當(dāng)前時(shí)刻 to之間在行駛，其移動距離用ΛΖ表示。移動距離ΛΖ可由時(shí)刻tl和to之間的時(shí)間間隔 (to-tl)乘以車輛100的速度Vs (由車速傳感器7檢測出來)而求出。
在圖4中(b)里，示意性地表示了在圖4中(a)的之前時(shí)刻tl由攝像頭I拍到的圖像(稱為之前圖像)和在當(dāng)前時(shí)刻to由攝像頭I拍到的圖像(稱為原圖像)。這里，假設(shè)由候選被監(jiān)測對象抽出部21從之前圖像和當(dāng)前圖像中抽出了作為高輝度區(qū)域的候選被監(jiān)測對象105。
還有需注意的是，在圖4中(a)里，作為被監(jiān)測對象101表示的是行人，但在抽出時(shí)刻，對于圖像處理單元2而言，候選被監(jiān)測對象105是否是行人101還不明確。
之前圖像中的候選被監(jiān)測對象105的高度為Ghdl (例如可用像素?cái)?shù)來表示，下同)，當(dāng)前圖像中的候選被監(jiān)測對象105的高度為GhdO。如圖4中(a)所示，與之前時(shí)刻tl 相比，由于當(dāng)前時(shí)刻t0的車輛100更接近被監(jiān)測對象101，所以當(dāng)前圖像中的高度GhdO大于之前圖像中的高度Ghdl。
這里，假設(shè)抽出的候選被監(jiān)測對象具有針對所希望種類的被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定大小H。本實(shí)施方式中，作為所希望種類的被監(jiān)測對象的行人，最終目的是通過圖像判定行人。因此，針對行人而設(shè)定規(guī)定大小(該例中假設(shè)具有170cm的身高，但也可以使用成人的平均身高)。這樣，本實(shí)施方式中設(shè)定了這樣的前提從圖像中抽出的候選被監(jiān)測對象105在實(shí)際空間中都具有上述規(guī)定大小H。
根據(jù)上述前提(假設(shè))，可由下式求出從自己車輛100到對應(yīng)于具有當(dāng)前圖像中高度GhdO的候選被監(jiān)測對象105的距離Z0。其中，f表示攝像頭I的焦距，H表示上述前提下的規(guī)定大小(該實(shí)施例中為身高)。
ZO = (HXf)/GhdO (I)
若候選被監(jiān)測對象105是行人，按上述方法求出的距離ZO應(yīng)為正確的數(shù)值。為驗(yàn)證其準(zhǔn)確程度而生成假想圖像，其這樣生成由當(dāng)前圖像推定之前時(shí)刻tl的被監(jiān)測對象應(yīng)被拍攝成多大。
S卩，車輛100從當(dāng)前時(shí)刻t0后退移動距離Λ Z時(shí)，由當(dāng)前圖像推定被監(jiān)測對象應(yīng)被拍攝在圖像中的高度Ghv。如圖4中(a)所示，由于之前時(shí)刻tl的被監(jiān)測對象的距離為 Z1，所以，該高度Ghv的大小應(yīng)該對應(yīng)于該之前距離Zl和當(dāng)前距離ZO之比。這里，之前距離Zl =ZO+ΔΖ。因此可由下式求出該高度Ghv。
Ghv = GhdO X (ZO/ (Z0+ Δ Z)) (2)
由于對應(yīng)于距離的圖像比率(Ζ0/(Ζ0+ΛΖ))小于1，所以相對于當(dāng)前圖像中的候選被監(jiān)測對象105的高度GhdO，假想圖像中的候選被監(jiān)測對象105的高度Ghv被縮小。
若候選被監(jiān)測對象105是行人，由于上述前提正確(因此式(I)中的距離ZO正確)，所以假想圖像中的候選被監(jiān)測對象105的高度Ghv實(shí)際上應(yīng)該與之前時(shí)刻tl拍到的之前圖像中的候選被監(jiān)測對象105的高度Ghdl大致相等。因此，如圖4中(b)的對比框所示，對之前圖像中的候選被監(jiān)測對象105的高度Ghdl和假想圖像中的候選被監(jiān)測對象105的高度Ghv進(jìn)行對比。該對比結(jié)果、若兩者之差大于規(guī)定閾值，表示上述前提、即抽出的候選被監(jiān)測對象105在實(shí)際空間中具有與行人一樣的大小的前提是錯(cuò)誤的，這樣判斷為該候選被監(jiān)測對象105表示行人的可能性較低。所以在后續(xù)的由種類判定部25進(jìn)行的種類判定處理中去除該候選被監(jiān)測對象105。相反，如果上述兩者之差小于上述規(guī)定閾值，表示上述前提是正確的，這樣判斷為候選被監(jiān)測對象105有可能是行人。所以將該候選被監(jiān)測對象105留給后續(xù)的種類判定部25，在此對該候選被監(jiān)測對象105是否是行人進(jìn)行最終判定。這樣，通過去除處理部23可在運(yùn)算量較大的種類判定處理之前從候選被監(jiān)測對象中去除(篩選)不屬于所希望種類的被監(jiān)測對象(本實(shí)施例中為行人)。因此能夠減少后續(xù)的種類判定處理中的誤判，即在本實(shí)施例中能夠降低將人工構(gòu)筑物誤判為行人的可能性。如上所述，由于該篩選處理能通過簡單的運(yùn)算就可以完成，所以在種類判定處理中預(yù)先選別處理對象時(shí)其為非常有效的處理方法。在圖4中(b)所示的方式里，由當(dāng)前圖像生成假想圖像而將其與之前圖像進(jìn)行對比，但是也可以替換成由之前圖像生成假想圖像而將其與當(dāng)前圖像進(jìn)行對比。該代替方式表不在圖5中。該代替方式中也同樣適用圖4中(a)所示的距離關(guān)系。另外，該代替方式中也采用同樣的上述前提(假設(shè))。根據(jù)該前提，可由下式求出從自己車輛100到對應(yīng)于具有之前圖像中高度Ghdl的候選被監(jiān)測對象105的距離Z1。其中，f表示攝像頭I的焦距，H表示該前提下的規(guī)定大小(該實(shí)施例中為身高)。Zl = (HXf)/Ghdl (3)若候選被監(jiān)測對象105是行人，按上述方法求出的距離Zl應(yīng)為正確的數(shù)值。為驗(yàn)證其準(zhǔn)確程度而生成假想圖像，其這樣生成由之前圖像推定當(dāng)前時(shí)刻to的被監(jiān)測對象應(yīng)被拍攝成多大。S卩，車輛從之前時(shí)刻tl前進(jìn)移動距離ΛΖ時(shí)，由之前圖像推定被監(jiān)測對象應(yīng)被拍攝在圖像中的高度％v。如圖4中(a)所示，由于當(dāng)前時(shí)刻t0的被監(jiān)測對象的距離為Z0，所以，該高度Ghv的大小應(yīng)該對應(yīng)于該之前距離Zl和當(dāng)前距離ZO之比。這里，當(dāng)前距離ZO=ΖΙ-ΔΖο因此可由下式求出。Ghv = Ghdl X (Zl/(Zl-Δ Ζ)) (4)由于對應(yīng)于距離的圖像比率(Ζ1/(Ζ1_ΛΖ))大于1，所以相對于之前圖像中的候選被監(jiān)測對象105的高度Ghdl，假想圖像中的候選被監(jiān)測對象105的高度Ghv被放大。如上所述，如果候選被監(jiān)測對象101是行人，由于上述前提正確(因此式(3)中的距離Zl正確)，所以假想圖像中的候選被監(jiān)測對象105的高度Ghv實(shí)際上應(yīng)該與當(dāng)前時(shí)刻t0拍到的當(dāng)前圖像中的候選被監(jiān)測對象105的高度GhdO大致相等。因此，如圖5中的對比框所示，對當(dāng)前圖像中的候選被監(jiān)測對象101的高度GhdO和假想圖像中的候選被監(jiān)測對象101的高度Ghv進(jìn)行對比。該對比結(jié)果、若兩者之差大于規(guī)定閾值，表示上述前提、即抽出的候選被監(jiān)測對象105在實(shí)際空間中具有與行人一樣的大小的前提是錯(cuò)誤的，這樣判斷為該候選被監(jiān)測對象101表示行人的可能性較低。所以在后續(xù)的由種類判定部25進(jìn)行的種類判定處理中去除該候選被監(jiān)測對象105。相反，如果上述兩者之差小于上述規(guī)定閾值，表示上述前提是正確的，這樣判斷為候選被監(jiān)測對象105有可能是行人。所以將該候選被監(jiān)測對象101留給后續(xù)的種類判定部25，在此對該候選被監(jiān)測對象105是否是行人進(jìn)行最終判定。該代替方法也能獲得同于參照圖4中(b)所述的上述技術(shù)效果。
圖6是本發(fā)明一個(gè)實(shí)施方式的、圖像處理單元2運(yùn)行時(shí)的處理流程。相隔規(guī)定的時(shí)間間隔來運(yùn)行該處理流程。另外，該處理流程基于圖4中(b)的方式，以行人(人)作為最終進(jìn)行判定的所希望種類的被監(jiān)測對象。
在步驟Sll S13中，接收由攝像頭I輸出的輸出信號(即、拍攝圖像的數(shù)據(jù))， 對其進(jìn)行A/D變換并存儲在圖像存儲器中。所存儲的圖像數(shù)據(jù)為包含有灰度信息的灰度圖像。
在步驟S14中，從攝像頭I所拍到的圖像中抽出表示候選被監(jiān)測對象的圖像區(qū)域。 如上所述，該處理例如可通過該圖像的二值處理來實(shí)現(xiàn)。
具體地講，所謂“二值處理”，是指將比灰度閾值ITH亮的區(qū)域作為“I”(白)而將暗的區(qū)域作為“O”(黑)的處理。經(jīng)過該二值處理，高于規(guī)定溫度的被監(jiān)測對象作為白色區(qū)域而抽出。可采用任意合適的方法來確定灰度閾值ITH。經(jīng)過二值處理的圖像數(shù)據(jù)被變換為游程編碼數(shù)據(jù)。即、對于經(jīng)過二值處理而變白的區(qū)域，用各像素組的該白色區(qū)域(稱為線)的起點(diǎn)(各線左端的像素)的坐標(biāo)以及從起點(diǎn)到終點(diǎn)(各線右端的像素)的長度(可用像素?cái)?shù)來表示)來表示游程編碼數(shù)據(jù)。這里，以圖像中的垂直方向?yàn)閥軸、水平方向?yàn)閄 軸。若y坐標(biāo)為yl的像素行中的白色區(qū)域是從(xl、yl)到(x3、yl)的線，由于該線由3個(gè)像素構(gòu)成，所以能用(xl、yl、3)這樣的游程編碼數(shù)據(jù)來表示。之后在對被監(jiān)測對象進(jìn)行標(biāo)注處理以進(jìn)行被監(jiān)測對象的抽出處理。被游程編碼數(shù)據(jù)化的線中，將在y方向上由重疊部分的線合起來作為I個(gè)被監(jiān)測對象并且在其上標(biāo)注標(biāo)簽。這樣就能抽出候選被監(jiān)測對象的圖像區(qū)域。
在步驟S15中，在此次拍到的圖像、即當(dāng)前圖像上求出按照上述方法抽出的候選被監(jiān)測對象的高度GhdO?？蛇@樣求出該高度GhdO :將按照上述方法作為候選被監(jiān)測對象而抽出的圖像區(qū)域的高度方向(y方向)上的長度(可用像素?cái)?shù)來表示)作為該高度GhdO。 求出的上述高度存儲在存儲器等中。
在步驟S16中，假設(shè)抽出的候選被監(jiān)測對象具有針對所希望種類的被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定大小，推定到當(dāng)前圖像中該候選被監(jiān)測對象的在實(shí)際空間中的距離(ZO)。 該實(shí)施例中，由于該所希望種類的被監(jiān)測對象是行人，所以能夠?qū)⑨槍π腥硕A(yù)先設(shè)定的身高數(shù)值代入式(I)中而推定該距離Z0。
在步驟S17中，求出車輛從之前的某個(gè)時(shí)刻(該實(shí)施例中為上個(gè)周期的執(zhí)行時(shí)刻、 即獲得上一張圖像的時(shí)刻)到當(dāng)前時(shí)刻的移動距離ΛΖ。可這樣求出該移動距離ΛΖ :由執(zhí)行該處理流程的時(shí)間間隔、即獲得由攝像頭I拍攝的圖像的時(shí)間間隔At，乘以由車速傳感器7檢測出來的自己車輛的速度Vs而求出。
在步驟S18中，獲取在上個(gè)周期獲得的圖像(稱為之前圖像)中的作為候選被監(jiān)測對象而抽出的圖像區(qū)域的高度GHdl?？蛇@樣獲取該高度GHdl :獲取在上個(gè)周期執(zhí)行該處理流程時(shí)，在步驟S15中求出并存儲在存儲器等中的高度即可。
在步驟S19中，根據(jù)在步驟S16和S17中求出的距離ZO和移動距離Λ Z，由當(dāng)前圖像生成假想圖像。具體來講，按式(2)，由當(dāng)前圖像中的高度GhdO乘以對應(yīng)于距離的圖像比率(變化率)ZO/ (Ζ0+ Δ Ζ)，推定在之前圖像中應(yīng)能得到的候選被監(jiān)測對象的高度Ghv。
在步驟S20中，對之前圖像中的候選被監(jiān)測對象的高度GHdl和假想圖像中的候選被監(jiān)測對象的高度Ghv進(jìn)行對比，求出兩者之差。在步驟S21中，判斷上述差值大小是否在規(guī)定閾值以下?？煽紤]到能允許的誤差而預(yù)先確定閾值(例如可根據(jù)作為身高誤差而在多大程度上得到允許來確定)。若該差值大小大于規(guī)定閾值(步驟S21的判斷結(jié)果為“否”)，表示上述圖像中的候選被監(jiān)測對象具有與所希望種類的被監(jiān)測對象一樣的大小的假設(shè)(前提)是錯(cuò)誤的，這樣判斷為在步驟S14中作為候選被監(jiān)測對象而抽出的圖像區(qū)域是行人的可能性較低。所以在步驟S22中，在之后的種類判定處理中去除該候選被監(jiān)測對象。相反，若該差值大小小于規(guī)定閾值(步驟S21的判斷結(jié)果為“是”)，表示上述假設(shè)是正確的，這樣判斷為在步驟S14中作為候選被監(jiān)測對象而抽出的圖像區(qū)域候選被監(jiān)測對象有可能表示行人。所以在步驟S23中，對該候選被監(jiān)測對象進(jìn)行種類判定處理，以最終判定該候選被監(jiān)測對象是否是行人。對于該種類判定處理，如上所述，可以采用已知的合適的方法，例如通過確認(rèn)有關(guān)候選被監(jiān)測對象的形狀的特征或時(shí)間序列上的舉動等，就能夠判定該候選被監(jiān)測對象是否是行人。如果該候選被監(jiān)測對象被判定為是行人，經(jīng)由揚(yáng)聲器3或HUD4發(fā)出警報(bào)，以向乘員提示存在該行人。圖6所示的處理流程也同樣適用于參照圖5所說明的情況。此時(shí)，在步驟S15中，獲取在上個(gè)周期獲得的之前圖像中的候選被監(jiān)測對象的高度GHdl，在步驟S16中，按照上述式(3)求出到之前圖像中的候選被監(jiān)測對象的距離Z1。在步驟S18中，求出當(dāng)前圖像中的候選被監(jiān)測對象的高度GHdO，在步驟S19中，由之前圖像生成假想圖像。具體地講，根據(jù)該距離Zl和移動距離ΛΖ，按式(4)來求出假想圖像中的候選被監(jiān)測對象的高度Ghv。在步驟S20中，對假想圖像中的候選被監(jiān)測對象的高度Ghv和當(dāng)前圖像中的候選被監(jiān)測對象的高度GhdO進(jìn)行對比，并且判斷兩者之差是否在規(guī)定數(shù)值以下。上述實(shí)施方式中，以行人(人)作為所希望種類的被監(jiān)測對象，但是也可以將所希望種類進(jìn)一步分為大人和孩子，并且分別對該兩種種類進(jìn)行上述去除處理。此時(shí)，對大人這一種類，例如以成人的平均身高數(shù)值作為規(guī)定大小H，而對孩子這一種類，則以規(guī)定年齡的孩子的平均身高數(shù)值作為規(guī)定大小H即可。對于未被其中之一的去除處理去除的候選被監(jiān)測對象，進(jìn)行是否是行人的種類判定處理。另外，所希望種類的被監(jiān)測對象并不局限于行人，其例如也可以是動物(例如熊或鹿等四足動物)。還有，上述實(shí)施方式中，規(guī)定大小H表示高度(垂直)方向上的大小，通過利用高度方向，若為行人，無關(guān)該行人相對于車輛的朝向都能更正確地進(jìn)行上述去除處理。但是，并非一定要利用高度方向上的大小，也可利用寬度(水平)方向上的大小來代替前者。這是因?yàn)榕臄z圖像中的候選被監(jiān)測對象的寬度也根據(jù)距離的不同而產(chǎn)生變化。例如號這樣做以從拍攝圖像中抽出的候選被監(jiān)測對象具有針對所希望種類的被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定寬度W為前提(假設(shè))而進(jìn)行上述去除處理。另有，上述實(shí)施方式中，將紅外線攝像頭用作攝像頭，這樣能夠容易地抽出像生物體那樣溫度較高的被監(jiān)測對象。但也可以用可見光攝像頭來代替前者。此時(shí)，采用任意合適的方法從拍攝圖像中抽出候選被監(jiān)測對象的圖像區(qū)域，按照上述方法對抽出的該候選被監(jiān)測對象進(jìn)行去除處理即可。上面說明了本發(fā)明特定的實(shí)施方式，但是本發(fā)明申請并不局限于上述實(shí)施方式。
附圖標(biāo)記說明
IRUL紅外線攝像頭(拍攝機(jī)構(gòu))；2圖像處理單元；3揚(yáng)聲器；4HUD
權(quán)利要求
1.一種車輛周圍監(jiān)測裝置，其搭載在車輛上用于監(jiān)測車輛的周圍情況，其特征在于，具有 拍攝機(jī)構(gòu)，由其拍攝所述車輛的周圍情況； 抽出機(jī)構(gòu)，其根據(jù)拍攝到的圖像，從中以抽出存在于車輛外的候選被監(jiān)測對象； 去除機(jī)構(gòu)，由其從抽出的上述候選被監(jiān)測對象中，去除被判斷為屬于所希望種類可能性較低的候選被監(jiān)測對象； 種類判定機(jī)構(gòu)，由其對經(jīng)上述去除處理而剩下的其他各上述候選被監(jiān)測對象進(jìn)行判定，判定其是否是所希望種類的被監(jiān)測對象，其中，上述去除機(jī)構(gòu)具有以下機(jī)構(gòu) 根據(jù)當(dāng)前的上述圖像中的抽出的該候選被監(jiān)測對象的大小(GhdO)來求出從該車輛到該候選被監(jiān)測對象的距離(ZO)的機(jī)構(gòu)，其中，假設(shè)抽出的上述候選被監(jiān)測對象具有針對上述所希望種類的被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定大小； 求出上述車輛在從拍攝之前圖像的時(shí)刻到拍攝當(dāng)前圖像的時(shí)刻之間的時(shí)間間隔內(nèi)的移動距離(A Z)的機(jī)構(gòu)； 根據(jù)求出的到上述候選被監(jiān)測對象的上述距離和上述移動距離用與之對應(yīng)的圖像變化率縮小上述當(dāng)前圖像中的上述候選被監(jiān)測對象的大小的機(jī)構(gòu)； 對比機(jī)構(gòu)，由其對上述之前圖像中的上述候選被監(jiān)測對象的大小(Ghdl)和按上述圖像變化率縮小的上述候選被監(jiān)測對象的大小(Ghv)進(jìn)行對比； 根據(jù)上述對比機(jī)構(gòu)獲得的對比結(jié)果，將上述候選被監(jiān)測對象的大小之差大于規(guī)定數(shù)值的候選被監(jiān)測對象，判斷為屬于上述所希望種類可能性較低的被監(jiān)測對象而將其去除的機(jī)構(gòu)。
2.—種車輛周圍監(jiān)測裝置，其搭載在車輛上用于監(jiān)測車輛的周圍情況，其特征在于，具有 拍攝機(jī)構(gòu)，由其拍攝所述車輛周圍情況； 抽出機(jī)構(gòu)，其根據(jù)拍攝到的圖像，從中以抽出存在于車輛外的候選被監(jiān)測對象； 去除機(jī)構(gòu)，由其從抽出的上述候選被監(jiān)測對象中，去除被判斷為屬于所希望種類可能性較低的候選被監(jiān)測對象； 種類判定機(jī)構(gòu)，由其對經(jīng)上述去除處理而剩下的其他各上述候選被監(jiān)測對象進(jìn)行判定，判定其是否是所希望種類的被監(jiān)測對象，其中，上述去除機(jī)構(gòu)具有以下機(jī)構(gòu) 根據(jù)之前的上述圖像中的抽出的該候選被監(jiān)測對象的大小(Ghdl)來求出從該車輛到該候選被監(jiān)測對象的距離(Zl)的機(jī)構(gòu)，其中，假設(shè)抽出的上述候選被監(jiān)測對象具有針對上述所希望種類的被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定大小，； 求出上述車輛在從拍攝之前圖像的時(shí)刻到拍攝當(dāng)前圖像的時(shí)刻之間的時(shí)間間隔內(nèi)的移動距離(A Z)的機(jī)構(gòu)； 根據(jù)求出的到上述候選被監(jiān)測對象的上述距離和上述移動距離用與之對應(yīng)的圖像變化率放大上述之前圖像中的上述候選被監(jiān)測對象的大小的機(jī)構(gòu)； 對比機(jī)構(gòu)，由其對上述當(dāng)前圖像中的上述候選被監(jiān)測對象的大小(GhdO)和按上述圖像變化率放大的上述候選被監(jiān)測對象的大小(Ghv)進(jìn)行對比； 根據(jù)上述對比機(jī)構(gòu)獲得的對比結(jié)果，將上述候選被監(jiān)測對象的大小之差大于規(guī)定數(shù)值的候選被監(jiān)測對象，判斷為屬于上述所希望種類可能性較低的被監(jiān)測對象而將其去除的機(jī)構(gòu)。
3.根據(jù)權(quán)利要求I或2所述的車輛周圍監(jiān)測裝置，其特征在于， 上述拍攝機(jī)構(gòu)由單個(gè)紅外線攝像頭構(gòu)成， 由上述抽出機(jī)構(gòu)對由上述單個(gè)紅外線攝像頭拍到的圖像進(jìn)行二值處理，并將所獲得的高輝度區(qū)域作為上述候選被監(jiān)測對象而抽出。
全文摘要
本發(fā)明提供一種車輛周圍監(jiān)測裝置，對從拍攝圖像中抽出的候選被監(jiān)測對象預(yù)先進(jìn)行去除處理(篩選)之后進(jìn)行種類判定。其中，該去除處理這樣進(jìn)行假設(shè)候選被監(jiān)測對象具有針對所希望種類的候選被監(jiān)測對象而預(yù)先設(shè)定的規(guī)定大小，求出從車輛到候選被監(jiān)測對象的距離(Z0)；求出車輛在從拍攝之前圖像的時(shí)刻到拍攝當(dāng)前圖像的時(shí)刻之間的時(shí)間間隔內(nèi)的移動距離(ΔZ)；根據(jù)求出的到候選被監(jiān)測對象的該距離和移動距離之間的圖像變化率縮小當(dāng)前圖像中的候選被監(jiān)測對象的大小；對之前圖像中的候選被監(jiān)測對象的大小和按圖像變化率縮小的候選被監(jiān)測對象的大小(Ghv)進(jìn)行對比；去除判定為兩者之差大于規(guī)定數(shù)值的候選被監(jiān)測對象。由于在粗略地去除所希望的被監(jiān)測對象以外的候選被監(jiān)測對象之后進(jìn)行精細(xì)的種類判定，所以本發(fā)明能減少運(yùn)算量而降低誤判的發(fā)生。
文檔編號G08G1/16GK102985957SQ20118003372
公開日2013年3月20日 申請日期2011年6月15日 優(yōu)先權(quán)日2010年7月9日
發(fā)明者松田幸大, 長岡伸治, 服部弘 申請人:本田技研工業(yè)株式會社