相關(guān)申請的交叉引用
本申請要求于2016年3月10日在韓國知識產(chǎn)權(quán)局提交的韓國專利申請第10-2016-0028654號的優(yōu)先權(quán)和權(quán)益,其全部內(nèi)容以引用方式并入本文,如同在本文完全地闡述。
本公開總體上涉及用于提供聲音檢測信息的方法和用于檢測主體車輛周圍的聲音的裝置,并且更特別地,涉及用于提供關(guān)于聲音的跟蹤信息的方法和裝置,以便識別相鄰于主體車輛行駛的車輛以及能夠經(jīng)由駕駛員輔助設(shè)備基于關(guān)于聲音的跟蹤信息來識別交通的車輛。
背景技術(shù):
存在著與道路上駕駛的車輛相鄰的各種類型的聲音。如果駕駛員是具有至少部分受損的聽力的老年人或具有不好的聲音方向感的人,那么他或她對警告喇叭、警報器等發(fā)出的特定聲音(他或她應(yīng)該注意的聲音)產(chǎn)生響應(yīng)將是緩慢的。另外,由于已經(jīng)開發(fā)了就隔音而言的車載技術(shù),所以具有很好的聽力的駕駛員可能不可以正確地聽到在車輛外部發(fā)生的噪聲/聲音。當他或她聽源于車輛后方的特定聲音時,對于駕駛員而言不保持其眼睛朝前可能是不安全的。
因此,可以期望將關(guān)于特定聲音的信息(諸如,與車輛相鄰存在什么樣的聲音、聲音來自哪個方向等)告知駕駛員而不干擾駕駛安全。然而,如果駕駛員接收關(guān)于由他或她的車輛生成的一些聲音(諸如他或她不需要關(guān)心的來自輪胎的咝咝聲)的信息,那么駕駛安全可處于危險中,從而不應(yīng)該生成或遞送關(guān)于該信息的通知。
技術(shù)實現(xiàn)要素:
描述了用于至少基于關(guān)于聲音的跟蹤信息向駕駛員提供有關(guān)與車輛相鄰行進的車輛的具體信息的裝置、方法和車輛。
一種用于提供聲音跟蹤信息的方法,可包括:檢測相鄰于主體車輛發(fā)生的聲音,并且至少基于關(guān)于檢測到的聲音的聲音數(shù)據(jù)生成聲音跟蹤結(jié)果;至少基于聲音跟蹤結(jié)果將檢測類別確定為非車輛檢測、誤差檢測或車輛檢測中的一種;以及確定至少基于檢測類別以及是否生成至少基于檢測類別的通知而調(diào)整的誤差檢測指數(shù)。在本文中,聲音跟蹤結(jié)果包括在根據(jù)時間連續(xù)的多個幀中的每個中在多個角度中的每個角度是否有至少一個其它車輛的概率。
確定檢測類別可包括確定在聲音跟蹤結(jié)果中是否有其中的概率高于預(yù)定閾值的至少一個角度,以檢測至少一個另一車輛;以及當檢測到至少一個另一車輛時,確定是否有誤差檢測。
確定是否有誤差檢測可包括:至少基于當前幀和關(guān)于當檢測基于來自主體車輛的后輪胎的咝咝噪聲的誤差時存在的模式有關(guān)的平均模式數(shù)據(jù)之間的相似度來確定是否存在誤差檢測。
確定是否有誤差檢測可包括至少基于在聲音跟蹤結(jié)果中當前幀的對稱性來確定是否存在誤差檢測。
當檢測類別是誤差檢測時誤差檢測指數(shù)可以增加1,并且當檢測類別是非車輛檢測和車輛檢測中的一個時下降5。
確定誤差檢測指數(shù)可包括當誤差檢測指數(shù)低于預(yù)定閾值并且檢測類別是誤差檢測時,維持先前通告狀態(tài)。
確定誤差檢測指數(shù)可包括當誤差檢測指數(shù)低于預(yù)定閾值并且檢測類別是車輛檢測時,生成通知信號。
確定誤差檢測指數(shù)可包括當誤差檢測指數(shù)超過預(yù)定閾值時,避免生成通知信號。
用于提供聲音跟蹤信息的裝置可包括聲音跟蹤單元,其被配置為檢測相鄰于主體車輛發(fā)生的聲音,并且至少基于關(guān)于檢測到的聲音的聲音數(shù)據(jù)生成聲音跟蹤結(jié)果;車輛檢測單元,其被配置為至少基于聲音跟蹤結(jié)果將檢測類別確定為非車輛檢測、誤差檢測或車輛檢測中的一種;以及誤差避免單元,其被配置為確定至少基于檢測類別以及是否生成至少基于檢測類別的通知而調(diào)整的誤差檢測指數(shù)。在本文中,聲音跟蹤結(jié)果包括在根據(jù)時間連續(xù)的多個幀中的每個中在多個角度中的每個角度處是否有至少一個其它車輛的概率。
車輛檢測單元可以被配置為確定在聲音跟蹤結(jié)果中是否有其中的概率高于預(yù)定閾值的至少一個角度,以檢測至少一個其它車輛,以及當檢測到至少一個其它車輛時確定是否有誤差檢測。
車輛檢測單元可以被配置為至少基于當前幀和關(guān)于當檢測基于來自主體車輛的后輪胎的咝咝噪聲的誤差時存在的模式的平均模式數(shù)據(jù)之間的相似度來確定是否存在誤差檢測。
車輛檢測單元可以被配置為至少基于在聲音跟蹤結(jié)果中當前幀的對稱性來確定是否存在誤差檢測。
當檢測類別是誤差檢測時誤差檢測指數(shù)可以增加1,并且當檢測類別是非車輛檢測或車輛檢測中的一個時下降5。
誤差避免單元可以被配置為當誤差檢測指數(shù)低于預(yù)定閾值并且檢測類別是誤差檢測時,維持先前通告狀態(tài)。
誤差避免單元可以被配置為當誤差檢測指數(shù)低于預(yù)定閾值并且檢測類別是車輛檢測時,生成通知信號。
誤差避免單元可以被配置為當誤差檢測指數(shù)超過預(yù)定閾值時,避免生成通知信號。
車輛可包括多聲道麥克風,其被配置為檢測相鄰于主體車輛發(fā)生的聲音并且生成關(guān)于聲音的聲音數(shù)據(jù);聲音跟蹤設(shè)備,其被配置為至少基于聲音跟蹤結(jié)果將檢測類別確定為非車輛檢測、誤差檢測或車輛檢測中的一種,聲音跟蹤結(jié)果至少基于聲音數(shù)據(jù),以及確定至少基于檢測類別以及是否生成至少基于檢測類別的通知而調(diào)整的誤差檢測指數(shù);以及通知接口,其被配置為當生成通知時聽覺上或視覺上告知駕駛員關(guān)于相鄰于主體車輛的至少一個車輛的信息。
用于在車輛中提供聲音跟蹤信息的裝置可包括:處理系統(tǒng),其包括至少一個數(shù)據(jù)處理器和存儲計算機程序的至少一個計算機可讀存儲器。在本文中,處理系統(tǒng)被配置為使得裝置:檢測相鄰于主體車輛發(fā)生的聲音,并且至少基于關(guān)于檢測到的聲音的聲音數(shù)據(jù)生成聲音跟蹤結(jié)果;至少基于聲音跟蹤結(jié)果將檢測類別確定為非車輛檢測、誤差檢測或車輛檢測中的一種;以及確定至少基于檢測類別以及是否生成至少基于檢測類別的通知而調(diào)整的誤差檢測指數(shù)。在本文中,聲音跟蹤結(jié)果包括在根據(jù)時間連續(xù)的多個幀中的每個中在多個角度中的每個角度處是否有至少一個其它車輛的概率。
非易失性計算機可讀介質(zhì)可以存儲使處理系統(tǒng)執(zhí)行用于提供聲音跟蹤信息的處理的程序。該處理包括:檢測相鄰于主體車輛發(fā)生的聲音,并且至少基于關(guān)于檢測到的聲音的聲音數(shù)據(jù)生成聲音跟蹤結(jié)果;至少基于聲音跟蹤結(jié)果將檢測類別確定為非車輛檢測、誤差檢測或車輛檢測中的一種;以及確定至少基于檢測類別以及是否生成至少基于檢測類別的通知而調(diào)整的誤差檢測指數(shù)。在本文中,聲音跟蹤結(jié)果包括在根據(jù)時間連續(xù)的多個幀中的每個中于多個角度中的每個角度處是否有至少一個其它車輛的概率。
附圖說明
被包括以提供對本公開的進一步理解并且被并入并構(gòu)成本申請的一部分的附圖示出了本公開的一種或多種形式,并與說明書一起用于解釋本公開的原理。在附圖中:
圖1示出了車輛;
圖2示出了圖1所示的聲音跟蹤裝置;
圖3描述了圖2所示的聲音跟蹤裝置的操作方法;
圖4示出了圖3所示的s50步驟;
圖5和圖6描述了當檢測類別是誤差檢測時的示例;
圖7和圖8描述了圖2所示的車輛檢測單元如何將檢測類別確定為誤差檢測;以及
圖9和圖10示出了圖2所示的誤差避免單元如何控制通知生成單元。
具體實施方式
現(xiàn)在將詳細參考本公開的示例性形式,本公開的示例在附圖中示出。在附圖中,相同的元件由相同的參考標號表示,并且將不給出其重復(fù)解釋。在本文中的元件的后綴“模塊”和“單元”是為了方便描述而使用的,并且因此可以互換使用,并且不具有任何可區(qū)分的含義或功能。
如本文所使用的術(shù)語“一”或“一個”被定義為一或多于一個。如本文所使用的術(shù)語“另一”被定義為至少第二或更多。如本文所使用的術(shù)語“包括”和/或“具有”被定義為包括(即,開放性轉(zhuǎn)變)。如本文所使用的術(shù)語“耦合”或“操作性地耦合”被定義為連接,盡管不一定是直接地,并且不一定是機械地。
在本公開的描述中,當認為相關(guān)技術(shù)的某些詳細解釋可不必要地模糊本發(fā)明的本質(zhì)時,省略相關(guān)技術(shù)的某些詳細解釋。本公開的特征將從附圖中更清楚地理解,并且不應(yīng)由附圖限制。應(yīng)當理解,不脫離本發(fā)明的精神和技術(shù)范圍的所有改變、等同物和替代物都包括在本發(fā)明中。
圖1示出了車輛。如所示,車輛10可以在生成關(guān)于具體聲音的信息之后向駕駛員提供通知,諸如與在駕駛員駕駛時的車輛10相鄰發(fā)生什么樣的聲音、聲音來自哪個方向等。
車輛10可以包括多聲道麥克風50,其被配置為收集車輛10外部的聲音,以及聲音跟蹤裝置100,其被配置為至少基于由多聲道麥克風50收集的聲音數(shù)據(jù)生成關(guān)于具體聲音的信息。多聲道麥克風50的每個麥克風可以被認為是單聲道的。通過示例而非限制的方式,有多聲道麥克風50中的3個麥克風。雖然圖1中示出了車輛10中的麥克風的多個位置,但可以改變位置。
參考圖2,描述了聲音跟蹤裝置100的詳細操作。
圖2示出了圖1所示的聲音跟蹤裝置100。
如所示,聲音跟蹤裝置100可包括信號處理單元110、數(shù)據(jù)存儲單元120、聲音識別單元130、聲音跟蹤單元140、車輛檢測單元150、誤差避免單元160和通知生成單元170。通過示例而非限制的方式,聲音跟蹤裝置100可以被設(shè)計為裝備在車輛10的頭部單元(headunit,收音頭)內(nèi)。
多聲道麥克風50可以檢測相鄰于車輛10發(fā)生的聲音,以通過模數(shù)轉(zhuǎn)換生成關(guān)于聲音的聲音數(shù)據(jù),并將聲音數(shù)據(jù)遞送到信號處理單元100。
有位于車輛附近或靠近車輛的各種類型的聲音。例如,有來自車輛附近的其它車輛的引擎聲音,自后輪胎的咝咝聲,由交通標志、電氣標志等發(fā)出的聲音,自然的聲音等。
駕駛員在駕駛車輛10時想要知道會在車輛10的前面、后面或側(cè)面的盲區(qū)中行進的另一車輛的狀態(tài)和關(guān)系位置。在本文中,狀態(tài)可包括另一車輛是否試圖超過車輛10。
由于車內(nèi)隔音系統(tǒng),存在于車輛10外部的一些聲音可能未遞送到駕駛員。因此,當聽到警告喇叭聲音時,駕駛員想要知道警告喇叭聲音來自哪個方向或警告喇叭聲音是否與車輛10相關(guān)。如果適當識別警告喇叭聲音,那么駕駛員可以減速車輛、改變道路的車道、打開應(yīng)急燈等。
此外,當開大車載音頻系統(tǒng)的音量時,駕駛員可能未捕捉或聽到車輛附近的警告喇叭聲音。在這種情況下,當接近車輛發(fā)生警告喇叭聲音的情況下,可需要經(jīng)由車載音頻系統(tǒng)聽覺上或視覺上告知駕駛員。
駕駛員可以對另一種聲音感興趣。例如,當車輛突然停止時,由于地面和輪胎之間的摩擦,可以生成大聲的摩擦聲音。大聲的摩擦聲音可以與汽車事故或近車(nearcar)事故相關(guān),使得可以期望使駕駛員小心。再如,當車輛與另一車輛碰撞時發(fā)生巨響。如果在車輛的前面、側(cè)面等發(fā)生巨響,那么將可以識別的聲音以及關(guān)于發(fā)生巨響的方向信息提供給駕駛員,以使駕駛員能夠避免另一次隨后的汽車事故/撞擊(clash)。
當在接近或靠近車輛的救護車或警車上裝備的警報器發(fā)出大聲長鳴的信號或警告聲音時,駕駛員應(yīng)該移動車輛,使得救護車或警車可以超過車輛。在特定情況下,如果駕駛員不采取所要求的行動,他或她可面臨法律處罰。因此,輔助駕駛員識別來自應(yīng)急車輛或政府運行的車輛的大聲長鳴的信號或警告聲音對于車輛可以是有用的。
信號處理單元110可以針對遞送的聲音數(shù)據(jù)實行噪聲濾波??梢酝ㄟ^噪聲濾波去除難以理解聲音的特性或源的各種噪聲。駕駛員感興趣的大多數(shù)聲音(諸如警告喇叭聲、警報器聲、大聲的摩擦聲音、巨響聲等)可以具有足夠高的分貝(db)水平,例如超過70db。因此,信號處理單元110可以確定去除噪聲之后的聲音數(shù)據(jù)是否具有高于或等于參考水平的分貝水平。換言之,具有比參考水平低的分貝水平的聲音數(shù)據(jù)可以由信號處理單元110刪除。
數(shù)據(jù)存儲單元120可以存儲去除了噪聲的聲音數(shù)據(jù)。數(shù)據(jù)存儲單元120可以將聲音數(shù)據(jù)存儲為幀的單元,并將聲音數(shù)據(jù)提供到聲音識別單元130中。通過示例而非限制的方式,幀可以包括在特定時間收集的多個聲音數(shù)據(jù),并且每個幀之間的間隔可以是具體的恒定時間(例如,40ms、100ms等)。
聲音識別單元130可以分析聲音數(shù)據(jù)的特性。即使具有比參考水平高的分貝水平,聲音數(shù)據(jù)對于駕駛員可能也是不重要。例如,雖然來自火車的聲音、來自機場附近的航班的聲音等可具有較高的分貝水平,但是那些聲音可以不影響駕駛員開車。在道路恢復(fù)、重新發(fā)布項目等中發(fā)生的噪聲是相同的。如果將這些聲音連續(xù)不斷地告知駕駛員,那么在駕駛員應(yīng)注意的情況下,駕駛員的響應(yīng)可能變慢或不存在。
關(guān)于從數(shù)據(jù)存儲單元120遞送的聲音數(shù)據(jù),聲音識別單元130可以在時域和頻域兩者中提取特定值。聲音識別單元120可以構(gòu)建包括特定值的平均值和變化值的數(shù)據(jù)庫。在本文中,特定值可以包括梅爾頻率倒頻譜系數(shù)(mfcc)、總頻譜功率(tsp)、子帶頻譜功率(ssp)和/或音調(diào)頻率。聲音識別單元120可以將關(guān)于聲音數(shù)據(jù)的預(yù)定時間段(例如,100ms的幀)的平均值和變化值存儲在數(shù)據(jù)庫中。
在聲音信號處理的技術(shù)領(lǐng)域中,梅爾頻率倒頻譜(mfc)是表示聲音的短期功率譜的方法中的一種??梢曰陬l率的非線性梅爾標度上的對數(shù)功率譜的線性余弦變換來獲得mfc。梅爾頻率倒頻譜系數(shù)(mfcc)是共同構(gòu)成mfc的系數(shù)。通常,mfcc對短期聲音數(shù)據(jù)(信號)使用預(yù)加重濾波器,然后應(yīng)用離散傅里葉變換(dft)。在mfcc中,功率譜可以通過mel濾波器組獲得,并且將對數(shù)用于功率譜。然后,可以通過將離散余弦變換(dct)施加至對數(shù)值來獲得mfcc。
功率譜可以示出預(yù)定幀中的能量分布,并且子帶頻譜功率可以描述通常四個子帶頻譜諸如[0,1/8f0]、[1/8f0,1/4f0]、[1/4f0,1/2f0]和[1/2f0,f0]的能量分布值??梢灾辽倩谧韵嚓P(guān)函數(shù)來獲得音調(diào)頻率。在本文中,音調(diào)可以是音頻波形的基頻,并且是在諸如語音和音樂信號的聲音的分析中的參數(shù),并且音調(diào)頻率可以通過平均幅度不同函數(shù)(amdf)曲線上原始和第一谷之間的時間段的倒數(shù)來估計。在估計聲音數(shù)據(jù)的音調(diào)頻率之后,音調(diào)輪廓(pc)、音調(diào)標準偏差(pstd)、平滑音調(diào)比(spr)和非音調(diào)比(npr)可以是用于將聲音數(shù)據(jù)分類成不同類別的一些有效特征。
聲音識別單元130可以使用分類器,其被配置為對關(guān)于通過上述方法獲得的聲音數(shù)據(jù)的特性值進行分類,以識別聲音數(shù)據(jù)是否包括駕駛員會感興趣的具體聲音。分類器可以包括神經(jīng)網(wǎng)絡(luò)分類器、支持向量機(svm)和貝葉斯分類器中的一個。
在下文中,描述其中聲音識別單元130使用神經(jīng)網(wǎng)絡(luò)分類器的示例。
聲音識別單元130的分類器可以基于聲音的類型將聲音分類為多個類,并且使用關(guān)于獲得的聲音數(shù)據(jù)的特性值,以至少基于聲音數(shù)據(jù)和多個類之間的相似度來估計或計算聲音數(shù)據(jù)的置信水平。換言之,置信水平包括聲音數(shù)據(jù)可以被歸類為具體類的概率。置信水平的總和可以為一。
由聲音識別單元130的分類器生成的聲音分類結(jié)果可以包括關(guān)于每個類的信息、對應(yīng)于每個類的聲音的類型,以及對應(yīng)于每個類的置信水平。
聲音識別單元130可以確定聲音數(shù)據(jù)的置信水平是否等于或大于閾值(例如,0.7),并將確定結(jié)果添加到聲音分類結(jié)果中。換言之,在置信水平等于或大于閾值的情況下,聲音識別單元130可以將對應(yīng)于置信水平的具體類確定為聲音數(shù)據(jù)的類型。
因此,聲音識別單元130可以分析聲音數(shù)據(jù)的特性,以生成考慮關(guān)于聲音數(shù)據(jù)是哪種類型的聲音的信息的聲音分類結(jié)果。
就具有高于具體類(其被歸類為具體類)的閾值的置信水平的聲音(或目標聲音)的類型而言,聲音跟蹤單元140至少基于聲音數(shù)據(jù)可以跟蹤聲音方向,即,聲音來自哪。聲音的類型可以由聲音識別單元130提供。
聲音跟蹤單元140可以累積包括在連續(xù)幀中的聲音數(shù)據(jù),識別在波形(具有聲音的時間特性)中經(jīng)由每個麥克風進入的聲音的相似度,并且測量在經(jīng)由每個麥克風接收聲音數(shù)據(jù)的定時之間的差。聲音的時間特性可以由聲音識別單元130提供。
聲音的音量與平方距離成反比。當距離是距發(fā)生聲音的位置的兩倍遠時,聲音的音量可以減少1/4(約6db)。在假設(shè)典型車輛具有約2m的寬度和約3m的長度的情況下,所檢測的聲音(聲音數(shù)據(jù))的音量之間的差可以是基于發(fā)生聲音的位置的有用信息。
通過示例而非限制的方式,當多聲道麥克風50裝備在圖1所示的車輛中時,如果在車輛的右上方發(fā)生聲音,那么由布置在車輛上部的麥克風檢測的聲音的音量大于布置在車輛的右下方和左邊的麥克風檢測的聲音的音量。此外,由布置在車輛右下方的麥克風檢測的聲音的音量大于布置在車輛的左下方的麥克風檢測的聲音的音量。
至少基于那些特性,從每個麥克風收集的聲音的音量可以用于在主體車輛基礎(chǔ)上跟蹤大體方向。
此外,經(jīng)由每個麥克風接收聲音的定時之間的差(例如,信號延遲)可以用于測量關(guān)于發(fā)生聲音的地點的角度。聲音跟蹤單元140存儲表格/矩陣類型數(shù)據(jù),其包含關(guān)于發(fā)生聲音的地點的角度與對應(yīng)于每個麥克風的信號延遲之間的測繪信息。通過示例而非限制的方式,在表格/矩陣類型數(shù)據(jù)中,一個度數(shù)與預(yù)定的第一時間t1(針對第一麥克風的信號延遲)、預(yù)定的第二時間t2(針對第二麥克風的信號延遲)、和預(yù)定的第三時間t3(針對第三麥克風的信號延遲)相關(guān)聯(lián)。此外,可以通過將信號延遲t1、t2、t3施加至存儲在數(shù)據(jù)存儲單元120中的聲音數(shù)據(jù)(其經(jīng)由每個麥克風收集)而獲得的值的和,來估計跟蹤目標置于一度數(shù)的概率。
換言之,可以將對于所有角度中的每個角度的延遲值施加至當前信號(聲音數(shù)據(jù)),以便測量跟蹤目標置于每個度數(shù)的概率。因此,可以估計發(fā)生聲音的位置/地點。這是因為關(guān)于發(fā)生聲音的位置/地點的角度和對應(yīng)于麥克風中的每個的信號延遲的每個組合可以彼此一一對應(yīng)。
使用該信息,聲音跟蹤單元140可以在連續(xù)幀中生成相對于車輛10的每個角度的聲音跟蹤信息。
聲音跟蹤信息可以包括在每個角度是否有與根據(jù)時間連續(xù)的每個幀中的目標聲音匹配的對象(例如,另一車輛)的概率。
在下文中,可以假設(shè)裝置可以僅收集主體車輛周圍的摩擦音聲音(例如,來自輪胎的咝咝聲)。在這種情況下,至少基于在根據(jù)時間連續(xù)的每個幀中的檢測/收集的摩擦音聲音的聲音跟蹤信息可以包括是否有另一車輛接近于和每個角度相對于主體車輛10的概率。
車輛檢測單元150可以至少基于聲音跟蹤信息來確定是否有另一車輛。此外,當確定靠近主體車輛存在另一車輛時,車輛檢測單元150可以確定是否有由來自主體車輛的后輪胎的咝咝聲而不是來自另一車輛引起的誤差檢測。
當主體車輛附近有另一車輛并且沒有誤差情況時,車輛檢測單元150可以確定當前檢測類別是車輛檢測。
如果主體車輛附近有另一車輛并且有誤差情況,那么車輛檢測單元150可以確定當前檢測類別是誤差檢測。
當主體車輛附近沒有其它車輛時,車輛檢測單元150可以確定當前檢測類別是非車輛檢測。
車輛檢測單元150可以將檢測類別和對應(yīng)角度信息(即,當檢測另一車輛時相對于主體車輛的另一車輛的地點的角度)遞送到誤差避免單元160中。
誤差避免單元160可以至少基于檢測類別和根據(jù)檢測類別可調(diào)整的誤差檢測指數(shù)來確定是否為駕駛員生成通知。誤差檢測指數(shù)是用于最終判定檢測類別是否包括誤差的一種因素。誤差檢測指數(shù)可以是大于或等于0的整數(shù)。
誤差避免單元160可以確定是否為駕駛員生成通知以及控制通知生成單元170以生成或阻斷通知生成單元170以生成通知,或者保持先前通告狀態(tài)。當確定將生成通知時,誤差避免單元160可以將對應(yīng)角度信息遞送到通知生成單元170中。
稍后將參考圖4至圖10描述車輛檢測單元150和誤差避免單元160的詳細操作。
由誤差避免單元160控制的通知生成單元170可以生成包括關(guān)于靠近主體車輛的另一車輛的信息(位置、速度、角度等)的通知。
通知接口200可以至少基于由聲音跟蹤裝置100提供的通知將關(guān)于發(fā)生聲音的位置的信息遞送到駕駛員。通過示例而非限制的方式,通知接口200可以聽覺上、視覺上或兩者均向駕駛員提供信息。
通知接口200可以在車輛10中裝備的頭部單元顯示器(hud)或集群(cluster)中實施,以便提供關(guān)于發(fā)生聲音的位置的視覺信息。此外,通知接口200可以在經(jīng)由諸如控制器局域網(wǎng)(can)總線等的有線通信網(wǎng)絡(luò)與聲音跟蹤裝置100耦合的導(dǎo)航設(shè)備中實施。此外,通知接口200可以被包括在經(jīng)由諸如藍牙、nfc、wi-fi等的短程無線技術(shù)與聲音跟蹤裝置100耦合的智能設(shè)備(諸如智能手機、平板電腦、智能手表等)中。
圖3描述了圖2所示的聲音跟蹤裝置的操作方法。圖4示出了圖3所示的s50步驟。圖5和圖6描述了當檢測類別包括誤差(即,誤差檢測)時的示例。圖7和圖8描述了圖2所示的車輛檢測單元如何將檢測類別確定為誤差檢測。圖9和圖10示出了圖2所示的誤差避免單元如何控制通知生成單元。
參考圖3,描述了由圖2所示的聲音跟蹤裝置100執(zhí)行的操作方法,即,用于提供聲音跟蹤信息的方法。
信號處理單元110可以檢測相鄰于主體車輛10發(fā)生的聲音,并接收通過聲音的模數(shù)轉(zhuǎn)換生成的聲音數(shù)據(jù)(s10)。
信號處理單元110可以針對獲得的聲音數(shù)據(jù)實行噪聲濾波,并且數(shù)據(jù)存儲單元120可以存儲其噪聲被去除的聲音數(shù)據(jù)(s20)。
聲音識別單元130可以從數(shù)據(jù)存儲單元120遞送的聲音數(shù)據(jù)中提取或抽取時域和頻域中的特性值,并使用分類器以對特性值進行分類,以便生成聲音分類結(jié)果(s30)。
就至少基于聲音數(shù)據(jù)具有比閾值高的置信水平的聲音的類型或類而言,聲音跟蹤單元140可以生成關(guān)于在根據(jù)時間連續(xù)的每個幀中于每個角度處是否存在對應(yīng)于聲音的該類型或類的對象或目標的概率的信息(s40)。
車輛檢測單元150和執(zhí)行車輛檢測算法的誤差避免單元160可以確定檢測類別并去除誤差(s50)。
圖4示出來圖3所示的步驟(s50)。
車輛檢測單元150可以至少基于聲音跟蹤結(jié)果來確定檢測類別(s51)。
聲音跟蹤結(jié)果可以包括關(guān)于在根據(jù)時間連續(xù)的每個幀中另一車輛是否對應(yīng)于假定來自輪胎的咝咝聲的概率的信息。因此,當聲音跟蹤結(jié)果中的另一車輛的概率是否等于或大于閾值(例如,90%)時,車輛檢測單元150確定在對應(yīng)角度處有另一車輛。
即使當確定有另一車輛時,車輛檢測單元150可進一步考慮其確定是否包括誤差(即,誤差檢測)。
參考圖5,如果主體車輛的右側(cè)是在主體車輛基礎(chǔ)上的0度,那么可以確定向前變?yōu)?0度、左側(cè)為180度并且向后為270度。
聲音可來自另一車輛以及主體車輛的后輪胎。在本文中,來自后輪胎的聲音可以經(jīng)由主體車輛的多聲道麥克風50進入。
在圖6中,有示出了在沒有另一車輛靠近主體車輛行駛的情形下由聲音跟蹤單元140生成的聲音跟蹤結(jié)果的曲線圖。在曲線圖中,越暗,在每個角度處是否存在另一車輛的概率越高。
換言之,在圖5所示的主體車輛中,在第一角度θ1和第二角度θ2處有兩個后輪胎。參考圖6,在第一角度θ1和第二角度θ2處的聲音數(shù)據(jù)比另一聲音數(shù)據(jù)暗,使得可以確定另一車輛存在于第一角度θ1和第二角度θ2。例如,第一角度為約235度,而第二角度為約305度。
圖6包括示出在示出聲音跟蹤結(jié)果的上述曲線圖中的與特定時間t匹配的單個幀的角度θ和概率之間的關(guān)系的另一曲線圖。參考該曲線圖,可以在第一角度θ1和第二角度θ2處估計更高或最高概率。曲線圖示出了在第一角度θ1和第二角度θ2處的兩個概率之間的中值基礎(chǔ)上的對稱類型結(jié)果。
如上所述,在即使當沒有另一車輛接近主體車輛行駛的情形下,也可能至少基于包括來自主體車輛的后輪胎的咝咝聲的聲音數(shù)據(jù)而確定有其它車輛。
例如,當另一車輛靠近主體車輛行駛時,來自主體車輛的后輪胎的咝咝聲具有比來自裝備在另一車輛中的多個輪胎的另一聲音低的音量。因此,在這種情況下,沒有基于來自主體車輛的后輪胎的咝咝聲而存在另一車輛的誤解。
如上所述,在即使當確定主體車輛附近存在另一車輛的情況下,車輛檢測單元150可以進一步確定示出靠近主體車輛行駛的另一車輛的結(jié)果是否包括誤差。
圖7和圖8描述了車輛檢測單元150如何確定作為檢測類別的車輛檢測包括由來自主體車輛的后輪胎的摩擦聲音引起的誤差(例如,誤差檢測)的兩種不同方法。
參考圖7,作為第一方法,車輛檢測單元150可以在角度θ和當有由來自主體車輛的后輪胎的摩擦聲音引起的誤差檢測時的概率之間累積多個模式數(shù)據(jù)data_1至data_k(k是等于或大于2的整數(shù)),并且存儲累積的多個模式數(shù)據(jù)的平均模式數(shù)據(jù)apd。在本文中,參考圖6,模式數(shù)據(jù)包括示出角度θ和由來自主體車輛的后輪胎的摩擦聲音引起的誤差檢測的概率之間的關(guān)系的曲線圖的模式。
多個模式數(shù)據(jù)data_1至data_k可以根據(jù)主體車輛的規(guī)格來確定,并且然后由操作者存儲在聲音跟蹤裝置100中。
通過示例而非限制的方式,可以通過計算在每個角度處的多個模式數(shù)據(jù)data_1至data_k的平均值來生成平均模式數(shù)據(jù)apd。
車輛檢測單元150可以將當前聲音跟蹤結(jié)果的幀cf與平均模式數(shù)據(jù)apd進行比較以獲得相似度。可以至少基于百分比相似度、jaccard相似度(指數(shù)/系數(shù))等來測量相似度。在下文中,可以假設(shè)在本公開中使用百分比相似度方法。
當相似度高于閾值(例如,75%)時,車輛檢測單元150可以確定當前聲音跟蹤結(jié)果的幀cf中的車輛檢測包括來自主體車輛的后輪胎的摩擦聲音引起的誤差。此外,當相似度低于或等于閾值時,車輛檢測單元150可以確定當前聲音跟蹤結(jié)果的幀cf中的車輛檢測不包括由來自主體車輛的后輪胎的摩擦聲音引起的誤差。
可以合理地實現(xiàn)這些確定,因為對應(yīng)于來自主體車輛的后輪胎的摩擦聲音的概率值的分布通常包括規(guī)則模式。
換言之,車輛檢測單元150可以將統(tǒng)計上示出由來自主體車輛的后輪胎的摩擦聲音引起的誤差(誤差檢測)的平均模式與當前幀進行比較,并且至少基于比較(例如,平均模式與當前幀之間的相似度)來確定是否包括誤差,以便更準確地識別由來自主體車輛的后輪胎的摩擦聲音引起的誤差檢測。
參考圖8,作為第二方法,車輛檢測單元150可以確定當前聲音跟蹤結(jié)果的幀cf中的中位角(medianangle)c,并且基于中位角c獲得對稱性。
中位角c可以是實驗上可以確定的中位角范圍(例如,250至290度,或距270度的中心的預(yù)定范圍)內(nèi)具有最低概率的角度。
相似度可以通過多種方法獲得。例如,恒定值(例如,1)與從中位角c的中心的左角(例如(c-10)θ)和右角(例如(c+10)θ)的概率之間的差的比率可以進行平均以獲得相似度。
當相似度高于閾值(例如,75)時,車輛檢測單元150可以確定當前聲音跟蹤結(jié)果的幀cf中的車輛檢測包括由來自主體車輛的后輪胎的摩擦聲音引起的誤差。此外,當相似度低于或等于閾值時,車輛檢測單元150可以確定當前聲音跟蹤結(jié)果的幀cf中的車輛檢測不包括由來自主體車輛的后輪胎的摩擦聲音引起的誤差。
這些確定可以合理地實現(xiàn),因為基于來自主體車輛的后輪胎的摩擦聲音估計的概率值的分布具有明顯的對稱性。
換言之,車輛檢測單元150可以測量當前幀的對稱性以確定是否包括誤差,以便可以更精確地識別由來自主體車輛的后輪胎的摩擦聲音引起的誤差檢測。
在當有靠近主體車輛行駛的另一車輛并且確定不包括誤差的情況下,車輛檢測單元150可以將檢測類別確定為車輛檢測。
在當有靠近主體車輛行駛的另一車輛并且確定包括任何誤差的情況下,車輛檢測單元150可以將檢測類別確定為誤差檢測。
在當沒有靠近主體車輛行駛的其它車輛的情況下,車輛檢測單元150可以將檢測類別確定為非車輛檢測。
車輛檢測單元150可以將檢測類別和角度信息(即,關(guān)于在主體車輛基礎(chǔ)上另一車輛存在的位置的角度)遞送到誤差避免單元160。
誤差避免單元160可以至少基于檢測類別來改變或調(diào)整誤差檢測指數(shù)(s52)。當檢測類別是誤差檢測時,誤差檢測指數(shù)可以增加1。
誤差檢測指數(shù)是當檢測類別是誤差檢測時用于最終確定是否可以包括誤差的一種參考值。例如,誤差檢測指數(shù)可以是大于或等于0的整數(shù)。換言之,誤差檢測指數(shù)的最小值可以是0。
誤差避免單元160可以當檢測類別是誤差檢測時將誤差檢測指數(shù)增加1,并且當檢測類別是非車輛檢測或車輛檢測時將誤差檢測指數(shù)下降或減少5。這是為了阻斷立即生成通知,即使在連續(xù)不斷地保持誤差判定的同時由系統(tǒng)誤差等暫時釋放或中止誤差檢測。在本文中,當誤差檢測指數(shù)在0到4(小于5)的范圍內(nèi)時,即使減少5,但誤差檢測指數(shù)也變?yōu)?(最小值)。
誤差避免單元160可以確定誤差檢測指數(shù)是否等于或大于閾值(s53)。誤差檢測指數(shù)對于用于確定當檢測類別是誤差檢測時的情況是否最后包括誤差可以是有價值的。例如,閾值是4,但是其可以是至少基于聲音跟蹤結(jié)果中的幀的間隔(即,聲音跟蹤的時段)調(diào)整的預(yù)定值。間隔越長,閾值可以越低。
如果當誤差檢測指數(shù)低于閾值(例如,步驟s53中的“否”)時檢測類別是誤差檢測(例如,步驟s54中的“是”),那么誤差避免單元160可以使通知生成單元170保持先前通知狀態(tài)(s55)。先前通知狀態(tài)可以包括生成通知的不同狀態(tài)或不生成通知。
如果當誤差檢測指數(shù)低于閾值(例如,步驟s53中的“否”)時檢測類別是車輛檢測,而不是誤差檢測(例如,步驟s54中的“否”),那么誤差避免單元160可以使通知生成單元170生成通知信號(s56)。如果先前已經(jīng)生成了通知信號,那么誤差避免單元160可以控制通知生成單元170,以便保持先前通知信號。
此外,如果檢測類別是非車輛檢測,而不是誤差檢測(例如,步驟s54中的“否”),那么誤差避免單元160可以阻斷通知生成單元170生成通知信號。
當誤差檢測指數(shù)等于或大于閾值(例如,步驟s53中的“是”)時,誤差避免單元160可以最終確定基于當前聲音跟蹤結(jié)果的檢測類別是誤差檢測(s57)。
因此,誤差避免單元160可以處理通知生成單元170不生成通知信號(s58)。
圖9和圖10示出了誤差避免單元160如何至少基于檢測類別來控制通知生成單元170。在下文中,假設(shè)誤差檢測指數(shù)q為4。
參考圖9,例如,誤差避免單元160可以順序地接收三個非車輛檢測和九個誤差檢測作為檢測類別。
當遞送三個非車輛檢測時,誤差避免單元160照原樣保持誤差檢測指數(shù)q,并且確定通知生成單元170不生成通知信號。
然而,在遞送誤差檢測時,誤差避免單元160將誤差檢測指數(shù)q增加1。在遞送第四誤差檢測之前,誤差檢測指數(shù)低于4,使得誤差避免單元160控制通知生成單元170保持先前通知狀態(tài)(即,沒有通知信號的先前狀態(tài))。
當遞送第四誤差檢測時,誤差檢測指數(shù)q變?yōu)?。然后,誤差避免單元160可以最終確定檢測類別是誤差檢測,使得通知生成單元170不生成通知信號。
此后,當隨后進入另一誤差檢測時,誤差避免單元160類似于先前情況(即,當遞送第四誤差檢測時)重復(fù)操作。
假設(shè)車輛檢測單元150沒有發(fā)現(xiàn)由主體車輛的后輪胎引起的誤差,則通知生成單元170可以連續(xù)不斷地生成通知信號,以在輸入第一誤差檢測作為檢測類別之后告知駕駛員不必要的信息。
然而,如上所述的聲音跟蹤裝置100可以檢測由主體車輛的后輪胎引起的誤差,以便避免向駕駛員提供不必要的警報或通知,并且從而有助于駕駛安全。
參考圖10,再如,誤差避免單元160可以順序地接收兩個非車輛檢測、四個車輛檢測和六個誤差檢測作為檢測類別。
當遞送兩個非車輛檢測時,誤差避免單元160照原樣保持誤差檢測指數(shù)q,并且確定通知生成單元170不生成通知信號。
當在兩個非車輛檢測之后接收車輛檢測時,誤差避免單元160保持誤差檢測指數(shù)q,但由于輸入車輛檢測作為檢測類別,所以使得通知生成單元170生成通知信號。
可以重復(fù)實行誤差避免單元160的該操作,直到遞送第四車輛檢測作為檢測類別。
然后,在輸入誤差檢測時,誤差避免單元160將誤差檢測指數(shù)q增加1。在遞送第四誤差檢測之前,誤差檢測指數(shù)低于4,使得誤差避免單元160控制通知生成單元170保持先前通知狀態(tài)(即,具有通知信號的先前狀態(tài))。
當遞送第四誤差檢測時,誤差檢測指數(shù)q變?yōu)?。然后,誤差避免單元160可以最終確定檢測類別是誤差檢測,使得通知生成單元170不生成通知信號。
此后,當隨后進入另一誤差檢測時,誤差避免單元160類似于先前情況(即,當遞送第四誤差檢測時)重復(fù)操作。
參考圖9和圖10,當進入第一誤差檢測作為檢測類別時不立即生成通知信號,并且可以通過誤差檢測指數(shù)q的閾值來保留是否生成通知信號的確定。這些處理可以是有效的以避免沒有誤差的情況(例如,當兩個其它車輛在與主體車輛的兩個后輪胎具有相同角度的位置上行駛時)可被暫時誤解為誤差檢測。
因此,上述聲音跟蹤裝置100可以至少基于誤差檢測指數(shù)q的閾值來保留是否生成通知信號,使得可以通過對于非誤差檢測或誤差檢測的暫時誤解或誤導(dǎo)來避免釋放先前通知狀態(tài)。
參考圖3,由誤差避免單元160控制的通知生成單元170可以生成包括關(guān)于靠近主體車輛操作的另一車輛的信息的通知信號。接收信息,通知接口200可以向駕駛員提供就發(fā)生聲音的區(qū)域而言的信息(s60)。
如上所述,由于識別由來自車輛的后輪胎的聲音引起的誤差,所以車輛不向駕駛員提供不必要的通知,以便可以確保駕駛安全。
此外,因為在找到類似于誤差的聲音模式時施加就誤差檢測指數(shù)而言的閾值以保留狀態(tài)(例如不生成通知),所以裝置可以避免釋放先前通知狀態(tài)(這是由暫時錯誤或誤算的判定引起的)。
上述形式由本發(fā)明的結(jié)構(gòu)元件和特征以預(yù)定方式組合來實現(xiàn)。結(jié)構(gòu)元件或特征中的每個應(yīng)當被選擇性地考慮,除非單獨指定。結(jié)構(gòu)元件或特征中的每個可以在不與其它結(jié)構(gòu)元件或特征組合的情況下執(zhí)行。另外,一些結(jié)構(gòu)元件和/或特征可以彼此組合以構(gòu)成本公開的形式??梢愿淖儽竟_的形式中描述的操作的順序。一種形式的一些結(jié)構(gòu)元件或特征可以包括在另一種形式中,或者可以用另一種形式的對應(yīng)結(jié)構(gòu)元件或特征代替。此外,顯而易見的是,涉及具體權(quán)利要求的一些權(quán)利要求可以與涉及除了具體權(quán)利要求之外的其它權(quán)利要求的另一權(quán)利要求組合以構(gòu)成該形式,或者在提交申請之后通過修正而添加新的權(quán)利要求。
根據(jù)上述形式的方法可以實施為計算機可執(zhí)行程序并且存儲在計算機可讀記錄介質(zhì)中。計算機可讀記錄介質(zhì)可以是rom、ram、cd-rom、磁帶、軟盤、光學數(shù)據(jù)存儲設(shè)備等中的一種。此外,計算機可讀記錄介質(zhì)可以以載波(例如,在因特網(wǎng)上傳輸)的形式實現(xiàn)。
計算機可讀記錄介質(zhì)可以分布到由網(wǎng)絡(luò)連接的計算機系統(tǒng),并且可以以分布式方式作為由計算機可讀的代碼來存儲和執(zhí)行。此外,實施上述方法的功能程序、代碼和代碼段可以由實施方案所屬領(lǐng)域的程序員容易地推導(dǎo)出。
對于本領(lǐng)域技術(shù)人員顯而易見的是,在不脫離本發(fā)明的精神或范圍的情況下,可以對本發(fā)明進行各種修改和變化。因此,本公開旨在覆蓋本公開的修改和變化,只要它們落入所附權(quán)利要求及其等同物的范圍內(nèi)。