相關(guān)申請案的交叉參考

本申請案要求來自2015年1月16日申請的共同擁有的美國非臨時專利申請案第14/598,892號的優(yōu)先權(quán)，所述申請案的內(nèi)容明確地被以引用的方式全部并入本文中。

本發(fā)明大體來說涉及物件檢測。更特定來說，本發(fā)明涉及響應(yīng)于圖像數(shù)據(jù)和位置數(shù)據(jù)的物件檢測。

背景技術(shù)：

裝置可使用基于圖像的技術(shù)執(zhí)行物件檢測操作。舉例來說，可將攝影機(jī)安裝在運(yùn)載工具上或并入于電子裝置中，且攝影機(jī)可將圖像數(shù)據(jù)供應(yīng)到處理器。處理器可執(zhí)行計(jì)算機(jī)視覺應(yīng)用程序來分析(或“掃描”)圖像數(shù)據(jù)以檢測物件，例如在運(yùn)載工具或移動裝置的行進(jìn)視野內(nèi)或附近的障礙(例如，行人、樹木、家畜、獵物和/或另一物件)。

在一些情況中，基于圖像的物件檢測可緩慢且無效的。舉例來說，用于辨識圖像中的物件的圖像“搜索”可涉及多個耗時操作，例如圖像分段和視窗化操作。此外，基于圖像的物件檢測可與大范圍的不確定性(或大誤差容限)相關(guān)聯(lián)，這可導(dǎo)致所檢測物件位置不可靠。這些問題可使物件檢測的既定用途落空。作為實(shí)例，在運(yùn)載工具應(yīng)用中，基于圖像的物件檢測可過于緩慢而無法使得運(yùn)載工具能夠和時減速、停止或以其它方式改變路線以避免障礙。

一些裝置可使用基于位置的信息(例如，雷達(dá)信息)來檢測物件。然而，基于位置的信息可經(jīng)受大范圍的不確定性(例如，這些裝置可具有大誤差容限)。

技術(shù)實(shí)現(xiàn)要素：

可使用位置數(shù)據(jù)和圖像數(shù)據(jù)的縮放空間表示來執(zhí)行物件檢測?？s放空間表示中的每一個可為圖像數(shù)據(jù)的不同分辨率版本。為了說明，裝置(例如，運(yùn)載工具或電子裝置)可包含經(jīng)配置以產(chǎn)生圖像數(shù)據(jù)的圖像傳感器(例如，攝影機(jī))。所述裝置可還包含或接收與待檢測的物件相關(guān)聯(lián)和/或指示物件可存在于其中的場景中的一或多個區(qū)域的位置數(shù)據(jù)。舉例來說，可從經(jīng)配置以產(chǎn)生位置數(shù)據(jù)的位置傳感器(例如，雷達(dá)裝置、全球定位系統(tǒng)(gps)裝置等等)接收位置數(shù)據(jù)。位置傳感器可耦合到圖像傳感裝置或與圖像傳感裝置分離。在另一實(shí)例中，位置數(shù)據(jù)可對應(yīng)于指示所關(guān)注物件(例如，待檢測的物件)可存在于何處的三維(3d)地圖的一或多個區(qū)域，例如場景或圖像的高出路面或地面的區(qū)域。在一些情況下，場景的一個以上區(qū)域可由3d地圖識別且經(jīng)接收作為位置數(shù)據(jù)。舉例來說，可期望檢測行車道的左側(cè)和右側(cè)兩者上的物件。在這些裝置中，替代搜索所有圖像數(shù)據(jù)以檢測物件(例如，行人、樹木、家畜、獵物和/或另一物件)，裝置(例如，處理器)可搜索位置數(shù)據(jù)與圖像數(shù)據(jù)的縮放空間表示的重疊、相交或會聚處以檢測物件。裝置可經(jīng)配置以搜索一或多個縮放空間表示來檢測物件，且可搜索不同縮放空間表示以檢測不同物件。較之其它技術(shù)(例如，對所有圖像數(shù)據(jù)的“蠻力”或澈底搜索)，搜索位置數(shù)據(jù)與圖像數(shù)據(jù)的一或多個縮放空間表示的重疊或相交處可在計(jì)算上較不復(fù)雜，且因此比不考量位置數(shù)據(jù)的其它物件檢測技術(shù)更高效。

作為說明性非限制性實(shí)例，運(yùn)載工具可執(zhí)行行人檢測。為檢測行人，運(yùn)載工具可利用基于模型的物件檢測，其中模型假設(shè)所關(guān)注物件在由攝影機(jī)提供的圖像數(shù)據(jù)中的高度將小于或等于特定數(shù)目個像素(例如，高度小于或等于100個像素)。當(dāng)行人接近運(yùn)載工具時，行人的高度可超過100個像素，且因此，所述模型可不能夠成功檢測到行人。為檢測行人，可對圖像數(shù)據(jù)的經(jīng)減少采樣的縮放空間表示重新執(zhí)行基于模型的物件檢測。舉例來說，如果行人的高度在原始(例如，全分辨率)圖像中為180個像素，那么行人的高度在以因數(shù)2進(jìn)行減少采樣的縮放空間表示中將為90個像素，且基于模型的物件檢測可在經(jīng)減少采樣的圖像中成功檢測到行人。因此，為了在不同距離處成功檢測物件(例如，行人)，運(yùn)載工具可對由攝影機(jī)檢索的圖像數(shù)據(jù)的多個縮放空間表示執(zhí)行物件檢測(例如，“高”或“全”分辨率表示、“中”分辨率表示、“低”分辨率表示，等等)。應(yīng)注意，本發(fā)明并不限于運(yùn)載工具的物件檢測。在各種實(shí)施例中，作為說明性非限制性實(shí)例，可以在電子裝置、移動裝置、個人佩戴式攝影機(jī)、頭戴式顯示器或航天器處和/或基于由電子裝置、移動裝置、個人佩戴式攝影機(jī)、頭戴式顯示器或航天器的圖像傳感器檢索的圖像執(zhí)行物件檢測。

反復(fù)地全面搜索多個縮放空間表示中的每一個可為耗時的。根據(jù)所描述技術(shù)，物件檢測器可不搜索與物件(例如，行人)的可能位置不相交或重疊的縮放空間表示。此外，當(dāng)縮放空間表示與物件的可能位置重疊時，搜索可限制于對應(yīng)于重疊的所關(guān)注區(qū)域。物件的可能位置可由位置傳感器提供，所述位置傳感器是運(yùn)載工具的一部分或與運(yùn)載工具分離。另外，物件的可能位置可至少部分地基于物件可存在于其中的3d地圖的一或多個區(qū)域。應(yīng)理解，如本文中所使用，檢測物件可包含：檢測物件在圖像數(shù)據(jù)中(或在圖像數(shù)據(jù)的縮放空間表示中)的表示，檢測實(shí)際物理物件(例如，基于超聲波、雷達(dá)，等等)，或兩者。

在特定方面中，一種設(shè)備包含經(jīng)配置以接收位置數(shù)據(jù)和來自圖像傳感器的場景的圖像數(shù)據(jù)的物件檢測器。所述場景是從運(yùn)載工具觀看到且包含物件。所述圖像數(shù)據(jù)與所述場景的多個縮放空間表示相關(guān)聯(lián)(例如，可用于產(chǎn)生所述多個縮放空間表示)。所述物件檢測器經(jīng)配置以響應(yīng)于所述位置數(shù)據(jù)和所述多個縮放空間表示中的第一縮放空間表示而檢測所述物件。

在另一特定方面中，一種方法包含：在處理器處，從圖像傳感器接收場景的圖像數(shù)據(jù)，所述場景是從設(shè)備觀看到且包含物件。所述圖像數(shù)據(jù)與所述場景的多個縮放空間表示相關(guān)聯(lián)。所述方法也包含：在所述處理器處，接收與所述物件相關(guān)聯(lián)或指示所述物件可存在于其中的區(qū)域的位置數(shù)據(jù)。所述方法進(jìn)一步包含：在所述處理器處，基于所述多個縮放空間表示中的第一縮放空間表示與所述位置數(shù)據(jù)之間的重疊而識別所述第一縮放空間表示的搜索區(qū)域。所述方法包含：在所述處理器處，在所述第一縮放空間表示的搜索區(qū)域中執(zhí)行物件檢測。

在另一特定方面中，一種設(shè)備包含用于接收場景的圖像數(shù)據(jù)的裝置，所述場景是從所述設(shè)備觀看到且包含物件，其中所述圖像數(shù)據(jù)與所述場景的多個縮放空間表示相關(guān)聯(lián)。所述設(shè)備進(jìn)一步包含用于處理的裝置。用于處理的所述裝置經(jīng)配置以基于所述多個縮放空間表示中的第一縮放空間表示和與所述物件相關(guān)聯(lián)或指示所述物件可存在于其中的區(qū)域的位置數(shù)據(jù)之間的重疊而識別所述第一縮放空間表示的搜索區(qū)域。用于處理的所述裝置也經(jīng)配置以在所述第一縮放空間表示的所述搜索區(qū)域中執(zhí)行物件檢測。

在另一特定方面中，一種計(jì)算機(jī)可讀存儲裝置存儲指令，所述指令可由處理器執(zhí)行以致使處理器從圖像傳感器接收場景的圖像數(shù)據(jù)，所述場景是從設(shè)備觀看到且包含物件。所述圖像數(shù)據(jù)與所述場景的多個縮放空間表示相關(guān)聯(lián)。所述指令也可執(zhí)行以接收與所述物件相關(guān)聯(lián)或指示所述物件可存在于其中的區(qū)域的位置數(shù)據(jù)，和基于所述多個縮放空間表示中的第一縮放空間表示與所述位置數(shù)據(jù)之間的重疊而識別所述第一縮放空間表示的搜索區(qū)域。所述指令可進(jìn)一步執(zhí)行以在所述第一縮放空間表示的所述搜索區(qū)域中執(zhí)行物件檢測。

由所揭示實(shí)施例中的至少一者提供的一個特定優(yōu)點(diǎn)是可通過使用與所述物件相關(guān)聯(lián)或指示所述物件可存在于其中的區(qū)域的位置數(shù)據(jù)使對圖像數(shù)據(jù)執(zhí)行的物件檢測的時間減少。舉例來說，可不對不與位置數(shù)據(jù)相交或重疊的縮放空間表示執(zhí)行物件檢測，且對與位置數(shù)據(jù)相交或重疊的縮放空間表示的物件檢測可限制于所關(guān)注的重疊或相交區(qū)域。在檢閱包含以下部分：“附圖說明”、“具體實(shí)施方式”和“權(quán)利要求書”的整個申請案之后，本發(fā)明的其它方面、優(yōu)點(diǎn)和特征將變得明了。

附圖說明

圖1是描繪可操作以使用位置數(shù)據(jù)和圖像數(shù)據(jù)的縮放空間表示執(zhí)行物件檢測的說明性系統(tǒng)的圖；

圖2a、2b、2c和2d是描繪圖1的系統(tǒng)的操作的說明性實(shí)例的圖；

圖3是描繪可操作以使用位置數(shù)據(jù)和圖像數(shù)據(jù)的縮放空間表示執(zhí)行物件檢測的系統(tǒng)的另一說明性實(shí)例的圖；

圖4是描繪可操作以使用位置數(shù)據(jù)和圖像數(shù)據(jù)的縮放空間表示執(zhí)行物件檢測的系統(tǒng)的另一說明性實(shí)施例的圖；

圖5a描繪使用三維(3d)地圖數(shù)據(jù)來執(zhí)行物件檢測的說明性實(shí)例；

圖5b描繪可在物件檢測期間使用的掩模的說明性實(shí)例；

圖6是說明基于3d地圖數(shù)據(jù)而識別所關(guān)注區(qū)域的方法的說明性實(shí)例的流程圖；

圖7是描繪使用位置數(shù)據(jù)和圖像數(shù)據(jù)的縮放空間表示進(jìn)行物件檢測的方法的說明性實(shí)例的流程圖；并且

圖8是電子裝置的說明性實(shí)例的框圖。

具體實(shí)施方式

圖1描繪經(jīng)配置以執(zhí)行物件檢測的系統(tǒng)的特定說明性實(shí)施例。在圖1的實(shí)例中，物件檢測是在運(yùn)載工具102處執(zhí)行。然而，應(yīng)注意，本發(fā)明并不限于如此。本文中所揭示的物件檢測裝置、方法、系統(tǒng)等等可在替代環(huán)境中實(shí)施以檢測在車流、視野等等中的物件。舉例來說，本文中所描述的一或多個功能可以以下各項(xiàng)實(shí)施：電子裝置、移動裝置、游戲主機(jī)、汽車系統(tǒng)控制臺(例如，adas)、可穿戴式裝置(例如，個人佩戴式攝影機(jī))、頭戴式顯示器，等等。額外實(shí)例包含但不限于機(jī)器人或機(jī)器人裝置、無人航天器(uav)和遙控飛機(jī)。在圖1的實(shí)例中，運(yùn)載工具102可為機(jī)動車輛(例如，汽車、卡車、機(jī)車、巴士或火車)、船舶(例如，船或艇)、航空器(例如，飛機(jī)或直升飛機(jī))、太空船(例如，航天飛機(jī))、自行車或另一運(yùn)載工具。作為說明性實(shí)例，運(yùn)載工具102可為輪式運(yùn)載工具、履帶式運(yùn)載工具、軌式運(yùn)載工具、空中運(yùn)載工具或滑撬式運(yùn)載工具。在一些情形中，運(yùn)載工具102可由一或多個駕駛者操作。舉例來說，運(yùn)載工具102可包含經(jīng)配置以為運(yùn)載工具102的駕駛者提供輔助的先進(jìn)駕駛輔助系統(tǒng)(adas)。在其它情形中，運(yùn)載工具102可為計(jì)算機(jī)控制運(yùn)載工具。此外，盡管圖1的實(shí)例系統(tǒng)中的物件檢測是在運(yùn)載工具102處執(zhí)行，但應(yīng)理解，在其它實(shí)例中，本文中所揭示的物件檢測可在“云端”或在運(yùn)載工具102外部執(zhí)行。舉例來說，運(yùn)載工具或其它電子裝置可將位置數(shù)據(jù)和/或圖像數(shù)據(jù)提供到另一裝置以執(zhí)行物件檢測。

運(yùn)載工具102(例如，運(yùn)載工具102的adas)可包含一或多個圖像傳感器，例如，說明性圖像傳感器104。圖像傳感器104可包含攝影機(jī)，例如基于電荷耦合裝置(ccd)的攝影機(jī)和/或基于互補(bǔ)式金屬氧化物半導(dǎo)體(cmos)的攝影機(jī)。在替代實(shí)施例中，圖像傳感器104可包含不同類型的傳感器(例如，紅外線)。

在圖1的實(shí)例中，運(yùn)載工具102進(jìn)一步包含一或多個位置傳感器，例如，說明性位置傳感器106。作為說明性實(shí)例，位置傳感器106可包含雷達(dá)裝置、光檢測與測距(光達(dá))裝置、全球定位系統(tǒng)(gps)裝置、超聲波裝置和/或通信裝置(例如，運(yùn)載工具通信網(wǎng)絡(luò)中所使用的專用短程通信(dsrc)裝置)。

在圖1的實(shí)例中，展示圖像傳感器104的三角形視野。應(yīng)注意，圖像傳感器104的視野可以各種方式確定。作為說明性非限制性實(shí)例，圖像傳感器104(或包含圖像傳感器104的設(shè)備)可包含gps收發(fā)器，且可基于圖像傳感器104(或設(shè)備)的兩個gps位置之間的時間差異而確定視野。兩個gps位置之間的差異可對應(yīng)于三角形視野的中心線或圖像傳感器104的行進(jìn)方向。作為另一說明性非限制性實(shí)例，圖像傳感器104的方向可基于耦合到圖像傳感器104或包含于包含圖像傳感器104的設(shè)備(例如，運(yùn)載工具、計(jì)算裝置或其它設(shè)備)中的運(yùn)動傳感器(例如，加速度計(jì))而確定。因此，即使并非事先知道，仍可確定圖像傳感器104的視野和方向。

運(yùn)載工具102可進(jìn)一步包含處理器108和存儲器110。存儲器110可存儲可由處理器108存取的指令和數(shù)據(jù)。處理器108可包含中央處理器單元(cpu)、數(shù)字信號處理器(dsp)、專用集成電路(asic)、電子控制單元(ecu)、另一處理裝置或其組合。處理器108可包含物件檢測器128，例如，基于位置數(shù)據(jù)和基于縮放空間的物件檢測器。物件檢測器128可對應(yīng)于運(yùn)載工具102的硬件組件、可由處理器108執(zhí)行的軟件(例如，指令)或其組合。

在操作期間，位置傳感器106可將位置數(shù)據(jù)116提供到處理器108。在一些實(shí)施方案中，位置數(shù)據(jù)116可包含與一或多個物件(例如，說明性物件112)相關(guān)聯(lián)的雷達(dá)數(shù)據(jù)、光達(dá)數(shù)據(jù)、gps數(shù)據(jù)等等。物件112可為靜止的或可處于運(yùn)動中。舉例來說，作為說明性非限制性實(shí)例，物件112可對應(yīng)于行人、另一運(yùn)載工具、交通信號燈、道路障礙(例如，倒塌的交通信號燈、樹枝或瓦礫)、家畜(例如，牛、野牛、馬、綿羊或山羊)、獵物(例如，麋鹿、駝鹿、熊或鹿)，或路邊物件(例如，標(biāo)志、廣告牌或路側(cè)單元(rsu))。物件112可接近于運(yùn)載工具102或安置在距運(yùn)載工具顯著距離處(例如，不接近于運(yùn)載工具)。舉例來說，物件112可在運(yùn)載工具102的特定范圍內(nèi)、在運(yùn)載工具102的行進(jìn)視野或方向內(nèi)，在圖像傳感器104的視野內(nèi)，等等。在一些實(shí)施方案中，位置傳感器106包含一或多個傳感器，所述一或多個傳感器經(jīng)配置以對運(yùn)載工具102的行進(jìn)視野進(jìn)行掃描以發(fā)現(xiàn)物件(例如，物件112)。舉例來說，位置傳感器106可包含經(jīng)配置以使用從物件112反射的信號產(chǎn)生位置數(shù)據(jù)116的雷達(dá)裝置、超聲波裝置和/或光達(dá)裝置。在一些實(shí)施方案中，位置傳感器106經(jīng)配置以接收與一或多個物件相關(guān)聯(lián)的位置數(shù)據(jù)。舉例來說，位置傳感器106可包含專用短程通信裝置、rfid裝置、個人網(wǎng)絡(luò)裝置或另一通信裝置。

圖像傳感器104可產(chǎn)生包含物件112的場景的圖像數(shù)據(jù)114(例如，通過檢索一或多個圖像)。圖像傳感器104可將圖像數(shù)據(jù)114提供到處理器108。在一些實(shí)施方案中，圖像傳感器104可響應(yīng)于來自位置傳感器106的命令而產(chǎn)生圖像數(shù)據(jù)114。在特定說明性實(shí)例中，如果位置傳感器106檢測到物件112(例如，使用雷達(dá)、超聲波或光達(dá)技術(shù)，或通過從另一裝置接收gps和/或dsrc信息)，那么位置傳感器106可在連接圖像傳感器104與位置傳感器106的總線處確證控制信號。替代地或另外，圖像傳感器104的操作可由處理器108控制。舉例來說，處理器108可響應(yīng)于從位置傳感器106接收到位置數(shù)據(jù)116而致使圖像傳感器104產(chǎn)生圖像數(shù)據(jù)114。在其它情形中，圖像傳感器104可獨(dú)立于位置傳感器106操作。舉例來說，圖像傳感器104可持續(xù)地、周期性地或偶爾地檢索圖像且可將圖像的圖像數(shù)據(jù)(例如，圖像數(shù)據(jù)114)載入到緩沖器、高速緩存存儲器或其它存儲器(例如，存儲器110)。在此實(shí)例中，響應(yīng)于從位置傳感器106接收到位置數(shù)據(jù)116，處理器108可從緩沖器、高速緩存存儲器或其它存儲器檢索圖像數(shù)據(jù)114。為了說明，存儲器110或其部分可充當(dāng)經(jīng)配置以存儲從圖像傳感器104接收的圖像數(shù)據(jù)的循環(huán)式緩沖器。

舉例來說，圖像數(shù)據(jù)114可與場景的多個縮放空間表示(例如，第一縮放空間表示120、第二縮放空間表示122和第三縮放空間表示124)相關(guān)聯(lián)?？s放空間表示120、122和124中的每一個可與相應(yīng)圖像分辨率相關(guān)聯(lián)。舉例來說，第一縮放空間表示120可與第一圖像分辨率相關(guān)聯(lián)，第二縮放空間表示122可與低于第一圖像分辨率的第二圖像分辨率相關(guān)聯(lián)，且第三縮放空間表示124可與低于第二圖像分辨率的第三圖像分辨率相關(guān)聯(lián)。在圖1的實(shí)例中，第一縮放空間表示120可對應(yīng)于投影到圖像傳感器104的視野中由線段111表示的“高”、“全”和/或“完全”分辨率圖像平面上的場景。第二縮放空間表示122可對應(yīng)于投影到由線段113表示的“中”分辨率圖像平面上的場景，且第三縮放空間表示124可對應(yīng)于投影到由線段115表示的“低”分辨率圖像平面上的場景。因此，如圖1中所展示，線段111、113和115(和對應(yīng)相應(yīng)“高”、“中”和“低”分辨率圖像平面)距圖像傳感器104不同距離。

盡管圖1說明三個縮放空間表示，但應(yīng)了解，本發(fā)明也適用于不同數(shù)目個縮放空間表示(例如，兩個縮放空間表示、四個縮放空間表示，或另一數(shù)目個縮放空間表示)。在說明性實(shí)例中，第一縮放空間表示120對應(yīng)于處于圖像傳感器104的全或完全分辨率的圖像數(shù)據(jù)114，第二縮放空間表示122對應(yīng)于以第一因數(shù)(例如，2)進(jìn)行減少采樣的圖像數(shù)據(jù)114，且第三縮放空間表示124對應(yīng)于以大于第一因數(shù)的第二因數(shù)(例如，5)進(jìn)行減少采樣的圖像數(shù)據(jù)114。處理器108可經(jīng)配置以使用篩選、抽取、次采樣、內(nèi)插和/或其它圖像處理技術(shù)來對較高分辨率縮放空間表示進(jìn)行減少采樣以產(chǎn)生一或多個較低分辨率縮放空間表示。舉例來說，處理器108可對第一縮放空間表示120進(jìn)行減少采樣以產(chǎn)生第二縮放空間表示122，且可對第二縮放空間表示122進(jìn)行減少采樣以產(chǎn)生第三縮放空間表示124。在另一說明性實(shí)施方案中，運(yùn)載工具102包含多個圖像傳感器，其中每一圖像傳感器產(chǎn)生場景的不同分辨率圖像或縮放空間表示。

物件檢測器128可對位置數(shù)據(jù)116和縮放空間表示120到124中的一或多者作出響應(yīng)。舉例來說，物件檢測器128可基于位置數(shù)據(jù)116選擇縮放空間表示且可對所選擇縮放空間表示執(zhí)行物件檢測以檢測物件112。為了說明，物件檢測器128可使用位置數(shù)據(jù)116來確定物件112定位于其中的估計(jì)區(qū)118。鑒于與位置數(shù)據(jù)116相關(guān)聯(lián)的誤差容限(例如，由于噪聲、傳感器延遲、物件112和/或運(yùn)載工具102的運(yùn)動的速度/方向等等所致)，估計(jì)區(qū)118可對應(yīng)于物件112的可能位置。物件檢測器128可確定對應(yīng)于縮放空間表示120到124的圖像平面中的任一者是否與估計(jì)區(qū)118重疊或相交。在圖1的實(shí)例中，第一縮放空間表示120(對應(yīng)于線段111)和第三縮放空間表示124(對應(yīng)于線段115)不與估計(jì)區(qū)118重疊。響應(yīng)于檢測到不存在重疊，物件檢測器128可不對第一縮放空間表示120和第三縮放空間表示124執(zhí)行物件檢測(例如，以更快速地執(zhí)行物件檢測和/或節(jié)省計(jì)算資源)。

在圖1的實(shí)例中，物件檢測器128可確定，第二縮放空間表示122(對應(yīng)于線段113)與估計(jì)區(qū)118重疊。舉例來說，物件檢測器128可基于第二縮放空間122的分辨率圖像平面與所接收位置數(shù)據(jù)116的距離而確定第二縮放空間表示122與估計(jì)區(qū)118重疊。作為響應(yīng)，物件檢測器128可進(jìn)一步處理第二縮放空間表示122。舉例來說，物件檢測器128可識別第二縮放空間表示122內(nèi)的搜索區(qū)域，其中搜索區(qū)域?qū)?yīng)于與縮放空間表示122相關(guān)聯(lián)的一組位置或區(qū)域和與位置數(shù)據(jù)116相關(guān)聯(lián)的一組位置或區(qū)域之間的重疊、相交或會聚處。為了說明，圖1展示從上而下視圖，其中圖像傳感器104具有由視野線117和119定界的水平視野。因此，第二縮放空間表示122的水平邊界在圖1中由點(diǎn)l0和l1標(biāo)示，且估計(jì)區(qū)118與第二縮放空間表示122之間的重疊由點(diǎn)c0與點(diǎn)c1之間的線段(其可替代地標(biāo)示為“線段c0c1”)表示。物件檢測器128可在c0與c1之間的搜索區(qū)域中執(zhí)行計(jì)算機(jī)視覺操作(例如，圖像分段操作)，而非在l0與l1之間的較大區(qū)域中執(zhí)行，以“精確定位”物件112的位置。舉例來說，物件檢測器128可確定行人位置或辨識物件112(例如，辨識標(biāo)志上的文字)。搜索c0與c1之間的區(qū)域可包含：搜索圖像的延伸超出c0和c1的部分。舉例來說，c0和c1可界定由不同物件檢測搜索窗使用的中心點(diǎn)。如果由物件檢測器128用于識別物件112的搜索窗具有寬度w，那么介于c0與c1“之間”的搜索區(qū)域的范圍可為c0-0.5w(當(dāng)搜索窗以c0為中心時)到c1+0.5w(當(dāng)搜索窗以c1為中心)。搜索區(qū)域可在其它維度中以類似方式延伸(例如，在垂直維度中超過搜索窗的高度)。搜索窗可對應(yīng)于物件模型、定界框，等等。因此，盡管本文中可用線段或點(diǎn)集合來描述搜索區(qū)域，但應(yīng)理解所搜索的圖像的實(shí)際區(qū)域可延伸超過線段或點(diǎn)集合。

盡管圖1說明二維(2d)視圖，但本文中所描述的物件檢測操作可應(yīng)用于三維(3d)情景中。為了說明，點(diǎn)c0、c1、l0和l1可全部在3d空間中且可具有(x,y,z)坐標(biāo)。在圖1中，在x-y平面中沿著x軸水平地執(zhí)行物件檢測和縮減(reduction)。替代地，或另外(例如，與水平操作并行)，通過選擇適當(dāng)垂直縮放空間表示，可在x-z平面中沿著z軸垂直地執(zhí)行物件檢測和縮減。將了解，與僅使用一個方向相比，通過在水平縮放空間和垂直縮放空間兩者中執(zhí)行操作，可更準(zhǔn)確地確定物件112的位置。

在其它實(shí)例中，物件檢測器128可確定和與位置數(shù)據(jù)116相關(guān)聯(lián)的估計(jì)區(qū)118重疊的多個縮放空間表示。為了說明，在圖1中，如果第三縮放空間表示124對應(yīng)于線段115'而非線段115，那么物件檢測器128將確定第二縮放空間表示122和第三縮放空間表示124兩者皆與估計(jì)區(qū)118重疊。在此情景中，物件檢測器128可選擇對哪一重疊縮放空間表示執(zhí)行物件檢測。為了說明，在一些情況中，例如當(dāng)行人極其接近且由于縮放比例而顯得非常高時，較小(例如，較低分辨率)縮放空間表示對于物件檢測來說可為優(yōu)選的。在此情況中，可搜索較低分辨率縮放空間表示，而非較高分辨率縮放空間表示。替代地，如果搜索較高分辨率縮放空間表示且未找到物件(例如，由于行人由于縮放比例而“過高”)，那么也可搜索較低分辨率縮放空間表示。作為另一實(shí)例，當(dāng)所檢測的物件相對小或具有復(fù)雜形狀時，較大(例如，較高分辨率)縮放空間表示可為優(yōu)選的。

出于說明目的而參考圖2a、圖2b、圖2c和圖2d描述由物件檢測器128執(zhí)行的實(shí)例過程。過程可包含：向圖像傳感器104指派特定位置，例如，坐標(biāo)空間中的點(diǎn)(x0,y0)。物件112的所測量或報(bào)告位置可經(jīng)指派位置(x1,y1)，所述經(jīng)指派位置可位于估計(jì)區(qū)118的中心處。應(yīng)理解，圖像傳感器104和估計(jì)區(qū)118的中心可在3d空間中分別具有坐標(biāo)(x0,y0,z0)和(x1,y1,z1)，但為便于闡釋，僅描述x和y坐標(biāo)。

線段l0l1可與距圖像傳感器104的特定距離(d)相關(guān)聯(lián)(例如，基于攝影機(jī)幾何形狀、分辨率和搜索區(qū)域大小)?；趫D像傳感器104的d值和位置(x0,y0)，可將線段l0l1映射、擬合或轉(zhuǎn)置到與點(diǎn)(x0,y0)和(x1,y1)共享相同坐標(biāo)系統(tǒng)的位置?？纱_定視野線117、119與估計(jì)區(qū)118之間的相交點(diǎn)(即，點(diǎn)c0和c1)。為了允許實(shí)現(xiàn)圖像數(shù)據(jù)中的位置之間的距離的計(jì)算，圖像數(shù)據(jù)可與位置數(shù)據(jù)的坐標(biāo)系統(tǒng)“融合”。在一些實(shí)施例中，可基于裝置(例如，運(yùn)載工具、移動裝置，等等)的已知位置、視野和圖像傳感器104的姿勢而離線地執(zhí)行圖像數(shù)據(jù)的3d世界空間的投影。然后，投影可與位置數(shù)據(jù)融合以識別在物件檢測期間待掃描的點(diǎn)。

應(yīng)了解，在距圖像傳感器104的距離d處，物件112(例如，行人)的位置將介于c0與c1之間。線段i0i1可表示物件112的搜索區(qū)域的中心點(diǎn)，且可經(jīng)定義為線段l0l1與線段c0c1的相交點(diǎn)。應(yīng)注意，在圖2a的實(shí)例中，i0＝c0且i1＝c1，且因此線段i0i1與線段c0c1完全相同。然而，當(dāng)物件的估計(jì)區(qū)并非完全位于圖像傳感器的視野內(nèi)時，i0可不等于c0和/或i1可不等于c1。舉例來說，在圖2c中，i0＝l0且i1＝c1。

物件檢測器128可執(zhí)行線性映射以將i0和i1映射到圖像坐標(biāo)。在圖2a的實(shí)例中，l0對應(yīng)于圖像的左邊界(具有x坐標(biāo)0，即，x＝＝0)，且l1對應(yīng)于圖像的右側(cè)(具有等于圖像的寬度的x坐標(biāo)，即，x＝＝image_width)。因此，映射函數(shù)m可定義為：

物件的搜索區(qū)域可限制于圖像中具有介于x＝＝m(i0)和x＝＝m(i1)之間的x坐標(biāo)的位置(例如，搜索窗的中心)。為了說明，假設(shè)圖像傳感器104的水平視野是54°，如圖2a中所展示，且假設(shè)圖像傳感器104的垂直視野是34°，如圖2b中所展示。應(yīng)理解，水平和垂直視野在替代實(shí)施例中可更大或更小。也假設(shè)，線段l0l1對應(yīng)于1080p分辨率(1920×1080個像素)，且將一般行人的高度假設(shè)成六英尺(約2米)，此對應(yīng)于高度為80個像素的搜索區(qū)域。進(jìn)一步假定，正被搜索的距圖像傳感器104的距離為p英尺，且在彼距離處圖像的上半部對應(yīng)于q英尺，如圖2b中所展示。鑒于前述假設(shè)，可確立以下方程式：

對方程式3和4進(jìn)行求解以獲得p：

如果將圖像傳感器104假設(shè)成(0,0)，那么行人的所報(bào)告位置(即，對應(yīng)于物件112的圓圈的中心)為(x1,y1)＝＝(-5,120)，且所報(bào)告位置的可能誤差在30英尺內(nèi)(即，估計(jì)區(qū)118的半徑為30)：

((x-(-5))×(x-(-5)))+((y-120)×(y-120))＝30×30(方程式5)

l0位于點(diǎn)處

l1位于點(diǎn)處

由于l0、l1、c0和c1共線，因此所有四個點(diǎn)具有相同y坐標(biāo)，即，在當(dāng)前實(shí)例中為132。將y＝＝132代入到方程式5中得出解(x+5)＝27.5和(x+5)＝-27.5。因此，c0位于點(diǎn)(-32.5,132)處且c1位于點(diǎn)(22.5,132)處。使用先前所定義的映射m：

因此，針對物件112，搜索區(qū)域可在左側(cè)由x＝＝496定界且在右側(cè)由x＝＝1281定界，此與從x＝＝0到x＝＝1920的搜索相比提供大約60％的節(jié)省。此外，應(yīng)理解，盡管前述實(shí)例說明水平方向上的計(jì)算和節(jié)省，但也可通過以類似方式基于位置數(shù)據(jù)116限制垂直方向上的搜索區(qū)域來達(dá)成計(jì)算節(jié)省。

圖2c和2d說明操作的額外實(shí)例。在圖2c的實(shí)例中，物件的估計(jì)區(qū)與圖像傳感器的視野部分地相交。在圖2d的實(shí)例中，執(zhí)行兩個物件檢測操作：對第一縮放空間表示(對應(yīng)于線段202)執(zhí)行第一物件檢測操作以檢測右側(cè)的物件，且對第二縮放空間表示(對應(yīng)于線段204)執(zhí)行第二物件檢測操作以檢測左側(cè)的物件。

因此，圖1到2說明系統(tǒng)的實(shí)施例，所述系統(tǒng)經(jīng)配置以改進(jìn)將基于與待檢測的物件相關(guān)聯(lián)的位置數(shù)據(jù)而對圖像數(shù)據(jù)或由其產(chǎn)生的縮放空間表示執(zhí)行的物件檢測操作。舉例來說，位置數(shù)據(jù)可用于將物件的搜索區(qū)域縮小成小于整個場景，此可使得能夠更快速地檢測物件。為了說明，可足夠快速地檢測到行人以使運(yùn)載工具(或運(yùn)載工具的駕駛者)(例如)通過以下操作來對行人作出反應(yīng)：使運(yùn)載工具減速、使運(yùn)載工具重新定向，和/或如果(例如)在結(jié)冰天氣應(yīng)用剎車將導(dǎo)致運(yùn)載工具滑向行人，那么在使運(yùn)載工具重新定向遠(yuǎn)離行人時使運(yùn)載工具加速。作為另一說明性實(shí)例，可足夠快速地執(zhí)行物件檢測以使運(yùn)載工具的adas改變運(yùn)載工具的速度和/或使運(yùn)載工具重新定向以避免與移動或靜止物件碰撞。

圖3說明運(yùn)載工具102的替代實(shí)施例。圖3與圖1不同之處在于：產(chǎn)生位置數(shù)據(jù)116的位置傳感器在運(yùn)載工具102的外部。舉例來說，在圖3中，物件112包含位置傳感器306或與其相關(guān)聯(lián)。在一些實(shí)施方案中，位置傳感器306可由行人穿戴，附接或耦合到另一運(yùn)載工具，或集成于另一運(yùn)載工具內(nèi)。如上文所論述，在一些實(shí)施方案中，位置傳感器306可與物件112和運(yùn)載工具102分離。舉例來說，位置傳感器306可固定到路側(cè)單元(rsu)、固定到街道標(biāo)志，或固定到與運(yùn)載工具102分離的另一運(yùn)載工具或與另一運(yùn)載工具相關(guān)聯(lián)。在一些實(shí)例中，靜止路側(cè)傳感器可與rsu和/或運(yùn)載工具進(jìn)行通信。因此，盡管圖3說明位置傳感器306與運(yùn)載工具102之間的直接通信，但替代地，來自位置傳感器306的數(shù)據(jù)可在到達(dá)運(yùn)載工具102之前經(jīng)由一或多個中間裝置發(fā)射。為了說明，來自由行人攜載的位置傳感器的數(shù)據(jù)可從位置傳感器行進(jìn)到rsu到第一運(yùn)載工具(例如，最接近于所述行人的運(yùn)載工具)到第二運(yùn)載工具(例如，跟隨在第一運(yùn)載工具之后的運(yùn)載工具)。

運(yùn)載工具102可包含經(jīng)配置以經(jīng)由連接350(例如，無線網(wǎng)絡(luò)連接)接收位置數(shù)據(jù)116的接收器340。在說明性實(shí)例中，位置傳感器306和接收器340經(jīng)由以下各項(xiàng)進(jìn)行通信：蜂窩式連接、廣域網(wǎng)、電機(jī)電子工程師協(xié)會(ieee)802.11連接、特用網(wǎng)絡(luò)連接、專用短程通信(dsrc)網(wǎng)絡(luò)連接，或另一類型的連接。

在說明性實(shí)例中，從位置傳感器306接收的位置數(shù)據(jù)116包含位置坐標(biāo)，例如，gps坐標(biāo)。當(dāng)物件112是另一運(yùn)載工具(例如，位置傳感器306是其它運(yùn)載工具內(nèi)或耦合到其它運(yùn)載工具的裝置的一部分)時，可使用運(yùn)載工具到運(yùn)載工具(v2v)通信從其它運(yùn)載工具(例如，經(jīng)由drsc網(wǎng)絡(luò))接收位置數(shù)據(jù)116。作為另一實(shí)例，路側(cè)單元(rsu)可將交通信息發(fā)射到運(yùn)載工具。為了說明，物件112可包含在運(yùn)載工具102的行進(jìn)視野內(nèi)的卷入事故中的運(yùn)載工具，且位置數(shù)據(jù)116可包含卷入事故中的運(yùn)載工具的位置坐標(biāo)。在此情形中，接收器340可使用運(yùn)載工具到基礎(chǔ)設(shè)施(v2i)通信從rsu接收位置數(shù)據(jù)116。應(yīng)理解，在其它實(shí)例中，可從多個來源接收位置數(shù)據(jù)。舉例來說，可從一個以上運(yùn)載工具、rsu或位置傳感器接收與共同物件相關(guān)聯(lián)的位置數(shù)據(jù)。當(dāng)使用多個位置數(shù)據(jù)來源時，所述來源(和/或來自其的數(shù)據(jù))可經(jīng)匯總、優(yōu)先化或用于改進(jìn)彼此。舉例來說，圖1到2的估計(jì)區(qū)118可囊括由多個來源提供的所有位置數(shù)據(jù)，可對應(yīng)于來自最可靠來源的位置數(shù)據(jù)，可基于來自多個來源中的每一個(或子集)的位置數(shù)據(jù)的交集，或可基于來自多個來源中的一些或全部來源的位置數(shù)據(jù)而以其它方式加以確定。

應(yīng)注意，盡管前述實(shí)施例描述基于位置數(shù)據(jù)改進(jìn)圖像數(shù)據(jù)中的物件檢測，但本發(fā)明并不限于此。根據(jù)本發(fā)明，來自第一傳感器的數(shù)據(jù)可用于改進(jìn)第二傳感器的操作。作為說明性非限制性實(shí)例，可基于位置數(shù)據(jù)而調(diào)整圖像傳感器的性質(zhì)(例如，分辨率、檢索頻率、所關(guān)注區(qū)域、視野(在可移動攝影機(jī)的情形中)，等等)。作為另一實(shí)例，圖像數(shù)據(jù)可用于加速由位置傳感器進(jìn)行的位置確定，例如，通過基于圖像數(shù)據(jù)而確定物件的“粗略”位置。因此，本發(fā)明使得不同類型的傳感器能夠彼此進(jìn)行通信以改進(jìn)其相應(yīng)操作。

在特定實(shí)施例中，處理器108可使用來自三維(3d)地圖應(yīng)用程序130的位置數(shù)據(jù)執(zhí)行物件檢測操作。為了說明，3d地圖應(yīng)用程序130可指示或提供可由物件檢測器128存取的3d地圖的部分或區(qū)域以基于所搜索的“已知”物件類別(例如，行人、運(yùn)載工具、交通標(biāo)志，等等)而縮小搜索區(qū)域。盡管圖1將位置數(shù)據(jù)116說明為由位置傳感器106確定，但在替代實(shí)施例中，替代位置傳感器106(或外部位置傳感器，例如，圖3的位置傳感器306)或除位置傳感器106外，也可基于3d地圖應(yīng)用程序130而確定位置數(shù)據(jù)116。因此，本文中所描述的物件檢測技術(shù)可結(jié)合在物件檢測期間使用3d地圖數(shù)據(jù)、在物件檢測期間使用位置傳感器或在物件檢測期間使用3d地圖數(shù)據(jù)和位置傳感器兩者的實(shí)施例一起使用。

圖4說明其中物件檢測器128從3d地圖應(yīng)用程序130接收位置數(shù)據(jù)116且不從位置傳感器接收任何額外位置數(shù)據(jù)的系統(tǒng)的實(shí)例。由3d地圖應(yīng)用程序130提供的位置數(shù)據(jù)116可指示物件類別可存在于圖像數(shù)據(jù)114內(nèi)何處。舉例來說，圖4中所展示的系統(tǒng)可使得運(yùn)載工具能夠基于從3d地圖應(yīng)用程序130接收且指示行人、樹枝、其它運(yùn)載工具等等可存在于圖像數(shù)據(jù)114內(nèi)何處的位置數(shù)據(jù)116而執(zhí)行對這些物件的檢測。

舉例來說，如果物件檢測器128經(jīng)配置以在場景的縮放空間表示內(nèi)檢測行人，那么3d地圖應(yīng)用程序130可指示行人可能存在于其中的場景的一或多個區(qū)域(例如，高出路面或地面0公尺到3公尺)，且物件檢測器128可起始對所指示區(qū)域的搜索而無需從單獨(dú)位置傳感器接收數(shù)據(jù)。在另一實(shí)例中，3d地圖應(yīng)用程序130可指示場景的對應(yīng)于路面的一或多個區(qū)域，使得物件檢測器128可高效地檢測在路上的物件。在一些實(shí)施方案中，物件類別可由處理器108基于圖像數(shù)據(jù)114和/或位置數(shù)據(jù)116來加以確定。替代地，物件類別可由物件112指示(例如，如參考圖3所描述，由物件112發(fā)射到接收器)。

在操作期間，3d地圖可在運(yùn)載工具102處動態(tài)地產(chǎn)生，經(jīng)下載或經(jīng)預(yù)先下載到運(yùn)載工具102，等等。在確定路面的位置和接收位置數(shù)據(jù)116之后，物件檢測器128可基于3d地圖而將搜索區(qū)域集中到路面(例如，可將非路面區(qū)域從圖像搜索區(qū)域排除)。作為說明性實(shí)例，如果圖1的線段l0l1的部分(或圖1的線段c0c1)對應(yīng)于非路面區(qū)域，那么物件檢測器128可將所述部分從搜索區(qū)域排除。非路面區(qū)域的實(shí)例包含高于或低于路面的區(qū)和在路面左側(cè)或右側(cè)的區(qū)。然而，應(yīng)理解，當(dāng)圖像傳感器104作為運(yùn)載工具或其它裝置的一部分處于運(yùn)動中時，所關(guān)注區(qū)域可基于運(yùn)載工具或裝置相對于3d地圖的位置而在幀間不同。舉例來說，當(dāng)發(fā)生地形改變(例如，運(yùn)載工具接近道路中的上坡或下坡)時，所關(guān)注的搜索區(qū)域可改變。由3d地圖應(yīng)用程序130提供的位置數(shù)據(jù)116可為動態(tài)的且可取決于運(yùn)載工具或裝置的已知位置而改變。

在一些實(shí)施方案中，物件檢測器128經(jīng)配置以基于由3d地圖應(yīng)用程序130指示的3d地圖而產(chǎn)生搜索區(qū)域掩模。掩模圖像可使用3d地圖離線或線上產(chǎn)生(例如，基于存儲與計(jì)算負(fù)擔(dān)之間的折衷)。參考圖6進(jìn)一步描述實(shí)例過程。

圖5a描繪其中行人位于運(yùn)載工具的視野內(nèi)的兩種情景，其中行人位于由運(yùn)載工具可獲得的3d地圖數(shù)據(jù)表示的地形上。在第一情景中，在510處，行人較接近于運(yùn)載工具，且因此，運(yùn)載工具使用較小縮放空間表示來執(zhí)行物件檢測。在第二情景中，在520處，行人距運(yùn)載工具較遠(yuǎn)，且因此，運(yùn)載工具使用較大縮放空間表示來執(zhí)行物件檢測。當(dāng)多個縮放空間表示與物件的可能位置重疊時，可處理一些縮放空間表示而將其它縮放空間表示從進(jìn)一步處理排除。作為說明性非限制性實(shí)例，較小(例如，較低分辨率)縮放空間表示可較宜于檢測接近運(yùn)載工具的行人，這是因?yàn)檩^大縮放空間表示中的行人的高度和/或?qū)挾瓤蛇^大而無法使用行人物件類別或模型進(jìn)行檢測。在執(zhí)行物件檢測之前，可基于由3d地圖應(yīng)用程序提供的位置數(shù)據(jù)而遮蔽所搜索的縮放空間表示。掩模的說明性實(shí)例展示于圖5b中530處?？赏ㄟ^用零或非零(例如，“1”或非零分?jǐn)?shù)值)標(biāo)記縮放空間表示的不同區(qū)來產(chǎn)生掩模。在物件檢測期間，可搜索用非零標(biāo)記的區(qū)域，且可忽略用零標(biāo)記的區(qū)域。當(dāng)使用非零分?jǐn)?shù)值時，非零分?jǐn)?shù)值越高，可表示物件定位于對應(yīng)區(qū)域中的概率越大。舉例來說，如圖5b中所展示，可在搜索標(biāo)記為“0.3”的區(qū)域之前，搜索用“0.5”標(biāo)記的區(qū)域。

在特定實(shí)施例中，可基于一組訓(xùn)練樣本而產(chǎn)生掩模的區(qū)域的概率(例如，圖5b的掩模中的0.5和0.3)。所述組訓(xùn)練樣本可含有行人可出現(xiàn)于其中的地點(diǎn)的3d位置。所述組訓(xùn)練樣本也可包含已由專家標(biāo)記為“危險(xiǎn)”的位置。舉例來說，這些“危險(xiǎn)”位置可為其中行人有較高可能性被遮擋、難以被駕駛者注意到、被卷入事故中等等的位置。在一些實(shí)施例中，所述組訓(xùn)練樣本的3d位置可與概率相關(guān)聯(lián)。在產(chǎn)生掩模圖像時，可將3d位置投影到圖像平面上，且可基于對應(yīng)于圖像平面的基礎(chǔ)像素的3d位置而向掩模的不同部分指派不同概率。

在特定實(shí)施例中，替代3d地圖數(shù)據(jù)或除3d地圖數(shù)據(jù)外，也可對于傳感器數(shù)據(jù)使用概率模型和掩模。舉例來說，圖1到2的估計(jì)區(qū)118可對應(yīng)于掩模，其中不同子區(qū)具有介于零與一之間的不同概率值。作為說明性非限制性實(shí)例，概率值可基于來自位置傳感器(例如，位置傳感器106)的位置數(shù)據(jù)、來自3d地圖應(yīng)用程序(例如，3d地圖應(yīng)用程序130)的位置數(shù)據(jù)、3d地圖數(shù)據(jù)、傳感器或應(yīng)用程序誤差容限、傳感器校準(zhǔn)，和/或傳感器敏感性。

因此，處理器108可基于3d地圖數(shù)據(jù)和物件的物件類別而確定一或多個搜索區(qū)域。物件檢測器可在搜索區(qū)域中執(zhí)行物件檢測，如參考圖1所描述。應(yīng)注意，當(dāng)使用3d地圖數(shù)據(jù)來執(zhí)行物件檢測時，可鑒于定位結(jié)果的可能不準(zhǔn)確度而執(zhí)行投影。即，可由于定位不準(zhǔn)確度而列舉攝影機(jī)位置的范圍。也應(yīng)注意，在特定實(shí)施例中，掩模/搜索區(qū)域可為離線構(gòu)建的且用于從攝影機(jī)(例如，圖像傳感器104)接收的實(shí)時(或幾乎實(shí)時)流式傳輸中(例如，跳過對被遮蔽區(qū)域的搜索)。此外，替代動態(tài)構(gòu)建3d地圖，可用平面/表面估計(jì)器大致估計(jì)3d條件，所述平面/表面估計(jì)器可提供大致實(shí)時(或幾乎實(shí)時)平面。舉例來說，在其中大部分道路是在平坦表面上的區(qū)域中，可通過使用具有某一斜率變化的平面來估計(jì)3d地圖以估計(jì)所投影掩模。在特定實(shí)施例中，前述方法也可用于尋找特定區(qū)域中的所關(guān)注物件。舉例來說，物件檢測器128可尋找包含或接近于運(yùn)載工具102的“當(dāng)前”行車道的區(qū)域中的行人(或其它物件)，但可忽略人行道區(qū)域中的行人。作為另一實(shí)例，物件檢測器128可為物件追蹤框架的一部分，在所述物件追蹤框架中基于掩模限制追蹤區(qū)域。

盡管圖1到3描述使用來自位置傳感器的位置數(shù)據(jù)來執(zhí)行物件檢測，且圖4說明使用由3d地圖應(yīng)用程序而非位置傳感器提供的位置數(shù)據(jù)執(zhí)行物件檢測，但應(yīng)注意，上述實(shí)施例并非相互排斥。在一些實(shí)例中，3d地圖數(shù)據(jù)可連同來自位置傳感器的數(shù)據(jù)一起使用，且可允許實(shí)現(xiàn)較快速物件檢測和掃描區(qū)域的進(jìn)一步減少。

參考圖6，展示基于3d地圖數(shù)據(jù)而識別所關(guān)注區(qū)域的方法的特定實(shí)施例且通常將所述方法指定為600。方法600包含：在塊602處，接收3d地圖數(shù)據(jù)。舉例來說，3d地圖應(yīng)用程序130可接收3d地圖數(shù)據(jù)，(例如)從外部數(shù)據(jù)源、本地存儲裝置，等等。方法600還包含：在塊604處，確定3d地圖的位置是否可能包含所關(guān)注物件。如果包含所關(guān)注物件，那么方法600包含：在塊606處，將所述位置識別為待提供到物件檢測器的位置數(shù)據(jù)。如果位置不可能包含所關(guān)注物件，或在識別位置數(shù)據(jù)之后，方法600包含：在塊608處，確定是否應(yīng)檢查額外位置。如果應(yīng)檢查額外位置，那么方法600返回到塊604。為了說明，參考圖4到圖5，位置數(shù)據(jù)116可指示地形的可能包含行人(例如，在510處，接近于運(yùn)載工具的行人，或在520處，遠(yuǎn)離運(yùn)載工具的行人)的一或多個區(qū)域。

繼續(xù)塊610，方法600包含：將所關(guān)注物件投影于具有基于所關(guān)注物件的物件類別的大小的位置數(shù)據(jù)中。在圖5a的實(shí)例中，可將行人投影于對應(yīng)于運(yùn)載工具正行進(jìn)于的道路的所識別位置數(shù)據(jù)中。方法600進(jìn)一步包含：在塊612處，確定與經(jīng)投影的所關(guān)注物件重疊的縮放空間表示，和在塊614處，用非零值標(biāo)記縮放空間表示的重疊區(qū)域。為了說明，針對較接近于運(yùn)載工具的行人(圖5a中510處)，可用非零值遮蔽小縮放空間表示中的區(qū)域。針對遠(yuǎn)離運(yùn)載工具的行人(圖5a中520處)，可用非零值遮蔽大縮放空間表示中的區(qū)域。在說明性實(shí)例中，縮放空間表示可經(jīng)遮蔽，如圖5b中530處所展示。

在實(shí)例中，3d地圖數(shù)據(jù)可用于更改圖像傳感器的定向或視野，和/或3d地圖數(shù)據(jù)可用于選擇由多個圖像傳感器產(chǎn)生的圖像數(shù)據(jù)的部分。作為另一實(shí)例，當(dāng)運(yùn)載工具向左或向右轉(zhuǎn)時，運(yùn)載工具的圖像傳感器可自動向左或向右致動，以使得圖像傳感器繼續(xù)檢索在運(yùn)載工具“前方”的圖像數(shù)據(jù)。作為另一實(shí)例，運(yùn)載工具的圖像傳感器可被自動致動以左右“張望”以識別行人、其它接近的運(yùn)載工具、道路危險(xiǎn)，等等。為了說明，可產(chǎn)生運(yùn)載工具周圍的360°拼接視圖，且可在行人正橫穿駕駛者可稍后轉(zhuǎn)向的街道的情況下提前通知運(yùn)載工具的駕駛者。在特定實(shí)施例中，當(dāng)駕駛者正使用逐向?qū)Ш教崾?例如，由運(yùn)載工具或運(yùn)載工具內(nèi)的移動裝置的導(dǎo)航應(yīng)用程序提供)時，導(dǎo)航提示可用于預(yù)見運(yùn)載工具將進(jìn)行的轉(zhuǎn)彎、將進(jìn)行的車道改變等等，以便優(yōu)先化搜索區(qū)域，確定搜索掩模的概率值等等。

方法600包含：在塊616處，以遞減次序搜索用非零值標(biāo)記的縮放空間表示的區(qū)域以識別所關(guān)注物件。舉例來說，參考圖5b中所展示的掩模，可在搜索標(biāo)記為“0.3”的區(qū)域之前，搜索標(biāo)記為“0.5”的區(qū)域。方法600在塊618處結(jié)束。

因此，圖6的方法600說明基于3d地圖數(shù)據(jù)而對一或多個縮放空間表示執(zhí)行物件檢測的實(shí)例。3d地圖數(shù)據(jù)可替代由位置傳感器提供的位置數(shù)據(jù)，或除由位置傳感器提供的位置數(shù)據(jù)外，也使用3d地圖數(shù)據(jù)。

參考圖7，展示物件檢測的說明性方法且通常將所述方法指定為700。方法700包含：在塊702處，從圖像傳感器接收包含物件的場景的圖像數(shù)據(jù)。圖像數(shù)據(jù)與場景的多個縮放空間表示相關(guān)聯(lián)。舉例來說，處理器108可從圖像傳感器104接收圖像數(shù)據(jù)114，其中圖像數(shù)據(jù)114與縮放空間表示120到124相關(guān)聯(lián)(例如，可用于產(chǎn)生所述縮放空間表示)。

方法700也包含：在塊704處，接收與所述物件相關(guān)聯(lián)或指示所述物件可存在于其中的區(qū)域的位置數(shù)據(jù)。舉例來說，處理器108可從運(yùn)載工具102中的機(jī)載位置傳感器106接收位置數(shù)據(jù)116，如參考圖1所描述。作為另一實(shí)例，處理器108可經(jīng)由接收器340從位置傳感器306接收位置數(shù)據(jù)116，所述位置傳感器在運(yùn)載工具102外部，如參考圖3所描述。在另一實(shí)例中，物件檢測器128可從3d地圖應(yīng)用程序130接收位置數(shù)據(jù)116，其中位置數(shù)據(jù)指示物件可存在于其中的區(qū)域(例如，在路上、在車道中，等等)，如參考圖4所描述。在又另一實(shí)例中，可從多個來源(例如從多個位置傳感器、位置傳感器與3d地圖應(yīng)用程序，等等)接收位置數(shù)據(jù)。

方法700進(jìn)一步包含：在塊706處，確定第一縮放空間表示是否與位置數(shù)據(jù)重疊。當(dāng)?shù)谝豢s放空間表示與位置數(shù)據(jù)重疊時，在塊710處，識別第一縮放空間表示中的搜索區(qū)域。前進(jìn)到塊712，在搜索區(qū)域中執(zhí)行物件檢測。為了說明，在圖1的實(shí)例中，物件檢測器128可確定縮放空間表示122與對應(yīng)于位置數(shù)據(jù)116的估計(jì)區(qū)118重疊。作為響應(yīng)，物件檢測器128可確定縮放空間表示122的搜索區(qū)域(如參考方程式1到5所描述)，且可在搜索區(qū)域中執(zhí)行物件檢測。

替代地，當(dāng)?shù)谝豢s放空間表示不與位置數(shù)據(jù)重疊時，方法700包含：在塊708處，避免對縮放空間表示執(zhí)行物件檢測。為了說明，在圖1的實(shí)例中，物件檢測器可由于估計(jì)區(qū)118與縮放空間表示120和124之間不存在重疊而避免對縮放空間表示120和124執(zhí)行物件檢測。繼續(xù)到塊714，方法700包含：確定是否應(yīng)檢查額外縮放空間表示(例如，當(dāng)多個縮放空間表示與位置數(shù)據(jù)重疊時)。如果應(yīng)檢查額外縮放空間表示，那么方法700返回到塊706。如果不應(yīng)檢查額外縮放空間表示，或在執(zhí)行物件檢測(在塊712處)之后，方法700包含：在塊716處，確定是否應(yīng)檢測額外物件。如果應(yīng)檢測額外物件，那么方法700返回到塊704以處理額外物件的位置數(shù)據(jù)。如果不應(yīng)檢測額外物件，那么方法700在塊718處結(jié)束。

當(dāng)發(fā)現(xiàn)多個縮放空間表示與位置數(shù)據(jù)重疊時，可對一個、一些或全部重疊縮放空間表示執(zhí)行物件檢測(例如，直到檢測到所關(guān)注物件為止)。舉例來說，如參考圖5a所描述，可首先檢查最低分辨率縮放空間表示以檢測接近于運(yùn)載工具的行人。

方法600和/或700的一或多個操作可通過硬件裝置(例如，處理單元)來起始、控制或執(zhí)行。舉例來說，取決于特定實(shí)施方案，處理單元可包含現(xiàn)場可編程門陣列(fpga)裝置、專用集成電路(asic)、處理單元(例如，中央處理單元(cpu))、數(shù)字信號處理器(dsp)、控制器、另一硬件裝置、固件裝置或其組合。

參考圖8，描繪電子裝置的特定說明性實(shí)施例的框圖且通常將其指定為800。在特定實(shí)施例中，電子裝置800或其組件可由行人穿戴或攜帶(例如，作為移動電話、平板計(jì)算機(jī)、智能型手表等等的一部分)。在另一特定實(shí)施例中，電子裝置800或其組件可包含在運(yùn)載工具中或可附接/耦合到運(yùn)載工具。在另一特定實(shí)施例中，電子裝置800或其組件可包含于以下各項(xiàng)中或可附接/耦合到以下各項(xiàng)：路側(cè)單元(rsu)、街道標(biāo)志、交通燈或另一路側(cè)物件或裝置。在進(jìn)一步實(shí)施例中，電子裝置800可對應(yīng)于計(jì)算機(jī)(例如，膝上型計(jì)算機(jī)、平板計(jì)算機(jī)或臺式計(jì)算機(jī))、機(jī)頂盒、娛樂單元、導(dǎo)航裝置、個人數(shù)字助理(pda)、電視、調(diào)諧器、收音機(jī)(例如，衛(wèi)星收音機(jī))、音樂播放器(例如，數(shù)字音樂播放器和/或便攜式音樂播放器)、視頻播放器(例如，數(shù)字視頻播放器，例如，數(shù)字視頻光盤(dvd)播放器和/或便攜式數(shù)字視頻播放器)、另一電子裝置或其組合。

作為說明性實(shí)例，電子裝置800包含存儲器832和處理器810，例如，數(shù)字信號處理器(dsp)、中央處理單元(cpu)，和/或圖形處理單元(gpu)。處理器810可執(zhí)行指令868。在說明性實(shí)例中，指令868可由處理器810執(zhí)行以執(zhí)行本文中所描述的一或多個功能或方法，包含但不限于圖6的方法600和/或圖7的方法700。處理器810也可包含對應(yīng)于以下各項(xiàng)的硬件和/或執(zhí)行對應(yīng)于以下各項(xiàng)的軟件指令：物件檢測器869(例如，圖1、3和4的物件檢測器128)和3d地圖應(yīng)用程序870(例如，圖1和4的3d地圖應(yīng)用程序130)。

圖8還展示耦合到處理器810和顯示器828的顯示控制器826。譯碼器/解碼器(codec)834(例如，模擬音頻處理前端)也可耦合到處理器810。揚(yáng)聲器836和麥克風(fēng)838可耦合到codec834。圖8也指示，無線接口840(例如，無線控制器和/或收發(fā)器)可耦合到處理器810和天線842。在特定實(shí)施例中，電子裝置800可包含多個無線接口和天線。每一無線接口和/或天線可對應(yīng)于不同通信技術(shù)或網(wǎng)絡(luò)(例如，蜂窩式、ieee802.11、dsrc，等等)。

在特定實(shí)施例中，處理器810進(jìn)一步耦合到圖像傳感器880(例如，圖1、3和4的圖像傳感器104)。處理器810也可耦合到位置傳感器890(例如，圖1的位置傳感器106)。替代地，處理器810可經(jīng)由接收器(例如，無線接口840和/或天線842)從外部位置傳感器接收位置數(shù)據(jù)，和/或處理器810可從3d地圖應(yīng)用程序870接收位置數(shù)據(jù)。

在特定實(shí)施例中，處理器810、顯示控制器826、codec834、無線接口840、圖像傳感器880和位置傳感器890(當(dāng)存在時)被包含在系統(tǒng)級封裝或系統(tǒng)單芯片裝置822中。此外，輸入裝置830和電力供應(yīng)器844可耦合到系統(tǒng)單芯片裝置822。此外，在特定實(shí)施例中，如在圖8中所說明，顯示器828、輸入裝置830、揚(yáng)聲器836、麥克風(fēng)838、天線842和電力供應(yīng)器844位于系統(tǒng)單芯片裝置822外部。然而，顯示器828、輸入裝置830、揚(yáng)聲器836、麥克風(fēng)838、天線842和電力供應(yīng)器844中的每一個可耦合到系統(tǒng)單芯片裝置822的組件，例如，耦合到接口或耦合到控制器。

結(jié)合所描述實(shí)施例，設(shè)備包含用于接收從所述設(shè)備觀看到且包含物件的場景的圖像數(shù)據(jù)的裝置，所述圖像數(shù)據(jù)與所述場景的多個縮放空間表示相關(guān)聯(lián)。舉例來說，用于接收的裝置可包含圖像傳感器104、圖像傳感器880、耦合到圖像傳感器的處理器或控制器(例如，處理器108或處理器810)、經(jīng)配置以接收圖像數(shù)據(jù)的另一裝置，或其任一組合。所述設(shè)備也包含用于處理的裝置。用于處理的所述裝置經(jīng)配置以基于所述多個縮放空間表示中的第一縮放空間表示和與所述物件相關(guān)聯(lián)或指示所述物件可存在于其中的區(qū)域的位置數(shù)據(jù)之間的重疊而識別所述第一縮放空間表示的搜索區(qū)域。用于處理的所述裝置也經(jīng)配置以在所述第一縮放空間表示的所述搜索區(qū)域中執(zhí)行物件檢測。舉例來說，用于處理的裝置可包含處理器108、物件檢測器128、處理器810、物件檢測器869、3d地圖應(yīng)用程序130、3d地圖應(yīng)用程序870、經(jīng)配置以處理數(shù)據(jù)的另一裝置，或其任一組合。在特定實(shí)施例中，設(shè)備包含用于產(chǎn)生位置數(shù)據(jù)的裝置。舉例來說，用于產(chǎn)生位置數(shù)據(jù)的裝置可包含位置傳感器106、位置傳感器306、位置傳感器890、3d地圖應(yīng)用程序130、經(jīng)配置以產(chǎn)生位置數(shù)據(jù)的另一裝置，或其任一組合。在特定實(shí)施例中，設(shè)備包含用于從外部位置傳感器接收位置數(shù)據(jù)的裝置。舉例來說，用于接收的裝置可包含接收器340、無線接口840、天線842、經(jīng)配置以從外部傳感器接收數(shù)據(jù)的另一裝置，或其任一組合。

可使用計(jì)算機(jī)文件(例如，rtl、gdsii、gerber，等等)設(shè)計(jì)和表示前述所揭示裝置和功能性。計(jì)算機(jī)文件可存儲在計(jì)算機(jī)可讀媒體上。一些或所有這些文件可經(jīng)提供到基于這些文件制作裝置的制作處置器。所得產(chǎn)品包含晶片，然后將晶片切割成裸片且封裝成集成電路(或“芯片”)。然后，將芯片用于電子裝置中，例如，運(yùn)載工具102的組件、電子裝置800，等等。

盡管圖1到8中的一或多者可說明根據(jù)本發(fā)明的教示的系統(tǒng)、設(shè)備和/或方法，但本發(fā)明并不限于這些所說明系統(tǒng)、設(shè)備和/或方法。如本文中所說明或所描述的圖1到8中的任一者的一或多個功能或組件可與圖1到8中的另一者的一或多個其它部分組合。因此，任何單個實(shí)例不應(yīng)解釋為具有限制性，且本發(fā)明的實(shí)施例可以適合方式組合，而不背離本發(fā)明的教示。

所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解，結(jié)合本文中所揭示的實(shí)施例所描述的各種說明性邏輯塊、配置、模塊、電路和算法步驟可實(shí)施為電子硬件、由處理器執(zhí)行的計(jì)算機(jī)軟件，或兩者的組合。上文已對各種說明性組件、塊、配置、模塊、電路和步驟大體就其功能性方面進(jìn)行描述。將此功能性實(shí)施為硬件還是處理器可執(zhí)行指令取決于特定應(yīng)用和強(qiáng)加于整體系統(tǒng)的設(shè)計(jì)約束。所屬領(lǐng)域的技術(shù)人員可針對每一特定應(yīng)用以各種方式實(shí)施所描述功能性，但不應(yīng)將這些實(shí)施決策解釋為導(dǎo)致對本發(fā)明的范圍的背離。

結(jié)合本文中所揭示的實(shí)施例所描述的方法或算法的步驟可直接以硬件、以由處理器執(zhí)行的軟件模塊或以兩者的組合體現(xiàn)。軟件模塊可駐存于以下各項(xiàng)中：隨機(jī)存取存儲器(ram)、快閃存儲器、只讀存儲器(rom)、可編程只讀存儲器(prom)、可抹除可編程只讀存儲器(eprom)、電可抹除可編程只讀存儲器(eeprom)、寄存器、硬盤、可抽換式磁盤、光盤只讀存儲器(cd-rom)，或此項(xiàng)技術(shù)中已知的任一其它形式的非暫時性計(jì)算機(jī)可讀或處理器可讀存儲媒體或存儲裝置。示范性存儲媒體或裝置耦合到處理器，使得處理器可從存儲媒體讀取信息，和將信息寫入到存儲媒體。在替代方案中，存儲媒體或裝置可與處理器成整體。處理器和存儲媒體或裝置可駐留于專用集成電路(asic)中。asic可駐留于計(jì)算裝置或用戶終端機(jī)中。在替代方案中，處理器和存儲媒體或裝置可作為離散組件駐留在計(jì)算裝置或用戶終端機(jī)中。計(jì)算機(jī)可讀或處理器可讀存儲媒體或存儲裝置并非信號。

提供所揭示實(shí)施例的先前描述使得所屬領(lǐng)域的技術(shù)人員能夠制成或使用所揭示實(shí)施例。所屬領(lǐng)域的技術(shù)人員將容易明了這些實(shí)施例的各種修改，且本文中所定義的原理可應(yīng)用于其它實(shí)施例而不背離本發(fā)明的范圍。因此，本發(fā)明并不希望限制于本文中所展示的實(shí)施例，而欲賦予其與如由所附權(quán)利要求書所定義的原理和新穎特征相一致的最廣可能范圍。