利用滾動(dòng)快門(mén)的立體協(xié)助的制作方法
【專利說(shuō)明】利用滾動(dòng)快n的立體協(xié)助
[0001]本申請(qǐng)根據(jù)美國(guó)專利法第35條119款要求2013年1月15日提交的美國(guó)臨時(shí)申 請(qǐng)No.61/752,515和2013年2月7日提交的美國(guó)臨時(shí)申請(qǐng)No.61/761，724的優(yōu)先權(quán)。通 過(guò)引用將各個(gè)前述申請(qǐng)整體地并入本文。
技術(shù)領(lǐng)域
[0002] 本公開(kāi)一般地設(shè)及相機(jī)成像系統(tǒng)，并且更具體地設(shè)及用于在可W被包括在車輛上 的滾動(dòng)快口立體圖像獲取系統(tǒng)中捕獲圖像的裝置和技術(shù)。
【背景技術(shù)】
[0003]用在車輛中的基于相機(jī)的駕駛員協(xié)助系統(tǒng)可W包括主要依靠單個(gè)相機(jī)來(lái)收集圖 像的單目對(duì)象檢測(cè)系統(tǒng)。因?yàn)樵撔╊愋偷南到y(tǒng)中的圖像是從單個(gè)視點(diǎn)捕獲的，所W到目標(biāo) 對(duì)象的距離的直接確定可能是有挑戰(zhàn)性的。因此，單目對(duì)象檢測(cè)系統(tǒng)可W依靠估計(jì)技術(shù)來(lái) 基于關(guān)于對(duì)象類別的信息和/或相對(duì)于對(duì)象的環(huán)境的環(huán)境信息（例如，目標(biāo)對(duì)象駐留在上 面的道路平面的形貌）間接地確定到目標(biāo)對(duì)象的距離。在一些情況下，單目系統(tǒng)可W在單 目范圍估計(jì)之前使用模式識(shí)別來(lái)檢測(cè)特定對(duì)象類別。
[0004]用在車輛中的基于相機(jī)的駕駛員協(xié)助系統(tǒng)還可W包括采用兩個(gè)相機(jī)的立體系統(tǒng)。 在一些系統(tǒng)中，可W在外極線與水平圖像掃描線對(duì)齊的情況下并排地安裝該些相機(jī)。該樣 的系統(tǒng)可W使用密集不一致圖來(lái)創(chuàng)建環(huán)境的3D圖。系統(tǒng)然后可W將該個(gè)3D表示用于前景 分割和/或背景分割，例如W找到候選區(qū)域W用于進(jìn)一步處理。該系統(tǒng)還可W使用3D表示 來(lái)定位感興趣對(duì)象或估計(jì)到被檢測(cè)對(duì)象的范圍和/或接近速率。該樣的立體系統(tǒng)可W在封 閉且中等范圍目標(biāo)情況下并在良好天氣下很好地工作，并且可W對(duì)一般目標(biāo)給出深度圖。 然而，該樣的立體系統(tǒng)可能在不利的天氣狀況期間或在聚類場(chǎng)景存在的情況下經(jīng)歷困難。 另外，該些系統(tǒng)可能在與車輛相距較長(zhǎng)距離處在成像對(duì)象時(shí)具有困難。
[0005] -些成像系統(tǒng)（諸如美國(guó)專利號(hào)7, 786,898中描述的系統(tǒng)）可W融合來(lái)自單目系 統(tǒng)和立體系統(tǒng)該二者的信息。該種系統(tǒng)可W包括負(fù)責(zé)目標(biāo)檢測(cè)/選擇和范圍估計(jì)的主要相 機(jī)。輔助相機(jī)可W出于目標(biāo)驗(yàn)證的目的提供關(guān)于選擇目標(biāo)的立體范圍。
[0006]-些立體系統(tǒng)可W包括可W將立體深度和單目深度組合在一起的不對(duì)稱配置。例 如，可W針對(duì)獨(dú)立應(yīng)用采用兩個(gè)不對(duì)稱相機(jī)（例如，具有不同的視場(chǎng)（F0V)和焦距）。另外， 可W組合來(lái)自該些相機(jī)的圖像信息W提供立體深度。對(duì)于具有全局快口的相機(jī)，該種立體 處理還可能設(shè)及裁切更寬F0V相機(jī)、圖像的平滑和子采樣、和/或校正W便提供匹配圖像 對(duì)。
[0007]最近幾代的圖像傳感器（包括可W被用在汽車傳感器中的那些）可W包括滾動(dòng)快n。該樣的滾動(dòng)快口可能在立體圖像處理中尤其在使用具有不同視場(chǎng)的相機(jī)的不對(duì)稱立體 應(yīng)用中引入復(fù)雜化。例如，如果寬F0V相機(jī)和窄F0V相機(jī)該二者針對(duì)共同的場(chǎng)景，則窄F0V 相機(jī)可能與寬F0V相機(jī)的F0V的僅一部分交疊。如果兩個(gè)相機(jī)獲取圖像作為W相近的線掃 描速率獲取的相近數(shù)量的圖像掃描線，則在兩個(gè)相機(jī)的視場(chǎng)里的交疊的區(qū)域中所獲取的圖 像掃描線將缺乏同步。該樣的缺乏同步可能在確定來(lái)自寬FOV相機(jī)的第一圖像中的圖像點(diǎn) 與來(lái)自窄F0V相機(jī)的第二圖像中的圖像點(diǎn)的對(duì)應(yīng)時(shí)引入困難，該能夠?qū)е旅黠@不準(zhǔn)確對(duì)象 距離測(cè)量結(jié)果。

【發(fā)明內(nèi)容】

[0008] 與公開(kāi)的實(shí)施方式一致，提供了一種用于車輛的成像系統(tǒng)，該系統(tǒng)可W包括；第一 圖像捕獲裝置，該第一圖像捕獲裝置具有第一視場(chǎng)并且被配置為獲取相對(duì)于與所述車輛相 關(guān)聯(lián)的場(chǎng)景的第一圖像，所述第一圖像作為使用滾動(dòng)快口捕獲的第一系列圖像掃描線被獲 取。所述成像系統(tǒng)還可W包括具有與所述第一視場(chǎng)不同并且與所述第一視場(chǎng)至少部分地交 疊的第二視場(chǎng)的第二圖像捕獲裝置，該第二圖像捕獲裝置被配置為獲取相對(duì)于與所述車輛 相關(guān)聯(lián)的所述場(chǎng)景的第二圖像，所述第二圖像作為使用滾動(dòng)快口捕獲的第二系列圖像掃描 線被獲取。作為所述第一視場(chǎng)與所述第二視場(chǎng)之間的交疊的結(jié)果，所述第一圖像的第一交 疊部分可W與所述第二圖像的第二交疊部分對(duì)應(yīng)。所述第一圖像捕獲裝置可W具有可W不 同于與所述第二序列圖像掃描線的獲取相關(guān)聯(lián)的第二掃描速率的與所述第一系列圖像掃 描線的獲取相關(guān)聯(lián)的第一掃描速率，使得所述第一圖像捕獲裝置在獲取了所述第二圖像的 所述第二交疊部分的時(shí)間段期間獲取所述第一圖像的所述第一交疊部分。
[0009] 與公開(kāi)的實(shí)施方式一致，公開(kāi)了一種車輛，該車輛包括機(jī)身W及用于車輛的成像 系統(tǒng)，該系統(tǒng)包括具有第一視場(chǎng)并且被配置為獲取相對(duì)于與所述車輛相關(guān)聯(lián)的場(chǎng)景的第一 圖像的第一圖像捕獲裝置，所述第一圖像作為使用滾動(dòng)快口捕獲的第一系列圖像掃描線被 獲取。所述成像系統(tǒng)還可W包括具有與所述第一視場(chǎng)不同并且與所述第一視場(chǎng)至少部分地 交疊的第二視場(chǎng)的第二圖像捕獲裝置，該第二圖像捕獲裝置被配置為獲取相對(duì)于與所述車 輛相關(guān)聯(lián)的所述場(chǎng)景的第二圖像，所述第二圖像作為使用滾動(dòng)快口捕獲的第二系列圖像掃 描線被獲取。作為所述第一視場(chǎng)與所述第二視場(chǎng)之間的交疊的結(jié)果，所述第一圖像的第一 交疊部分可W與所述第二圖像的第二交疊部分對(duì)應(yīng)。所述第一圖像捕獲裝置可W具有可W 不同于與所述第二序列圖像掃描線的獲取相關(guān)聯(lián)的第二掃描速率的與所述第一系列圖像 掃描線的獲取相關(guān)聯(lián)的第一掃描速率，使得所述第一圖像捕獲裝置在獲取了所述第二圖像 的所述第二交疊部分的時(shí)間段期間獲取所述第一圖像的所述第一交疊部分，其中，所述時(shí) 間段與所述第一掃描速率與所述第二掃描速率之間的比率相關(guān)聯(lián)。
[0010] 與公開(kāi)的實(shí)施方式一致，提供了一種用于車輛的成像系統(tǒng)，該系統(tǒng)包括：第一圖像 捕獲裝置，該第一圖像捕獲裝置具有第一視場(chǎng)并且被配置為獲取相對(duì)于與所述車輛相關(guān)聯(lián) 的場(chǎng)景的第一圖像，所述第一圖像作為使用滾動(dòng)快口捕獲的第一系列圖像掃描線被獲取。 所述系統(tǒng)還可W包括具有與所述第一視場(chǎng)不同并且與所述第一視場(chǎng)至少部分地交疊的第 二視場(chǎng)的第二圖像捕獲裝置，該第二圖像捕獲裝置被配置為獲取相對(duì)于與所述車輛相關(guān)聯(lián) 的所述場(chǎng)景的第二圖像，所述第二圖像作為使用滾動(dòng)快口捕獲的第二系列圖像掃描線被獲 取。作為所述第一視場(chǎng)與所述第二視場(chǎng)之間的交疊的結(jié)果，所述第一圖像的第一交疊部分 可W對(duì)應(yīng)于所述第二圖像的第二交疊部分。所述系統(tǒng)可W包括至少一個(gè)處理裝置，該至少 一個(gè)處理裝置被配置為；從所述第一圖像捕獲裝置接收所述第一圖像；從所述第二圖像捕 獲裝置接收所述第二圖像；并且使所述第一圖像的所述第一交疊部分的至少第一區(qū)域與所 述第二圖像的所述第二交疊部分的對(duì)應(yīng)第二區(qū)域相關(guān)聯(lián)。
[0011] 應(yīng)當(dāng)理解，W上總體描述和W下詳細(xì)描述該二者僅是例示性和說(shuō)明性的，并且不 限制權(quán)利要求。
【附圖說(shuō)明】
[0012] 附圖被并入本公開(kāi)并且構(gòu)成本公開(kāi)的一部分，附圖例示了各種公開(kāi)的實(shí)施方式。
[0013] 附圖中；
[0014] 圖la是與目前公開(kāi)的實(shí)施方式一致的示例性車輛成像系統(tǒng)的圖解側(cè)視圖表示；
[0015] 圖化是圖la所示的實(shí)施方式的圖解頂視圖例示；
[0016] 圖Ic是與目前公開(kāi)的實(shí)施方式一致的具有另一相機(jī)配置的示例性車輛成像系統(tǒng) 的圖解頂視圖例示；
[0017] 圖2a表示根據(jù)示例性公開(kāi)的實(shí)施方式的具有不同視場(chǎng)的兩個(gè)相機(jī)的交疊視場(chǎng)；
[0018] 圖化表示根據(jù)另一示例性公開(kāi)的實(shí)施方式的具有不同視場(chǎng)的兩個(gè)相機(jī)的交疊視 場(chǎng)；
[0019]圖3表示用在采用具有全局快口的相機(jī)的系統(tǒng)中的示例性過(guò)程；
[0020] 圖4是針對(duì)在與車輛相距各種距離處的目標(biāo)的圖像中的點(diǎn)與同步線的位移的示 例；
[0021] 圖5是針對(duì)在與車輛相距給定距離處的目標(biāo)的深度估值的示例；
[0022] 圖6示出了在設(shè)及利用目標(biāo)平面的單應(yīng)性預(yù)處理圖像的修正之后針對(duì)各種距離 值的y位移；
[0023] 圖7示出了用在系統(tǒng)中W對(duì)于直立對(duì)象執(zhí)行深度測(cè)量的示例性過(guò)程；
[0024] 圖8a示出了對(duì)于給定車輛前向運(yùn)動(dòng)和橫向速度的針對(duì)在與車輛相距給定距離處 的目標(biāo)的深度估值；
[0025] 圖8b示出了針對(duì)前向車輛運(yùn)動(dòng)和無(wú)橫向速度的校正深度估值；
[0026] 圖9是由于相機(jī)基線在路面上期望的不一致的示例；
[0027] 圖10是根據(jù)圖像行的在y方向上的移位的示例；
[002引圖11示出了用在系統(tǒng)中W估計(jì)到道路特征的距離的示例性過(guò)程；
[0029] 圖12a是由車輛前向運(yùn)動(dòng)和時(shí)間延遲引入的針對(duì)圖像中的不同行的不一致誤差 的示例；
[0030] 圖1化是作為該行上不一致的一小部分的不一致誤差的示例；
[0031] 圖13是如果給定行被同步則由于時(shí)間延遲和前向運(yùn)動(dòng)而導(dǎo)致的期望y移位的示 例；
[0032] 圖14a是根據(jù)行（y)的由于運(yùn)動(dòng)而導(dǎo)致的不一致誤差對(duì)由于基線而導(dǎo)致的真實(shí)不 一致的比率的示例；
[0033] 圖14b是針對(duì)對(duì)象正橫向移動(dòng)的情況的由于運(yùn)動(dòng)而導(dǎo)致的不一致誤差對(duì)由于基 線而導(dǎo)致的真實(shí)不一致的比率的示例；
[0034] 圖15示出了用在存在運(yùn)動(dòng)不一致的系統(tǒng)中的示例性過(guò)程。
【具體實(shí)施方式】
[0035] W下具體描述參照附圖。只要可能，相同的附圖標(biāo)記將在附圖和W下描述中用來(lái) 指代相同或類似的部分。雖然在本文中描述了數(shù)個(gè)例示性實(shí)施方式，但是修改、改編和其它 實(shí)施方式是可能的。例如，可W對(duì)附圖所例示的組件進(jìn)行取代、添加或修改，并且可W通過(guò) 取代步驟、對(duì)步驟進(jìn)行重排序、去除步驟或?qū)⒉襟E添加到所公開(kāi)的方法來(lái)修改本文所描述 的例示性方法。因此，W下詳細(xì)描述不限制所公開(kāi)的實(shí)施方式。替代地，適當(dāng)?shù)姆秶伤?權(quán)利要求定義。
[0036]參照附圖，圖la是與目前公開(kāi)一致的示例性車輛成像系統(tǒng)的圖解側(cè)視圖表示。圖 化是圖la所示的實(shí)施方式的圖解頂視圖例示。如圖la所例示的，本發(fā)明的公開(kāi)的實(shí)施方 式可W包括具有帶第一圖像捕獲裝置110W及第二圖像捕獲裝置120和處理器130的系統(tǒng) 100的車輛150。雖然示出了兩個(gè)圖像捕獲裝置110和圖像捕獲裝置120,但是應(yīng)該理解，其 它實(shí)施方式可W包括超過(guò)兩個(gè)圖像捕獲裝置。
[0037]應(yīng)當(dāng)理解，所公開(kāi)的實(shí)施方式不限于車輛并且能夠被應(yīng)用在其它環(huán)境中。還應(yīng)當(dāng) 理解，公開(kāi)的實(shí)施方式不限于特定類型的車輛150并且可W適用于包括汽車、卡車拖車和 其它類型的車輛的所有類型的車輛。
[003引處理器130可W包括各種類型的裝置。例如，處理器130可W包括控制器單元、圖 像預(yù)處理器、中央處理單元（CPU)、支持電路、數(shù)字信號(hào)處理器、集成電路、存儲(chǔ)器，或用于圖 像處理和分析的任何其它類型的裝置。圖像預(yù)處理器可W包括用于對(duì)來(lái)自圖像傳感器的 成像進(jìn)行捕獲、數(shù)字化和處理的視頻處理器。CPU可W包括任何數(shù)量的微控制器或微處理 器。支持電路可W是本領(lǐng)域內(nèi)通常公知的任何數(shù)量的電路，包括高速緩存、電源、時(shí)鐘和輸 入-輸出電路。存儲(chǔ)器可W存儲(chǔ)軟件，所述軟件當(dāng)由處理器執(zhí)行時(shí)，控制系統(tǒng)的操作。存儲(chǔ) 器可W包括數(shù)據(jù)庫(kù)和圖像處理軟件。存儲(chǔ)器可W包括任何數(shù)量的隨機(jī)存取存儲(chǔ)器、只讀存 儲(chǔ)器、閃速存儲(chǔ)器、磁盤(pán)驅(qū)動(dòng)器、光學(xué)存儲(chǔ)部、磁帶存儲(chǔ)部、可移動(dòng)存儲(chǔ)部和其它類型的存儲(chǔ) 部。在一個(gè)實(shí)例中，存儲(chǔ)器可W與處理器130分開(kāi)。在另一實(shí)例中，可W將存儲(chǔ)器集成到處 理器130中。
[0039]第一圖像捕獲裝置110可W包括任何適合類型的圖像捕獲裝置。圖像捕獲裝置 110可W包括光軸116。在一個(gè)實(shí)例中，圖像捕獲裝置110可W包括具有全局快口的Aptina M9V024WVGA傳感器。在其它實(shí)施方式中，圖像捕獲裝置110可W包括滾動(dòng)快口。圖像捕 獲裝置110可W包括各種光學(xué)元件。在一些實(shí)施方式中可W包括一個(gè)或更多個(gè)透鏡，例如 W為圖像捕獲裝置提供期望的焦距和視場(chǎng)。在一些實(shí)施方式中，圖像捕獲裝置110可W與 6mm透鏡或12mm透鏡相關(guān)聯(lián)。在一些實(shí)施方式中，圖像捕獲裝置可W被配置為捕獲具有期 望的F0V(包括例如寬F0V，諸如46度F0V、50度F0V、52度F0V或更大F0V)的圖像。在一 些實(shí)施方式中，圖像捕獲裝置110可W包括寬角緩沖相機(jī)或具有多達(dá)180度F0V的相機(jī)。
[0040]第一圖像捕獲裝置110可W獲取相對(duì)于與車輛150相關(guān)聯(lián)的場(chǎng)景的多個(gè)第一圖 像。所述多個(gè)第一圖像中的每一個(gè)可W作為一系列圖像掃描線被獲取，所述圖像掃描線可 W使用滾動(dòng)快口來(lái)捕獲。各個(gè)掃描線可W包括多個(gè)像素。
[0041]第一圖像捕獲裝置110可W具有與第一系列圖像掃描線中的每一個(gè)的獲取相關(guān) 聯(lián)的掃描速率。掃描速率可W指代圖像傳感器能夠獲取與包括在特定掃描線中的各個(gè)像素 相關(guān)聯(lián)的圖像數(shù)據(jù)的速率。
[0042]例如，第一圖像捕獲裝置110可W包含任何適合類型的圖像傳感器，包括CCD傳感 器或CMOS傳感器。在一個(gè)實(shí)施方式中，可W連同滾動(dòng)快口一起采用CMOS圖像傳感器，使得 一行中的各個(gè)像素被一次一個(gè)地讀取，并且行的掃描在逐行基礎(chǔ)上進(jìn)行直到已捕獲到整個(gè) 圖像帖為止。在一些實(shí)施方式中，可W相對(duì)于帖自上而下依次捕獲行。
[0043] 滾動(dòng)快口的使用可W導(dǎo)致不同行中的像素被暴露并且在不同時(shí)間捕獲，該可能在 所捕獲的圖像帖中引起偏斜和其它圖像偽影。另一方面，當(dāng)圖像捕獲裝置110被配置為利 用全局快口或同步快口操作時(shí)，可W在相同量的時(shí)間內(nèi)并且在公共曝光周期期間暴露所有 的像素。結(jié)果，從采用全局快口的系統(tǒng)收集的帖中的圖像數(shù)據(jù)表示整個(gè)F0V在特定時(shí)間的 快照。相比之下，在滾動(dòng)快口應(yīng)用中，帖中