專利名稱：一種后視倒車輔助系統(tǒng)和形成后視障礙圖像的方法
一種后視倒車輔助系統(tǒng)和形成后視障礙圖像的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于倒車影像技術(shù)領(lǐng)域，特別涉及一種后視倒車輔助系統(tǒng)以及在車輛進(jìn)行倒車時(shí)后方視野中障礙物自動(dòng)識(shí)別、測距并融合顯示的方法。
背景技術(shù)：
隨著汽車電子市場的快速繁榮發(fā)展，傳統(tǒng)的倒車?yán)走_(dá)輔助系統(tǒng)已經(jīng)被可視化倒車輔助系統(tǒng)所替代，當(dāng)前市場上比較流行的后視攝像的倒車輔助系統(tǒng)，是在汽車尾部固定安裝一個(gè)攝像頭，當(dāng)駕駛者開始倒車時(shí)，攝像頭實(shí)時(shí)的拍攝后視視場景象并傳輸?shù)狡囍锌嘏_(tái)的顯示器上，使得駕駛者能夠直觀的了解到車后的情況，更加安全方便的倒車。但是只在車尾安裝一個(gè)攝像頭只能覆蓋汽車后方有限的區(qū)域，而車后方兩側(cè)的視覺盲區(qū)無疑存在倒車不安全隱患。經(jīng)過對(duì)現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，中國實(shí)用新型專利201020002707. 3提出了一種倒車用的雙攝像機(jī)，該裝置在殼體內(nèi)外分別安裝了第一攝像機(jī)和第二攝像機(jī)，通過兩個(gè)角度進(jìn)行攝錄。利用該實(shí)用新型的駕駛者當(dāng)?shù)管嚂r(shí)可以觀察到全方位的影像。中國發(fā)明專利號(hào)200910153173.6的專利，該專利的名稱為基于DSP的全景視覺泊車輔助裝置及生成全景視覺圖像的方法。該裝置通過在車的四周各安裝廣角攝像機(jī)，使得所有攝像機(jī)能夠覆蓋汽車周圍的區(qū)域，并且對(duì)于任意相鄰的兩個(gè)攝像機(jī)，他們相互之間有一定的公共視場；然后對(duì)標(biāo)定模板進(jìn)行一系列計(jì)算，獲得表示汽車四周攝像機(jī)之間的參數(shù)，根據(jù)這些參數(shù)，產(chǎn)生虛擬的全景鳥瞰圖，從而最大限度擴(kuò)大了駕駛員的視野范圍。通過上述裝置和方法確實(shí)可以拓寬駕駛者的視場，然而，一方面通過廣角鏡頭獲取的障礙物會(huì)有一定失真，另一方面由于攝像頭拍攝的圖像已經(jīng)將現(xiàn)實(shí)物體從三維世界變換到二維，那么圖片中事物的深度信息已經(jīng)丟失，也就是說駕駛者不能確定這些事物距離它有多遠(yuǎn)，只是知道車后存在障礙物，給駕駛者造成了一定的心理負(fù)擔(dān)，駕駛者不得不為距離它很遠(yuǎn)對(duì)倒車無影響的事物擔(dān)憂。由于距離是倒車時(shí)駕駛者極為關(guān)注的信息，中國實(shí)用新型專利號(hào)為200820042567. 5的專利一種倒車可視測距系統(tǒng)，包括倒車?yán)走_(dá)系統(tǒng)，攝像裝置，OSD顯示控制器和顯示器，通過倒車?yán)走_(dá)系統(tǒng)獲取距離信息。該專利在工作狀態(tài)下不僅能夠顯示車后的圖像，而且還能夠顯示障礙物的距離以及與距離相應(yīng)的彩色標(biāo)識(shí)。

發(fā)明內(nèi)容本發(fā)明的目的是提供一種后視倒車輔助系統(tǒng)和形成后視障礙圖像的方法，用于解決目前后視倒車視場較小存在盲區(qū)的安全隱患，以及后視圖像中含有較多與本車相距很遠(yuǎn)的事物給駕駛者倒車時(shí)進(jìn)行決策造成干擾的問題。為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案—種后視倒車輔助系統(tǒng)，包括視頻采集器、圖像同步處理器、DSP處理器、邏輯控制器、存儲(chǔ)模塊、輸出幀緩存、視頻解碼器和視頻顯示器；視頻采集器、圖像同步處理器、DSP處理器、輸出幀緩存、視頻解碼器和視頻顯示器依次連接，邏輯控制器連接圖像同步處理、器、DSP處理器、輸出幀緩存和視頻解碼器；其中視頻采集器包括兩個(gè)針孔攝像頭，平行固定安裝在車后外表面兩側(cè)，且兩個(gè)攝像頭成像有部分重合；所述存儲(chǔ)模塊包括閃存和內(nèi)存，所述閃存和內(nèi)存分別與DSP處理器相連。本發(fā)明進(jìn)一步的改進(jìn)在于邏輯控制器連接有音頻報(bào)警器。本發(fā)明進(jìn)一步的改進(jìn)在于視頻采集器的兩個(gè)針孔攝像頭各采集到一幀圖像，經(jīng)過圖像同步處理器同步后儲(chǔ)存到內(nèi)存中，DSP處理器對(duì)兩個(gè)攝像頭采集的兩幀圖像分割、測距后并進(jìn)行融合處理，將處理結(jié)果對(duì)應(yīng)的像素點(diǎn)發(fā)送到輸出幀緩存后，兩個(gè)攝像頭開始采集新的一幀圖像，如此循環(huán)；由邏輯控制器產(chǎn)生輸出幀緩存的時(shí)序信號(hào)將輸出緩存中所存儲(chǔ)的內(nèi)容傳輸?shù)揭曨l編碼器中，轉(zhuǎn)換成視頻信號(hào)，由視頻線傳輸?shù)揭曨l顯示器顯示出后視障礙物圖像，與此同時(shí)，DSP處理器將獲得的各個(gè)障礙目標(biāo)的距離與系統(tǒng)設(shè)定的安全距離閾值對(duì)比，若小于該閾值，則邏輯控制器驅(qū)動(dòng)音頻報(bào)警器報(bào)警。一種形成后視障礙圖像的方法，包括以下步驟

車后兩側(cè)外表面平行固定安裝的兩個(gè)針孔攝像頭各采集到一幀圖像，經(jīng)過圖像同步處理器同步后儲(chǔ)存到內(nèi)存中，DSP處理器對(duì)兩個(gè)攝像頭采集的兩幀圖像依次進(jìn)行分割、測距和融合處理，將處理結(jié)果對(duì)應(yīng)的像素點(diǎn)發(fā)送到輸出幀緩存；邏輯控制器產(chǎn)生輸出幀緩存的時(shí)序信號(hào)將輸出緩存中所存儲(chǔ)的內(nèi)容傳輸?shù)揭曨l編碼器中，轉(zhuǎn)換成視頻信號(hào)，由視頻線傳輸?shù)揭曨l顯示器顯示出后視障礙物圖像，與此同時(shí)，DSP處理器將獲得的各個(gè)障礙目標(biāo)的距離與系統(tǒng)設(shè)定的閾值I；對(duì)比，若小于該閾值，則邏輯控制器驅(qū)動(dòng)音頻報(bào)警器報(bào)警。本發(fā)明進(jìn)一步的改進(jìn)在于DSP處理器對(duì)兩個(gè)攝像頭各采集的一幀圖像分割的方法依次包括預(yù)處理、自適應(yīng)FCM分割和分割后處理；預(yù)處理包括背景建模和前景提??；背景建模時(shí)，首先進(jìn)行模型的初始化，對(duì)每個(gè)像素點(diǎn)設(shè)置下列參數(shù)，聚類中心C，亮度畸變半徑Λ工和顏色畸變半徑Λ P子類權(quán)重ω，最大子類數(shù)M ;接下來，取視頻圖像序列第一幀作為初始背景模型，并將該幀中每個(gè)像素位置的顏色特征向量V作為其第一個(gè)聚類中心C1，同時(shí)設(shè)置該類的權(quán)重Co1=I ；隨后，對(duì)采集到的連續(xù)兩幀圖像ft，ft+1進(jìn)行幀間差分，即ft_ft+1，得到其中的不變區(qū)域vt+1，也就是不包含運(yùn)動(dòng)目標(biāo)的背景部分；對(duì)上述不變區(qū)域中的每個(gè)像素，計(jì)算當(dāng)前像素特征向量和已存在聚類中心的畸變差異D，并選取其中的最小值Dmin以及所對(duì)應(yīng)的子類編號(hào)K ;如果Dmin滿足⑴和⑵組成的聚類準(zhǔn)則，brightness (Ii, Ik) = Δ I ^ Δ 1 (I)colordist (Xi, ck) = Δ C ^ Δ c (2)表明當(dāng)前像素屬于子類k，那么按照下式對(duì)子類的參數(shù)進(jìn)行更新ckj t+1 (x, y) = (l-ay) + a lVt+1 (x, y) (3)cok t+1=(l-a D ωΜ+α I(4)式中ck,t+1(x, y)——像素(x，y)處第k個(gè)子類更新后的聚類中心；cM(x, y)—像素(x，y)處第k個(gè)子類更新前的聚類中心；a I-學(xué)習(xí)速率；ω k, t+1——第k個(gè)子類更新后的權(quán)重；
ω k, t——第k個(gè)子類更新前的權(quán)重；如果Dmin不滿足式⑴和⑵組成的聚類準(zhǔn)則，表明當(dāng)前像素不屬于任何一個(gè)已存在的子類，則比較max (k)和M的大小，最后，對(duì)每個(gè)像素位置，根據(jù)權(quán)重ω對(duì)已存在的子類由大到小進(jìn)行排序，并按照下式選擇符合條件的前N個(gè)子類作為背景模型的合理描述
權(quán)利要求
1.一種后視倒車輔助系統(tǒng)，其特征在于，包括視頻采集器、圖像同步處理器、DSP處理器、邏輯控制器、存儲(chǔ)模塊、輸出幀緩存、視頻解碼器和視頻顯示器；視頻采集器、圖像同步處理器、DSP處理器、輸出幀緩存、視頻解碼器和視頻顯示器依次連接，邏輯控制器連接圖像同步處理器、DSP處理器、輸出幀緩存和視頻解碼器；其中視頻采集器包括兩個(gè)針孔攝像頭，平行固定安裝在車后外表面兩側(cè)，且兩個(gè)攝像頭成像有部分重合；所述存儲(chǔ)模塊包括閃存和內(nèi)存，所述閃存和內(nèi)存分別與DSP處理器相連。
2.根據(jù)權(quán)利要求I所述的一種后視倒車輔助系統(tǒng)，其特征在于，邏輯控制器連接有音頻報(bào)警器。
3.根據(jù)權(quán)利要求2所述的一種后視倒車輔助系統(tǒng)，其特征在于，視頻采集器的兩個(gè)針孔攝像頭各采集到一幀圖像，經(jīng)過圖像同步處理器同步后儲(chǔ)存到內(nèi)存中，DSP處理器對(duì)兩個(gè)攝像頭采集的兩幀圖像分割、測距后并進(jìn)行融合處理，將處理結(jié)果對(duì)應(yīng)的像素點(diǎn)發(fā)送到輸出幀緩存后，兩個(gè)攝像頭開始采集新的一幀圖像，如此循環(huán)；由邏輯控制器產(chǎn)生輸出幀緩存的時(shí)序信號(hào)將輸出緩存中所存儲(chǔ)的內(nèi)容傳輸?shù)揭曨l編碼器中，轉(zhuǎn)換成視頻信號(hào)，由視頻線傳輸?shù)揭曨l顯示器顯示出后視障礙物圖像，與此同時(shí)，DSP處理器將獲得的各個(gè)障礙目標(biāo)的距離與系統(tǒng)設(shè)定的安全距離閾值對(duì)比，若小于該閾值，則邏輯控制器驅(qū)動(dòng)音頻報(bào)警器報(bào)警。
4.一種形成后視障礙圖像的方法，其特征在于，包括以下步驟 車后兩側(cè)外表面平行固定安裝的兩個(gè)針孔攝像頭各采集到一幀圖像，經(jīng)過圖像同步處理器同步后儲(chǔ)存到內(nèi)存中，DSP處理器對(duì)兩個(gè)攝像頭采集的兩幀圖像依次進(jìn)行分割、測距和融合處理，將處理結(jié)果對(duì)應(yīng)的像素點(diǎn)發(fā)送到輸出幀緩存；邏輯控制器產(chǎn)生輸出幀緩存的時(shí)序信號(hào)將輸出緩存中所存儲(chǔ)的內(nèi)容傳輸?shù)揭曨l編碼器中，轉(zhuǎn)換成視頻信號(hào)，由視頻線傳輸?shù)揭曨l顯示器顯示出后視障礙物圖像，與此同時(shí)，DSP處理器將獲得的各個(gè)障礙目標(biāo)的距離與系統(tǒng)設(shè)定的閾值I；對(duì)比，若小于該閾值，則邏輯控制器驅(qū)動(dòng)音頻報(bào)警器報(bào)警。
5.根據(jù)權(quán)利要求4所述的一種形成后視障礙圖像的方法，其特征在于，DSP處理器對(duì)兩個(gè)攝像頭各采集的一幀圖像分割的方法依次包括預(yù)處理、自適應(yīng)FCM分割和分割后處理； 預(yù)處理包括背景建模和前景提??；背景建模時(shí)，首先進(jìn)行模型的初始化，對(duì)每個(gè)像素點(diǎn)設(shè)置下列參數(shù)，聚類中心C，亮度畸變半徑\和顏色畸變半徑Λ y子類權(quán)重ω，最大子類數(shù)M ;接下來，取視頻圖像序列第一幀作為初始背景模型，并將該幀中每個(gè)像素位置的顏色特征向量V作為其第一個(gè)聚類中心C1，同時(shí)設(shè)置該類的權(quán)重ω1=1 ； 隨后，對(duì)采集到的連續(xù)兩幀圖像ft，ft+1進(jìn)行幀間差分，即ft_ft+1，得到其中的不變區(qū)域vt+1，也就是不包含運(yùn)動(dòng)目標(biāo)的背景部分；對(duì)上述不變區(qū)域中的每個(gè)像素，計(jì)算當(dāng)前像素特征向量和已存在聚類中心的畸變差異D，并選取其中的最小值Dmin以及所對(duì)應(yīng)的子類編號(hào)K； 如果Dmin滿足⑴和⑵組成的聚類準(zhǔn)則， brightness (Iij Ik) = Δ I ^ A1 (I) colordist (xi ck) = Δ C ^ Ac (2) 表明當(dāng)前像素屬于子類k，那么按照下式對(duì)子類的參數(shù)進(jìn)行更新 Ckjt+i (x, y) = (l-ay) + a (x, y) (3) Wk,t+l=(l-a l) Wk,t+a I(4) 式中Ck,t+1(x, y)——像素(x，y)處第k個(gè)子類更新后的聚類中心； Ckjt(x, y)-像素(X，y)處第k個(gè)子類更新前的聚類中心； α !-學(xué)習(xí)速率； ω k, t+1——第k個(gè)子類更新后的權(quán)重； ω k, t—第k個(gè)子類更新前的權(quán)重； 如果Dmin不滿足式(I)和(2)組成的聚類準(zhǔn)則，表明當(dāng)前像素不屬于任何一個(gè)已存在的子類，則比較max(k)和M的大小，最后，對(duì)每個(gè)像素位置，根據(jù)權(quán)重ω對(duì)已存在的子類由大到小進(jìn)行排序，并按照下式選擇符合條件的前N個(gè)子類作為背景模型的合理描述
6.根據(jù)權(quán)利要求5所述的一種形成后視障礙圖像的方法，其特征在于，測距的方法為首先利用SIFT特征匹配算法確定兩幀圖像的重疊部分；然后運(yùn)用經(jīng)典的張正友標(biāo)定法標(biāo)定兩個(gè)攝像頭，獲得內(nèi)外部參數(shù)；在重疊部分的目標(biāo)利用雙目視覺進(jìn)行三維重建，獲取其深度信息，不在重疊部分內(nèi)的目標(biāo)，聯(lián)系實(shí)際成像的特點(diǎn)選取測距點(diǎn)，通過反轉(zhuǎn)透視模型，利用單目視覺得到其距離。
7.根據(jù)權(quán)利要求6所述的一種形成后視障礙圖像的方法，其特征在于，測距后的融合的方法為首先根據(jù)車速確定安全閾值，然后根據(jù)定義的幾種主要操作完成圖像的融合，并做垂直鏡像變化； 車速表示為v=(tz，tx, (Oy)，％表示向后的平移速度，tx表示水平方向的平移速度，COy表示旋轉(zhuǎn)的角速度；兩幀圖像Ψ和Ψ '分別采集于t時(shí)刻和t+ Δ t時(shí)刻；由測距過程測得Ψ中一點(diǎn)P在t時(shí)刻攝像機(jī)坐標(biāo)系中的坐標(biāo)為(X，y, ζ)，運(yùn)用SIFT匹配的方法找到P點(diǎn)在Ψ'中的對(duì)應(yīng)點(diǎn)P ,Pi在t+At時(shí)刻的攝像機(jī)坐標(biāo)系中的坐標(biāo)為(X' ,j' ,ζ');根據(jù)空間坐標(biāo)變換關(guān)系可知
全文摘要
本發(fā)明公開了一種后視倒車輔助系統(tǒng)和形成后視障礙圖像的方法，是一種在車輛后方兩側(cè)外表面固定且平行安裝兩個(gè)攝像頭的基礎(chǔ)上，對(duì)車輛倒車時(shí)后視場景中障礙物自動(dòng)識(shí)別、測距，并最終融合顯示的方法；該方法依次包括分割、測距以及融合三大部分；所述分割部分包括預(yù)處理、自適應(yīng)FCM分割以及分割后處理；測距部分包括SIFT特征匹配、攝像頭標(biāo)定以及距離測量；融合部分主要是根據(jù)已經(jīng)測得的距離信息，結(jié)合實(shí)際交通場景情況，建立相關(guān)規(guī)則并融合顯示。本發(fā)明方法消除了車后的視覺盲區(qū)，將后視圖像中障礙物自動(dòng)分割出來并獲得該障礙到本車的距離，融合顯示倒車時(shí)最急需關(guān)注的距離很近的障礙物，消除了其他距離較遠(yuǎn)的事物的干擾，使得倒車更加便捷。
文檔編號(hào)B60R1/00GK102774325SQ201210268938
公開日2012年11月14日 申請日期2012年7月31日 優(yōu)先權(quán)日2012年7月31日
發(fā)明者華莉琴, 唐家興, 王拓, 胥博, 陳雅迪 申請人:西安交通大學(xué)