專利名稱：交通工具移動(dòng)圖像輔助導(dǎo)引方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)一種交通工具移動(dòng)輔助方法，尤其是指一種利用圖像辨識(shí)來判斷車輛
移動(dòng)狀態(tài)并且辨識(shí)障礙物與車道標(biāo)志以作為導(dǎo)引輔助信息的一種交通工具移動(dòng)圖像輔助 導(dǎo)引方法與系統(tǒng)。
背景技術(shù)：
大部分的駕駛者都曾為駕駛交通工具時(shí)無法兼顧各方位的避障操作感到困擾，而 交通工具駕駛于盲點(diǎn)區(qū)域的移動(dòng)(如停車或狹窄路段行駛)通常是造成困擾的重要原因。 目前的電子技術(shù)發(fā)展至以傳感器來輔助行車安全，最常見的為距離傳感器(超聲波、紅外 線、毫米波及激光等)及圖像傳感器(CCD/CMOS)。距離傳感器主要輔助于單方向的避障被 動(dòng)警示(如適應(yīng)性巡航系統(tǒng)、倒車?yán)走_(dá)等)，而圖像傳感器則應(yīng)用于廣域的視覺輔助，需要 人眼觀察判斷的駕駛輔助行為(如車道/車輛辨識(shí)、倒車攝影及盲點(diǎn)檢測(cè)等)。倘若在駕 駛行為發(fā)生同時(shí)，能夠有效地協(xié)助駕駛者掌握交通工具移動(dòng)動(dòng)態(tài)及與障礙物的相對(duì)距離， 駕駛者便可輕易完成駕駛導(dǎo)引并減少碰撞意外的發(fā)生。 而在現(xiàn)有技術(shù)中，例如中國(guó)發(fā)明專利CN179378號(hào)所公開的一種停車輔助裝置，其 停車目標(biāo)位置的設(shè)定精度優(yōu)良，設(shè)定速度快，可減輕使用者的停車目標(biāo)位置的設(shè)定操作的 勞苦。該停車輔助裝置利用后方攝像機(jī)拍攝進(jìn)行停車的停車空間，檢測(cè)出該后方攝像機(jī)拍 攝的圖像中包括的停車空間中的表示停車區(qū)的區(qū)標(biāo)線并設(shè)定停車目標(biāo)位置，輔助車輛行駛 到停車目標(biāo)位置，其具有檢測(cè)出車輛的移動(dòng)的車輛檢測(cè)裝置；存儲(chǔ)車輛檢測(cè)裝置所檢測(cè) 出的車輛行駛移動(dòng)經(jīng)歷的存儲(chǔ)裝置；基于存儲(chǔ)裝置中存儲(chǔ)的車輛行駛移動(dòng)經(jīng)歷的變化來推 定假定停車目標(biāo)位置的假定停車目標(biāo)位置推定裝置；基于利用假定停車目標(biāo)位置推定裝置 推定的假定停車目標(biāo)位置來設(shè)定搜索區(qū)標(biāo)線的停車區(qū)標(biāo)線搜索區(qū)域的停車區(qū)標(biāo)線搜索區(qū) 域設(shè)定裝置。 又如，美國(guó)專利US. Pat. No. 7， 006， 127所公開的一種駕駛輔助系統(tǒng)，其具有一顯 示單元、一圖像獲取裝置以及一圖像處理單元。該顯示單元，設(shè)置在可被前座駕駛可以看見 的區(qū)域。該圖像獲取裝置可獲取車輛后方的圖像。而該圖像處理單元可經(jīng)由圖像處理以轉(zhuǎn) 換坐標(biāo)系統(tǒng)使得該顯示單元顯示轉(zhuǎn)換后的合成圖像。在本技術(shù)中，在顯示單元內(nèi)可以同時(shí) 顯示自己以及前方車輛以及前方車輛的連接組件的圖像，以利駕駛者判斷而使連接作業(yè)得 以順利進(jìn)行。

發(fā)明內(nèi)容
本發(fā)明提供一種交通工具移動(dòng)圖像輔助導(dǎo)引方法與系統(tǒng)，用于對(duì)隨時(shí)間變化的圖 像進(jìn)行辨識(shí)，以根據(jù)交通工具的移動(dòng)狀態(tài)而得到交通工具移動(dòng)軌跡。此外，該方法還可以辨 識(shí)圖像中的特征物與交通工具的距離，進(jìn)而輔助交通工具的移動(dòng)。本發(fā)明的方法可以應(yīng)用 于各種不同形式的交通工具，尤其對(duì)于大型運(yùn)輸工具的實(shí)時(shí)移動(dòng)檢測(cè)與輔助方法，以解決 大型交通工具的具有大范圍盲點(diǎn)的行車安全顧慮，提高本身車輛及其它用路人或交通工具的安全。 本發(fā)明提供一種交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，通過單一攝影機(jī)便可達(dá)成以一 般圖像以及俯瞰圖像來進(jìn)行導(dǎo)引輔助，并同時(shí)檢測(cè)與障礙物或者是道路標(biāo)記的距離提供駕 駛防碰撞警示或者是停放交通工具的功能，使得判斷后方距離更直觀更明確，提供完整地 輔助停車解決方案，解決大部分駕駛?cè)说睦_。 本發(fā)明提供一種交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，可以免除過去完成駕駛導(dǎo)引功 能預(yù)估所需要的至少一個(gè)攝影機(jī)及一個(gè)方向盤轉(zhuǎn)角傳感器。本發(fā)明的系統(tǒng)僅利用單一的攝 影機(jī)配合算法即可達(dá)成功能，安裝方法與一般車用攝影系統(tǒng)相同，可免除需要連接其它車 用傳感器的安裝門坎，因此具有低價(jià)格、安裝容易、高彈性的特性。 在一實(shí)施例中，本發(fā)明提供一種交通工具移動(dòng)圖像輔助導(dǎo)引方法，包括下列步驟 于一第一時(shí)間點(diǎn)獲取關(guān)于一交通工具的外部環(huán)境的一第一圖像；于該第一圖像中選取一基 準(zhǔn)區(qū)域；于一第二時(shí)間點(diǎn)獲取關(guān)于該交通工具的外部環(huán)境的一第二圖像；于該第二圖像中 尋找對(duì)應(yīng)該基準(zhǔn)區(qū)域的一對(duì)應(yīng)區(qū)域并獲取該對(duì)應(yīng)區(qū)域與該基準(zhǔn)區(qū)域的一移動(dòng)向量；以及根 據(jù)該移動(dòng)向量決定該交通工具的移動(dòng)軌跡。 在另一實(shí)施例中，本發(fā)明還提供一種交通工具移動(dòng)圖像輔助導(dǎo)引方法，包括下列 步驟(a)于不同時(shí)間點(diǎn)檢測(cè)關(guān)于一交通工具的外部環(huán)境的變化圖像中特定區(qū)塊的移動(dòng)向 量以決定該交通工具的移動(dòng)狀態(tài)；(b)根據(jù)該移動(dòng)狀態(tài)決定一移動(dòng)軌跡；(c)于該圖像中檢 測(cè)至少一特征物；以及(d)辨識(shí)該至少一特征物，并根據(jù)該至少一特征物的形式進(jìn)行對(duì)應(yīng) 的一輔助程序。 在另一實(shí)施例中，本發(fā)明還提供一種交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，包括一圖 像獲取裝置，獲取一交通工具外部環(huán)境的圖像；一控制單元，與該圖像獲取裝置相連接，該 控制單元根據(jù)于不同時(shí)間點(diǎn)該圖像獲取裝置所獲取的關(guān)于該交通工具的外部環(huán)境的變化 圖像中特定區(qū)塊的移動(dòng)向量以決定該交通工具的移動(dòng)狀態(tài)，并根據(jù)該移動(dòng)狀態(tài)決定該交通 工具的移動(dòng)軌跡；以及一顯示單元，與該控制單元相連接，該顯示單元提供顯示該圖像以及 該控制單元所產(chǎn)生的關(guān)于該交通工具的移動(dòng)軌跡。此外，當(dāng)該特征物與該交通工具間的距 離小于一預(yù)設(shè)距離時(shí)，則控制單元將該圖像獲取裝置所獲取道的圖像轉(zhuǎn)換為俯視圖像，并 提供該顯示單元一俯視圖像信號(hào)。


圖1為本發(fā)明的交通工具移動(dòng)圖像輔助導(dǎo)引方法實(shí)施例流程示意圖2A為第一圖像示意圖；圖2B為第二圖像示意圖；圖2C為本發(fā)明的影相移動(dòng)向量示意圖；圖3為本發(fā)明的交通工具移動(dòng)圖像輔助導(dǎo)引方法另一實(shí)施例流程示意4A與圖四B為本發(fā)明圖像空間與實(shí)際空間距離估《M示意圖；圖5A至圖五C為本發(fā)明圖像空間與實(shí)際空間距離估《M示意圖；圖6為本發(fā)明的交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)實(shí)施例方塊示意圖。
其中，附圖標(biāo)記2_交通工具移動(dòng)圖像輔助導(dǎo)引方法 20 24-步驟
3_交通工具移動(dòng)圖像輔助導(dǎo)引方法30 38-步驟360 362-步驟370 372-步驟4_交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)40-圖像獲取裝置41-控制單元410-中央處理器411-內(nèi)存模塊4110-內(nèi)存4111-閃存412-圖像輸出接口413-圖像輸入接口 414_車體信號(hào)通信接口
415-電源接口 42-顯示單元
43-警報(bào)模塊 9a- 9e_圖像90、91-圖像處理區(qū)域 901-基準(zhǔn)區(qū)域
911-圖像檢測(cè)區(qū)±央 912、913-區(qū)域
具體實(shí)施例方式
為清楚完整的公開本發(fā)明的特征、目的及功能，以下對(duì)本發(fā)明的裝置的相關(guān)內(nèi)部 結(jié)構(gòu)以及設(shè)計(jì)要點(diǎn)進(jìn)行說明，詳細(xì)說明如下 請(qǐng)參閱圖1所示，該圖為本發(fā)明的交通工具移動(dòng)圖像輔助導(dǎo)引方法實(shí)施例流程示 意圖。在本實(shí)施例中，主要是對(duì)不同時(shí)間點(diǎn)的圖像進(jìn)行辨識(shí)尋找出移動(dòng)的特征，并從該特征 中計(jì)算出特征在圖像空間中的移動(dòng)方向，如此即可得到車輛的移動(dòng)狀態(tài)，例如轉(zhuǎn)向。再?gòu)?移動(dòng)狀態(tài)去預(yù)估車輛行動(dòng)的軌跡而在畫面中顯示出來以提供駕駛者參考。接下來說明該方 法的運(yùn)作流程，首先進(jìn)行步驟20，于一第一時(shí)間點(diǎn)獲取關(guān)于一交通工具的外部環(huán)境的一第 一圖像。在本實(shí)施例中，該第一圖像為該交通工具后方環(huán)境的圖像，但不以此為限。獲取圖 像的方式可利用現(xiàn)有技術(shù)的圖像獲取裝置，例如CCD或CMOS傳感組件，將其設(shè)置于交通工 具后方，以獲取交通工具后方環(huán)境的圖像。該交通工具可為輪型車輛，例如小型輪形車輛 (轎車)或者是大型輪形車輛(客貨車、長(zhǎng)型連結(jié)貨柜車)、航空器具或者是船舶等，但不以 此為限。 接下來進(jìn)行步驟21，于該第一圖像中選取一基準(zhǔn)區(qū)域。請(qǐng)參閱圖2A所示，該圖為 第一圖像示意圖。以圖2A來說明步驟21，首先在第一圖像9a中決定一圖像處理區(qū)域90，其 大小與范圍可根據(jù)需要而定，并無一定限制。然后在該圖像處理區(qū)域90 (Detection Area) 中選取一特定區(qū)塊作為基準(zhǔn)區(qū)域901，該基準(zhǔn)區(qū)域901的大小亦可根據(jù)需要而定，并無一定 限制。接者，進(jìn)行步驟22，為了判斷交通工具的移動(dòng)狀態(tài)，在第二時(shí)間點(diǎn)時(shí)，獲取交通工具的 外部環(huán)境的圖像以形成第二圖像，如圖2B所示。如果交通工具正在移動(dòng)狀態(tài)時(shí)，例如倒退 移動(dòng)，則該第二圖像的畫面會(huì)與該第一圖像的畫面有所差異，根據(jù)這樣的差異可以利用圖 像處理的方式找出交通工具的移動(dòng)狀態(tài)。 步驟22之后，接著進(jìn)行步驟23，于該第二圖像中尋找對(duì)應(yīng)該基準(zhǔn)區(qū)域901的一對(duì) 應(yīng)區(qū)域并計(jì)算該對(duì)應(yīng)區(qū)域與該基準(zhǔn)區(qū)域901的一移動(dòng)向量。在本步驟中，同樣地，在圖2B 的第二圖像9b中，決定圖像處理區(qū)域91。決定之后，根據(jù)在步驟21中決定的基準(zhǔn)區(qū)域901 大小，在該第二圖像9b中形成一圖像檢測(cè)區(qū)塊911，然后在第二圖像9b中的圖像處理區(qū)域 91內(nèi)，由上至下、由左至右逐一的變更該圖像檢測(cè)區(qū)塊911的位置。每當(dāng)移動(dòng)一次時(shí)，便進(jìn) 行一次辨識(shí)運(yùn)算，以在該第二圖像9b中尋找出對(duì)應(yīng)圖2A中的基準(zhǔn)區(qū)域901的圖像檢測(cè)區(qū)塊。如圖2B所示，在第一次的辨識(shí)運(yùn)算中，該圖像檢測(cè)區(qū)塊911位于左上角的區(qū)域，在本實(shí) 施例中，圖像檢測(cè)區(qū)塊的大小為3(pixel)x 3(pixel)的大小，但不以此為限，因?yàn)閳D像檢 測(cè)區(qū)塊的大小需根據(jù)圖2A中的基準(zhǔn)區(qū)域的大小而定，如果基準(zhǔn)區(qū)域的大小改變，則辨識(shí)框 大小也會(huì)跟著改變。在圖2B的情況下，圖像檢測(cè)區(qū)塊911所涵蓋到的區(qū)域所具有的圖像特 征可以根據(jù)式(1)與式(2)來進(jìn)行運(yùn)算 &^(/^)=2^」/("，^)-/(^+/^+^|..............................(1) — = minp, qSADi (p， q)............................................. (2) 其中，I(-1，X，Y)表示在第一時(shí)間點(diǎn)(t-l)時(shí)所取樣的第一圖像9a中的圖像空間 坐標(biāo)(X，Y)(亦即基準(zhǔn)區(qū)域901的中心位置坐標(biāo))于圖像中的一特征值。在本實(shí)施例中，該 特征值為灰階強(qiáng)度。而I(t，X，Y)表示在第二時(shí)間點(diǎn)(t)時(shí)所取樣的第二圖像9b中的圖像 空間坐標(biāo)(X， Y)(亦即圖像檢測(cè)區(qū)塊911的中心位置坐標(biāo))于圖像中的灰階強(qiáng)度。&為第 i個(gè)圖像檢測(cè)區(qū)塊范圍。SADi(p， q)是第二圖像中第i個(gè)圖像檢測(cè)區(qū)塊911與第一圖像中 對(duì)應(yīng)于第i個(gè)基準(zhǔn)區(qū)域901的相對(duì)位移為(p，q)的點(diǎn)(本實(shí)施例為圖像檢測(cè)區(qū)塊的中心位 置，但不以此為限)之間的絕對(duì)誤差和(sum of absolute difference, SAD)。既然minp, q SADi(p， q)是圖像檢測(cè)區(qū)塊901移動(dòng)最小的SAD值，產(chǎn)生最小值的位移向量imVi則代表第 i個(gè)圖像檢測(cè)區(qū)塊移動(dòng)的局部性移動(dòng)向量(Local Motion Vector, LMV)。
如圖2B所示，圖像檢測(cè)區(qū)塊911內(nèi)的中心與基準(zhǔn)區(qū)域之間會(huì)有一個(gè)SAD值。若圖 像檢測(cè)區(qū)塊911向右移動(dòng)一單位像素的距離，如圖2B中的標(biāo)號(hào)912所示的區(qū)域。此時(shí)，再 套入公式(1)又可得到對(duì)應(yīng)圖像檢測(cè)區(qū)塊911移動(dòng)至區(qū)域912時(shí)與圖2A的基準(zhǔn)區(qū)域901 間的一個(gè)SAD值。當(dāng)重復(fù)多次上述動(dòng)作，每一次改變?cè)搱D像檢測(cè)區(qū)塊911的位置，可以得到 多個(gè)SAD值。此時(shí)再根據(jù)公式(2)，由該多個(gè)SAD值中尋找出最小的SAD值。如圖2C所示， 對(duì)應(yīng)該最小的SAD值的圖像檢測(cè)區(qū)塊911所在的區(qū)域913則可視為該基準(zhǔn)區(qū)域901在第二 時(shí)間點(diǎn)(t)的位置。因此可以根據(jù)圖像檢測(cè)區(qū)塊911與基準(zhǔn)區(qū)域901之間的圖像空間距離 (P，q)，該圖像空間距離(P，q)即為在第二時(shí)間點(diǎn)(t)與該第一時(shí)間點(diǎn)(t-l)間該基準(zhǔn)區(qū)域 901的移動(dòng)向量。 再回到圖1所示，得到該移動(dòng)向量時(shí)，再進(jìn)行步驟24，根據(jù)該移動(dòng)向量決定該交通 工具的移動(dòng)軌跡。在本步驟中，利用步驟24根據(jù)兩個(gè)不同時(shí)間點(diǎn)的圖像變化，所得到的移 動(dòng)向量可代表交通工具本身的移動(dòng)狀態(tài)，例如轉(zhuǎn)向狀態(tài)。舉例而言，當(dāng)交通工具在后退的 時(shí)候，如果方向盤有轉(zhuǎn)動(dòng)的情況下(亦即轉(zhuǎn)向角度已知的情況下)，在單位時(shí)間內(nèi)，交通工 具后退的距離以及交通工具本身轉(zhuǎn)動(dòng)的角度是可以預(yù)先估算出來的。因此，為了重建移動(dòng) 軌跡，基本上可以事先建立交通工具移動(dòng)狀態(tài)與軌跡關(guān)系數(shù)據(jù)庫(kù)，也就是將轉(zhuǎn)向、車速以及 獲取圖像的圖像獲取裝置的參數(shù)(例如高度、視角范圍以及獲取圖像俯角)等信息與移動(dòng) 軌跡建立起對(duì)應(yīng)關(guān)系的數(shù)據(jù)庫(kù)。由于根據(jù)步驟23所到的移動(dòng)向量，可以了解交通工具現(xiàn)在 的移動(dòng)狀態(tài)，亦即轉(zhuǎn)向的角度，因此根據(jù)轉(zhuǎn)向角度，車速以及獲取圖像的圖像獲取裝置的參 數(shù)(例如高度、視角范圍以及獲取圖像俯角)等信息，由數(shù)據(jù)庫(kù)的數(shù)據(jù)中尋找出對(duì)應(yīng)的軌 跡，然后在顯示器中顯示出來。由于現(xiàn)有技術(shù)中，在顯示器中通常只會(huì)單純顯示所獲取的圖 像，雖然操控方向的改變也會(huì)造成顯示器內(nèi)所顯示的圖像跟著改變，但是并無任何輔助的 移動(dòng)軌跡會(huì)顯示在畫面中，以提供駕駛者輔助識(shí)別。因此駕駛者并無法直接從圖像中快速 了解可能發(fā)生擦撞的可能性。透過步驟24，駕駛者可以根據(jù)顯示器所顯示的軌跡，快速直接
8的判斷現(xiàn)在的操控情況下，是否會(huì)撞倒障礙物或者是壓到路面標(biāo)記等情況發(fā)生。
請(qǐng)參閱圖3所示，該圖為本發(fā)明的交通工具移動(dòng)圖像輔助導(dǎo)引方法另一實(shí)施例流 程示意圖。在本實(shí)施例中，該交通工具移動(dòng)圖像輔助導(dǎo)引方法整合了前述的實(shí)施例、圖像特 征物識(shí)別、距離計(jì)算、視角改變以及警示的功能以形成一個(gè)整合型的交通工具導(dǎo)引方法。該 方法3包括有下列步驟首先，步驟30為判斷是否開始，其中，在步驟300時(shí)處于待機(jī)狀態(tài)， 一直到步驟301檢測(cè)系統(tǒng)是否啟動(dòng)的步驟以判別是否開始判斷的流程。在步驟301中，啟 動(dòng)與否的判斷方法可以根據(jù)交通工具的檔位或者是通過按鈕啟動(dòng)或者是開關(guān)啟動(dòng)來進(jìn)行 判斷，但不以此為限。在本實(shí)施例中，以后退檔為例，如果在步驟301中發(fā)現(xiàn)了啟動(dòng)后退檔， 則代表啟動(dòng)判斷機(jī)制。 當(dāng)系統(tǒng)啟動(dòng)時(shí)，則進(jìn)行步驟31，進(jìn)行圖像動(dòng)量估測(cè)，本步驟主要是于不同時(shí)間點(diǎn)檢 測(cè)關(guān)于一交通工具的外部環(huán)境的變化圖像中特定區(qū)塊的移動(dòng)向量以決定該交通工具的移 動(dòng)狀態(tài)。接著進(jìn)行步驟32，根據(jù)該移動(dòng)狀態(tài)決定一移動(dòng)軌跡。步驟31與步驟32的方式如 同圖l所示的實(shí)施例以及相關(guān)的文字所述，在此不作贅述。接著進(jìn)行步驟33的圖像特征物 檢測(cè)，亦即于該圖像中檢測(cè)至少一特征物。本實(shí)施例所謂的特征物為障礙物或者是路面標(biāo) 記等，但不以此為限。至于如何在圖像中檢測(cè)特征物，屬于公知技術(shù)，在此不作贅述。接著 進(jìn)行步驟34，如有圖像中有特征物的話，則進(jìn)行步驟35，辨識(shí)該至少一特征物，并根據(jù)該至 少一特征物的形式進(jìn)行對(duì)應(yīng)的一輔助程序。 在本實(shí)施例中，該輔助程序包括有兩個(gè)部分，第一部份主要是針對(duì)障礙物的輔助 導(dǎo)引程序36。第二部分則是針對(duì)路面標(biāo)記的輔助導(dǎo)引程序37。首先說明障礙物的輔助導(dǎo) 引程序36，如果在步驟35中辨識(shí)出的特征物為障礙物的話，則進(jìn)行步驟360，估測(cè)交通工具 與該障礙物的距離。在步驟360中估測(cè)距離的方式為根據(jù)特征物在獲取的圖像中所形成的 圖像空間中的坐標(biāo)位置，配合預(yù)先估測(cè)的圖像空間坐標(biāo)與實(shí)際距離的對(duì)應(yīng)關(guān)系，可得出特 征在實(shí)際空間中的距離。請(qǐng)參閱圖4A與圖4B所示，該圖為本發(fā)明圖像空間與實(shí)際空間距 離估測(cè)示意圖。其中圖像9c為獲取到關(guān)于交通工具外部環(huán)境的圖像。由于獲取圖像的圖 像獲取裝置所裝設(shè)的位置、高度、視角、獲取圖像的俯角或仰角為已知，因此可以事先建立 圖像空間與實(shí)際空間距離的對(duì)應(yīng)關(guān)系，以利后續(xù)搜尋對(duì)照使用。所謂圖像空間是指在圖像 9c中每一個(gè)像素所在的位置，而實(shí)際空間則指交通工具所存在的環(huán)境空間。從圖4A可以知 道，圖像9c中的每一個(gè)像素所呈現(xiàn)的圖像對(duì)應(yīng)到實(shí)際空間坐標(biāo)時(shí)的位置，可以通過實(shí)際的 測(cè)量得知。此外，雖然在本實(shí)施例中以一個(gè)像素為單位，但是實(shí)際上也可以根據(jù)分辨率的需 要，以多個(gè)像素為一個(gè)單位來建立圖像空間與實(shí)際空間的對(duì)照表。 在圖4A中，在圖像9c所形成的圖像空間(x， y)位置上的每一個(gè)像素(xl， yl)、 (xl，y2)以及(xl，y3)經(jīng)過量測(cè)之后可以對(duì)應(yīng)到圖4B所示的實(shí)際空間中的(X1，Y1)、(X1， Y2)以及(X1，Y3)的位置。在圖4A的圖像空間中的坐標(biāo)位置所對(duì)應(yīng)至圖4B的實(shí)際空間的 距離可由預(yù)先得知的關(guān)系計(jì)算得知。再回到圖3所示，在步驟360中可以根據(jù)步驟35所辨 識(shí)出的障礙物在圖像空間中的位置，經(jīng)過事先所建立的圖像空間與實(shí)際空間對(duì)應(yīng)的關(guān)系， 找出該障礙物在實(shí)際空間中的位置。利用圖像估測(cè)出距離之后，進(jìn)行步驟361判斷該距離 的大小，如果該距離小于一特定距離(例如車身的L倍長(zhǎng)度的距離時(shí))則通過步驟362發(fā) 出警報(bào)。然后，在進(jìn)行步驟38，將步驟32所產(chǎn)生的軌跡顯示出來。 另一方面，如果步驟35所辨識(shí)出來的為路面標(biāo)記，例如車道線或者是停車網(wǎng)格線，則進(jìn)行程序37。首先，以步驟370估測(cè)交通工具與該路面標(biāo)記的距離，其估測(cè)方式如前所述，在此不作贅述。接著進(jìn)行步驟371，如果該距離小于一特定距離，則進(jìn)行步驟372切換視角，即從正視視角切換至俯瞰視角。在本實(shí)施例中，該特定距離為交通工具長(zhǎng)度的K倍，但不以此為限。另外，步驟372的切換視角的目的，是要讓駕駛者可以更輕易的從顯示器中看出與路面標(biāo)記之間的距離關(guān)系。如圖5A所示，視角俯瞰轉(zhuǎn)換為利用圖像幾何轉(zhuǎn)換的方式，通過逆透視投影算法結(jié)合圖像扭曲校正技術(shù)將原本以水平正視角度成像的圖像9d轉(zhuǎn)換為由上方往下看的圖像9e效果。例如，在圖五中，圖像9d為正視視角，經(jīng)過步驟372轉(zhuǎn)換之后會(huì)形成圖像9e由上往下看的狀態(tài)。 視角轉(zhuǎn)換技術(shù)主要是基于路面為平坦的假設(shè)，如此可除去透視投影的影響所造成的距離失真。其轉(zhuǎn)換示意圖如圖5B與圖5C所示其數(shù)學(xué)轉(zhuǎn)換原理為假設(shè)車輛行駛在世界空間Z = 0的平面上，且攝影機(jī)(其坐標(biāo)為(X， Y， Z) = (O，O， h))光學(xué)軸與此平面的夾角為9且與X軸的夾角為Y(在此應(yīng)用例中，Y =0，但不以此為限)。假設(shè)攝影機(jī)的視角為2(K且圖像的分辨率為nXm。若于實(shí)際空間中存在坐標(biāo)(x，y，O)的點(diǎn)，其圖像空間中的坐標(biāo)(a ， P)可由下列式(3)與式(4)表示(1 < a < n，l < p < m): ，j,O)-(y-0)
旦
(3)
附一l苴中"arctan(—)而,arctan(、 y
=)因此，對(duì)應(yīng)的轉(zhuǎn)換圖像可以由原透視圖
像像素中重組，以形成俯瞰的圖像。以圖5中的圖像9d中的像素(a， P，O)為例，經(jīng)過公式(3)與式(4)的轉(zhuǎn)換，即可轉(zhuǎn)換成圖像9e中的像素(x，y，O)。 請(qǐng)參閱圖6所示，該圖為本發(fā)明的交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)實(shí)施例方塊示意圖。在本實(shí)施例中該交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)4包括有一圖像獲取裝置40、一控制單元41以及一顯示單元42。該圖像獲取裝置41設(shè)置于交通工具上以獲取交通工具外部環(huán)境的圖像。該圖像獲取裝置40可為CCD或CM0S等類的圖像傳感器，但不以此為限。該圖像獲取裝置40可設(shè)置于交通工具上的任一位置，設(shè)置的位置取決于獲取圖像的需要，并無一定限制。在本實(shí)施例中，該圖像獲取裝置40可設(shè)置于在交通工具后方以獲取交通工具后方環(huán)境的圖像，其獲取水平視角允許范圍60 190度，圖像獲取頻率為15 30Frames/sec ;實(shí)時(shí)圖像輸出達(dá)15 20Frames/sec。上述圖像獲取裝置40的視角及圖像檢測(cè)距離規(guī)格可依照交通工具車型及安裝位置的不同而有所改變。 該控制單元41 ，其以一圖像輸入接口 413與該圖像獲取裝置40相耦接。該控制單元41還具有一中央處理器410、一內(nèi)存模塊411、一圖像輸出接口 412、一車體信號(hào)通信接口 414以及一電源接口 415。該中央處理器410可接收該圖像輸入接口 413所輸入的圖像信號(hào)，并進(jìn)行圖1以及圖3所示的圖像處理、圖像辨識(shí)、距離運(yùn)算、障礙物相對(duì)關(guān)系運(yùn)算、圖像輸出/輸出車體信號(hào)輸入、及警示信號(hào)輸出等流程。警示信號(hào)輸出可通過警報(bào)模塊43傳送給駕駛端使得駕駛員可以注意到障礙物而避免與障礙物擦撞。該圖像輸出接口 412與該顯示單元42相耦接，可顯示由該中央處理器410所運(yùn)算處理的結(jié)果，例如可以顯示交通工具移動(dòng)軌跡、圖像獲取裝置所獲取到的圖像等、視角轉(zhuǎn)換的圖像輸出結(jié)果。該內(nèi)存模塊411還可分為內(nèi)存4110以及閃存4111。在本實(shí)施例中，內(nèi)存4110為32MB以上SDRAM ;而閃存4111則為16MB以上閃存，應(yīng)用于系統(tǒng)運(yùn)作的暫存空間。該內(nèi)存模塊411的容量大小并不以本發(fā)明的實(shí)施例為限。 該車體信號(hào)通信接口 414則為接收啟動(dòng)本系統(tǒng)4的啟動(dòng)信號(hào)，該通信接口 414可接收由交通工具上所發(fā)出的啟動(dòng)信號(hào)，例如檢測(cè)檔位切換至特定檔位(如倒退檔)或者是使用者通過按鍵來啟動(dòng)時(shí)。發(fā)出啟動(dòng)信號(hào)的方式的配置規(guī)格將依據(jù)應(yīng)用交通工具不同，可進(jìn)行調(diào)整，并不以前述的說明為限。此外，該控制單元41上還具有一電源接口 415以與電源相連接。 利用本發(fā)明的系統(tǒng)與方法，可以突破現(xiàn)有技術(shù)中交通工具移動(dòng)導(dǎo)引必須由數(shù)種車用傳感器才能完成的限制，提供具安裝彈性與低成本的輔助功能，甚至結(jié)合俯瞰轉(zhuǎn)換及扭曲校正的圖像技術(shù)，使得判斷后方距離更直觀更明確，提供完整地輔助停車解決方案，解決大部分駕駛?cè)说睦_。加上經(jīng)過軟件簡(jiǎn)易設(shè)定可適應(yīng)各種廠牌的倒車攝影機(jī)及車型，對(duì)于車用電子售后服務(wù)市場(chǎng)具有相當(dāng)大的銷售潛力。因此本產(chǎn)品初期將針對(duì)全球的車用電子售服市場(chǎng)積極布局，并將推廣于大型運(yùn)輸機(jī)具(客貨車、長(zhǎng)型連結(jié)貨柜車及船舶)輔助停泊使用。 本方法可通過簡(jiǎn)單的軟件設(shè)定適應(yīng)不同攝影機(jī)內(nèi)部參數(shù)與外部安裝特性，所以也可以使用原來已安裝于車輛上的車用攝像機(jī)來運(yùn)作。除了一般小型交通工具如轎車等，對(duì)于具有后向全盲點(diǎn)及倒車行徑不易掌握地大型客貨車、長(zhǎng)型連結(jié)貨柜車及船舶等大型運(yùn)輸機(jī)具在停泊上更有明顯的輔助效果，原因在于此種車輛盲點(diǎn)多，以目前單一傳感器的方式無法提供完全的車輛防護(hù)及他人用路安全，只要應(yīng)用多組本裝置及搭配適合的人機(jī)接口設(shè)計(jì)就可以解決上述的駕駛負(fù)擔(dān)。 以上所述僅為本發(fā)明的實(shí)施例，不能用以限制本發(fā)明范圍。即大凡依本發(fā)明權(quán)利要求所做的等效變化及修改，仍將不失本發(fā)明的要義所在，亦不脫離本發(fā)明的精神和范圍，故都應(yīng)視為本發(fā)明的進(jìn)一步實(shí)施狀況。
權(quán)利要求
一種交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，包括下列步驟于一第一時(shí)間點(diǎn)獲取關(guān)于一交通工具的外部環(huán)境的一第一圖像；于該第一圖像中選取一基準(zhǔn)區(qū)域；于一第二時(shí)間點(diǎn)獲取關(guān)于該交通工具的外部環(huán)境的一第二圖像；于該第二圖像中尋找對(duì)應(yīng)該基準(zhǔn)區(qū)域的一對(duì)應(yīng)區(qū)域并計(jì)算出該對(duì)應(yīng)區(qū)域與該基準(zhǔn)區(qū)域的一移動(dòng)向量；以及根據(jù)該移動(dòng)向量決定該交通工具的移動(dòng)軌跡。
2. 如權(quán)利要求1所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，尋找對(duì)應(yīng)該基 準(zhǔn)區(qū)域的一對(duì)應(yīng)區(qū)域的步驟還包括有下列步驟計(jì)算關(guān)于該基準(zhǔn)區(qū)域的一第一特征值；以及于該第二圖像中尋找與該第一特征值有最小絕對(duì)誤差和的該對(duì)應(yīng)區(qū)域。
3. 如權(quán)利要求2所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，該特征值為灰 階強(qiáng)度值。
4. 如權(quán)利要求2所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，尋找與該特征 值有最小絕對(duì)誤差和的該對(duì)應(yīng)區(qū)域還具有下列步驟(a) 決定一檢測(cè)區(qū)塊；(b) 計(jì)算該檢測(cè)區(qū)塊所涵蓋的圖像所具有的一第二特征值與該第一特征值間的一絕對(duì) 誤差和；(C)移動(dòng)該檢測(cè)區(qū)塊；(d) 重復(fù)進(jìn)行步驟(b)至(C)多次，以得到多個(gè)絕對(duì)誤差和；以及(e) 由該多個(gè)絕對(duì)誤差和中尋找出最小的值。
5. 如權(quán)利要求4所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，計(jì)算該絕對(duì)誤差和為利用"。,(^) = 11^,|/("義:0-他1+/^+《)|來計(jì)算，而最小值則為根據(jù)mirv,SADi(p， q)找出該多個(gè)絕對(duì)誤差的最小值。
6. 如權(quán)利要求l所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，決定該交通工 具的移動(dòng)軌跡還包括有下列步驟根據(jù)該移動(dòng)向量判斷該交通工具的移動(dòng)方向；以及根據(jù)該移動(dòng)方向搜尋預(yù)先建立的軌跡數(shù)據(jù)庫(kù)中對(duì)應(yīng)該移動(dòng)狀態(tài)的移動(dòng)軌跡。
7. —種交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，包括下列步驟(a) 于不同時(shí)間點(diǎn)檢測(cè)關(guān)于一交通工具的外部環(huán)境的變化圖像中特定區(qū)塊的移動(dòng)向量 以決定該交通工具的移動(dòng)狀態(tài)；(b) 根據(jù)該移動(dòng)狀態(tài)決定一移動(dòng)軌跡； (C)于該圖像中檢測(cè)至少一特征物；以及(d)辨識(shí)該至少一特征物，并根據(jù)該至少一特征物的形式進(jìn)行對(duì)應(yīng)的一輔助程序。
8. 如權(quán)利要求7所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，該步驟(a)還包 括有下列步驟(al)于一第一時(shí)間點(diǎn)獲取關(guān)于該交通工具的外部環(huán)境的一第一圖像； (a2)于該第一圖像中選取一基準(zhǔn)區(qū)域；(a3)于一第二時(shí)間點(diǎn)獲取關(guān)于該交通工具的外部環(huán)境的一第二圖像；(a4)于該第二圖像中尋找對(duì)應(yīng)該基準(zhǔn)區(qū)域的一對(duì)應(yīng)區(qū)域并獲取該對(duì)應(yīng)區(qū)域與該基準(zhǔn) 區(qū)域的一圖像空間距離；以及(a5)根據(jù)該圖像空間距離決定該交通工具的移動(dòng)軌跡。
9. 如權(quán)利要求7所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，尋找對(duì)應(yīng)該基 準(zhǔn)區(qū)域的一對(duì)應(yīng)區(qū)域的步驟還包括有下列步驟計(jì)算關(guān)于該基準(zhǔn)區(qū)域的一特征值；以及于該第二圖像中尋找與該特征值有最小絕對(duì)誤差和的該對(duì)應(yīng)區(qū)域。
10. 如權(quán)利要求9所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，該特征值為灰 階強(qiáng)度值。
11. 如權(quán)利要求9所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，尋找與該特征 值有最小絕對(duì)誤差和的該對(duì)應(yīng)區(qū)域還具有下例步驟(all)決定一檢測(cè)區(qū)塊；(al2)計(jì)算該檢測(cè)區(qū)塊所涵蓋的圖像所具有的一第二特征值與該第一特征值間的一絕 對(duì)誤差和；(al3)移動(dòng)該檢測(cè)區(qū)塊；(al4)重復(fù)進(jìn)行步驟(b)至(c)多次，以得到多個(gè)絕對(duì)誤差和；以及 (al5)由該多個(gè)絕對(duì)誤差和中尋找出最小的值。
12. 如權(quán)利要求7所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，決定該交通工 具的移動(dòng)軌跡還包括有下列步驟根據(jù)該圖像空間距離判斷該交通工具的移動(dòng)方向；以及 根據(jù)該移動(dòng)方向搜尋預(yù)先建立的軌跡數(shù)據(jù)庫(kù)中對(duì)應(yīng)該移動(dòng)狀態(tài)的移動(dòng)軌跡。
13. 如權(quán)利要求7所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，該步驟(d)還 包括有下列步驟如果該特征物為一路面標(biāo)記則估測(cè)與該路面標(biāo)記的距離；以及 如果該距離小于一特定距離，則切換視角。
14. 如權(quán)利要求13所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，估測(cè)與障礙 物的距離還包括有下列步驟預(yù)先建立圖像內(nèi)的坐標(biāo)與實(shí)際距離的對(duì)應(yīng)關(guān)系；以及 將該特征物于該圖像內(nèi)的坐標(biāo)根據(jù)該對(duì)應(yīng)關(guān)系決定該特征物的距離。
15. 如權(quán)利要求13所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，切換視角為將圖像獲取視角轉(zhuǎn)換成俯視視角。
16.如權(quán)利要求15所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，切換視角的運(yùn)算方式為由('a)— 1 以及^"-)— 1 來將實(shí)際空w-1 附-1間中存在坐標(biāo)(x， y，O)與圖像空間中的坐標(biāo)(a， 13)進(jìn)行轉(zhuǎn)換，其中<formula>formula see original document page 3</formula>而<formula>formula see original document page 3</formula>
17. 如權(quán)利要求13所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，該步驟(d)還 包括有下列步驟如果該特征物為一障礙物則估測(cè)與該障礙物的距離；以及 如果該距離小于一特定距離，則發(fā)出警報(bào)。
18. 如權(quán)利要求7所述的交通工具移動(dòng)圖像輔助導(dǎo)引方法，其特征在于，該步驟(d)還 包括有下列步驟如果該特征物為一障礙物則估測(cè)與該障礙物的距離；以及 如果該距離小于一特定距離，則發(fā)出警報(bào)。
19. 一種交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，其特征在于，包括 一圖像獲取裝置，其設(shè)置于一交通工具上以獲取該交通工具外部環(huán)境的圖像； 一控制單元，與該圖像獲取裝置相連接，該控制單元根據(jù)于不同時(shí)間點(diǎn)該圖像獲取裝置所獲取的關(guān)于該交通工具的外部環(huán)境的變化圖像中特定區(qū)塊的移動(dòng)向量以決定該交通 工具的移動(dòng)狀態(tài)，并根據(jù)該移動(dòng)狀態(tài)決定該交通工具的移動(dòng)軌跡；以及一顯示單元，與該控制單元相連接，該顯示單元提供顯示該圖像以及該控制單元所產(chǎn) 生的關(guān)于該交通工具的移動(dòng)軌跡。
20. 如權(quán)利要求19所述的交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，其特征在于，該控制單元 還可以根據(jù)該圖像判斷出至少一特征物。
21. 如權(quán)利要求20所述的交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，其特征在于，該特征物為 障礙物。
22. 如權(quán)利要求20所述的交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，其特征在于，該特征物為 路面標(biāo)記。
23. 如權(quán)利要求20所述的交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，其特征在于，該控制單元 還可以估測(cè)該特征物與該交通工具間的距離。
24. 如權(quán)利要求20所述的交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，其特征在于，還具有一警 報(bào)模塊，如果該特征物的距離小于一特定距離則該警報(bào)模塊發(fā)出警報(bào)。
25. 如權(quán)利要求20所述的交通工具移動(dòng)圖像輔助導(dǎo)引系統(tǒng)，其特征在于，當(dāng)該特征物 與該交通工具間的距離小于一預(yù)設(shè)距離時(shí)，則控制單元將該圖像獲取裝置所獲取道的圖像 轉(zhuǎn)換為俯視圖像，并提供該顯示單元一俯視圖像信號(hào)。
全文摘要
本發(fā)明公開了一種交通工具移動(dòng)圖像輔助導(dǎo)引方法與系統(tǒng)，利用單一圖像獲取裝置配合具備圖像處理、辨識(shí)以及圖像空間距離估測(cè)演算的控制裝置用于提供交通工具移動(dòng)時(shí)完整的圖像輔助信息。利用本發(fā)明的方法可以產(chǎn)生交通工具移動(dòng)軌跡、進(jìn)行俯瞰視角轉(zhuǎn)換、辨識(shí)圖像中的圖像特征以利進(jìn)行距離估測(cè)。本發(fā)明可以應(yīng)用于各種不同的交通工具形式，解決交通工具移動(dòng)導(dǎo)引問題以及亦可輔助該類交通工具變換車道、停車輔助及盲點(diǎn)檢測(cè)。
文檔編號(hào)G06K9/00GK101727756SQ200810167930
公開日2010年6月9日 申請(qǐng)日期2008年10月16日 優(yōu)先權(quán)日2008年10月16日
發(fā)明者張晏樹, 李維民, 鄭國(guó)祥, 鄭山川, 陳隆泰 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院