專利名稱：基于fpga的智能車載360°全景成像系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及一種圖像處理領(lǐng)域，特別是涉及一種基于FPGA的智能車載360° 全景成像系統(tǒng)。
背景技術(shù)：
隨著2010年中國汽車市場的銷量首度超越美國成為世界第一的汽車市場，越來越多的中國家庭開始使用汽車作為代步工具。在汽車給家庭生活帶來便捷的同時，也帶來了一些煩惱。絕大部分新駕駛員都有過倒車剮蹭的痛苦經(jīng)歷，即使是大部分老駕駛員，倒車時在面對不同寬度的停車位、以及大小不同的車時也會產(chǎn)生煩惱。因此，對于泊車輔助的解決方案的研究就一直沒有停止。從最早的超聲波倒車?yán)走_(dá)到現(xiàn)在漸漸流行的可視倒車系統(tǒng)，已經(jīng)越來越多的為市場所接受。但是，傳統(tǒng)的倒車泊車輔助系統(tǒng)，無論是倒車?yán)走_(dá)還是后視成像系統(tǒng)，都只能探測到車輛的后方，無法同時看清車輛四周的情況，存在著巨大的視角盲區(qū)，由于駕駛員無法看清車身四周的狀況，這就有了車身周圍360度全景影像的輔助需求。而且，汽車市場不同于其他消費類電子市場，往往一個汽車平臺本身就可以衍生出高中低等多個配置需求，每一個配置需求所面向的客戶群不同，市場需求也不同，如果像現(xiàn)有產(chǎn)品一樣基于每一個配置需求都開發(fā)一套系統(tǒng)，就會導(dǎo)致資源的巨大浪費。并且，傳統(tǒng)的處理方案在車上布置的攝像頭只能用于觀測，因此迫切需要一種全新的倒車泊車輔助系統(tǒng)。

實用新型內(nèi)容鑒于以上所述現(xiàn)有技術(shù)的缺點，本實用新型的目的在于提供一種基于FPGA的智能車載360°全景成像系統(tǒng)，以提供車輛周圍360°全景圖像，拓展車輛駕駛員的視野，以便于停泊車。為實現(xiàn)上述目的及其他相關(guān)目的，本實用新型提供一種基于FPGA的智能車載 360°全景成像系統(tǒng)至少包括分別設(shè)置在車輛前側(cè)、后側(cè)、左側(cè)及右側(cè)位置的多個圖像攝像設(shè)備；與所述多個圖像攝像設(shè)備連接且用于對所述多個圖像攝像設(shè)備所攝取的圖像信息進(jìn)行處理的FPGA圖像處理芯片；與所述FPGA圖像處理芯片連接且用于將所述FPGA圖像處理芯片輸出的圖像予以顯示的顯示設(shè)備。如上所述，本實用新型的基于FPGA的智能車載360°全景成像系統(tǒng)，具有以下有益效果能提供車輛周圍360°全景圖像，以方便車輛駕駛員的停泊車。

圖1顯示為本實用新型的基于FPGA的智能車載360°全景成像系統(tǒng)示意圖。圖2顯示為本實用新型基于FPGA的智能車載360°全景成像系統(tǒng)的圖像攝取設(shè)備的設(shè)置位置示意圖。圖3顯示為本實用新型的基于FPGA的智能車載360°全景成像系統(tǒng)的FPGA圖像處理芯片示意圖。圖4顯示為本實用新型的基于FPGA的智能車載360°全景成像系統(tǒng)的FPGA圖像處理芯片的優(yōu)選示意圖。元件標(biāo)號說明1 基于FPGA的智能車載360°全景成像系統(tǒng)11 圖像攝取設(shè)備12 FPGA圖像處理芯片13 顯示設(shè)備120 相關(guān)信息采集單元121 攝像控制單元122 圖像采集單元123 寫緩存單元124 內(nèi)存125 讀寫單元126 圖像處理單元127 讀緩存單元128 圖像輸出單元129 行車信息采集單元
具體實施方式
以下通過特定的具體實例說明本實用新型的實施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本實用新型的其他優(yōu)點與功效。本實用新型還可以通過另外不同的具體實施方式
加以實施或應(yīng)用，本說明書中的各項細(xì)節(jié)也可以基于不同觀點與應(yīng)用，在沒有背離本實用新型的精神下進(jìn)行各種修飾或改變。請參閱圖1至圖4。需要說明的是，本實施例中所提供的圖示僅以示意方式說明本實用新型的基本構(gòu)想，遂圖式中僅顯示與本實用新型中有關(guān)的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復(fù)雜。如圖所示，本實用新型提供一種基于FPGA的智能車載360°全景成像系統(tǒng)。所述基于FPGA的智能車載360°全景成像系統(tǒng)1包括多個圖像攝像設(shè)備11、FPGA圖像處理芯片12及顯示設(shè)備13。所述圖像攝像設(shè)備11用于攝取車輛周圍的環(huán)境圖像信息。優(yōu)選地，在車輛的前側(cè)、后側(cè)、左側(cè)及右側(cè)位置分別設(shè)置一個或多個像攝像設(shè)備11。例如，如圖2所示，在在車的前檔位置A、車兩側(cè)后視鏡位置B、D以及車的后備箱的位置C分別設(shè)置四個圖像攝像設(shè)備 11。更為優(yōu)選地，圖像攝取設(shè)備11包括視角范圍在180度以上的廣角魚眼高清攝像頭，以支持百萬像素級別的成像需求。所述FPGA圖像處理芯片12與所述多個圖像攝像設(shè)備11連接，用于對所述多個圖像攝像設(shè)備11所攝取的圖像信息進(jìn)行處理，例如，對圖像信息壓縮，存儲，讀寫控制以及基于各種應(yīng)用需求來進(jìn)行相應(yīng)處理，以實現(xiàn)所有的智能車載全景成像系統(tǒng)的各種差異化應(yīng)用的需要。優(yōu)選地，所述FPGA圖像處理芯片12包括攝像控制單元121、圖像采集單元122、 寫緩存單元123、內(nèi)存124、讀寫單元125、圖像處理單元126、讀緩存單元127、及圖像輸出單元128，如圖3所示。所述攝像控制單元121與所述多個圖像攝像設(shè)備11連接，且用于控制所述多個圖像攝像設(shè)備11的運(yùn)行。例如，所述攝像控制單元121基于1 總線時序來控制所述多個圖像攝像設(shè)備11的初始化配置工作，使所述多個圖像攝像設(shè)備11正常運(yùn)轉(zhuǎn)。優(yōu)選地，當(dāng)所述顯示設(shè)備13為具有觸摸屏的顯示設(shè)備時，所述攝像控制單元121 具有與所述顯示設(shè)備連接的LIN總線接口，并基于所述LIN總線接口連接所述顯示設(shè)備，以便基于所述LIN總線接口接入的觸摸點的位置信息來控制所述多個圖像攝像設(shè)備11的運(yùn)行；例如，所述攝像控制單元121確定需要啟動的魚眼攝像頭的數(shù)量數(shù)以及魚眼攝像頭的輸出模式等。所述圖像采集單元122與所述多個圖像攝像設(shè)備11連接，用于采集所述多個圖像攝像設(shè)備11所攝取的圖像信息。優(yōu)選地，所述圖像采集單元122包括異步先入先出存儲單元(FIFO)。所述多個魚眼攝像頭經(jīng)正確配置正常開始工作之后，就開始傳輸數(shù)據(jù)，該些數(shù)據(jù)包括像素數(shù)據(jù)、行場同步信號以及像素時鐘信號。由于輸入和輸出的不同步性問題、以及視頻后期處理的考慮，所述圖像采集單元122采用一個異步FIFO來存儲該些數(shù)據(jù)。所述寫緩存單元123與所述圖像采集單元122連接，用于緩存所述圖像采集單元 122所采集的圖像信息。具體地，所述寫緩存單元123將所述圖像采集單元122的異步FIFO中輸出的視頻數(shù)據(jù)以及行場同步信號進(jìn)行緩存處理(一般為一個同步FIFO)，以便寫入內(nèi)存。所述內(nèi)存IM用于存儲圖像信息，優(yōu)選地，所述內(nèi)存IM包括但不限于DDR內(nèi)存寸。所述讀寫單元125與所述內(nèi)存124、寫緩存單元123及圖像處理單元1 連接，用于將所述寫緩存單元123所緩存的圖像信息寫入內(nèi)存IM及將所述內(nèi)存IM所存儲的圖像
信息讀出。所述圖像處理單元1 與所述讀寫單元125連接，用于對所述讀寫單元125所讀出的圖像信息進(jìn)行校正并拼接成全景圖像。具體地，所述圖像處理單元126將來自4個魚眼攝像頭的4路圖像信息先分別經(jīng)過魚眼校正處理，使得各大廣角成像所得的扭曲圖像分別成為沒有失真的圖像；再基于4 個魚眼攝像頭的位置來進(jìn)行圖像位置調(diào)節(jié)，以將四幅圖像完整拼接成一幅全景圖像，并將所拼接成的全景圖像送入讀寫單元125，以便寫入所述內(nèi)存124。優(yōu)選地，所述圖像處理單元1 包括以下至少一個子單元i.行人檢測和預(yù)警(Pedestrian Detection & Warning core)子單元,用于對圖像信息進(jìn)行行人檢測并提供預(yù)警；ii.運(yùn)動物體檢測與主動預(yù)警(Moving Objects Detection & Active ffarningcore)子單元，用于對圖像信息進(jìn)行運(yùn)動物體檢測并提供預(yù)警；iii.色彩校正(Color Correction core)子單元，用于對圖像信息進(jìn)行色彩校正；iv.紅外識別跟蹤 Qnfrared Indentify and Tracking core)子單元，用于對圖像信息進(jìn)行目標(biāo)識別及跟蹤；v.智能泊車引導(dǎo)線Qntelligent Parking Guide Line core)子單元，用于對圖像信息進(jìn)行泊車引導(dǎo)。需要說明的是，本領(lǐng)域技術(shù)人員應(yīng)該理解，上述各子單元可基于用戶的實際需求來配置，由此可使該智能車載360°全景成像系統(tǒng)成為獨家定制的(customized)智能車載全景成像系統(tǒng)，以便滿足各個層面各個配置車型的市場的需求。所述讀緩存單元127與所述讀寫單元125連接，用于將所述讀寫單元125所讀出的全景圖像予以緩存。優(yōu)選地，所述讀緩存單元127包括異步FIFO，以便將所述讀寫單元125讀出的數(shù)據(jù)緩存。所述圖像輸出單元1 與所述讀緩存單元127及所述顯示設(shè)備13連接，用于將所述讀緩存單元127緩存的全景圖像信息予以封裝后輸出至所述顯示設(shè)備13。具體地，所述圖像輸出單元1 從所述讀緩存單元127的異步FIFO中讀取數(shù)據(jù)， 并且將所讀取的數(shù)據(jù)按照預(yù)定的輸出接口格式進(jìn)行處理，并且輸出到顯示設(shè)備13。所述顯示設(shè)備13與所述FPGA圖像處理芯片12連接，用于將所述FPGA圖像處理芯片12輸出的圖像予以顯示。具體地，所述顯示設(shè)備13將所述圖像輸出單元1 輸出的全景圖像予以顯示。優(yōu)選地，所述顯示設(shè)備13包括具有觸摸屏的顯示設(shè)備，以便用戶操作。此外，作為一種優(yōu)選方式，所述FPGA圖像處理芯片12還包括行車信息采集單元 129和/或相關(guān)信息采集單元120，如圖4所示。所述行車信息采集單元129與所述圖像處理單元1 連接，其具有CAN總線接口， 以便通過該CAN總線接口采集行車信息，并將該行車信息提供給所述圖像處理單元126，以便為所述圖像處理單元126的圖像處理提供數(shù)據(jù)支持。所述相關(guān)信息采集單元120與所述圖像處理單元1 連接，其具有MOST總線接口，以便通過該MOST總線接口采集相關(guān)信息，并將該相關(guān)信息提供給所述圖像處理單元 126，以便為所述圖像處理單元126的圖像處理提供數(shù)據(jù)支持。所述相關(guān)信息采集單元120 可以支持今后越來越成熟的most總線，為汽車的高端應(yīng)用提供總線接口支持。綜上所述，本實用新型基于FPGA的智能車載360°全景成像系統(tǒng)采用在車輛的不同位置分別設(shè)置魚眼攝像頭，來攝取車輛的環(huán)境圖像信息，并基于FPGA圖像處理芯片來對圖像進(jìn)行處理，由于采用硬件壓縮的形式，相比現(xiàn)有基于DSP的圖像處理系統(tǒng)，F(xiàn)PGA圖像處理芯片的圖像處理的效率高，并且圖像的質(zhì)量要好；而且，由于視頻數(shù)據(jù)處理由單一 FPGA 圖像處理芯片來完成，使得整個硬件框架變得簡單而高效，且FPGA獨特的門級并行處理方式也大大提高了其處理速度。更重要的是，F(xiàn)PGA良好的靈活性使得基于同一汽車開發(fā)平臺不同配置車型的可配置智能車載全景成像系統(tǒng)成為了現(xiàn)實?？晒┻x擇的圖像處理的子單元，例如，行人檢測和預(yù)警子單元、運(yùn)動物體檢測與主動預(yù)警子單元、色彩校正子單元、紅外識別跟蹤子單元、泊車引導(dǎo)子單元等，可以滿足不同車型配置的市場需求，并且能夠充分利用攝像頭的資源，極大地縮短了研發(fā)的時間和成本，而且不必為了不同配置需求開發(fā)不同的系統(tǒng)，使得資源的可利用率大大增加，而簡單的操作也使得這種可配置性擁有巨大的市場潛力。所以，本實用新型有效克服了現(xiàn)有技術(shù)中的種種缺點而具高度產(chǎn)業(yè)利用價值。 上述實施例僅例示性說明本實用新型的原理及其功效，而非用于限制本實用新型。任何熟悉此技術(shù)的人士皆可在不違背本實用新型的精神及范疇下，對上述實施例進(jìn)行修飾或改變。因此，舉凡所屬技術(shù)領(lǐng)域中具有通常知識者在未脫離本實用新型所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應(yīng)由本實用新型的權(quán)利要求所涵蓋。
權(quán)利要求1.一種基于FPGA的智能車載360°全景成像系統(tǒng)，其特征在于，所述基于FPGA的智能車載360°全景成像系統(tǒng)至少包括分別設(shè)置在車輛前側(cè)、后側(cè)、左側(cè)及右側(cè)位置的多個圖像攝像設(shè)備； 與所述多個圖像攝像設(shè)備連接且用于對所述多個圖像攝像設(shè)備所攝取的圖像信息進(jìn)行處理的FPGA圖像處理芯片；與所述FPGA圖像處理芯片連接且用于將所述FPGA圖像處理芯片輸出的圖像予以顯示的顯示設(shè)備。
2.根據(jù)權(quán)利要求1所述的基于FPGA的智能車載360°全景成像系統(tǒng)，其特征在于所述顯示設(shè)備包括具有觸摸屏的顯示設(shè)備。
3.根據(jù)權(quán)利要求1或2所述的基于FPGA的智能車載360°全景成像系統(tǒng)，其特征在于 所述FPGA圖像處理芯片包括與所述多個圖像攝像設(shè)備及所述顯示設(shè)備連接且用于基于觸摸點的位置信息來控制所述多個圖像攝像設(shè)備運(yùn)行的攝像控制單元；與所述多個圖像攝像設(shè)備連接且用于采集所述多個圖像攝像設(shè)備所攝取的圖像信息的圖像采集單元；與所述圖像采集單元連接且用于緩存所述圖像采集單元所采集的圖像信息的寫緩存單元； 內(nèi)存；與所述內(nèi)存及寫緩存單元連接且用于將所述寫緩存單元所緩存的圖像信息寫入內(nèi)存及將所述內(nèi)存所存儲的圖像信息讀出的讀寫單元；與所述讀寫單元連接且用于對所述讀寫單元所讀出的圖像信息進(jìn)行校正并拼接成全景圖像的圖像處理單元；與所述讀寫單元連接且用于將所述讀寫單元所讀出的全景圖像予以緩存的讀緩存單元；與所述讀緩存單元及所述顯示設(shè)備連接且用于將所述讀緩存單元緩存的全景圖像信息予以封裝后輸出至所述顯示設(shè)備的圖像輸出單元。
4.根據(jù)權(quán)利要求3所述的基于FPGA的智能車載360°全景成像系統(tǒng)，其特征在于所述攝像控制單元具有與所述顯示設(shè)備連接的LIN總線接口。
5.根據(jù)權(quán)利要求3所述的基于FPGA的智能車載360°全景成像系統(tǒng)，其特征在于所述圖像處理單元包括以下至少一個子單元用于對圖像信息進(jìn)行行人檢測并提供預(yù)警的行人檢測和預(yù)警子單元；用于對圖像信息進(jìn)行運(yùn)動物體檢測并提供預(yù)警的運(yùn)動物體檢測與主動預(yù)警子單元；用于對圖像信息進(jìn)行色彩校正的色彩校正子單元；用于對圖像信息進(jìn)行目標(biāo)識別及跟蹤的紅外識別跟蹤子單元；用于對圖像信息進(jìn)行泊車引導(dǎo)的泊車引導(dǎo)子單元。
6.根據(jù)權(quán)利要求3所述的基于FPGA的智能車載360°全景成像系統(tǒng)，其特征在于所述FPGA圖像處理芯片還包括以下至少一項與所述圖像處理單元連接且具有CAN總線接口以便通過該CAN總線接口采集行車信息的行車信息采集單元；與所述圖像處理單元連接且具有MOST總線接口以便通過該MOST總線接口采集相關(guān)信息的相關(guān)信息采集單元。
7.根據(jù)權(quán)利要求1所述的基于FPGA的智能車載360°全景成像系統(tǒng)，其特征在于每一個圖像攝像設(shè)備包括魚眼攝像頭。
專利摘要本實用新型提供一種基于FPGA的智能車載360°全景成像系統(tǒng)。所述智能車載360°全景成像系統(tǒng)至少包括分別設(shè)置在車輛前側(cè)、后側(cè)、左側(cè)及右側(cè)位置的多個圖像攝像設(shè)備；與所述多個圖像攝像設(shè)備連接且用于對所述多個圖像攝像設(shè)備所攝取的圖像信息進(jìn)行處理的FPGA圖像處理芯片；與所述FPGA圖像處理芯片連接且用于將所述FPGA圖像處理芯片輸出的圖像予以顯示的顯示設(shè)備；由此，基于多個圖像攝取設(shè)備所攝取的圖像信息所整合形成的全景圖像，可有效拓展車輛駕駛員的視野，從而方便其停泊車。
文檔編號H04N7/18GK202309974SQ20112041457
公開日2012年7月4日 申請日期2011年10月27日 優(yōu)先權(quán)日2011年10月27日
發(fā)明者何宇童, 吳越, 姚元, 姚琪, 王庭暉, 賀聰, 趙峰 申請人:上海德致倫電子科技有限公司