本發(fā)明涉及攝像頭進(jìn)行圖像識(shí)別道路的形狀、高精度定位及車載導(dǎo)航定位的技術(shù)領(lǐng)域，尤其涉及一種通過攝像頭加強(qiáng)導(dǎo)航功能的導(dǎo)航系統(tǒng)。

背景技術(shù)：

目前市場上的導(dǎo)航產(chǎn)品，在路線指示上，都是在導(dǎo)航儀或者儀表顯示屏上。車主在行車過程中，導(dǎo)航儀顯示屏的指示信息非常有限，只指示了前方距離，轉(zhuǎn)彎方向等基礎(chǔ)信息。車主需要在觀察路況的過程中，同時(shí)對(duì)比液晶顯示屏上的方向指示，才能判斷清楚行進(jìn)方向。所以在導(dǎo)航過程中不可避免的會(huì)導(dǎo)致駕駛員注意力分散，影響行車安全。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是通過機(jī)器視覺、導(dǎo)航定位、地圖數(shù)據(jù)之間的關(guān)系，判斷當(dāng)前車車輛前進(jìn)方向的信息，把導(dǎo)航系統(tǒng)給車主的指引信息直接跟車主看到的實(shí)際路面結(jié)合起來。這樣車主可以直接觀察路面就能得到直觀的前行信息，注意力不需要離開路面。這樣既可以大幅度的提高駕駛安全，又可以提高駕駛的效率，避免走錯(cuò)路。

本發(fā)明的一種通過攝像頭加強(qiáng)導(dǎo)航功能的導(dǎo)航系統(tǒng)，包括：車載gps天線，攝像頭，ar抬頭顯示器以及車載導(dǎo)航主機(jī)，其中，所述車載gps天線用于進(jìn)行定位獲得世界坐標(biāo)系；所述攝像頭對(duì)前方路況進(jìn)行實(shí)時(shí)圖像采集，所述車載導(dǎo)航主機(jī)包括：坐標(biāo)系轉(zhuǎn)換單元，其對(duì)所述攝像頭采集的路況圖像進(jìn)行圖像識(shí)別分析，把實(shí)際世界中的路面坐標(biāo)系即世界坐標(biāo)系轉(zhuǎn)換成攝像頭自己的坐標(biāo)系即攝像頭影像坐標(biāo)系；模型生成單元，其根據(jù)攝像頭影像坐標(biāo)系生成行進(jìn)路面的3d模型；虛擬導(dǎo)航信息生成單元，其根據(jù)行進(jìn)路面的3d模型生成虛擬導(dǎo)航指示信息；輸出單元，其將虛擬導(dǎo)航指示信息輸出到所述ar抬頭顯示器；所述ar抬頭顯示器將所述虛擬導(dǎo)航指示信息投射到擋風(fēng)玻璃上，實(shí)現(xiàn)所述虛擬導(dǎo)航信息疊加至實(shí)際路面的效果。

優(yōu)選地，所述世界坐標(biāo)系為：根據(jù)所述車載gps天線定位給出的位置為坐標(biāo)原點(diǎn)，以南向北作為y軸，西向東作為x軸，垂直方向?yàn)閦軸，所述世界坐標(biāo)系即為導(dǎo)航地圖坐標(biāo)系。

優(yōu)選地，所述世界坐標(biāo)系到攝像頭影像坐標(biāo)系的轉(zhuǎn)換公式為：

若世界坐標(biāo)系坐標(biāo)為(x,y,z)，攝像頭影像坐標(biāo)系對(duì)應(yīng)坐標(biāo)為(x',y’,z’)，則(x',y’,z’)＝t*c*[r]*(x,y,z)，

其中，矩陣[r]是旋轉(zhuǎn)矩陣，c是采用攝像頭內(nèi)參矩陣的參數(shù)對(duì)攝像頭畸變進(jìn)行補(bǔ)償?shù)难a(bǔ)償系數(shù)，t矯正系數(shù)，是整車零件安裝的個(gè)體誤差，系統(tǒng)需要對(duì)每一輛特定的車型自動(dòng)進(jìn)行矯正。

優(yōu)選地，補(bǔ)償系數(shù)c和矯正系數(shù)t通過下述方式獲?。?/p>

選取若干車前蓋的特征點(diǎn)作為參考點(diǎn)p1，p2,p3，p4…pi，車前蓋的參考點(diǎn)pi在世界坐標(biāo)系和攝像頭影像坐標(biāo)系這兩個(gè)坐標(biāo)系中的描述關(guān)系如下：

根據(jù)所述攝像頭采集的實(shí)時(shí)圖像幀，獲得車前蓋上參考點(diǎn)pi在攝像頭影像坐標(biāo)系中的坐標(biāo)位置，并根據(jù)所述坐標(biāo)位置通過求解上述線性方程組，獲得實(shí)際的補(bǔ)償系數(shù)c和矯正系數(shù)t。

優(yōu)選地，根據(jù)攝像頭影像坐標(biāo)系生成行進(jìn)路面的3d模型是由圖像處理軟件對(duì)攝像頭采集的影像進(jìn)行實(shí)際行進(jìn)道路曲面的分析建模，從而形成行進(jìn)路面的3d模型。

優(yōu)選地，所述虛擬導(dǎo)航信息包括轉(zhuǎn)彎，直行，上坡在內(nèi)的箭頭信息。

本發(fā)明的有益效果是：

對(duì)比現(xiàn)有的產(chǎn)品，本發(fā)明的導(dǎo)航系統(tǒng)可以使虛擬的導(dǎo)航指示信息直接跟駕駛員觀察到的路面進(jìn)行光學(xué)疊加，方便駕駛員在行車中獲取信息，避免分心、走錯(cuò)路，提交駕駛效率以及安全性。

附圖說明

圖1為通過本發(fā)明圖像識(shí)別加強(qiáng)導(dǎo)航功能后的駕駛艙視野的示意圖。

圖2為本發(fā)明的導(dǎo)航系統(tǒng)的系統(tǒng)組成圖。

圖3為車前蓋參考點(diǎn)示意圖。

圖4為本發(fā)明的導(dǎo)航系統(tǒng)的高架入口處的效果圖。

具體實(shí)施方式

下面通過實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明，其目的僅在于更好地理解本發(fā)明的研究內(nèi)容而非限制本發(fā)明的保護(hù)范圍。

本發(fā)明的通過攝像頭加強(qiáng)導(dǎo)航功能的導(dǎo)航系統(tǒng)，通過圖像識(shí)別技術(shù)，通過攝像頭對(duì)前方路況的實(shí)時(shí)圖像采集，并對(duì)路面進(jìn)行圖像識(shí)別，分析出路面的形狀、彎曲曲率、車道、轉(zhuǎn)彎角度和半徑、傾斜角度信息，計(jì)算出路面模型。再根據(jù)導(dǎo)航引擎給出的地圖數(shù)據(jù)參數(shù)、行進(jìn)方向、距離等數(shù)據(jù)，計(jì)算出要行走的路面和車道。再把虛擬導(dǎo)航圖像與攝像頭采集的實(shí)時(shí)圖像結(jié)合起來，提供給車主最直觀的導(dǎo)航指示。

如圖1所示，通過這種方式，導(dǎo)航指示信息102可以跟實(shí)際路面103完全吻合，駕駛員在手握方向盤101的時(shí)候，可以清晰，直接，有效的獲取前進(jìn)方向，注意力始終在前進(jìn)的路面上，避免駕駛分心。

如圖2所示為本發(fā)明的導(dǎo)航系統(tǒng)的系統(tǒng)組成圖。整個(gè)系統(tǒng)由車載gps天線201，攝像頭202，車載導(dǎo)航主機(jī)203，ar抬頭顯示器204四部分組成。下面對(duì)各個(gè)部分進(jìn)行詳細(xì)描述。

所述攝像頭202對(duì)前方路況進(jìn)行實(shí)時(shí)圖像采集，獲得路況的實(shí)時(shí)圖像。

所述車載導(dǎo)航主機(jī)203包括：坐標(biāo)系轉(zhuǎn)換單元，其對(duì)所述攝像頭采集的路況圖像進(jìn)行圖像識(shí)別分析，把實(shí)際世界中的路面坐標(biāo)系即世界坐標(biāo)系轉(zhuǎn)換成攝像頭自己的坐標(biāo)系即攝像頭影像坐標(biāo)系；模型生成單元，其根據(jù)攝像頭影像坐標(biāo)系生成行進(jìn)路面的3d模型；虛擬導(dǎo)航信息生成單元，其根據(jù)行進(jìn)路面的3d模型生成虛擬導(dǎo)航指示信息；輸出單元，其將虛擬導(dǎo)航指示信息輸出到所述ar抬頭顯示器。

本發(fā)明中，各坐標(biāo)系的定義如下：

世界坐標(biāo)系：根據(jù)車載gps天線201定位給出的位置為坐標(biāo)原點(diǎn)，以南向北作為y軸，西向東作為x軸，垂直方向作為z軸，以此作為世界坐標(biāo)系。由于采用了精確導(dǎo)航地圖，所以世界坐標(biāo)系跟地圖坐標(biāo)系是一致的。

攝像頭坐標(biāo)系：攝像頭202固定在車輛的上方，攝像頭坐標(biāo)系，以系統(tǒng)在車的安裝點(diǎn)為原點(diǎn)，以車左右向?yàn)閤軸，車頭方向?yàn)閥軸，上下方向?yàn)閦軸。

導(dǎo)航地圖坐標(biāo)系：由gps天線201定位到的位置，可以在導(dǎo)航地圖中找到自己的位置原點(diǎn)。以地圖中的南北向?yàn)閥軸，東西向?yàn)閤軸，垂直方向?yàn)閦軸，作為導(dǎo)航地圖坐標(biāo)系。

下面詳細(xì)說明坐標(biāo)系的轉(zhuǎn)換過程：

導(dǎo)航地圖坐標(biāo)系是根據(jù)獲得當(dāng)前車輛的定位信息，確定在地圖中的位置點(diǎn)。而車輛在世界坐標(biāo)系中的位置，也是根據(jù)gps獲得的定位信息來確定的。由于采用了精確導(dǎo)航地圖，可以把世界坐標(biāo)系跟地圖坐標(biāo)系做等價(jià)轉(zhuǎn)換，即地圖坐標(biāo)系就是世界坐標(biāo)系。

導(dǎo)航地圖會(huì)根據(jù)車輛實(shí)際的gps位置，給出行進(jìn)的方向、轉(zhuǎn)向、上下坡、行車道等數(shù)據(jù)信息。汽車的電子系統(tǒng)需要知道自己與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系，需要確立世界坐標(biāo)系跟攝像頭坐標(biāo)系之間的轉(zhuǎn)換公式。

從世界坐標(biāo)系到攝像頭影像坐標(biāo)系的轉(zhuǎn)換方法：

從世界坐標(biāo)系到攝像頭影像坐標(biāo)系的變換，需要使用旋轉(zhuǎn)矩陣[r]，若世界坐標(biāo)系坐標(biāo)為(x,y,z)，攝像頭影像坐標(biāo)系對(duì)應(yīng)坐標(biāo)為(x',y’,z’)，則(x',y’,z’)＝[r]*(x,y,z)。由于攝像頭拍攝圖像有形變，所以需要作相應(yīng)的補(bǔ)償處理。本發(fā)明采用攝像頭內(nèi)參矩陣的參數(shù)對(duì)攝像頭畸變進(jìn)行補(bǔ)償，補(bǔ)償系數(shù)為c。整車安裝時(shí)，gps，攝像頭安裝位置也存在誤差，所以需要系統(tǒng)對(duì)每一輛特定的車型自動(dòng)進(jìn)行矯正，矯正系數(shù)為t。

因此，可以用(x',y’,z’)＝t*c*[r]*(x,y,z)得到世界坐標(biāo)系到攝像頭影像坐標(biāo)系的轉(zhuǎn)換關(guān)系。

下面詳細(xì)說明如何獲得補(bǔ)償系數(shù)c和矯正系數(shù)t。首先，把車前蓋作為已知模板(圖3)，選取若干車前蓋的特征點(diǎn)作為參考點(diǎn)(取已知位置點(diǎn)p1，p2,p3，p4…pi若干個(gè)點(diǎn))。這幾個(gè)參考點(diǎn)在世界坐標(biāo)系中的坐標(biāo)是已知的(通過車型數(shù)據(jù)，可以獲得pi參考點(diǎn)跟gps天線的相對(duì)位置，就可以求得參考點(diǎn)的世界坐標(biāo))。在攝像頭捕捉的幀里，可以獲得模板上參考點(diǎn)在在攝像頭影像坐標(biāo)系中的坐標(biāo)位置。

通過兩個(gè)空間坐標(biāo)系旋轉(zhuǎn)變換的關(guān)系公式：

對(duì)于存在任意旋轉(zhuǎn)變換的兩個(gè)空間坐標(biāo)系即世界坐標(biāo)系(o-xyz)和攝像頭坐標(biāo)系(o'-x'y'z')，坐標(biāo)系o-xyz依次繞自身x軸、y軸、z軸分別逆時(shí)針轉(zhuǎn)θ1，θ2，θ3后可以與坐標(biāo)系o'-x'y'z'重合，則車前蓋的參考點(diǎn)pi在這兩個(gè)坐標(biāo)系中的描述關(guān)系如下：

其中，θ1，θ2，θ3可通過車上的3d陀螺儀實(shí)時(shí)獲取。通過求解上述矩陣方程組，便能得到攝像頭補(bǔ)償系數(shù)c和矯正系數(shù)t。因此可以確定世界坐標(biāo)系到攝像頭坐標(biāo)系的轉(zhuǎn)換關(guān)系(x',y’,z’)＝t*c*[r]*(x,y,z)

導(dǎo)航系統(tǒng)在運(yùn)行的時(shí)候，根據(jù)汽車的gps位置，陀螺儀等判斷行車方向。導(dǎo)航系統(tǒng)自動(dòng)規(guī)劃路線后，會(huì)給出實(shí)際要走的方向和車道信息。攝像頭通過上面的坐標(biāo)系轉(zhuǎn)換關(guān)系，實(shí)時(shí)的把實(shí)際車道的世界坐標(biāo)陣列轉(zhuǎn)換成攝像頭影像坐標(biāo)陣列數(shù)據(jù)，并根據(jù)攝像頭影像坐標(biāo)陣列數(shù)據(jù)通過圖像識(shí)別算法計(jì)算出行進(jìn)路面的3d模型即車道的實(shí)際幾何特征，包括距離，方向，轉(zhuǎn)彎半徑，坡度等。車道的幾何特征被識(shí)別后,由軟件根據(jù)車道的幾何特征計(jì)算生成立體的虛擬導(dǎo)航信息(行車方向箭頭)，再與道路幾何曲面進(jìn)行疊加。這里，根據(jù)攝像頭影像坐標(biāo)陣列數(shù)據(jù)計(jì)算出行進(jìn)路面的3d模型、以及根據(jù)行進(jìn)路面的3d模型計(jì)算立體的行車方向箭頭可以使用公知的軟件來實(shí)現(xiàn)，例如通過公開的opencv軟件庫來實(shí)現(xiàn)。

虛擬導(dǎo)航信息(行車指示信息)可以提供如轉(zhuǎn)彎，直行，上坡等箭頭信息，如圖1和圖4。

在車載導(dǎo)航主機(jī)203將虛擬導(dǎo)航指示信息輸出到所述ar抬頭顯示器204后，ar抬頭顯示器204將所述虛擬導(dǎo)航指示信息投射到擋風(fēng)玻璃上，實(shí)現(xiàn)所述虛擬導(dǎo)航信息疊加至實(shí)際路面的效果。

如圖4所示，在高架路口，導(dǎo)航指示將直接跟路面疊加，駕駛員觀察路面就能很容易就能判斷行駛的方向，而不會(huì)錯(cuò)過路口。

顯然，本技術(shù)領(lǐng)域中的普通技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，以上的實(shí)施例僅是用來說明本發(fā)明，而并非用作為對(duì)本發(fā)明的限定，只要在本發(fā)明的實(shí)質(zhì)精神范圍內(nèi)，對(duì)以上所述實(shí)施例的變化、變型都將落在本發(fā)明的權(quán)利要求書范圍內(nèi)。