一種基于雙目視覺的車輛里程計算法
【技術領域】
[0001] 本發(fā)明屬于智能交通車輛自主導航技術領域，尤其涉及一種基于雙目視覺的車輛 里程計算法。
【背景技術】
[0002] 在城市道路智能交通系統(tǒng)中，車輛定位和導航是非?；A的技術需求，也是無人 駕駛、車車通信等的前提。現(xiàn)有的定位和導航技術主要依賴于GPS或輪式里程計，雖然可以 其精度滿足一般需求，但是在復雜的城市交通中，往往由于建筑物的遮擋或隧道等環(huán)境中， 無法接收到足夠的GPS信號，或由于車輛測滑，輪式里程計不夠精確，從而引起導航和定位 誤差。本發(fā)明利用固定在車輛頂部的雙目相機，通過實時采集車輛行駛過程中記錄的左右 圖像信息，計算出車輛的運動軌跡，可以實現(xiàn)比GPS更為精確的導航和定位。
[0003] 現(xiàn)有的視覺里程計根據(jù)所使用相機的個數(shù)和類型可以分為單目視覺里程計和雙 目視覺里程計以及RGBD深度相機視覺里程計，單目視覺成本最低，但是由于從單幅圖像中 無法推斷出三維信息，所以單目視覺的方法難以實現(xiàn)較高精度，雙目視覺增加了一個相機 的成本，也增加了計算量，但是今年來隨著硬件成本降低，計算速度的提升，雙目視覺里程 計在實現(xiàn)較高精度的同時還能保證處理速度，滿足實際應用的需求。RGBD相機可以直接輸 出深度信息，但短時間內RGBD相機成本難以降下來，綜合考慮之下，選用車載雙目相機的 方案是最合適的。車載雙目視覺里程計算法的大致框架可以概括為提取特征、特征匹配、計 算變換等，現(xiàn)有方法往往采用單一特征，如Harris等角點特征，雖然計算速度快，卻不足夠 魯棒，在復雜、光照多變的環(huán)境下容易引起較大誤差，而如全采用精度高的特征，比如SIFT 或SURF，又難以滿足實時性的要求，所以需要結合兩者的優(yōu)劣，以快速的角點特征檢測為 主，當誤差較大時，用精度更高的特征取代，在達到精度的同時滿足實時性的需求。

【發(fā)明內容】

[0004] 針對現(xiàn)有基于雙目相機的車輛里程計算法的不足，本發(fā)明提出了一種基于雙目視 覺的車輛里程計算法，包括：
[0005] 步驟1，獲取固定在車輛頂部的雙目相機的視頻流，并傳輸?shù)杰囕d處理器上；
[0006] 步驟2,對獲取的每一幀雙目相機的視頻流的圖像，分別提取左右圖像的特征，并 結合上一幀左右圖像的特征，用特征匹配的方法搜索出匹配的特征點集合；
[0007] 步驟3,根據(jù)上一幀匹配的特征點，用立體視覺的方法計算出對應三維點的空間坐 標；
[0008] 步驟4,將上一步中三維點的空間坐標重投影到當前幀的二維圖像坐標，用GN迭 代算法求取重投影誤差的最小化，以求得相鄰幀的車輛的運動變換值；
[0009] 步驟5,根據(jù)車輛的運動變換值累計更新車輛運動的里程信息。
[0010] 所述步驟2采取HARRIS特征和SURF特征提取相結合的策略；當檢測到重投影 誤差未超過一定閾值時，采取HARRIS特征來進行匹配，當檢測到重投影誤差超過一定閾值 時，選取SURF特征來進行匹配，同時滿足特征快速和高精度提取要求。
[0011] 所述步驟4應用RANSAC框架，每次隨機抽取一定數(shù)目的特征點，計算其重投影誤 差，并用GN迭代最小化求解變換矩陣M，計算所有特征點中滿足該變換的集合，最后取集合 最大時對應的變換為最終的結果。
[0012] 本發(fā)明的有益效果在于，利用車載雙目相機，拍攝車輛行駛過程中前方和道路兩 側視頻，通過計算相鄰連續(xù)幀左右圖像的特征并進行特征匹配，將三維坐標重投影到二維 圖像平面，并用迭代算法求解重投影誤差的最小化，獲取車輛運動姿態(tài)，采用快速特征和高 精度特征匹配相結合，在提高精度的同時保證了計算速度。在復雜城市交通、建筑物遮擋 GPS等情況下，有效的提供了車輛導航和定位信息。
【附圖說明】
[0013] 圖1為本發(fā)明的一種基于雙目視覺的車輛里程計算法流程圖。
[0014] 圖2為搜索匹配的特征點示意圖。
【具體實施方式】
[0015] 下面結合附圖，對實施例作詳細說明。
[0016] 本發(fā)明的目的在于實現(xiàn)一種智能交通領域實際應用的視覺里程計算法，用車載雙 目相機實現(xiàn)車輛導航和定位的需求，該里程計同時結合了 HARRIS特征計算快速和SURF特 征計算準確的特點，可以在復雜城市交通、建筑物遮擋等情況下提供準確的實時里程信息， 達到準確定位的目的，彌補了單純由于GPS來定位方式的不足。如圖1所示，本發(fā)明包括：
[0017] 步驟1，采用固定在車輛頂部的雙目相機，實時采集雙目圖像數(shù)據(jù)，達到幀率10~ 30fps，并通過usb或以太網(wǎng)傳輸?shù)杰囕d處理器上；
[0018] 步驟2,對獲取的第k幀雙目左右圖像^和< :，分別提取HARRIS特征，得到特征點 的集合€和圩，結合第k-Ι幀的左右圖像/UPiL1，并且用全局搜索的方式確定出在四幅 圖像中匹配的特征點集合，分別為武，芯；
[0019] 步驟3,根據(jù)第k-Ι幀匹配的左右特征點，用立體視覺的方法計算出特征點對應的 空間點的三維坐標P 1= {X i，Y1, ZJ，其中i = 1，2, ...，N為匹配特征點的數(shù)目；
[0020] 步驟4,將第k-Ι幀的三維坐標重投影到第k幀的左右圖像平面，得到坐標 為
：而第k幀中匹配的特征為
，這 個特征點對應的3D-2D重投影誤差為：
簡寫 為
用Gauss-Newton迭代算法最小化N個匹配點的重投影誤差
以求解當前幀和上一幀之間的變換矩陣M = [RI T]，其中R為旋轉 分量，T為平移分量；
[0021] 步驟5,依次重復上述步驟，各次變化矩陣累積下來，就構成了車輛的整個運行軌 跡。
[0022] 在上述步驟2中，選取HARRIS特征是為了保證實時性，但是有時HARRIS匹配的誤 差較大，所以在檢測到重投影誤差超過一定閾值時，選取SURF特征來進行匹配，SURF運算 量大，但是能很好的應對光照變化等實際情形。
[0023] 在上述步驟4中，考慮到存在誤匹配的點，應用了 RANSAC框架，并非一次選出所有 的樣本點進行計算，而是每次隨機抽取一定數(shù)目的特征點，計算其重投影誤差，并用GN迭 代最小化求解變換矩陣M，計算所有特征點中滿足該變換的集合，最后取集合最大時對應的 變換為最終的結果。
[0024] 所述步驟2中，對左右圖像提取HARRIS特征，具體過程為，設圖像像素值在圖像像 素坐標（X，y)的位置上為f(x，y)，分別在水平和垂直方向求一階導數(shù)得：
[0026] 設w為均值為0、方差為sigma的濾波函數(shù)，則定義HARRIS相關矩陣為：
[0028] 其中w的作用為消除孤立的噪點的影響。
[0029] 構造 HARRIS算子為：
[0030] R = det (M) -k · tr (M)
[0031] 其中det (M)表示M的行列式，tr (M)表示M的跡，k是一個經(jīng)驗常數(shù)，這里取值k =0. 05
[0032] 當HARRIS算子R在局部區(qū)域內取極大值且大于某一個閾值時，認為該點是HARRIS 特征點。
[0033] 在四幅圖像中尋找匹配的過程如圖2,其中P1, P2, P3, P4為匹配的某組特征點，箭頭 表示匹配的方向。
[0034] 所述步驟4中，選取SURF特征的流程如下：對圖像f (X，y)，定義Hessian矩陣為
[0036] 計算其行列式為：
[0038] 在實際使用中，為了保證尺度無關性，先對圖像進行高斯濾波，
[0039] L (X，t) = G ⑴· I (X)
[0040] 得到的L(x，t)為一幅圖像在不同解析度下的表示，其中高斯濾波函數(shù)
[0042] 在濾波后對應的Hessian矩陣為：
[0044] 根據(jù)H矩陣的行列式的正負來判斷該點是否為極點。當σ取不同的尺度時，對應 的改變了高斯模糊的尺寸，實現(xiàn)了圖像的在不同尺度空間的運算，然后利用非極大值抑制 確定特征點的位置。根據(jù)Hessian矩陣處理過的每個像素點和其三維領域內26個點大小 進行比較，如果它是這26個點中的最大值或最小值，則保留下來作為特征點。
[0045] 此實施例僅為本發(fā)明較佳的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此， 任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到的變化或替換， 都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應該以權利要求的保護范圍 為準。
【主權項】
1. 一種基于雙目視覺的車輛里程計算法，其特征在于，包括： 步驟1，獲取固定在車輛頂部的雙目相機的視頻流，并傳輸?shù)杰囕d處理器上； 步驟2,對獲取的每一幀雙目相機的視頻流的圖像，分別提取左右圖像的特征，并結合 上一幀左右圖像的特征，用特征匹配的方法搜索出匹配的特征點集合； 步驟3,根據(jù)上一幀匹配的特征點，用立體視覺的方法計算出對應三維點的空間坐標； 步驟4,將上一步中三維點的空間坐標重投影到當前幀的二維圖像坐標，用GN迭代算 法求取重投影誤差的最小化，以求得相鄰幀的車輛的運動變換值； 步驟5,根據(jù)車輛的運動變換值累計更新車輛運動的里程信息。2. 根據(jù)權利要求1所述算法，其特征在于，所述步驟2采取HARRIS特征和SURF特征提 取相結合的策略；當檢測到重投影誤差未超過一定閾值時，采取HARRIS特征來進行匹配， 當檢測到重投影誤差超過一定閾值時，選取SURF特征來進行匹配，同時滿足特征快速和高 精度提取要求。3. 根據(jù)權利要求1所述算法，其特征在于，所述步驟4應用RANSAC框架，每次隨機抽取 一定數(shù)目的特征點，計算其重投影誤差，并用GN迭代最小化求解變換矩陣M，計算所有特征 點中滿足該變換的集合，最后取集合最大時對應的變換為最終的結果。
【專利摘要】本發(fā)明屬于智能交通車輛自主導航技術領域，尤其涉及一種基于雙目視覺的車輛里程計算法，包括：獲取固定在車輛頂部的雙目相機的視頻流，并傳輸?shù)杰囕d處理器上；對獲取的每一幀雙目相機的視頻流的圖像，分別提取左右圖像的特征，并結合上一幀左右圖像的特征，用特征匹配的方法搜索出匹配的特征點集合；根據(jù)上一幀匹配的特征點，用立體視覺的方法計算出對應三維點的空間坐標；將上一步中三維點的空間坐標重投影到當前幀的二維圖像坐標，用GN迭代算法求取重投影誤差的最小化，以求得相鄰幀的車輛的運動變換值；根據(jù)車輛的運動變換值累計更新車輛運動的里程信息。采用快速特征和高精度特征匹配相結合，在提高精度的同時保證了計算速度。
【IPC分類】G01C22/00
【公開號】CN105300403
【申請?zhí)枴緾N201510609741
【發(fā)明人】謝旭東, 胡堅明, 任勇, 張毅, 裴欣, 姚丹亞, 李力
【申請人】清華大學
【公開日】2016年2月3日
【申請日】2015年9月22日