一種單目視覺里程計(jì)的真實(shí)尺度獲取方法
【專利摘要】本發(fā)明涉及一種單目視覺里程計(jì)的真實(shí)尺度獲取方法，包括以下步驟：1)獲取單目攝像頭拍攝的每幀圖像中每一個(gè)像素點(diǎn)屬于路面的概率；2)獲取單目攝像頭拍攝的相鄰兩幀圖像間相機(jī)運(yùn)動(dòng)的旋轉(zhuǎn)矩陣R和相機(jī)相對(duì)位移向量；3)構(gòu)建近似為平面的路面模型，采用單應(yīng)性方法獲取后一幀圖像中屬于路面上的點(diǎn)在前一幀圖像中的位置；4)計(jì)算相鄰兩幀圖像中對(duì)應(yīng)像素點(diǎn)的像素值之差的加權(quán)平均，并求出使像素值之差的加權(quán)平均最小時(shí)對(duì)應(yīng)的路面模型參數(shù)；5)根據(jù)攝像頭的真實(shí)高度和路面模型中的高度獲取絕對(duì)尺度，并計(jì)算相機(jī)真實(shí)位移向量。與現(xiàn)有技術(shù)相比，本發(fā)明具有成本低，操作簡(jiǎn)單、準(zhǔn)確性高、魯棒性高、效率高等優(yōu)點(diǎn)。
【專利說明】
一種單目視覺里程計(jì)的真實(shí)尺度獲取方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種尺度獲取方法，尤其是涉及一種單目視覺里程計(jì)的真實(shí)尺度獲取 方法。
【背景技術(shù)】
[0002] 視覺里程計(jì)可以僅根據(jù)視覺圖像信息獲取智能車的運(yùn)動(dòng)軌跡，在智能車自主定位 和導(dǎo)航具有十分重大的價(jià)值。相比于誤差較大的GPS，慣導(dǎo)和碼盤，視覺里程計(jì)可以有更高 的精度;相比于價(jià)格昂貴體積較大的激光傳感器，視覺信息可以方便低成本獲得。單目視覺 里程計(jì)相比于雙目視覺里程計(jì)更適合于在室外等大尺度場(chǎng)景。但由于單目視覺里程計(jì)損失 了深度信息，無法直接得到尺度信息。
[0003] 目前恢復(fù)單目視覺尺度一般都需要附加傳感器，如視覺和慣導(dǎo)配合的VI0,但最理 想最方便的方式自然是用純視覺的方法來恢復(fù)，純視覺的方法一般是基于路面信息來做 的，目前有兩種做法，一種是假設(shè)圖像下部中間的一部分區(qū)域是路面，然后用這塊區(qū)域?qū)崿F(xiàn) 單應(yīng)性方法求出路面模型，但這種假設(shè)是不一定都一直成立，當(dāng)車輛在轉(zhuǎn)彎或前方有車輛 遮擋時(shí)，這塊區(qū)域可能大部分都不是路面，此時(shí)估計(jì)的模型必然是錯(cuò)的。另外一種方法是在 得到不帶尺度的R，t之后，用三角測(cè)量方法計(jì)算所匹配的特征點(diǎn)的空間位置，然后使用 Ransac方法估計(jì)路面模型，在估計(jì)好初始模型之后可以根據(jù)路面的顏色訓(xùn)練一個(gè)分類器用 以估計(jì)之后像素點(diǎn)是路面的概率，選用大概率的點(diǎn)去求路面模型，這種方法的弊端是，一般 路面區(qū)域由于是平面，特征點(diǎn)會(huì)比較少，Ransac估計(jì)路面模型是可能無法得到準(zhǔn)確的結(jié)果， 而且過程中特征點(diǎn)匹配跟蹤，三角測(cè)量，Ransac模型估計(jì)，算法會(huì)比較慢，很難達(dá)到實(shí)時(shí)性。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種成本低，操作簡(jiǎn) 單、準(zhǔn)確性高、魯棒性高、效率高的單目視覺里程計(jì)的真實(shí)尺度獲取方法。
[0005] 本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：
[0006] -種單目視覺里程計(jì)的真實(shí)尺度獲取方法，用以獲取路面行駛車輛的真實(shí)位移， 包括以下步驟：
[0007] 1)獲取單目攝像頭拍攝的每幀圖像中每一個(gè)像素點(diǎn)屬于路面的概率；
[0008] 2)獲取單目攝像頭拍攝的相鄰兩幀圖像間相機(jī)運(yùn)動(dòng)的旋轉(zhuǎn)矩陣R和相機(jī)相對(duì)位移 向量t%
[0009] 3)構(gòu)建近似為平面的路面模型ηΧ+Ρ = 0,并根據(jù)旋轉(zhuǎn)矩陣R和相機(jī)相對(duì)位移向量 t'采用單應(yīng)性方法獲取后一幀圖像中屬于路面上的點(diǎn)在前一幀圖像中的位置；
[0010] 4)計(jì)算相鄰兩幀圖像中對(duì)應(yīng)像素點(diǎn)的像素值之差的加權(quán)平均，權(quán)重為對(duì)應(yīng)像素點(diǎn) 屬于路面的概率，并求出使像素值之差的加權(quán)平均最小時(shí)對(duì)應(yīng)的路面模型參數(shù)η和h%
[0011] 5)根據(jù)攝像頭的真實(shí)高度h和路面模型中的高度P獲取絕對(duì)尺度s，并計(jì)算相機(jī)真 實(shí)位移向量t。
[0012] 所述的步驟1)具體包括以下步驟：
[0013] 11)對(duì)單目攝像頭獲取的圖像進(jìn)行主成分分析，并將圖像映射到特征空間，在特征 空間中對(duì)圖像進(jìn)行聚類；
[0014] 12)根據(jù)先驗(yàn)信息和聚類結(jié)果，獲取聚類所得到的類別中最有可能屬于路面的一 類和最不可能屬于路面的一類；
[0015] 13)將聚類結(jié)果的兩種類別分別作為正負(fù)樣本訓(xùn)練并更新分類器；
[0016] 14)根據(jù)分類器的結(jié)果和先驗(yàn)信息獲取圖像中的每一點(diǎn)屬于路面的概率。
[0017] 所述的步驟12)和步驟14)中，先驗(yàn)信息為單目攝像頭獲取的圖像下部是路面的概 率較大，圖像上部是路面概率較小。
[0018] 所述的步驟4)中，像素值之差的加權(quán)平均的目標(biāo)函數(shù)為：
[0019]
[0020] 其中，PiS相鄰的兩幅圖像中對(duì)應(yīng)的第i個(gè)像素點(diǎn)屬于路面的概率，K為投影矩陣， 為前一幅圖像對(duì)應(yīng)的像素點(diǎn)的色彩信息，為后一幅圖像對(duì)應(yīng)的像素點(diǎn)的色彩 信息，α為歸一因子。
[0021 ]所述的步驟5)中絕對(duì)尺度s的計(jì)算式為： j
[0022] s =去
[0023] 所述的相機(jī)真實(shí)位移向量t的計(jì)算式為：
[0024] t = st*。
[0025] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：
[0026]本文提出的方法既保證了路面區(qū)域的實(shí)時(shí)更新，保證不受異常情況的影響，同時(shí) 采用概率模型增加魯棒性，另外不需要特征點(diǎn)匹配和三角測(cè)量以及Ransac模型估計(jì)等，可 以保證了算法的效率。
[0027] -、成本低:本方法所基于的視覺里程計(jì)方案為單目視覺里程計(jì)，其成本較雙目視 覺里程計(jì)減少一半，相比激光雷達(dá)減少更多，在實(shí)施過程中，無需慣導(dǎo)等其他傳感器，也不 需要提前設(shè)定路面區(qū)域，實(shí)時(shí)方案也比較簡(jiǎn)單等。
[0028] 二、準(zhǔn)確性高:本發(fā)明采用的路面顏色模型不是一直不變的，而是一個(gè)不斷在線學(xué) 習(xí)更新的過程，主成分分析和聚類方法會(huì)給分類器提供最新的訓(xùn)練數(shù)據(jù)，路面顏色模型實(shí) 時(shí)更新，避免不同道路情況以及車前方有遮擋時(shí)路面區(qū)域的判斷失誤，導(dǎo)致路面幾何模型 的求解錯(cuò)誤。
[0029] 三、魯棒性高:本發(fā)明中沒有使用絕對(duì)區(qū)域作為路面，而是將圖像中的每個(gè)點(diǎn)都根 據(jù)分類器的結(jié)果和一些先驗(yàn)信息賦予一定的屬于路面的概率，使用概率模型對(duì)路面進(jìn)行表 示，增加了方法的魯棒性。
[0030] 四、效率高:我們使用單應(yīng)性的方法進(jìn)行路面模型估計(jì)，既充分利用了路面區(qū)域的 所有點(diǎn)，又無需特征點(diǎn)匹配，相比于基于Ransac的方法，算法效率高。
【附圖說明】
[0031] 圖1為本發(fā)明的基本方法原理圖。
[0032] 圖2為路面模型示意圖。
[0033] 圖3為相機(jī)在拍攝相鄰兩幀圖像時(shí)的位姿示意圖。
[0034]圖4為本發(fā)明的整體算法流程圖。
【具體實(shí)施方式】
[0035]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
[0036] 實(shí)施例：
[0037] 如圖4所示，本發(fā)明的主要步驟如下：
[0038] 1.對(duì)圖像進(jìn)行主成分分析，并將圖像映射到新的特征空間，在新的特征空間對(duì)圖 像進(jìn)行聚類；
[0039] 2.根據(jù)攝像頭所獲取圖像的下部是路面的概率較大，圖像上部是路面概率較小這 一先驗(yàn)信息，確定聚類所得到的類別中最優(yōu)可能屬于路面和最不可能屬于路面的一類；
[0040] 3.使用2中得到的數(shù)據(jù)分別作為正負(fù)樣本訓(xùn)練或更新分類器；
[0041] 4.根據(jù)分類器結(jié)果和先驗(yàn)信息確定圖像中每一點(diǎn)屬于路面的概率；
[0042] 5.在第二幀圖像之后計(jì)算兩幀圖像間相機(jī)運(yùn)動(dòng)的旋轉(zhuǎn)矩陣R，和位移向量t'這里 的f沒有絕對(duì)尺度；
[0043] 6 .假設(shè)路面為近似為平面，數(shù)學(xué)模型為ηΧ+Ρ = 0，η和P未知。根據(jù)R，tlP路面模 型，使用單應(yīng)性方法計(jì)算后一幀圖像中路面上的點(diǎn)在前一幀圖像中的位置。
[0044] 7.考慮路面概率信息，計(jì)算兩幀圖像對(duì)應(yīng)像素點(diǎn)像素值之差的加權(quán)平均，權(quán)重為 這一點(diǎn)屬于路面的概率，并通過優(yōu)化的方法求出使像素平均差最小時(shí)的路面模型參數(shù)η和 h*〇
[0045] 8.根據(jù)攝像頭的真實(shí)高度h和用所計(jì)算出路面數(shù)學(xué)模型中的高度P獲取絕對(duì)尺度 s = h/h'具有真實(shí)尺度的相機(jī)位移向量為t = st'
[0046] 本方法的詳細(xì)說明如下：
[0047] 單目視覺里程計(jì)由于缺少深度信息，無法直接獲取絕對(duì)的智能車運(yùn)動(dòng)位移尺度， 而這個(gè)絕對(duì)尺度對(duì)于智能車是十分必要的。對(duì)每一輛車而言，車上所安裝的攝像頭到路面 上的高度(h)是固定而且已知的，這個(gè)高度可以當(dāng)做一個(gè)先驗(yàn)信息用以恢復(fù)尺度，基本方法 如圖1所示：
[0048] 圖1中，P為求出的路面模型中的攝像頭高度，h是真實(shí)的高度，二者的比值就是我 們所要恢復(fù)的尺度。其中路面模型（如圖2所示)為我們根據(jù)所求出的兩幀圖像之間的旋轉(zhuǎn) 矩陣R和不帶絕對(duì)尺度的f以及路面概率模型所求出不帶絕對(duì)尺度的模型
[0049] 路面模型在相機(jī)坐標(biāo)系中的表示為nTX+t$ = 0,本文所做主要工作之一就是求出P 進(jìn)而恢復(fù)絕對(duì)尺度。
[0050] 圖3中，Ci和C2分別是相機(jī)在拍攝相鄰兩幀圖像時(shí)的位姿，如果相機(jī)從Ci運(yùn)動(dòng)到C2 的旋轉(zhuǎn)和位移分別是R和t*，即和廬分別是世界中的一點(diǎn)P在兩個(gè)相機(jī)坐標(biāo) 系中的坐標(biāo)，可知/Λ = β/Λ +如果P在路面上，那么在C2坐標(biāo)系中+ Y = 〇，也就是 =1，所以，如果P在路面上，P在兩個(gè)相機(jī)坐標(biāo)系中的坐標(biāo)應(yīng)該滿足以下關(guān)系：
[0051]
[0052] 考慮投影矩陣K可得：
[0053]
[0054] 其中α為根據(jù)等式左側(cè)算出的結(jié)果的最后一項(xiàng)，假設(shè)兩幀之間世界中同一點(diǎn)的色 彩信息不變，即/,卜(1 p /2(心)，那么如果路面模型n，h是準(zhǔn)確的，應(yīng)該滿足：
[0055]
[0056] 考虎路而概率樟型可以得剞審優(yōu)的目標(biāo)函數(shù)：
[0057]
[0058]其中PiS某個(gè)像素點(diǎn)屬于路面的概率。上述優(yōu)化方程有四個(gè)參數(shù)需要優(yōu)化，其中h 是我們最需要的。考慮到，路面在相機(jī)坐標(biāo)系下的法線方向是基本不變的，可以初始標(biāo)定事 求出，進(jìn)而減小在線優(yōu)化的運(yùn)算量。即時(shí)沒有在初始標(biāo)定時(shí)求出也沒有必要沒一幀都優(yōu)化， 可以在前面優(yōu)化得出之后，后面的運(yùn)算假設(shè)其基本不變。
[0059] 前面提到了路面概率模型，下面將介紹如果獲取路面概率模型，首先使用主成分 分析方法分析圖像主成分，并將圖像映射到新的特征空間，然后在新的特征空間使用聚類 方法對(duì)圖像進(jìn)行聚類。
[0060] -般情況，圖像下部是路面區(qū)域的概率較大，上部是路面的概率較小，根據(jù)這一先 驗(yàn)信息，我們可以確定各個(gè)區(qū)域是路面的可能性。然后取可能性最大的區(qū)域和可能性最小 的區(qū)域分別作為正負(fù)樣本，訓(xùn)練或更新分類器，然后使用分類器確定各個(gè)像素點(diǎn)屬于路面 的概率。
【主權(quán)項(xiàng)】
1. 一種單目視覺里程計(jì)的真實(shí)尺度獲取方法，用W獲取路面行駛車輛的真實(shí)位移，其 特征在于，包括W下步驟： 1) 獲取單目攝像頭拍攝的每帖圖像中每一個(gè)像素點(diǎn)屬于路面的概率； 2) 獲取單目攝像頭拍攝的相鄰兩帖圖像間相機(jī)運(yùn)動(dòng)的旋轉(zhuǎn)矩陣R和相機(jī)相對(duì)位移向量 t*; 3) 構(gòu)建近似為平面的路面模型11乂+}1^ = 0，并根據(jù)旋轉(zhuǎn)矩陣1?和相機(jī)相對(duì)位移向量*^采 用單應(yīng)性方法獲取后一帖圖像中屬于路面上的點(diǎn)在前一帖圖像中的位置； 4) 計(jì)算相鄰兩帖圖像中對(duì)應(yīng)像素點(diǎn)的像素值之差的加權(quán)平均，權(quán)重為對(duì)應(yīng)像素點(diǎn)屬于 路面的概率，并求出使像素值之差的加權(quán)平均最小時(shí)對(duì)應(yīng)的路面模型參數(shù)η和h% 5) 根據(jù)攝像頭的真實(shí)高度11和路面模型中的高度}1^獲取絕對(duì)尺度3，并計(jì)算相機(jī)真實(shí)位 移向量t。2. 根據(jù)權(quán)利要求1所述的一種單目視覺里程計(jì)的真實(shí)尺度獲取方法，其特征在于，所述 的步驟1)具體包括W下步驟： 11) 對(duì)單目攝像頭獲取的圖像進(jìn)行主成分分析，并將圖像映射到特征空間，在特征空間 中對(duì)圖像進(jìn)行聚類； 12) 根據(jù)先驗(yàn)信息和聚類結(jié)果，獲取聚類所得到的類別中最有可能屬于路面的一類和 最不可能屬于路面的一類； 13) 將聚類結(jié)果的兩種類別分別作為正負(fù)樣本訓(xùn)練并更新分類器； 14) 根據(jù)分類器的結(jié)果和先驗(yàn)信息獲取圖像中的每一點(diǎn)屬于路面的概率。3. 根據(jù)權(quán)利要求2所述的一種單目視覺里程計(jì)的真實(shí)尺度獲取方法，其特征在于，所述 的步驟12)和步驟14)中，先驗(yàn)信息為單目攝像頭獲取的圖像下部是路面的概率較大，圖像 上部是路面概率較小。4. 根據(jù)權(quán)利要求1所述的一種單目視覺里程計(jì)的真實(shí)尺度獲取方法，其特征在于，所述 的步驟4)中，像素值之差的加權(quán)平均的目標(biāo)函數(shù)為：其中，Pi為相鄰的兩幅圖像中對(duì)應(yīng)的第i個(gè)像素點(diǎn)屬于路面的概率，K為投影矩陣， /,(<'）為前一幅圖像對(duì)應(yīng)的像素點(diǎn)的色彩信息，4和巧為后一幅圖像對(duì)應(yīng)的像素點(diǎn)的色彩 信息，α為歸一因子。5. 根據(jù)權(quán)利要求1所述的一種單目視覺里程計(jì)的真實(shí)尺度獲取方法，其特征在于，所述 的步驟5)中絕對(duì)尺度S的計(jì)算式為：所述的相機(jī)真實(shí)位移向量t的計(jì)算式為： t = st*〇
【文檔編號(hào)】G06T7/20GK105976402SQ201610361313
【公開日】2016年9月28日
【申請(qǐng)日】2016年5月26日
【發(fā)明人】陳啟軍, 王香偉
【申請(qǐng)人】同濟(jì)大學(xué)