一種用于室內(nèi)移動機器人定位的紅外路標(biāo)及其使用方法
【專利摘要】本發(fā)明涉及一種用于室內(nèi)移動機器人定位的紅外路標(biāo)，該紅外路標(biāo)由位置識別標(biāo)記點和身份識別標(biāo)記點組成，所述位置識別標(biāo)記點是由所有標(biāo)記點的最小外包四邊形的四個頂點位置上的標(biāo)記點組成，且在組成位置識別標(biāo)記點的四個標(biāo)記點中，其中一個標(biāo)記點的尺寸大于其他三個標(biāo)記點的尺寸；所述身份識別標(biāo)記點是由除位置標(biāo)記點之外的其他標(biāo)記點組成。本發(fā)明還公開了一種用于室內(nèi)移動機器人定位的紅外路標(biāo)的使用方法。本發(fā)明采用紅外路標(biāo)作為視覺定位的依據(jù)，有效降低環(huán)境中可見光照明的影響，提高圖像處理算法的效率，增加視覺定位的穩(wěn)定性。本發(fā)明采用四個標(biāo)記點作為位置識別標(biāo)記點，增加算法的魯棒性，靈活性更強。
【專利說明】
一種用于室內(nèi)移動機器人定位的紅外路標(biāo)及其使用方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，尤其是一種用于室內(nèi)移動機器人定位的紅外路 標(biāo)及其使用方法。
【背景技術(shù)】
[0002] 室內(nèi)移動機器人對定位精度要求比較高，通常為厘米級。無線定位對設(shè)備的布置 具有嚴格的要求，并且因為室內(nèi)建筑和家具等造成多路徑干涉，導(dǎo)致精度難以滿足要求。根 據(jù)室內(nèi)環(huán)境的特殊性和室內(nèi)定位要求的多樣性，目前研究者已經(jīng)開發(fā)了多種不同的用于室 內(nèi)移動機器人導(dǎo)航的定位方法，主要包括無線定位、激光SLAM、視覺SLAM和路標(biāo)定位。激光 SLAM技術(shù)采用激光設(shè)備，價格不菲，并且激光SLAM技術(shù)抗干擾能力弱，在環(huán)境變動幅度較大 或環(huán)境頻繁變動時，無法勝任定位任務(wù)。視覺SLAM方法的缺點是可靠性較低，場景頻繁改變 或者環(huán)境的視覺特征過于簡單都會造成視覺SLAM方法定位任務(wù)失敗。
[0003] 路標(biāo)定位方法一般分為自然路標(biāo)和人工路標(biāo)兩種模式。自然路標(biāo)定位計算復(fù)雜， 魯棒性不強，實用性差。人工路標(biāo)定位包括RFID標(biāo)簽、磁條、帶有編碼或文字信息的可視化 標(biāo)簽等，其中RFID標(biāo)簽和磁條類的路標(biāo)要求工作距離較近，并且機器人只能沿著固定鋪設(shè) 好的路線移動，靈活性較差。可視化標(biāo)簽通常利用攝像機采集圖像，并檢測圖像中存在的可 視化標(biāo)簽，利用標(biāo)簽特征對機器人進行定位，這種方法的特點是成本低、精度高、靈活性強。 可視化標(biāo)簽的使用又分為自然光環(huán)境下和紅外光環(huán)境下兩種情況，自然光環(huán)境下容易受到 環(huán)境光亮度的影響，使得室內(nèi)定位的可靠性較低。而紅外光下的可視化標(biāo)簽通常采用紅外 發(fā)光或紅外反光材料路標(biāo)，通過在紅外攝像機的鏡頭前增加紅外帶通濾光片，使得紅外攝 像機僅捕捉環(huán)境中特定波長的路標(biāo)。這種方式的應(yīng)用可以有效降低可見光對定位結(jié)果的影 響，無論室內(nèi)是否有照明均可以工作。
[0004] 近幾年出現(xiàn)了幾種類似的紅外路標(biāo)定位方法，如Stargazer方法，該方法提取路標(biāo) 中構(gòu)成直角坐標(biāo)系的三個標(biāo)記點作為確定機器人位置的依據(jù)，并在假設(shè)攝像機光軸與路標(biāo) 平面垂直的前提下，實現(xiàn)機器人的定位。而實際定位過程中由于加減速慣性力作用、安裝夾 角等問題，難免會出現(xiàn)攝像機光軸與路標(biāo)平面不垂直情況，這種情況下采用兩軸傾斜儀來 輔助提高定位精度，但是當(dāng)出現(xiàn)路標(biāo)所在平面與重力方向不垂直時，這種輔助方法將會失 效，影響定位效果。另外，采用三個標(biāo)記點作為位置識別標(biāo)記點，未能完整包圍整個標(biāo)記點 區(qū)域，導(dǎo)致身份識別標(biāo)記點經(jīng)常出現(xiàn)誤識別現(xiàn)象。目前也出現(xiàn)了采用四個標(biāo)記點作為定位 依據(jù)，但是這四個點也未能完整包圍整個標(biāo)記點區(qū)域，也存在標(biāo)記點誤識別現(xiàn)象。并且由于 兩個大的標(biāo)記點相距較近，在紅外攝像機下容易產(chǎn)生干涉現(xiàn)象，導(dǎo)致兩個標(biāo)記點成像連成 一片，增加了后續(xù)圖像處理算法的難度。為解決這個問題只能增加路標(biāo)的尺寸，這樣又會導(dǎo) 致路標(biāo)尺寸過大，對環(huán)境的人為影響也更大。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的首要目的在于提供一種在室內(nèi)實現(xiàn)對移動機器人的快速、穩(wěn)定、精確的 定位的用于室內(nèi)移動機器人定位的紅外路標(biāo)。
[0006] 為實現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案:一種用于室內(nèi)移動機器人定位的 紅外路標(biāo)，該紅外路標(biāo)由位置識別標(biāo)記點和身份識別標(biāo)記點組成，所述位置識別標(biāo)記點是 由所有標(biāo)記點的最小外包四邊形的四個頂點位置上的標(biāo)記點組成，且在組成位置識別標(biāo)記 點的四個標(biāo)記點中，其中一個標(biāo)記點的尺寸大于其他三個標(biāo)記點的尺寸;所述身份識別標(biāo) 記點是由除位置標(biāo)記點之外的其他標(biāo)記點組成;所述最小外包四邊形是指包含所有標(biāo)記點 的四邊形中面積最小的四邊形。
[0007] 所述位置識別標(biāo)記點和身份識別標(biāo)記點均采用紅外LED發(fā)光燈，或者均采用在表 面涂有逆反射材料的標(biāo)簽片。
[0008] 所述紅外路標(biāo)為正方形，位置識別標(biāo)記點和身份識別標(biāo)記點的每個標(biāo)記點的中心 點位于3 X 3或4 X 4的等距網(wǎng)格點位置。
[0009] 所述紅外路標(biāo)貼在天花板上，配有紅外光源的攝像機豎直向上固定于在地面上移 動的移動機器人的頂部，攝像機和紅外路標(biāo)相對垂直布置，所述攝像機的拍攝視野中存在 一個或多個紅外路標(biāo)。
[0010] 所述紅外路標(biāo)貼于在地面上移動機器人的頂部，配有紅外光源的攝像機豎直向下 固定在天花板上，攝像機和紅外路標(biāo)相對垂直布置，所述攝像機的拍攝視野中存在一個或 多個紅外路標(biāo)。
[0011] 本發(fā)明的另一目的在于提供一種用于室內(nèi)移動機器人定位的紅外路標(biāo)的使用方 法，該方法包括下列順序的步驟：
[0012] (1)將紅外路標(biāo)貼在與攝像機垂直布置的位置處，攝像機采集含有紅外路標(biāo)的紅 外圖像；
[0013] (2)對攝像機采集的紅外圖像進行自適應(yīng)二值化預(yù)處理后得到二值化圖像；
[0014] (3)根據(jù)標(biāo)記點的尺寸、數(shù)量和分布特征，對二值化圖像中的所有標(biāo)記點進行聚 類，提取所有候選紅外路標(biāo)；
[0015] ⑷對每個候選紅外路標(biāo)，提取其四個位置識別標(biāo)記點；
[0016] (5)對每個候選紅外路標(biāo)，接著提取其身份識別標(biāo)記點，識別紅外路標(biāo)的身份ID;
[0017] (6)計算攝像機坐標(biāo)系與紅外路標(biāo)坐標(biāo)系之間的相對位置，得到攝像機相對于每 個路標(biāo)坐標(biāo)系的位置和方位角。
[0018] 在步驟(3)中，所述對二值化圖像中的所有標(biāo)記點進行聚類是指，首先，提取每個 高亮像素塊的中心，依據(jù)紅外路標(biāo)的標(biāo)記點數(shù)量和分布特征，提取出候選紅外路標(biāo)的標(biāo)記 點集合;其次，對每個標(biāo)記點集合進一步檢測，判斷是否存在四個位置識別標(biāo)記點，若判斷 結(jié)果為是，則進入步驟(4)，提取四個位置識別標(biāo)記點，否則，不做檢測。
[0019] 在步驟(4)中，所述對每個候選紅外路標(biāo)提取其四個位置識別標(biāo)記點是指，對候選 紅外路標(biāo)的標(biāo)記點集合，以固定角度逐次按逆時針或順時針旋轉(zhuǎn)，直至旋轉(zhuǎn)小于超過180°， 對每次旋轉(zhuǎn)的標(biāo)記點集合提取最小外接矩形，對該外接矩形經(jīng)過的標(biāo)記點進行統(tǒng)計，最后 將出現(xiàn)次數(shù)最多的前四位標(biāo)記點作為可能的四個位置識別標(biāo)記點;這四個位置識別標(biāo)記點 依次連接構(gòu)成整個路標(biāo)的最小外包四邊形，而最小外包四邊形分布特征為近似平行四邊 形，其兩組對邊長度的比值接近于1;最后對四個位置識別標(biāo)記點按照其分布特征進行約 束，提高檢測準(zhǔn)確性。
[0020] 在步驟(5)中，所述提取其身份識別標(biāo)記點是指，根據(jù)四個位置識別標(biāo)記點的雙線 性插值，生成內(nèi)部多個網(wǎng)格點，以每個網(wǎng)格點為中心，一定閾值范圍為半徑，生成一個可能 的檢測范圍；當(dāng)每個范圍內(nèi)存在標(biāo)記點時，則將該紅外路標(biāo)的二進制身份編碼相應(yīng)位置置 為1，否則置為0。
[0021] 步驟(6)的計算方法如下：首先，建立攝像機坐標(biāo)系和紅外路標(biāo)坐標(biāo)系，假設(shè)空間 中一點B在圖像上成像為b，b在圖像上的像素坐標(biāo)為(u，v )，攝像機坐標(biāo)系的原點為攝像機 光軸與感光芯片的交點，X坐標(biāo)為平行圖像水平方向U，Y坐標(biāo)為平行圖像垂直方向V，Z坐標(biāo) 為沿著光軸向外的方向，則OcXcYcZc為攝像機坐標(biāo)系；
[0022] 紅外路標(biāo)坐標(biāo)系的原點設(shè)為四個位置標(biāo)記點中尺寸最大的標(biāo)記點中心位置，按右 手螺旋法則依次定義X、Y和Z方向，0C為X方向，0A為Y方向，垂直向外的方向為Z方向，紅外路 標(biāo)坐標(biāo)系表示為OmXmYmZm;在紅外路標(biāo)坐標(biāo)系下確定紅外路標(biāo)中四個位置識別標(biāo)記點， 0ABC四個位置的坐標(biāo)分別為(0,0,0)，（0兒，0)，仏兒，0)和〇^，0,0)，其中1^為(^的實際距離；
[0023] 假設(shè)圖像坐標(biāo)系下一點p，其像素坐標(biāo)為(u，v)，該點在攝像機坐標(biāo)系下的坐標(biāo)為 (^，7。，2。），兩者之間滿足下面的關(guān)系：
[0025]其中，矩陣Μι為預(yù)先設(shè)定的攝像機內(nèi)參矩陣，其元素αχ，αγ，uo，νο為相機的內(nèi)參數(shù)； [0026]攝像機坐標(biāo)系到紅外路標(biāo)坐標(biāo)系的剛性變換關(guān)系表示為旋轉(zhuǎn)矩陣R和平移向量t， 滿足下面的關(guān)系：
[0028] 其中，[Xc，Yc，Zc，1 ] 7和[Xm，Ym，Zm，1 ] 7分別為同一空間點在攝像機坐標(biāo)系和紅外路 標(biāo)坐標(biāo)系下的齊次坐標(biāo)，矩陣跑為攝像機坐標(biāo)系到紅外路標(biāo)坐標(biāo)系之間的變換矩陣，其中 旋轉(zhuǎn)矩陣R和平移向量t即為待求解的未知量；
[0029] 將(2)式帶入(1)式中，得到：
[0031] 設(shè)位置識別標(biāo)記點0ABC在路標(biāo)坐標(biāo)系下坐標(biāo)為(Xmi，Ymi，Zmi) (i = 1，2，3，4)，其圖 像坐標(biāo)為(Ui，Vi) (i = 1，2，3，4)，在攝像機坐標(biāo)系下坐標(biāo)為(Xcd，Ycd，Zed) (i = 1，2，3，4)，帶入 (3)式得到四個方程：
[0033] 方程組(4)共有12個方程，10獨立變量，利用優(yōu)化算法求解旋轉(zhuǎn)矩陣R和平移向量 t，通過求解得到的R和t值，得到紅外路標(biāo)坐標(biāo)系的原點在攝像機坐標(biāo)系下的坐標(biāo)為t，而攝 像機坐標(biāo)系下的原點在紅外路標(biāo)坐標(biāo)系下的位置坐標(biāo)為_R Tt，攝像機坐標(biāo)系相對于路標(biāo)坐 標(biāo)系下的方位角即為_RT的歐拉角。
[0034] 由上述技術(shù)方案可知，本發(fā)明采用紅外路標(biāo)作為視覺定位的依據(jù)，有效降低環(huán)境 中可見光照明的影響，提高圖像處理算法的效率，增加視覺定位的穩(wěn)定性。此外，本發(fā)明采 用四個標(biāo)記點作為位置識別標(biāo)記點，增加算法的魯棒性，并且無需要求攝像機光軸必須垂 直于紅外路標(biāo)所在平面的條件，不僅可以計算攝像機相對于紅外路標(biāo)坐標(biāo)系之間的位置和 方位角，還可以計算出攝像機相對于紅外路標(biāo)坐標(biāo)系的傾角，靈活性更強。本發(fā)明采用四個 標(biāo)記點作為位置識別標(biāo)記點，這四個點構(gòu)成紅外路標(biāo)所有標(biāo)記點的最小外包四邊形，即所 有標(biāo)記點均處于由這四個標(biāo)記點組成的四邊形的內(nèi)部，根據(jù)這四個標(biāo)記點的構(gòu)成條件，再 檢測內(nèi)部的身份識別標(biāo)記點，有效提高識別的穩(wěn)定性，降低誤識別率。根據(jù)這四個標(biāo)記點的 構(gòu)成條件，再檢測內(nèi)部的身份識別標(biāo)記點，有效提高路標(biāo)識別的穩(wěn)定性，降低誤識別率。
【附圖說明】
[0035] 圖1為本發(fā)明中紅外路標(biāo)的不意圖；
[0036] 圖2、3均為本發(fā)明中兩種典型的紅外路標(biāo)示意圖；
[0037] 圖4為本發(fā)明中紅外路標(biāo)貼在天花板上，攝像機安裝在機器人上的工作示意圖；
[0038] 圖5為本發(fā)明中紅外路標(biāo)貼在機器人上，攝像機安裝在天花板上的工作示意圖； [0039]圖6為本發(fā)明的方法流程圖；
[0040] 圖7(a)紅外圖像中的路標(biāo)標(biāo)記點集合P，最小外接矩形檢測結(jié)果示意圖；
[0041] 圖7(b)為紅外圖像中的路標(biāo)標(biāo)記點集合P逆時針旋轉(zhuǎn)15°，最小外接矩形檢測結(jié)果 示意圖；
[0042]圖7(c)為紅外圖像中的路標(biāo)標(biāo)記點集合P逆時針旋轉(zhuǎn)30°，最小外接矩形檢測結(jié)果 示意圖；
[0043] 圖7(d)為紅外圖像中的路標(biāo)標(biāo)記點集合最終的最小外包四邊形檢測結(jié)果示意圖；
[0044] 圖8為本發(fā)明中從紅外路標(biāo)中查找身份識別標(biāo)記點示意圖；
[0045] 圖9為本發(fā)明中的攝像機坐標(biāo)系示意圖；
[0046] 圖10為本發(fā)明中的紅外路標(biāo)坐標(biāo)系示意圖；
[0047] 圖11為本發(fā)明中攝像機坐標(biāo)系相對于視野中紅外路標(biāo)坐標(biāo)系的位置關(guān)系示意圖。
【具體實施方式】
[0048] 如圖1所示，一種用于室內(nèi)移動機器人定位的紅外路標(biāo)，該紅外路標(biāo)由位置識別標(biāo) 記點1和身份識別標(biāo)記點2組成，所述位置識別標(biāo)記點1是由所有標(biāo)記點的最小外包四邊形 的四個頂點位置上的標(biāo)記點組成，且在組成位置識別標(biāo)記點1的四個標(biāo)記點中，其中一個標(biāo) 記點0的尺寸大于其他三個標(biāo)記點A、B、C的尺寸;所述身份識別標(biāo)記點2是由除位置標(biāo)記點 之外的其他標(biāo)記點組成。所述位置識別標(biāo)記點1和身份識別標(biāo)記點2均采用紅外LED發(fā)光燈， 或者均采用在表面涂有逆反射材料的標(biāo)簽片;所述最小外包四邊形是指包含所有標(biāo)記點的 四邊形中面積最小的四邊形。
[0049] 如圖2所示，所述紅外路標(biāo)為正方形，位置識別標(biāo)記點1和身份識別標(biāo)記點2的每個 標(biāo)記點的中心點位于3 X 3的等距網(wǎng)格點位置。以3 X 3模式為例，該路標(biāo)由九個標(biāo)記點組成， 每個標(biāo)記點的中心點位于3X3等距網(wǎng)格點位置，其中四個矩形頂點位置的標(biāo)記點構(gòu)成了位 置識別標(biāo)簽，這四個標(biāo)記點中的三個標(biāo)記點尺寸相同，另一個標(biāo)記點尺寸要略大。每個紅外 路標(biāo)都必須包括四個位置識別標(biāo)記點1，而其它網(wǎng)格位置的標(biāo)記點作為身份識別標(biāo)簽，根據(jù) 是否存在作為相互區(qū)別的依據(jù)。3X3模式路標(biāo)共有9個標(biāo)記點，去除4個位置固定的位置識 別標(biāo)記點1，還剩下5個身份識別標(biāo)簽，因此共有2~5 = 32種標(biāo)簽組合，同理，4 X 4模式標(biāo)簽則 可以有2~ (16-4) =4096種標(biāo)簽組合。如圖3所示，所述紅外路標(biāo)為正方形，位置識別標(biāo)記點1 和身份識別標(biāo)記點2的每個標(biāo)記點的中心點位于4X4的等距網(wǎng)格點位置。
[0050] 如圖4所示，所述紅外路標(biāo)貼在天花板上，配有紅外光源的攝像機4豎直向上固定 于在地面上移動的移動機器人3的頂部，攝像機4和紅外路標(biāo)相對垂直布置，所述攝像機4的 拍攝視野中存在一個或多個紅外路標(biāo)Ml，M2，M3。如圖5所示，所述紅外路標(biāo)貼于在地面上移 動機器人3的頂部，配有紅外光源的攝像機4豎直向下固定在天花板上，攝像機4和紅外路標(biāo) 相對垂直布置，所述攝像機4的拍攝視野中存在一個或多個紅外路標(biāo)14,5,6。通過紅外攝 像機4采集場景中的圖像，可以有效去除可見光的干擾，突出紅外路標(biāo)的成像效果，增加定 位的穩(wěn)定性。
[0051] 紅外路標(biāo)可以是一個或多個，紅外路標(biāo)的數(shù)量和布局需要根據(jù)機器人3的移動范 圍以及攝像機4的視野大小和攝像機4離天花板的高度綜合考慮，以機器人3在可移動范圍 內(nèi)不存在視野盲區(qū)為原則。紅外光源一般采用近紅外光，如850nm波長發(fā)光二極管，為降低 環(huán)境可見光的干擾，通常在攝像機4鏡頭前安裝相應(yīng)波段的窄帶濾光片，從而使得攝像機4 基本上僅對紅外路標(biāo)成像，排除其他可見光反射的干擾像素，降低圖像處理算法的復(fù)雜度。 為增加攝像機4的觀察視野，通常采用廣角鏡頭，如2.2mm或2.5mm的廣角鏡頭。另外，如果采 用紅外反光材料構(gòu)成的路標(biāo)，還需要增加紅外二極管發(fā)射角度，使得在紅外二極管發(fā)射角 度基本與廣角鏡頭的視角相符合，才能確保攝像機4可以有效地采集視野內(nèi)任何地方的紅 外路標(biāo)。
[0052]如圖6所示，用于室內(nèi)移動機器人3定位的紅外路標(biāo)的使用方法包括下列順序的步 驟：
[0053] (1)將紅外路標(biāo)貼在與攝像機4垂直布置的位置處，攝像機4采集含有紅外路標(biāo)的 紅外圖像；
[0054] (2)對攝像機4采集的紅外圖像進行自適應(yīng)二值化預(yù)處理后得到二值化圖像；
[0055] (3)根據(jù)標(biāo)記點的尺寸、數(shù)量和分布特征，對二值化圖像中的所有標(biāo)記點進行聚 類，提取所有候選紅外路標(biāo)；
[0056] (4)對每個候選紅外路標(biāo)，提取其四個位置識別標(biāo)記點1;
[0057] (5)對每個候選紅外路標(biāo)，接著提取其身份識別標(biāo)記點2,識別紅外路標(biāo)的身份ID;
[0058] (6)計算攝像機4坐標(biāo)系與紅外路標(biāo)坐標(biāo)系之間的相對位置，得到攝像機4相對于 每個路標(biāo)坐標(biāo)系的位置和方位角。
[0059] 在步驟(2)中，二值化的目的是提取圖像中高亮的反射標(biāo)簽。通常，圖像中除了反 射標(biāo)簽外，其余部分均為黑色的背景，因此一個簡單的閾值方法即可將高亮像素從黑色背 景中分割出來。但是場景中的一些容易反光的物品，如日光燈的金屬外殼、風(fēng)扇、出風(fēng)口的 金屬部件等也會對紅外光源產(chǎn)生反射，并在圖像中形成高亮的像素，高亮像素也不全是反 射標(biāo)簽。
[0060] 在步驟(3)中，所述對二值化圖像中的所有標(biāo)記點進行聚類是指，首先，提取每個 高亮像素塊的中心，依據(jù)紅外路標(biāo)的標(biāo)記點數(shù)量和分布特征，提取出候選紅外路標(biāo)的標(biāo)記 點集合;其次，對每個標(biāo)記點集合進一步檢測，判斷是否存在四個位置識別標(biāo)記點1，若判斷 結(jié)果為是，則進入步驟(4)，提取四個位置識別標(biāo)記點1，否則，不做檢測。
[0061] 在步驟(4)中，所述對每個候選紅外路標(biāo)提取其四個位置識別標(biāo)記點1是指，對候 選紅外路標(biāo)的標(biāo)記點集合，以固定角度逐次按逆時針或順時針旋轉(zhuǎn)，直至旋轉(zhuǎn)小于超過 180°，對每次旋轉(zhuǎn)的標(biāo)記點集合提取最小外接矩形，對該外接矩形經(jīng)過的標(biāo)記點進行統(tǒng)計， 最后將出現(xiàn)次數(shù)最多的前四位標(biāo)記點作為可能的四個位置識別標(biāo)記點1。圖7(b)和圖7(c) 是由圖7(a)依次逆時針旋轉(zhuǎn)15°所得到的標(biāo)記點集合，兩次得到最小外接矩形都恰好經(jīng)過 位置識別標(biāo)記點1。圖7(d)為圖7(a)標(biāo)記點集合最終檢測結(jié)果，得到了四個位置識別標(biāo)記點 1，這四個位置識別標(biāo)記點1依次連接構(gòu)成整個路標(biāo)的最小外包四邊形，而最小外包四邊形 分布特征為近似平行四邊形，其兩組對邊長度的比值接近于1;最后對四個位置識別標(biāo)記點 1按照其分布特征進行約束，提高檢測準(zhǔn)確性。在圖7(a)、。圖7(b)、圖7(c)和圖7(d)中，黑色 虛線方框均是指最小外接矩形。
[0062] 在步驟(5)中，所述提取其身份識別標(biāo)記點2是指，根據(jù)四個位置識別標(biāo)記點1的雙 線性插值，生成內(nèi)部多個網(wǎng)格點，以每個網(wǎng)格點為中心，一定閾值范圍為半徑，生成一個可 能的檢測范圍；當(dāng)每個范圍內(nèi)存在標(biāo)記點時，則將該紅外路標(biāo)的二進制身份編碼相應(yīng)位置 置為1，否則置為0。以3X3模式為例，根據(jù)這四個位置識別標(biāo)記點1的雙線性插值點E，可以 生成內(nèi)部5個網(wǎng)格點，以每個網(wǎng)格點為中心，一定閾值范圍為半徑，生成一個可能檢測范圍 F，根據(jù)圖7(d)的檢測結(jié)果，生成身份識別標(biāo)記點2檢測示意圖，如圖8所示。當(dāng)每個范圍內(nèi)存 在標(biāo)記點時，則將該路標(biāo)的二進制身份編碼相應(yīng)位置置為1，否則置為0。以3 X 3模式路標(biāo)為 例，路標(biāo)身份信息可以設(shè)置為5位的二進制編碼，可以生成32種不同的路標(biāo)身份信息，4X4 模式路標(biāo)的身份信息可以設(shè)置為12位的二進制編碼，可以生成4096中不同的路標(biāo)身份信 息。
[0063] 當(dāng)紅外路標(biāo)的位置識別標(biāo)記點1檢測失敗時，則無需進行身份識別標(biāo)記點2檢測， 當(dāng)紅外路標(biāo)的位置識別標(biāo)記點1檢測成功時，通常最小外包四邊形內(nèi)部的標(biāo)記點不會出現(xiàn) 漏檢和多檢的情況，因此按照本發(fā)明提供的方法，很少會出現(xiàn)身份識別錯誤的情況。
[0064] 步驟(6)的計算方法如下：首先，建立攝像機4坐標(biāo)系和紅外路標(biāo)坐標(biāo)系，如圖9所 示，假設(shè)空間中一點B在圖像上成像為b，b在圖像上的像素坐標(biāo)為(u，v )，攝像機4坐標(biāo)系的 原點為攝像機4光軸與感光芯片的交點，X坐標(biāo)為平行圖像水平方向U，Y坐標(biāo)為平行圖像垂 直方向V，Z坐標(biāo)為沿著光軸向外的方向，如圖9中的OcXcYcZc為攝像機4坐標(biāo)系；
[0065] 紅外路標(biāo)坐標(biāo)系的原點設(shè)為四個位置標(biāo)記點中尺寸最大的標(biāo)記點中心位置，按右 手螺旋法則依次定義X、Y和Z方向，如圖10所示，0C為X方向，0A為Y方向，垂直向外的方向為Z 方向，紅外路標(biāo)坐標(biāo)系表示為OmXmYmZm;在紅外路標(biāo)坐標(biāo)系下確定紅外路標(biāo)中四個位置識 別標(biāo)記點l，〇ABC四個位置的坐標(biāo)分別為(0,0,0)，（0兒，0)，〇^兒，0)和〇^，0,0)，其中1^為0八 的實際距離；
[0066]假設(shè)圖像坐標(biāo)系下一點p，其像素坐標(biāo)為(u，v)，該點在攝像機4坐標(biāo)系下的坐標(biāo)為 (^，7。，2。），兩者之間滿足下面的關(guān)系：
[0068]其中，矩陣Μι為預(yù)先設(shè)定的攝像機內(nèi)參矩陣，其元素αχ，αγ，UQ，VQ為相機的內(nèi)參數(shù)； [0069]攝像機4坐標(biāo)系到紅外路標(biāo)坐標(biāo)系的剛性變換關(guān)系表示為旋轉(zhuǎn)矩陣R和平移向量 t，滿足下面的關(guān)系：
[0071 ]其中，[X。，Y。，Z。，1 ] 7和[Xm，Ym，Zm，1 ] 7分別為同一空間點在攝像機坐標(biāo)系和紅外路 標(biāo)坐標(biāo)系下的齊次坐標(biāo)，矩陣跑為攝像機坐標(biāo)系到紅外路標(biāo)坐標(biāo)系之間的變換矩陣，其中 旋轉(zhuǎn)矩陣R和平移向量t即為待求解的未知量；
[0072]將(2)式帶入(1)式中，得到：
[0074] 如圖9所示，設(shè)位置識別標(biāo)記點10ABC在路標(biāo)坐標(biāo)系下坐標(biāo)為(Xmi，Ymi，Zmi) (i = 1， 2,3,4)，其圖像坐標(biāo)為(出，^)(1 = 1，2,3,4)，在攝像機4坐標(biāo)系下坐標(biāo)為0。^。^。〇(1 = 1，2,3,4)，帶入(3)式得到四個方程：
[0076] 方程組(4)共有12個方程，10獨立變量，利用優(yōu)化算法求解旋轉(zhuǎn)矩陣R和平移向量 t，如圖11所示。通過求解得到的R和t值，得到紅外路標(biāo)坐標(biāo)系的原點在攝像機4坐標(biāo)系下的 坐標(biāo)為t，而攝像機4坐標(biāo)系下的原點在紅外路標(biāo)坐標(biāo)系下的位置坐標(biāo)為-R Tt，攝像機4坐標(biāo) 系相對于路標(biāo)坐標(biāo)系下的方位角即為_RT的歐拉角。
[0077] 綜上所述，本發(fā)明提供用于確定機器人3位置信息的紅外路標(biāo)，通過紅外攝像機4 可以拍攝路標(biāo)圖像，并能利用圖像處理算法計算機器人3的位置信息，紅外路標(biāo)在室內(nèi)環(huán)境 有無照明的條件下均可以穩(wěn)定使用。本發(fā)明還提供用于檢測路標(biāo)并提取路標(biāo)中四個用于定 位標(biāo)記點的提取方法，通過紅外照相機獲得路標(biāo)的圖像，對圖像進行簡單預(yù)處理后可以準(zhǔn) 確獲得每個路標(biāo)的四個定位標(biāo)記點和其它身份識別標(biāo)記點2。本發(fā)明提供利用位置識別標(biāo) 記點1實現(xiàn)機器人3定位的方法，通過標(biāo)記點提取方法，利用攝像機4事先標(biāo)定好的參數(shù)，可 以快速計算機器人3的位置信息，并根據(jù)身份識別標(biāo)記點2計算得到該路標(biāo)的唯一身份信息 ID，最終可以獲得攝像機4視覺內(nèi)每個不同ID路標(biāo)的相對位置信息。
【主權(quán)項】
1. 一種用于室內(nèi)移動機器人定位的紅外路標(biāo)，其特征在于:該紅外路標(biāo)由位置識別標(biāo) 記點和身份識別標(biāo)記點組成，所述位置識別標(biāo)記點是由所有標(biāo)記點的最小外包四邊形的四 個頂點位置上的標(biāo)記點組成，且在組成位置識別標(biāo)記點的四個標(biāo)記點中，其中一個標(biāo)記點 的尺寸大于其他Ξ個標(biāo)記點的尺寸;所述身份識別標(biāo)記點是由除位置標(biāo)記點之外的其他標(biāo) 記點組成;所述最小外包四邊形是指包含所有標(biāo)記點的四邊形中面積最小的四邊形。2. 根據(jù)權(quán)利要求1所述的用于室內(nèi)移動機器人定位的紅外路標(biāo)，其特征在于:所述位置 識別標(biāo)記點和身份識別標(biāo)記點均采用紅外Lm)發(fā)光燈，或者均采用在表面涂有逆反射材料 的柄簽片。3. 根據(jù)權(quán)利要求1所述的用于室內(nèi)移動機器人定位的紅外路標(biāo)，其特征在于:所述紅外 路標(biāo)為正方形，位置識別標(biāo)記點和身份識別標(biāo)記點的每個標(biāo)記點的中屯、點位于3 X 3或4 X 4 的等距網(wǎng)格點位置。4. 根據(jù)權(quán)利要求1所述的用于室內(nèi)移動機器人定位的紅外路標(biāo)，其特征在于:所述紅外 路標(biāo)貼在天花板上，配有紅外光源的攝像機豎直向上固定于在地面上移動的移動機器人的 頂部，攝像機和紅外路標(biāo)相對垂直布置，所述攝像機的拍攝視野中存在一個或多個紅外路 標(biāo)。5. 根據(jù)權(quán)利要求1所述的用于室內(nèi)移動機器人定位的紅外路標(biāo)，其特征在于:所述紅外 路標(biāo)貼于在地面上移動機器人的頂部，配有紅外光源的攝像機豎直向下固定在天花板上， 攝像機和紅外路標(biāo)相對垂直布置，所述攝像機的拍攝視野中存在一個或多個紅外路標(biāo)。6. 根據(jù)權(quán)利要求1至5中任一項所述的用于室內(nèi)移動機器人定位的紅外路標(biāo)的使用方 法，該方法包括下列順序的步驟： (1) 將紅外路標(biāo)貼在與攝像機垂直布置的位置處，攝像機采集含有紅外路標(biāo)的紅外圖 像； (2) 對攝像機采集的紅外圖像進行自適應(yīng)二值化預(yù)處理后得到二值化圖像； (3) 根據(jù)標(biāo)記點的尺寸、數(shù)量和分布特征，對二值化圖像中的所有標(biāo)記點進行聚類，提 取所有候選紅外路標(biāo)； (4) 對每個候選紅外路標(biāo)，提取其四個位置識別標(biāo)記點； (5) 對每個候選紅外路標(biāo)，接著提取其身份識別標(biāo)記點，識別紅外路標(biāo)的身份ID; (6) 計算攝像機坐標(biāo)系與紅外路標(biāo)坐標(biāo)系之間的相對位置，得到攝像機相對于每個路 標(biāo)坐標(biāo)系的位置和方位角。7. 根據(jù)權(quán)利要求6所述的使用方法，其特征在于:在步驟(3)中，所述對二值化圖像中的 所有標(biāo)記點進行聚類是指，首先，提取每個高亮像素塊的中屯、，依據(jù)紅外路標(biāo)的標(biāo)記點數(shù)量 和分布特征，提取出候選紅外路標(biāo)的標(biāo)記點集合;其次，對每個標(biāo)記點集合進一步檢測，判 斷是否存在四個位置識別標(biāo)記點，若判斷結(jié)果為是，則進入步驟(4)，提取四個位置識別標(biāo) 記點，否則，不做檢測。8. 根據(jù)權(quán)利要求6所述的使用方法，其特征在于:在步驟(4)中，所述對每個候選紅外路 標(biāo)提取其四個位置識別標(biāo)記點是指，對候選紅外路標(biāo)的標(biāo)記點集合，W固定角度逐次按逆 時針或順時針旋轉(zhuǎn)，直至旋轉(zhuǎn)小于超過180°，對每次旋轉(zhuǎn)的標(biāo)記點集合提取最小外接矩形， 對該外接矩形經(jīng)過的標(biāo)記點進行統(tǒng)計，最后將出現(xiàn)次數(shù)最多的前四位標(biāo)記點作為可能的四 個位置識別標(biāo)記點；運四個位置識別標(biāo)記點依次連接構(gòu)成整個路標(biāo)的最小外包四邊形，而 最小外包四邊形分布特征為近似平行四邊形，其兩組對邊長度的比值接近于1;最后對四個 位置識別標(biāo)記點按照其分布特征進行約束，提高檢測準(zhǔn)確性。9. 根據(jù)權(quán)利要求6所述的使用方法，其特征在于:在步驟(5)中，所述提取其身份識別標(biāo) 記點是指，根據(jù)四個位置識別標(biāo)記點的雙線性插值，生成內(nèi)部多個網(wǎng)格點，W每個網(wǎng)格點為 中屯、，一定闊值范圍為半徑，生成一個可能的檢測范圍；當(dāng)每個范圍內(nèi)存在標(biāo)記點時，則將 該紅外路標(biāo)的二進制身份編碼相應(yīng)位置置為1，否則置為0。10. 根據(jù)權(quán)利要求6所述的使用方法，其特征在于:步驟(6)的計算方法如下:首先，建立 攝像機坐標(biāo)系和紅外路標(biāo)坐標(biāo)系，假設(shè)空間中一點B在圖像上成像為b，b在圖像上的像素坐 標(biāo)為(u，v)，攝像機坐標(biāo)系的原點為攝像機光軸與感光忍片的交點，X坐標(biāo)為平行圖像水平 方向U，Y坐標(biāo)為平行圖像垂直方向V，Z坐標(biāo)為沿著光軸向外的方向，則OcX^cZc為攝像機坐 標(biāo)系； 紅外路標(biāo)坐標(biāo)系的原點設(shè)為四個位置標(biāo)記點中尺寸最大的標(biāo)記點中屯、位置，按右手螺 旋法則依次定義Χ、Υ和Z方向，0C為X方向，0A為Y方向，垂直向外的方向為Z方向，紅外路標(biāo)坐 標(biāo)系表示為OmXmYmZm;在紅外路標(biāo)坐標(biāo)系下確定紅外路標(biāo)中四個位置識別標(biāo)記點，0ABC四 個位置的坐標(biāo)分別為(0,0,0)，（0，1，0)，化，1^，0)和化，0,0)，其中1^為04的實際距離； 假設(shè)圖像坐標(biāo)系下一點P，其像素坐標(biāo)為(u，v)，該點在攝像機坐標(biāo)系下的坐標(biāo)為(X。， yc，zc)，兩者之間滿足下面的關(guān)系：(1) 其中，矩陣化為預(yù)先設(shè)定的攝像機內(nèi)參矩陣，其元素曰X，曰y，U0，V0為相機的內(nèi)參數(shù)； 攝像機坐標(biāo)系到紅外路標(biāo)坐標(biāo)系的剛性變換關(guān)系表示為旋轉(zhuǎn)矩陣R和平移向量t，滿足 下面的關(guān)系：(2) 其中，[瓜，￥。，2。，1]哺防，￥"，2。山呀別為同一空間點在攝像機坐標(biāo)系和紅外路標(biāo)坐 標(biāo)系下的齊次坐標(biāo)，矩陣M2為攝像機坐標(biāo)系到紅外路標(biāo)坐標(biāo)系之間的變換矩陣，其中旋轉(zhuǎn) 矩陣R和平移向量t即為待求解的未知量； 將(2)式帶入(1)式中，得到：(3) 設(shè)位置識別標(biāo)記點0ABC在路標(biāo)坐標(biāo)系下坐標(biāo)為(Xmi，Ymi，Zmi) (i = 1，2，3，4)，其圖像坐 標(biāo)為(Ui, Vi) (i = l ,2,3,4)，在攝像機坐標(biāo)系下坐標(biāo)為(Xci，Yci，Zci)(i = 1,2,3,4)，帶入(3) 式得到四個方程：(4) 方程組(4)共有12個方程，10獨立變量，利用優(yōu)化算法求解旋轉(zhuǎn)矩陣R和平移向量t，通 過求解得到的R和t值，得到紅外路標(biāo)坐標(biāo)系的原點在攝像機坐標(biāo)系下的坐標(biāo)為t，而攝像機 坐標(biāo)系下的原點在紅外路標(biāo)坐標(biāo)系下的位置坐標(biāo)為-RTt，攝像機坐標(biāo)系相對于路標(biāo)坐標(biāo)系 下的方位角即為-RT的歐拉角。
【文檔編號】G01C21/20GK106092090SQ201610638253
【公開日】2016年11月9日
【申請日】2016年8月6日 公開號201610638253.0, CN 106092090 A, CN 106092090A, CN 201610638253, CN-A-106092090, CN106092090 A, CN106092090A, CN201610638253, CN201610638253.0
【發(fā)明人】韋虎, 黃炫, 倪化生
【申請人】中科院合肥技術(shù)創(chuàng)新工程院