基于多傳感器融合的視覺(jué)導(dǎo)引agv系統(tǒng)的制作方法
【專利摘要】基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，包括車體，所述車體的前側(cè)安裝有遠(yuǎn)距離超聲波測(cè)距模塊和圖像采集設(shè)備，所述車體的兩側(cè)均布有近距離超聲波測(cè)距模塊，所述車體上安裝有GPS定位模塊、電源模塊、電機(jī)驅(qū)動(dòng)模塊和上位機(jī)，所述車體的AGV視覺(jué)導(dǎo)引方法包括在系統(tǒng)初始化期間執(zhí)行一次或者系統(tǒng)觸發(fā)了設(shè)定條件后執(zhí)行的階段一和在系統(tǒng)運(yùn)行期間連續(xù)執(zhí)行的階段二，階段一是自適應(yīng)學(xué)習(xí)階段，階段二是路面檢測(cè)和路徑規(guī)劃階段。本發(fā)明的優(yōu)點(diǎn)：無(wú)需人工鋪設(shè)導(dǎo)引標(biāo)識(shí)，應(yīng)用靈活，通用性強(qiáng)，能有效地降低AGV系統(tǒng)的整體構(gòu)建成本；適用與多種復(fù)雜路況，以及各種天氣條件；其自適應(yīng)學(xué)習(xí)算法能有效的克服光照、陰影、車道線等因素對(duì)道路識(shí)別的影響。
【專利說(shuō)明】基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及自動(dòng)控制領(lǐng)域，特別是一種基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)。

【背景技術(shù)】
[0002]自AGV誕生60多年以來(lái)，已經(jīng)發(fā)展成為現(xiàn)代化生產(chǎn)物流系統(tǒng)中不可缺少的重要組成部分，并出現(xiàn)產(chǎn)業(yè)化發(fā)展的趨勢(shì)。同時(shí)，AGV系統(tǒng)的應(yīng)用范圍已經(jīng)從車間內(nèi)的物料搬運(yùn)擴(kuò)展到各種應(yīng)用領(lǐng)域，包括室外長(zhǎng)距離的物料運(yùn)輸(如港口的物料運(yùn)輸和裝卸，廠區(qū)內(nèi)車間之間的物料運(yùn)輸?shù)?，物流自動(dòng)化倉(cāng)庫(kù)，服務(wù)機(jī)器人的自動(dòng)導(dǎo)航(展館，會(huì)場(chǎng)等)，以及智能汽車等。
[0003]相對(duì)于室內(nèi)的AGV系統(tǒng),室外AGV導(dǎo)引技術(shù)發(fā)展仍然相對(duì)滯后。受到室外環(huán)境因素的影響，傳統(tǒng)的導(dǎo)引技術(shù)無(wú)法擴(kuò)展到室外。以電磁導(dǎo)引為例，如將電磁導(dǎo)引所需要的軌道鋪設(shè)于室外環(huán)境，不僅帶來(lái)高昂的構(gòu)建、維護(hù)和擴(kuò)展成本，同時(shí)系統(tǒng)極易受到天氣條件的影響。基于色帶的導(dǎo)引同樣無(wú)法擴(kuò)展至室外環(huán)境。


【發(fā)明內(nèi)容】

[0004]本發(fā)明提供了一種適應(yīng)多種復(fù)雜路況和各種天氣條件的適用于室外的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)。
[0005]本發(fā)明采用的技術(shù)方案是:
[0006]基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，包括車體，所述車體的前側(cè)安裝有遠(yuǎn)距離超聲波測(cè)距模塊和圖像采集設(shè)備，所述車體的兩側(cè)均布有近距離超聲波測(cè)距模塊，所述車體上安裝有GPS定位模塊、電源模塊、電機(jī)驅(qū)動(dòng)模塊和上位機(jī)，其特征在于:所述車體的AGV視覺(jué)導(dǎo)引方法包括在系統(tǒng)初始化期間執(zhí)行一次或者系統(tǒng)觸發(fā)了設(shè)定條件后執(zhí)行的階段一和在系統(tǒng)運(yùn)行期間連續(xù)執(zhí)行的階段二；
[0007]階段一是自適應(yīng)學(xué)習(xí)階段，其具體步驟如下:
[0008]步驟[11]:圖像預(yù)處理，通過(guò)圖像采集設(shè)備采集道路圖像，減低所采集道路圖像的噪聲，糾正圖像色偏；
[0009]步驟[12]:邊緣檢測(cè)，獲取道路圖像中的邊緣輪廓信息；
[0010]步驟[13]:道路樣本自動(dòng)選擇，在邊緣檢測(cè)獲得的邊緣輪廓信息的基礎(chǔ)上提取道路主體部分的左右道路邊界，即近端近似直線部分，將左右道路邊界交叉點(diǎn)下方的邊界內(nèi)部分的像素點(diǎn)確定為樣本區(qū)域；
[0011]步驟[14]:聚類分析，從確定的樣本區(qū)域獲得表征當(dāng)前路面顏色和紋理特征的聚類中心點(diǎn)；
[0012]階段二是路面檢測(cè)和路徑規(guī)劃階段，其具體步驟如下:
[0013]步驟[21]:圖像預(yù)處理，通過(guò)圖像采集設(shè)備采集道路圖像，減低所采集道路圖像的噪聲，糾正圖像色偏；
[0014]步驟[22]:像素分類，對(duì)采集的道路圖像進(jìn)行逐像素處理，提取每個(gè)像素點(diǎn)的特征向量，和聚類分析中得到的聚類中心點(diǎn)進(jìn)行比較，將像素點(diǎn)歸為道路區(qū)域或者非道路區(qū)域，道路區(qū)域的像素點(diǎn)為黑色，非道路區(qū)域的像素點(diǎn)為灰色；
[0015]步驟[23]:形態(tài)學(xué)處理，消除道路區(qū)域和可能存在的誤判區(qū)域之間的細(xì)微連接；
[0016]步驟[24]:從圖像底部道路區(qū)域內(nèi)選擇若干種子點(diǎn)進(jìn)行區(qū)域生長(zhǎng)算法，獲得道路的完整形狀，置為白色路面；
[0017]步驟[25]:道路的模式判斷和道路中心線提取，根據(jù)白色路面的整體分布情況，判斷當(dāng)前所處道路模式是直線道路、轉(zhuǎn)彎道路、十字路口或三岔路口，AGV的路徑規(guī)劃模塊根據(jù)道路的形狀和模式，針對(duì)岔路口和非岔路口選用不同的策略進(jìn)行路徑規(guī)劃，提取相應(yīng)的行進(jìn)參考曲線；
[0018]對(duì)于非岔路，使用高次曲線擬合白色路面的左右邊界，將代表左右邊界的高次曲線的參數(shù)進(jìn)行加權(quán)平均獲得AGV的行進(jìn)參考曲線；
[0019]對(duì)于岔路口，根據(jù)白色路面的整體形狀和道路交叉位置，以及AGV當(dāng)前位置和目標(biāo)位置的相對(duì)關(guān)系，使用恰當(dāng)?shù)哪０鍖?duì)部分路面進(jìn)行屏蔽，將岔路口處的路徑規(guī)劃問(wèn)題轉(zhuǎn)換為非岔路情況下的路徑規(guī)劃；
[0020]步驟[26]:行進(jìn)策略的制定，上位機(jī)結(jié)合提取好的行進(jìn)參考線的偏移和曲率半徑，計(jì)算出合理的行進(jìn)速度值和轉(zhuǎn)彎半徑值，通過(guò)串口通訊的方式，將命令發(fā)送給底層的驅(qū)動(dòng)模塊。
[0021]進(jìn)一步，階段一觸發(fā)的設(shè)定條件為距離上一次運(yùn)行時(shí)間間隔超過(guò)設(shè)定的閾值Tmax或是路面檢測(cè)過(guò)程持續(xù)獲得無(wú)效的檢測(cè)結(jié)果。
[0022]進(jìn)一步，步驟[11]和步驟[21]中的圖像預(yù)處理包括圖像濾波、白平衡處理，圖像濾波采用均值濾波去除由圖像采集設(shè)備以及路面紋理引入的細(xì)微噪點(diǎn)，白平衡處理采用如下公式進(jìn)行處理:

【權(quán)利要求】
1.基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，包括車體，所述車體的前側(cè)安裝有遠(yuǎn)距離超聲波測(cè)距模塊和圖像采集設(shè)備，所述車體的兩側(cè)均布有近距離超聲波測(cè)距模塊，所述車體上安裝有GPS定位模塊、電源模塊、電機(jī)驅(qū)動(dòng)模塊和上位機(jī)，其特征在于:所述車體的AGV視覺(jué)導(dǎo)引方法包括在系統(tǒng)初始化期間執(zhí)行一次或者系統(tǒng)觸發(fā)了設(shè)定條件后執(zhí)行的階段一和在系統(tǒng)運(yùn)行期間連續(xù)執(zhí)行的階段二； 階段一是自適應(yīng)學(xué)習(xí)階段，其具體步驟如下: 步驟[11]:圖像預(yù)處理，通過(guò)圖像采集設(shè)備采集道路圖像，減低所采集道路圖像的噪聲，糾正圖像色偏； 步驟[12]:邊緣檢測(cè)，獲取道路圖像中的邊緣輪廓信息； 步驟[13]:道路樣本自動(dòng)選擇，在邊緣檢測(cè)獲得的邊緣輪廓信息的基礎(chǔ)上提取道路主體部分的左右道路邊界，即近端近似直線部分，將左右道路邊界交叉點(diǎn)下方的邊界內(nèi)部分的像素點(diǎn)確定為樣本區(qū)域； 步驟[14]:聚類分析，從確定的樣本區(qū)域獲得表征當(dāng)前路面顏色和紋理特征的聚類中心點(diǎn)； 階段二是路面檢測(cè)和路徑規(guī)劃階段，其具體步驟如下: 步驟[21]:圖像預(yù)處理，通過(guò)圖像采集設(shè)備采集道路圖像，減低所采集道路圖像的噪聲，糾正圖像色偏； 步驟[22]:像素分類，對(duì)采集的道路圖像進(jìn)行逐像素處理，提取每個(gè)像素點(diǎn)的特征向量，和聚類分析中得到的聚類中心點(diǎn)進(jìn)行比較，將像素點(diǎn)歸為道路區(qū)域或者非道路區(qū)域，道路區(qū)域的像素點(diǎn)為黑色，非道路區(qū)域的像素點(diǎn)為灰色； 步驟[23]:形態(tài)學(xué)處理，消除道路區(qū)域和可能存在的誤判區(qū)域之間的細(xì)微連接； 步驟[24]:從圖像底部道路區(qū)域內(nèi)選擇若干種子點(diǎn)進(jìn)行區(qū)域生長(zhǎng)算法，獲得道路的完整形狀，置為白色路面； 步驟[25]:道路的模式判斷和道路中心線提取，根據(jù)白色路面的整體分布情況，判斷當(dāng)前所處道路模式是直線道路、轉(zhuǎn)彎道路、十字路口或三岔路口，AGV的路徑規(guī)劃模塊根據(jù)道路的形狀和模式，針對(duì)岔路口和非岔路口選用不同的策略進(jìn)行路徑規(guī)劃，提取相應(yīng)的行進(jìn)參考曲線； 對(duì)于非盆路，使用聞次曲線擬合白色路面的左右邊界，將代表左右邊界的聞次曲線的參數(shù)進(jìn)行加權(quán)平均獲得AGV的行進(jìn)參考曲線； 對(duì)于岔路口，根據(jù)白色路面的整體形狀和道路交叉位置，以及AGV當(dāng)前位置和目標(biāo)位置的相對(duì)關(guān)系，使用恰當(dāng)?shù)哪０鍖?duì)部分路面進(jìn)行屏蔽，將岔路口處的路徑規(guī)劃問(wèn)題轉(zhuǎn)換為非岔路情況下的路徑規(guī)劃； 步驟[26]:行進(jìn)策略的制定，上位機(jī)結(jié)合提取好的行進(jìn)參考線的偏移和曲率半徑，計(jì)算出合理的行進(jìn)速度值和轉(zhuǎn)彎半徑值，通過(guò)串口通訊的方式，將命令發(fā)送給底層的驅(qū)動(dòng)模塊。
2.根據(jù)權(quán)利要求1所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:階段一觸發(fā)的設(shè)定條件為距離上一次運(yùn)行時(shí)間間隔超過(guò)設(shè)定的閾值Tmax或是路面檢測(cè)過(guò)程持續(xù)獲得無(wú)效的檢測(cè)結(jié)果。
3.根據(jù)權(quán)利要求1或2所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:步驟[11]和步驟[21]中的圖像預(yù)處理包括圖像濾波、白平衡處理，圖像濾波采用均值濾波去除由圖像采集設(shè)備以及路面紋理引入的細(xì)微噪點(diǎn)，白平衡處理采用如下公式進(jìn)行處理: fD it — a
^ s': S.= β y = (D j ￡； 4- R 1/3

lHrg ~ IriQVg ^^ DQvg)/^ Bi B




(I) 式中，Ravg, Gavg, Bavg是RGB各通道的灰度均值。
4.根據(jù)權(quán)利要求3所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:步驟[12]的邊緣檢測(cè)需要將R，G，B三通道圖像轉(zhuǎn)換成灰度圖像，利用Canny算子提取出道路圖像中的邊緣輪廓信息，邊緣檢測(cè)過(guò)程輸出二值圖像，白色像素指示邊緣區(qū)域，黑色像素指示非輪廓區(qū)域。
5.根據(jù)權(quán)利要求4所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:步驟[13]中采用遠(yuǎn)距離超聲波檢測(cè)模塊驗(yàn)證樣本區(qū)域的有效性。
6.根據(jù)權(quán)利要求5所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:步驟[14]將采集的樣本區(qū)域中每個(gè)像素點(diǎn)轉(zhuǎn)換到6維的向量空間中:
V = {Rnor, Gnor, Bn0r, Contrast, Energy, Correlat1n}(2)
式中，Rnor? Gnor, Bnor 是歸一化的 R, G, B 均值，Contrast、Energy、Correlat1n 是從以當(dāng)前像素為中心，16X 16模板的灰度共生矩陣提出的紋理特征，分別是:對(duì)比度，能量以及協(xié)方差，采用K均值聚類分析算法。
7.根據(jù)權(quán)利要求6所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:在步驟[25]完成行進(jìn)參考曲線的提取后，對(duì)參考曲線的參數(shù)進(jìn)行卡爾曼濾波環(huán)節(jié)，步驟[25]中的白色路面的左右邊界經(jīng)過(guò)多次曲線擬合。
8.根據(jù)權(quán)利要求7所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:步驟[26]中通過(guò)行進(jìn)參考曲線上所有點(diǎn)的一階導(dǎo)數(shù)平均值，判斷道路的轉(zhuǎn)向，將右轉(zhuǎn)道路的平均曲率半徑設(shè)置為負(fù)數(shù)，左轉(zhuǎn)道路平均曲率半徑設(shè)置為正數(shù)，根據(jù)曲率半徑和偏移的不同，將當(dāng)前路況分為四種方式進(jìn)行處理，并分別調(diào)整AGV的速度值和轉(zhuǎn)半徑值，AGV的速度和轉(zhuǎn)彎半徑計(jì)算如下式所示: Rrmi = C1R +.0ffset(3)
(--j< |Λ ? V = I?ιαχI ^TnaLV* if I^real i —?(4) 式中，f是行進(jìn)參考線的平均曲率半徑，C1和C2是常數(shù)因子，Rmax是實(shí)際運(yùn)行過(guò)程中作為轉(zhuǎn)彎半徑無(wú)窮大的常量值，offset是參考線的偏移值，Rreal和V分別是計(jì)算得出的AGV需要的轉(zhuǎn)彎半徑值和速度值。
9.根據(jù)權(quán)利要求8所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:步驟[26]的驅(qū)動(dòng)模塊在行駛時(shí)通過(guò)近距離超聲波測(cè)距模塊檢測(cè)視覺(jué)盲區(qū)，輔助AGV的轉(zhuǎn)彎過(guò)程以及緊急避障。
10.根據(jù)權(quán)利要求9所述的基于多傳感器融合的視覺(jué)導(dǎo)引AGV系統(tǒng)，其特征在于:所述遠(yuǎn)距離超聲波測(cè)距模塊和圖像采集設(shè)備安裝在車體前端的同一垂線上，所述遠(yuǎn)距離超聲波測(cè)距模塊位于圖像采集設(shè)備的下方。
【文檔編號(hào)】G05D1/02GK104166400SQ201410330432
【公開(kāi)日】2014年11月26日 申請(qǐng)日期:2014年7月11日 優(yōu)先權(quán)日:2014年7月11日
【發(fā)明者】林志赟, 張雪菁 申請(qǐng)人:杭州精久科技有限公司