本發(fā)明涉及一種利用機(jī)器人進(jìn)行基于多傳感器融合的目標(biāo)物識別系統(tǒng)。

背景技術(shù)：

隨著社會信息化技術(shù)的發(fā)展，具有自主導(dǎo)航能力的移動機(jī)器人在各個行業(yè)被廣泛應(yīng)用。機(jī)器人在行走和探索的過程中，實(shí)現(xiàn)機(jī)器人在未知環(huán)境中的運(yùn)動、根據(jù)人的要求尋找目標(biāo)并避免造成機(jī)器人本體的損壞以及設(shè)備的損壞，它必須能夠識別出周圍環(huán)境中的物體。

目前已經(jīng)有很多方法成功地應(yīng)用于基于視覺的物體識別中，如激光測距、超聲波、毫米波雷達(dá)、多源融合以及基于計(jì)算機(jī)視覺的識別方法。基于超聲波的目標(biāo)物識別方法大多用于機(jī)器人避障領(lǐng)域。經(jīng)典的超聲波測距技術(shù)有著廣泛的應(yīng)用性和獨(dú)特的優(yōu)勢，但在實(shí)際的應(yīng)用環(huán)境中，依靠單一的超聲波測距傳感器進(jìn)行設(shè)計(jì)適應(yīng)能力差，只能對障礙物的距離精確測定，障礙物的位置等其他信息大多只能通過模糊推斷得到，其實(shí)時性、準(zhǔn)確性難以保證。此外，超聲波在測距精度、測量盲區(qū)和測量范圍等問題上存在很多局限性。基于視覺的目標(biāo)識別方法雖然可以實(shí)現(xiàn)較大范圍、精密的數(shù)據(jù)采集，但是，采樣信息的豐富同時也引入了更高的系統(tǒng)成本；并且，功能模塊的擴(kuò)展需要借助更強(qiáng)大的微電子技術(shù)和電源技術(shù)才能實(shí)現(xiàn)，因此，機(jī)器人的功耗提高，連續(xù)工作時間變低，實(shí)時性下降。

此外，嵌入式機(jī)器人并沒有一套針對工作狀態(tài)的可視化操作界面，現(xiàn)有的機(jī)器人遠(yuǎn)程監(jiān)控系統(tǒng)往往依賴于機(jī)器人廠商所提供的監(jiān)控平臺，不但不具有通用性，而且往往價格昂貴，使很多致力于機(jī)器人行業(yè)的小公司望而卻步。目前對于嵌入式機(jī)器人的工作狀態(tài)完全依賴于有經(jīng)驗(yàn)的機(jī)器人工程師對工作實(shí)際情況的分析，并沒有深入到系統(tǒng)層面，對于嵌入式機(jī)器人的cpu工作負(fù)載、詳細(xì)實(shí)時運(yùn)行狀態(tài)更是一無所知，這對于長期、高效、安全地使用機(jī)器人是不利的。

為了克服傳統(tǒng)移動機(jī)器人在功能和功耗之間的矛盾，使機(jī)器人可以在更復(fù)雜、惡劣的環(huán)境中穩(wěn)定工作，目前常見的方法是將機(jī)器人移動系統(tǒng)與傳感器、處理器系統(tǒng)分離，采用高容量電池或長電線利用電網(wǎng)供電，將微機(jī)與之組合，實(shí)現(xiàn)相應(yīng)功能。這種方法適用于實(shí)驗(yàn)室或野外廣闊的環(huán)境，可以進(jìn)行精密的距離測量和復(fù)雜的圖像處理。但相應(yīng)機(jī)器人的體積偏大、成本高昂、自動化與智能化程度低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一套以機(jī)器人為基礎(chǔ)的、具有目標(biāo)距離測量、圖像處理和自身狀態(tài)監(jiān)控功能的系統(tǒng)，具有實(shí)時性強(qiáng)、交互感好、成本低、用途廣、精度高、功能擴(kuò)展方便以及穩(wěn)定性好等優(yōu)點(diǎn)。

為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是提供了一種機(jī)器人目標(biāo)標(biāo)定和自身狀態(tài)監(jiān)控功能的系統(tǒng)，其特征在于，包括目標(biāo)物的距離測量及圖像拍攝模塊、機(jī)器人狀態(tài)數(shù)據(jù)采集模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)處理與顯示模塊，其中：

距離測量及圖像拍攝模塊，通過各種傳感器采集相應(yīng)數(shù)據(jù)，并將采集到的數(shù)據(jù)儲存在機(jī)器人上；

機(jī)器人狀態(tài)數(shù)據(jù)采集模塊，用于實(shí)時監(jiān)視機(jī)器人信息，機(jī)器人信息包括機(jī)器人各種參數(shù)與所述距離測量及圖像拍攝模塊中各個傳感器采集到的數(shù)據(jù)；

數(shù)據(jù)傳輸模塊，通過無線方式將通過距離測量及圖像拍攝模塊獲得的原始數(shù)據(jù)傳輸至電腦端；

數(shù)據(jù)處理與顯示模塊，接收電腦端獲得的數(shù)據(jù)后，將其處理為用戶想要的、直觀的目標(biāo)物信息，并與由所述機(jī)器人狀態(tài)數(shù)據(jù)采集模塊監(jiān)測的機(jī)器人信息一同在交互界面上顯示。

優(yōu)選地，所述距離測量及圖像拍攝模塊包括超聲波傳感器、紅外傳感器、視覺傳感器，其中：

超聲波傳感器用于測量目標(biāo)距離，紅外傳感器用于對近距離超聲波傳感器的盲區(qū)補(bǔ)充測量，超聲波傳感器及紅外傳感器均勻分布在機(jī)器人的側(cè)面，通過測量值的不同來預(yù)估目標(biāo)個數(shù)、距離和大致方位；

視覺傳感器，用于拍攝正前方的環(huán)境信息，視覺傳感器位于機(jī)器人正面。

優(yōu)選地，所述數(shù)據(jù)處理與顯示模塊顯示的信息包括機(jī)器人速度、加速度、目標(biāo)物距離、電池使用情況、cpu負(fù)載程度，同時，還顯示通過圖像處理得到的目標(biāo)物形狀方位、通過所述視覺傳感器標(biāo)定得到的目標(biāo)物大小、通過融合多種多個傳感器的數(shù)據(jù)得到目標(biāo)具體信息及其附近環(huán)境信息。

優(yōu)選地，所述機(jī)器人各種參數(shù)包括速度、位置、與目標(biāo)物距離、電池使用情況、cpu負(fù)載程度。

優(yōu)選地，所述數(shù)據(jù)傳輸模塊包括wi-fi通信模塊，通過wi-fi通信模塊建立網(wǎng)絡(luò)連接協(xié)議和數(shù)據(jù)傳輸。

由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點(diǎn)和積極效果：本發(fā)明將距離測量、圖像采集、數(shù)據(jù)處理與顯示、性能監(jiān)控集于一體，可以低成本、快速實(shí)現(xiàn)目標(biāo)尋找和周圍環(huán)境構(gòu)建。本發(fā)明是基于多傳感器數(shù)據(jù)融合的原理實(shí)現(xiàn)的，經(jīng)過實(shí)驗(yàn)測試，本發(fā)明系統(tǒng)工作穩(wěn)定、擴(kuò)展性好、成本低、交互界面直觀友好、系統(tǒng)工作穩(wěn)定，在特定環(huán)境中可以準(zhǔn)確、快速執(zhí)行一些目標(biāo)尋找任務(wù)。

附圖說明

圖1為本發(fā)明的結(jié)構(gòu)框圖；

圖2為本發(fā)明中距離測量與圖像拍攝模塊的結(jié)構(gòu)示意圖；

圖3為機(jī)器人、本地window機(jī)器和linux虛擬機(jī)的交互示意圖；

圖4為利用機(jī)器人超聲波傳感器和紅外傳感器共同作用得到周圍未知物體與機(jī)器人間的距離的示意圖；

圖5為機(jī)器人運(yùn)動模型。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對本發(fā)明作各種改動或修改，這些等價形式同樣落于本申請所附權(quán)利要求書所限定的范圍。

本發(fā)明的實(shí)施方式涉及一套機(jī)器人目標(biāo)尋找和狀態(tài)監(jiān)控的系統(tǒng)，系統(tǒng)包括目標(biāo)物測量與機(jī)器人狀態(tài)數(shù)據(jù)采集模塊、機(jī)器人狀態(tài)數(shù)據(jù)采集模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)處理與顯示模塊；所述目標(biāo)物測量與機(jī)器人狀態(tài)數(shù)據(jù)采集模塊用于原始數(shù)據(jù)的獲取，如目標(biāo)距離和形狀，記錄機(jī)器人參數(shù)，以獲取機(jī)器人運(yùn)行狀態(tài)、推算機(jī)器人運(yùn)動狀態(tài)；所述數(shù)據(jù)傳輸模塊通過wifi或藍(lán)牙，利用tcp/ip協(xié)議或ssh協(xié)議將各個傳感器的數(shù)據(jù)發(fā)送至電腦端；所述數(shù)據(jù)處理與顯示模塊，通過實(shí)時獲得的速率、陀螺儀信息等推算出機(jī)器人的運(yùn)動軌跡，利用matlab等數(shù)學(xué)工具處理獲得的原始圖片，獲得機(jī)器人在運(yùn)動過程中拍攝到物體的形狀、顏色等性狀，結(jié)合視覺傳感器的標(biāo)定推算物體的大小，統(tǒng)計(jì)所有信息得到所尋目標(biāo)及尋找過程中的大概環(huán)境信息。

圖1是本發(fā)明一套基于多傳感器融合的機(jī)器人目標(biāo)物識別系統(tǒng)的結(jié)構(gòu)框圖。由圖1可見，系統(tǒng)包括目標(biāo)物的距離測量及圖像拍攝模塊、機(jī)器人狀態(tài)數(shù)據(jù)采集模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)處理與顯示模塊。

如圖1所示，多個嵌入式機(jī)器人編隊(duì)運(yùn)動，在不同方向?qū)ξ粗矬w進(jìn)行協(xié)同探測，并將得到的信息存儲；在機(jī)器人、本地window機(jī)器和linux虛擬機(jī)里均安裝zabbix監(jiān)控軟件，監(jiān)控機(jī)器人自身的運(yùn)動信息，并將傳感器得到的數(shù)據(jù)發(fā)送至window機(jī)器，利用本地機(jī)器處理數(shù)據(jù)后，將結(jié)果送至linux虛擬機(jī)并在前端顯示。

如圖2所示，距離測量及圖像拍攝模塊，主要利用超聲波傳感器測量機(jī)器人與未知物體間的距離，由于超聲波傳感器存在“盲區(qū)”，所以利用紅外傳感器測量機(jī)器人近處作為補(bǔ)償；利用視覺傳感器間斷拍攝機(jī)器人運(yùn)動正前方的圖像。傳感器得到的距離、圖像等數(shù)據(jù)存儲在機(jī)器人存儲器內(nèi)。

如圖3所示，在機(jī)器人、本地window機(jī)器和linux虛擬機(jī)里均安裝zabbix監(jiān)控軟件，基于本地路由器的wifi模式，采用securecrt通過ssh協(xié)議登陸到機(jī)器人操作系統(tǒng)，由機(jī)器人運(yùn)行代碼完成在機(jī)器人存儲器上的數(shù)據(jù)傳輸；在機(jī)器人、本地windows機(jī)器和linux虛擬機(jī)中均設(shè)定監(jiān)控項(xiàng)，將機(jī)器人傳感器得到的信息存儲在linux虛擬機(jī)的數(shù)據(jù)庫中，并在前端顯示。

如圖4所示，利用機(jī)器人超聲波傳感器和紅外傳感器共同作用得到周圍未知物體與機(jī)器人間的距離。機(jī)器人采用cmos圖像采集傳感器，具有高靈敏度、低噪聲、光譜響應(yīng)范圍廣、輸出圖像快速和良好的動態(tài)性能等優(yōu)點(diǎn)，能在機(jī)器人不規(guī)則的運(yùn)動狀態(tài)下拍攝到較為清晰的圖像。圖像處理主要分為：圖像灰度化與二值化、濾波、邊緣檢測和顏色匹配等四個部分。首先，對圖像進(jìn)行灰度化處理，使用單尺度retinex算法消除背景及障礙物由于自然光照形成的陰影，降低陰影路面與非陰影路面的對比度，增強(qiáng)圖像；使用掃描線種子法進(jìn)行區(qū)域填充，利用canny邊緣檢測提取邊緣，即物體輪廓，并進(jìn)行信息記錄；最后對圖像物體所在位置利用顏色特征匹配法，尋找是否與目標(biāo)顏色匹配。

機(jī)器人運(yùn)動模型如圖5，機(jī)器人運(yùn)動只考慮二維平面的運(yùn)動，不考慮傾角的坡面運(yùn)動，即不考慮無人車z軸方向的移動，因此無人車的位姿信息q包括二維平面的位置和朝向。

q＝[xy]^t

式中，x和y是機(jī)器人在二維坐標(biāo)系的位置，是機(jī)器人方向與x軸正方向的夾角，若以機(jī)器人初始朝向?yàn)閤軸正方向。

機(jī)器人的線速度為v，則無人車在二維坐標(biāo)系的軸方向線速度和軸方向線速度為：

機(jī)器人中的陀螺儀可以測得三個數(shù)據(jù)x，y，z：分別表示機(jī)器人在yz、xz、xy平面的角加速度，可以利用角加速度進(jìn)行積分得到角速度ω，再次積分得到角度θ。最后，利用上述獲得的數(shù)據(jù)，推導(dǎo)出機(jī)器人的運(yùn)動軌跡，并結(jié)合圖像處理的到的物體信息，再標(biāo)記出物體與機(jī)器人的相對位置。

本實(shí)例的數(shù)據(jù)采集及處理還需要通過相應(yīng)的程序代碼實(shí)現(xiàn)，即，首先編寫機(jī)器人運(yùn)動控制相關(guān)代碼，使其既能平穩(wěn)勻速運(yùn)動，又能避開障礙并減小障礙物對機(jī)器人運(yùn)動狀態(tài)的影響；然后在機(jī)器人嵌入式系統(tǒng)、本地window系統(tǒng)和linux虛擬機(jī)內(nèi)安裝zabbix監(jiān)控軟件，設(shè)定監(jiān)控項(xiàng)，編寫監(jiān)控和文件傳輸腳本，并在前端顯示數(shù)據(jù)；接著，在本地系統(tǒng)使用matlab腳本處理原始圖像，并將結(jié)果放入監(jiān)控對象；最后對各個傳感器得到進(jìn)行信息融合得到目標(biāo)物。