模塊化機械臂的智能分揀方法
【專利摘要】本發(fā)明提供的模塊化機械臂的智能分揀方法，具有這樣的特征，包括以下步驟：步驟一，通過體感傳感器完成目標檢測與識別，獲取場景中各物體的準確空間位置信息，得到三維場景語義地圖描述文件；步驟二，以人機對話的形式確定意圖，推理得到分揀規(guī)則；以及步驟三，接收解決方案，通過自然語言編程將解決方案編程為機器人指令，解析編譯執(zhí)行指令，并控制機械臂進行智能分揀。本發(fā)明提出的方法實現(xiàn)了模塊化機械臂的控制，同時將智能感知與識別，人機對話與交互融入了控制系統(tǒng)，成功的完成了智能分揀任務(wù)，提高了模塊化機械臂的智能性。
【專利說明】
模塊化機械臂的智能分揀方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及模塊化機械臂的控制領(lǐng)域，特別涉及一種模塊化機械臂的智能分揀方法。
【背景技術(shù)】
[0002]模塊化機械臂相對于傳統(tǒng)的機械臂有著占用空間小，成本低，功能多樣，靈活性強的優(yōu)勢。近年來，國內(nèi)外越來越多的機器人公司或機器人研究所開展了對模塊化機械臂的研究并取得了一定的成果。
[0003]在模塊化機械臂分揀作業(yè)平臺上融入三維物體識別，人機交互與推理，大大提高了分揀系統(tǒng)的智能水平。
[0004]文獻檢索查到相關(guān)專利:2015年4月22日公開的申請?zhí)枮镃N201410723309.3的發(fā)明專利《智能分揀系統(tǒng)及分揀方法》，公開了一種智能分揀方法，該項發(fā)明能夠識別多種顏色的物體，并且能進行引導(dǎo)性學(xué)習(xí)，自動將不同顏色的物體放到指定位置。
[0005]但是，上述專利只涉及到物體顏色識別，并不能識別大小、形狀以及物體的三維坐標；同時上述專利是利用學(xué)習(xí)模塊預(yù)先進行引導(dǎo)性學(xué)習(xí)，然后重復(fù)學(xué)習(xí)的動作，在一定程度上降低了系統(tǒng)的智能水平，沒有使用推理的方法，沒有用到反問引導(dǎo)與期望分析。

【發(fā)明內(nèi)容】

[0006]本發(fā)明是為了解決上述問題而進行的，目的在于把三維物體識別，人機交互與推理融入到模塊化機械臂分揀作業(yè)平臺上，提出一種模塊化機械臂的智能分揀方法。
[0007]本發(fā)明提供的模塊化機械臂的智能分揀方法，具有這樣的特征，包括以下步驟:
[0008]步驟一，通過體感傳感器完成目標檢測與識別，獲取場景中各物體的準確空間位置信息，得到三維場景語義地圖描述文件；
[0009]步驟二，以人機對話的形式確定意圖，推理得到分揀規(guī)則；以及
[0010]步驟三，接收解決方案，通過自然語言編程將解決方案編程為機器人指令，解析編譯執(zhí)行指令，并控制機械臂進行智能分揀。
[0011]本發(fā)明提供的模塊化機械臂的智能分揀方法，還具有這樣的特征:其中，步驟一，將體感傳感器采集到的地圖深度信息和顏色信息經(jīng)過融合處理后生成三維點云數(shù)據(jù)，通過計算機獲取數(shù)據(jù)后，經(jīng)過預(yù)處理、關(guān)鍵點提取、計算特征描述子、將得到的特征描述子與模型庫進行匹配、生成轉(zhuǎn)變假設(shè)并驗證，得到三維場景語義地圖描述文件。
[0012]本發(fā)明提供的模塊化機械臂的智能分揀方法，還具有這樣的特征:其中，步驟二，人機對話由語音識別部分，推理機部分和語音合成部分組成，首先在語音識別部分，麥克風(fēng)陣列把用戶輸入的語音信號進行降噪處理，并采用預(yù)定算法進行特征提取，然后結(jié)合HMM聲學(xué)模型和N-gram語言模型，通過語音解碼搜索算法將語音信號轉(zhuǎn)化為文本發(fā)送給推理機部分，推理機部分接收文本，采用預(yù)定推理機制，將文本與案例庫中的案例進行檢索尋找最相似的案例，結(jié)合三維場景語義地圖描述文件進行地圖匹配、期望分析和引導(dǎo)，從而完善用戶的期望，最后生成解決方案，用戶的引導(dǎo)信息以文本的形式發(fā)送給語音合成部分，該部分將得到的文本通過文本分析、韻律建模和語音合成三個步驟生成相應(yīng)的語音信號輸出交互語
■~>V.曰O
[0013]本發(fā)明提供的模塊化機械臂的智能分揀方法，還具有這樣的特征:其中，步驟三，首先通過自然語言獲取模塊獲取自然語言的解決方案，然后由自然語言解釋模塊把解決方案解釋成機器人指令，將機器人指令發(fā)送給解析編譯模塊，解析編譯模塊按預(yù)定順序進行解析，解析編譯完機器人指令，最后通過執(zhí)行器模塊，接收并執(zhí)行可執(zhí)行指令。
[0014]本發(fā)明提供的模塊化機械臂的智能分揀方法，還具有這樣的特征:其中，預(yù)定算法為MFCC算法。
[0015]本發(fā)明提供的模塊化機械臂的智能分揀方法，還具有這樣的特征:其中，通過預(yù)定推理機制為改進的CBR-BDI推理機制。
[0016]本發(fā)明提供的模塊化機械臂的智能分揀方法，還具有這樣的特征:其中，語音合成使用TTS技術(shù)。
[0017]本發(fā)明提供的模塊化機械臂的智能分揀方法，還具有這樣的特征:其中，自然語言獲取模塊通過UDP的傳輸來實現(xiàn)通信，獲取解決方案，解決方案里面有自然語言命令，物體的坐標和末端執(zhí)行器姿態(tài)。
[0018]本發(fā)明提供的模塊化機械臂的智能分揀方法，還具有這樣的特征:其中，自然語言解釋模塊把解決方案解釋成機器人指令的具體的步驟為將自然語言命令進行分詞，詞法分析，語法分析，語義分析后得到機器人語言指令。
[0019]發(fā)明作用和效果
[0020]根據(jù)本發(fā)明所涉及的模塊化機械臂的智能分揀方法，首先通過體感傳感器獲取實時的三維場景語義地圖描述文件，然后以對話的形式建立分揀規(guī)則，最后將圖像文件里的物體坐標分別發(fā)送給模塊化機械臂，機械臂接收到物體坐標后抓取物體，將物體放到對應(yīng)的籃子里面，從而實現(xiàn)了智能分揀，隨著機械臂尤其是輕量級的模塊化機械臂的發(fā)展，模塊化機械臂的控制系統(tǒng)越來越重要，作為模塊化機械臂分揀系統(tǒng)，本系統(tǒng)具有視覺功能和推理功能，擁有人機交互和完善期望的功能，同時本系統(tǒng)可以通過自然語言的解決方案來實現(xiàn)機械臂的控制，從而實現(xiàn)了自動編程。
【附圖說明】
[0021 ]圖1是本發(fā)明在實施例中的模塊化機械臂的智能分揀方法的步驟圖；
[0022]圖2是本發(fā)明在實施例中的點云采集與物體識別的總體結(jié)構(gòu)圖；
[0023]圖3是本發(fā)明在實施例中的多目標場景的空間點云物體識別與理解系統(tǒng)的總體流程圖；
[0024]圖4是本發(fā)明在實施例中的語音識別部分的結(jié)構(gòu)示意圖；
[0025]圖5是本發(fā)明在實施例中的改進的CBR-BDI推理機制的結(jié)構(gòu)示意圖；
[0026]圖6是本發(fā)明在實施例中的語音合成單元的結(jié)構(gòu)示意圖；
[0027]圖7是本發(fā)明在實施例中的機械臂控制模塊的結(jié)構(gòu)示意圖；以及
[0028]圖8是本發(fā)明在實施例中的解析編譯模塊的流程圖。
【具體實施方式】
[0029]以下參照附圖及實施例對本發(fā)明所涉及的模塊化機械臂的智能分揀方法作詳細的描述。
[0030]圖1是本發(fā)明在實施例中的模塊化機械臂的智能分揀方法的步驟圖。
[0031]如圖1所示，模塊化機械臂的智能分揀方法具有以下步驟:
[0032]步驟一:通過體感傳感器完成目標檢測與識別，獲取場景中各物體的準確空間位置信息，得到三維場景語義地圖描述文件，進入步驟二。
[0033]圖2是本發(fā)明在實施例中的點云采集與物體識別的總體結(jié)構(gòu)圖。
[0034]如圖2所示，將體感傳感器采集到的地圖深度信息和顏色信息經(jīng)過融合處理后生成三維點云數(shù)據(jù)，通過計算機獲取數(shù)據(jù)后，經(jīng)過預(yù)處理、關(guān)鍵點提取、計算特征描述子、將得到的特征描述子與模型庫進行匹配、生成轉(zhuǎn)變假設(shè)并驗證，得到三維場景語義地圖描述文件。
[0035]圖3是本發(fā)明在實施例中的多目標場景的空間點云物體識別與理解系統(tǒng)的總體流程圖。
[0036]物體識別與理解系統(tǒng)主要由離線和在線兩個部分組成。
[0037]離線過程:模型庫建立是個離線的過程，涉及到的關(guān)鍵技術(shù)有預(yù)處理、圖像分割、特征描述、體感傳感器的自運動估計、密集三維點云模型生成。首先進行數(shù)據(jù)濾波預(yù)處理，然后進行物體檢測，也就是從場景中分割出每個視角的單一聚類，接著提取特征點與特征描述子。通過棋盤格標定算法，利用特征描述子的匹配得到各幀數(shù)據(jù)間的4X4剛性變化矩陣，將不同視角下的數(shù)據(jù)對奇并累加，從而獲得三維物體的完整點云，用于獲取物體的幾何形狀，并人為設(shè)定物體模型標識。
[0038]在線過程:物體識別與位姿估計是在線進行的。涉及到的關(guān)鍵技術(shù)有基于距離閾值的特征匹配、轉(zhuǎn)變假設(shè)與驗證、位姿矩陣坐標轉(zhuǎn)換，通過實時的獲取體感傳感器的一幀點云數(shù)據(jù)，經(jīng)過基于局部表面特征的3D識別算法給場景中各物體分配一個合適的物體模型類，另外還可以得到物體模型到場景對應(yīng)點的相對位姿變換矩陣。最后將識別的物體的三維幾何特征和圖像紋理信息寫入xml文件，構(gòu)建三維場景語義地圖描述文件。
[0039]步驟二:以人機對話的形式確定意圖，推理得到分揀規(guī)則，進入步驟三。
[0040]人機對話由語音識別部分，推理機部分和語音合成部分組成。
[0041]首先在語音識別部分，麥克風(fēng)陣列把用戶輸入的語音信號進行降噪處理，并采用MFCC算法進行特征提取，然后結(jié)合HMM聲學(xué)模型和N-gram語言模型，通過語音解碼搜索算法將語音信號轉(zhuǎn)化為文本發(fā)送給推理機部分，推理機部分接收文本，采用改進的CBR-BDI推理機制，將文本與案例庫中的案例進行匹配尋找最相似的案例，結(jié)合三維場景語義地圖描述文件進行地圖匹配、期望分析和引導(dǎo)，從而完善用戶的期望，最后生成解決方案。其中對用戶的引導(dǎo)信息以文本的形式發(fā)送給語音合成部分，該部分將得到的文本通過文本分析、韻律建模和語音合成三個步驟生成相應(yīng)的語音信號輸出交互語音。
[0042]圖4是本發(fā)明在實施例中的語音識別部分的結(jié)構(gòu)示意圖。
[0043]如圖4所示，在語音識別部分里面，當用戶對機器人說話時，麥克風(fēng)先接收到語音信號，然后系統(tǒng)的預(yù)處理部分對語音信號進行降噪處理，并采用MFCC算法進行特征提取，之后系統(tǒng)結(jié)合聲學(xué)模型和語言模型，通過語音解碼搜索算法將語音信號轉(zhuǎn)化為文本語句。
[0044]圖5是本發(fā)明在實施例中的改進的CBR-BDI推理機制的結(jié)構(gòu)示意圖。
[0045]如圖5所示，推理機部分把CBR-BDI推理機制作為核心，同時在推理機部分中加入地圖匹配，期望分析和引導(dǎo)從而實現(xiàn)CBR-BDI推理機制的改進。
[0046]在推理機單元接收到文本語句后，通過語義相似度和句子結(jié)構(gòu)相似度計算，從案例庫中如果獲取了相似案例，系統(tǒng)將對該案例結(jié)合規(guī)則進行任務(wù)屬性計算，判別任務(wù)屬性是否完整，如任務(wù)屬性完整，即m_num>0，則進入下一步，否則由系統(tǒng)按一定規(guī)則提出反問句，進入引導(dǎo)提冋；
[0047]將任務(wù)屬性完整的案例與當前實時地圖文件進行匹配得到m_match，其判定規(guī)則如下:
[0048]m_match = O:表示場景中沒有符合要求的物體；
[0049]0<m_match<l:表示場景中該物體數(shù)量少于用戶期望的數(shù)量；
[0050]m_match = l:表示場景中兩者數(shù)量正好相等；
[0051]m_match>l:表示場景中該物體數(shù)量多于用戶期望的數(shù)量。
[0052]只有當m_match多I時，表明案例任務(wù)可以在當前環(huán)境中得以執(zhí)行，進入下一步期望分析，否則按規(guī)則進行相應(yīng)反問引導(dǎo)；
[0053]將案例任務(wù)與當前設(shè)定作業(yè)規(guī)則必須條目進行匹配分析(期望分析)，判別用戶意圖相對當前作業(yè)規(guī)則條目來說，是否可行，如可行，則生成自然語言解決方案，否則，系統(tǒng)導(dǎo)向規(guī)則引導(dǎo)反問，要求用戶補全規(guī)則。
[0054]圖6是本發(fā)明在實施例中的語音合成單元的結(jié)構(gòu)示意圖。
[0055]如圖6所示，推理機的引導(dǎo)反問信息將以文本的形式傳給語音合成單元，最后以語音信號的形式輸出。
[0056]步驟三，接收解決方案，通過自然語言編程將解決方案編程為機器人指令，解析編譯執(zhí)行指令，并控制機械臂進行智能分揀。
[0057]圖7是本發(fā)明在實施例中的機械臂控制模塊的結(jié)構(gòu)示意圖。
[0058]如圖7所示，在接收到步驟二的解決方案后，接下來就要完成模塊化機械臂的自然語言編程、自動解析執(zhí)行與運動控制。模塊化機械臂的自動編程與解析運動控制一共分為4個模塊，自然語言獲取模塊、自然語言解釋模塊、解析編譯模塊和執(zhí)行器模塊。
[0059]首先通過自然語言獲取模塊獲取自然語言的解決方案，自然語言獲取模塊通過UDP的傳輸來實現(xiàn)通信，獲取解決方案，解決方案里面有自然語言命令，物體的坐標和末端執(zhí)行器姿態(tài)。
[0060]然后由自然語言解釋模塊把解決方案解釋成機器人指令，將機器人指令發(fā)送給解析編譯模塊，解析編譯模塊按預(yù)定順序進行解析，解析編譯完機器人指令，最后通過執(zhí)行器模塊，接收并執(zhí)行編譯后語句。
[0061 ]自然語言解釋模塊把解決方案解釋成機器人指令的具體的步驟為將自然語言命令進行分詞，詞法分析，語法分析，語義分析后得到機器人語言指令。
[0062]圖8是本發(fā)明在實施例中的解析編譯模塊的流程圖。
[0063]如圖8所示，在得到機器人語言指令后將其發(fā)送給解析編譯模塊，解析編譯模塊按順序進行解析，按行讀取并解析編譯語句文本，解析編譯機器人語句，如果是有move的語句，調(diào)用逆解函數(shù)求出對應(yīng)坐標的關(guān)節(jié)軸度數(shù)，由movep和movel來判斷使用曲線插補函數(shù)還是直線插補函數(shù)，接著編譯每個插補點為相應(yīng)的CAN指令;如果是有hand的語句，調(diào)用末端執(zhí)行器器控制函數(shù)，由hand on和hand off來判斷末端執(zhí)行器的打開或關(guān)閉，編譯成末端執(zhí)行器的打開或關(guān)閉CAN指令；如果是有round的語句，調(diào)用第一關(guān)節(jié)軸旋轉(zhuǎn)函數(shù)，旋轉(zhuǎn)round后面的角度，把旋轉(zhuǎn)后每個關(guān)節(jié)軸度數(shù)編譯成相應(yīng)的CAN指令，調(diào)用正解函數(shù)求出旋轉(zhuǎn)后位置;如果是有Nop的語句則是空操作；如果是有Time的語句就讀取后面的時間，編譯這段延時時間；如果是有end語句表示解析結(jié)束，編譯結(jié)束標識符，返回。
[0064]解析編譯完機器人語言指令最后通過執(zhí)行器模塊，接收并執(zhí)行可執(zhí)行指令，如果是move ,round的語句，則發(fā)送相應(yīng)的CAN指令給機械臂，如果是hand語句，則發(fā)送相應(yīng)的CAN指令給末端執(zhí)行器，如果是Time語句則延時相應(yīng)的時間，如果是結(jié)束標識符則執(zhí)行完畢，返回。
[0065]實施例的作用與效果
[0066]根據(jù)本實施例所涉及模塊化機械臂的智能分揀方法，首先通過體感傳感器獲取實時的三維場景語義地圖描述文件，然后以對話的形式建立分揀規(guī)則，最后將圖像文件里的物體坐標分別發(fā)送給模塊化機械臂，機械臂接收到物體坐標后抓取物體，將物體放到對應(yīng)的籃子里面，從而實現(xiàn)了智能分揀，隨著機械臂尤其是輕量級的模塊化機械臂的發(fā)展，模塊化機械臂的控制系統(tǒng)越來越重要，作為模塊化機械臂分揀系統(tǒng)，本系統(tǒng)具有視覺功能和推理功能，擁有人機交互和完善期望的功能，同時本系統(tǒng)可以通過自然語言的解決方案來實現(xiàn)機械臂的控制，從而實現(xiàn)了自動編程。
[0067]上述實施方式為本發(fā)明的優(yōu)選案例，并不用來限制本發(fā)明的保護范圍。
【主權(quán)項】
1.一種模塊化機械臂的智能分揀方法，其特征在于，包括以下步驟: 步驟一，通過體感傳感器完成目標檢測與識別，獲取場景中各物體的準確空間位置信息，得到三維場景語義地圖描述文件； 步驟二，以人機對話的形式確定意圖，推理得到分揀規(guī)則；以及步驟三，接收解決方案，通過自然語言編程將解決方案編程為機器人指令，解析編譯執(zhí)行指令，并控制機械臂進行智能分揀。2.根據(jù)權(quán)利要求1所述的模塊化機械臂的智能分揀方法，其特征在于: 其中，所述步驟一，將所述體感傳感器采集到的地圖深度信息和顏色信息經(jīng)過融合處理后生成三維點云數(shù)據(jù)，通過計算機獲取數(shù)據(jù)后，經(jīng)過預(yù)處理、關(guān)鍵點提取、計算特征描述子、將得到的所述特征描述子與模型庫進行匹配、生成轉(zhuǎn)變假設(shè)并驗證，得到所述三維場景語義地圖描述文件。3.根據(jù)權(quán)利要求1所述的模塊化機械臂的智能分揀方法，其特征在于: 其中，所述步驟二，所述人機對話由語音識別部分，推理機部分和語音合成部分組成，首先在所述語音識別部分，麥克風(fēng)陣列把用戶輸入的語音信號進行降噪處理，并采用預(yù)定算法進行特征提取，然后結(jié)合HMM聲學(xué)模型和N-gram語言模型，通過語音解碼搜索算法將所述語音信號轉(zhuǎn)化為文本發(fā)送給所述推理機部分，所述推理機部分接收所述文本，采用預(yù)定推理機制，將所述文本與案例庫中的案例進行匹配尋找最相似的案例，結(jié)合所述三維場景語義地圖描述文件進行地圖匹配、期望分析和引導(dǎo)，從而完善所述用戶的期望，最后生成解決方案， 對所述用戶的引導(dǎo)信息以所述文本的形式發(fā)送給所述語音合成部分，該部分將得到的所述文本通過文本分析、韻律建模和語音合成三個步驟生成相應(yīng)的所述語音信號輸出交互語音。4.根據(jù)權(quán)利要求1所述的模塊化機械臂的智能分揀方法，其特征在于: 其中，所述步驟三，首先通過自然語言獲取模塊獲取自然語言的解決方案，然后由自然語言解釋模塊把所述解決方案解釋成所述機器人指令，將所述機器人指令發(fā)送給解析編譯模塊，所述解析編譯模塊按預(yù)定順序進行解析，解析編譯完所述機器人指令，最后通過執(zhí)行器模塊，接收并執(zhí)行編譯后可執(zhí)行指令。5.根據(jù)權(quán)利要求3所述的模塊化機械臂的智能分揀方法，其特征在于: 其中，所述預(yù)定算法為MFCC算法。6.根據(jù)權(quán)利要求3所述的模塊化機械臂的智能分揀方法，其特征在于: 其中，通過所述預(yù)定推理機制為改進的CBR-mn推理機制。7.根據(jù)權(quán)利要求4所述的模塊化機械臂的智能分揀方法，其特征在于: 其中，語音合成使用TTS技術(shù)。8.根據(jù)權(quán)利要求5所述的模塊化機械臂的智能分揀方法，其特征在于: 其中，所述自然語言獲取模塊通過UDP的傳輸來實現(xiàn)通信，獲取所述解決方案， 所述解決方案里面有自然語言命令，物體的坐標和末端執(zhí)行器姿態(tài)。9.根據(jù)權(quán)利要求5所述的模塊化機械臂的智能分揀方法，其特征在于: 其中，自然語言解釋模塊把所述解決方案解釋成所述機器人指令的具體的步驟為將自然語言命令進行分詞，詞法分析，語法分析，語義分析后得到機器人語言指令。
【文檔編號】G06T7/00GK105931218SQ201610212575
【公開日】2016年9月7日
【申請日】2016年4月7日
【發(fā)明人】閔華松, 陳鳴宇, 林云漢, 康雅文, 裴飛龍, 吳凡, 周昊天, 熊志恒, 丁禮健, 黃鑄棟, 李瀟, 齊詩萌, 周炳南
【申請人】武漢科技大學(xué)