一種家用機器人建立語義地圖的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種家用機器人建立語義地圖的方法，包括：A、對機器人工作的室內(nèi)構(gòu)建二維柵格地圖；B、利用RGD?D深度傳感器進(jìn)行機器人活動的室內(nèi)構(gòu)建三維地圖；C、結(jié)合可穿戴式傳感器根據(jù)人的行為特征判斷其接觸的家具類型；D、將構(gòu)建的二維柵格地圖和三維地圖進(jìn)行融合構(gòu)建成三維室內(nèi)地圖；E、將室內(nèi)家具類型及其他標(biāo)示物的屬性賦值在構(gòu)建成三維室內(nèi)地圖形成三維室內(nèi)語義地圖。該方法通過人的活動來確定室內(nèi)家具類型，并將家具信息加入到三維地圖中，從而實現(xiàn)三維室內(nèi)語義建圖。該方法結(jié)構(gòu)簡單、易于實現(xiàn)、操作方便，成本低廉。
【專利說明】
一種家用機器人建立語義地圖的方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于智能語義地圖構(gòu)建領(lǐng)域，尤其涉及一種家用機器人建立語義地圖的方法及系統(tǒng)。
【背景技術(shù)】
[0002]機器人的用途越來越廣泛，尤其是移動服務(wù)機器人的興起，機器人開始從傳統(tǒng)的工業(yè)領(lǐng)域向軍事、醫(yī)療、家庭助理等領(lǐng)域滲透。隨著社會老齡化問題的不斷加劇，移動機器人進(jìn)入家庭為人們提供服務(wù)的需求也越來越迫切。
[0003]依靠目前的SLAM(同步定位與建圖)技術(shù)創(chuàng)建的環(huán)境地圖有其局限性，即所建地圖只在一段時間內(nèi)有效，如果環(huán)境改變，那就需要重新建圖。另外，現(xiàn)有地圖模型只體現(xiàn)了移動機器人自身的位置信息，而移動機器人想要與環(huán)境中的人進(jìn)行信息交互，實現(xiàn)防盜監(jiān)測、打掃衛(wèi)生、監(jiān)測病人、控制家電、報時提醒、兒童教育等功能，那就需要借助于語義地圖，SP需要讓機器人自己知道所處的具體位置，表明房間是“臥室”還是“客廳”。
[0004]現(xiàn)有技術(shù)都是利用攝像頭等傳感器，采用熵地圖、基于順序貝葉斯框架結(jié)構(gòu)來對目標(biāo)進(jìn)行識別，采用貝葉斯?fàn)顟B(tài)估計來更新當(dāng)前狀態(tài)的概率分布。也有采用基于信息論的同步規(guī)劃定位與建圖(SPLAM)的方法，在利用機器人識別一個移動目標(biāo)的同時估計它的姿態(tài)而不需要任何運動約束條件。還有，可以采用深度傳感器即RGB-D圖像處理技術(shù)進(jìn)行3D語義地圖的構(gòu)建。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種家用機器人建立語義地圖的方法，旨在解決上述的技術(shù)問題。
[0006]本發(fā)明是這樣實現(xiàn)的，一種家用機器人建立語義地圖的方法，所述方法包括以下步驟:
A、對機器人工作的室內(nèi)構(gòu)建二維柵格地圖；
B、利用RGD-D深度傳感器進(jìn)行機器人活動的室內(nèi)構(gòu)建三維地圖；
C、結(jié)合可穿戴式傳感器根據(jù)人的行為特征判斷其接觸的家具類型；
D、將構(gòu)建的二維柵格地圖和三維地圖進(jìn)行融合構(gòu)建成三維室內(nèi)地圖；
E、將室內(nèi)家具類型及其他標(biāo)示物的屬性賦值在構(gòu)建成三維室內(nèi)地圖形成三維室內(nèi)語義地圖。
[0007]本發(fā)明的進(jìn)一步技術(shù)方案是:所述步驟A中構(gòu)建二維柵格地圖利用的是激光測距儀完成。
[0008]本發(fā)明的進(jìn)一步技術(shù)方案是:所述步驟E中通過判斷家具或標(biāo)示物體的類型確定房間的類型或性質(zhì)。
[0009]本發(fā)明的進(jìn)一步技術(shù)方案是:所述可穿戴式傳感器包括智能手環(huán)、智能手表及設(shè)于人體腰部的傳感器。
[0010]本發(fā)明的進(jìn)一步技術(shù)方案是:所述步驟C中通過識別人體活動獲取所在位置家具類型的相關(guān)知識實現(xiàn)家具預(yù)定義活動方式用來確定家具的類型。
[0011]本發(fā)明的另一目的在于提供一種家用機器人建立語義地圖的系統(tǒng)，所述系統(tǒng)包括:
二維柵格地圖構(gòu)建模塊，用于對機器人工作的室內(nèi)構(gòu)建二維柵格地圖；
三維地圖構(gòu)建模塊，用于利用RGD-D深度傳感器進(jìn)行機器人活動的室內(nèi)構(gòu)建三維地圖； 家具類型判斷模塊，用于結(jié)合可穿戴式傳感器根據(jù)人的行為特征判斷其接觸的家具類型；
三維室內(nèi)地圖模塊，用于將構(gòu)建的二維柵格地圖和三維地圖進(jìn)行融合構(gòu)建成三維室內(nèi)地圖；
語義地圖構(gòu)建模塊，用于將室內(nèi)家具類型及其他標(biāo)示物的屬性賦值在構(gòu)建成三維室內(nèi)地圖形成三維室內(nèi)語義地圖。
[0012]本發(fā)明的進(jìn)一步技術(shù)方案是:所述二維柵格地圖構(gòu)建模塊中構(gòu)建二維柵格地圖利用的是激光測距儀完成。
[0013]本發(fā)明的進(jìn)一步技術(shù)方案是:所述語義地圖構(gòu)建模塊中通過判斷家具或標(biāo)示物體的類型確定房間的類型或性質(zhì)。
[0014]本發(fā)明的進(jìn)一步技術(shù)方案是:所述可穿戴式傳感器包括智能手環(huán)、智能手表及設(shè)于人體腰部的傳感器。
[0015]本發(fā)明的進(jìn)一步技術(shù)方案是:所述家具類型判斷模塊中通過識別人體活動獲取所在位置家具類型的相關(guān)知識實現(xiàn)家具預(yù)定義活動方式用來確定家具的類型。
[0016]本發(fā)明的有益效果是:該方法通過人的活動來確定室內(nèi)家具類型，并將家具信息加入到三維地圖中，從而實現(xiàn)三維室內(nèi)語義建圖，利用現(xiàn)有市場上的智能手環(huán)、手表等智能硬件，機器人自帶的視覺傳感器來判斷人的行為特征，最終定義出家具的類型和在三維地圖中的位置，最終實現(xiàn)語義地圖的構(gòu)建。該方法結(jié)構(gòu)簡單、易于實現(xiàn)、操作方便，成本低廉。
【附圖說明】
[0017]圖1是本發(fā)明實施例提供的家用機器人建立語義地圖的方法的流程圖。
[0018]圖2是本發(fā)明實施例提供的家用機器人建立語義地圖的系統(tǒng)的結(jié)構(gòu)框圖。
【具體實施方式】
[0019]圖1示出了本發(fā)明提供的一種家用機器人建立語義地圖的方法的流程圖，其詳述如下:
步驟SI，對機器人工作的室內(nèi)構(gòu)建二維柵格地圖；當(dāng)把機器人置于其工作的場所，機器人對其工作場所是不熟悉的，這時需要為機器人制作其在工作場能夠做識別地圖，在制作地圖中機器人利用激光測距儀制作構(gòu)建室內(nèi)的二維柵格地圖。
[0020]步驟S2，利用RGD-D深度傳感器進(jìn)行機器人活動的室內(nèi)構(gòu)建三維地圖；在實際的運用中只有在三維環(huán)境下才能讓機器人知道們、窗等具體的位置，所以需要利用RGD-D深度傳感器對工作場所進(jìn)行三維地圖的構(gòu)建，其主要是通過Kinect攝像頭來完成三維地圖的構(gòu)建。
[0021]步驟S3，結(jié)合可穿戴式傳感器根據(jù)人的行為特征判斷其接觸的家具類型；移動機器人在制圖的過程中，就可以結(jié)合人的可穿戴式傳感器和對人的行為特征識別來確定與人有接觸的家具特征，最后判斷出家具類型，比如說椅子、床、桌子等?？纱┐魇皆O(shè)備包括如今市場上流行的智能手環(huán)、手表，還有放置在人體腰部的傳感器，從作為人的活動信息源中獲取語義地圖。因此，通過識別人體活動就可以獲得其所在位置的家具類型的相關(guān)知識，從而一種關(guān)于家具的預(yù)定義的活動方式將用來確定家具的類型。也就是說，通過判斷家具或其他標(biāo)識物體的類型，從而知道房間是“辦公室”、“廚房”或“臥室”。然而這類語義信息對于完成一些日常生活中的任務(wù)來說是非常重要的。例如，如果主人想要上床休息，那么機器人將會關(guān)閉臥室的燈。
[0022]步驟S4，將構(gòu)建的二維柵格地圖和三維地圖進(jìn)行融合構(gòu)建成三維室內(nèi)地圖；在機器人的系統(tǒng)中將繪制好的工作場所二維柵格地圖和構(gòu)建好的三維地圖進(jìn)行整體融合形成新的工作場所三維地圖。
[0023]步驟S5，將室內(nèi)家具類型及其他標(biāo)示物的屬性賦值在構(gòu)建成三維室內(nèi)地圖形成三維室內(nèi)語義地圖。將機器人識別出來的物品類別特征標(biāo)示賦值到創(chuàng)建好的三維室內(nèi)地圖上形成新的語義地圖，是的機器人能夠根據(jù)地圖能夠識別室內(nèi)的環(huán)境。
[0024]現(xiàn)有地圖模型只體現(xiàn)了移動機器人自身的位置信息，而移動機器人想要與環(huán)境中的人進(jìn)行信息交互，那就需要借助于語義地圖。例如，現(xiàn)在的SLAM(同步定位與制圖)技術(shù)可以實現(xiàn)室內(nèi)二維或三維地圖的構(gòu)建，但還是不能知道哪個房間是“客廳”、“廚房”或“臥室”。而這類語義信息對于機器人輔助主人完成一些日常生活中的任務(wù)來說是非常重要的。比如說，如果主人打算上床睡覺，機器人就可以結(jié)合上圖中多個傳感器的數(shù)據(jù)融合和房間屬性來選擇關(guān)閉哪個房間的燈。
[0025]語義地圖是在原來通過SLAM構(gòu)建的二維或三維地圖的基礎(chǔ)上進(jìn)行屬性賦值，即讓機器人知道地圖中的具體位置。相比與利用激光測距儀、聲納和紅外傳感器等傳統(tǒng)的二維室內(nèi)建圖方式，利用RGB-D傳感器來完成三維室內(nèi)建圖，可以獲得完整的三維信息來定位其自身并估計一個六自由度(x、y、z、滾動、俯仰、偏航)的姿態(tài)。機器人的視覺傳感器主要用在人的身份標(biāo)定和肢體特征提取，與運動傳感器的識別方式相比，基于視覺傳感器的識別方式對于實
驗環(huán)境有特定的要求相比，比如亮度、障礙和霧氣等因素對于攝像機獲取圖像數(shù)據(jù)有著明顯的影響，而運動傳感器則不會受到諸如此類環(huán)境因素的影響，這也是系統(tǒng)要采用可穿戴傳感器的數(shù)據(jù)進(jìn)行融合的原因。
[0026]人的身份標(biāo)定主要是通過機器人在室內(nèi)與人的交互過程中，通過視覺傳感器采集的家庭人臉庫，對人臉庫進(jìn)行不斷的訓(xùn)練讓機器人對主人家庭的人臉進(jìn)行分類以方便后面的識別，這樣就是為了讓機器人系統(tǒng)對家庭成員有個身份的標(biāo)定，這樣就可以獲得房間關(guān)聯(lián)家庭成員的粘度值，比如用于對應(yīng)多個睡房和多個家庭成員的映射關(guān)系。
[0027]可穿戴傳感器是直接或間接地放置在人體表面的傳感器，可穿戴式傳感器可以嵌入到衣服、眼鏡、皮帶、鞋子、手表、移動設(shè)備或直接放置在身體上。當(dāng)人進(jìn)行活動時，它們可以用來采集身體的位置、運動、脈沖和皮膚溫度等信息，從而實時監(jiān)控人的生理狀態(tài)或運動特征。通過人身上佩戴的傳感器來獲得人在地圖中的位置信息，這個可以通過wifi定位來實現(xiàn)，無線局域網(wǎng)wifi在室內(nèi)部署范圍廣泛，適合于大規(guī)模定位，對行人進(jìn)行絕對定位，不會產(chǎn)生誤差累計，適合長時間定位。依靠傳感器慣性傳感器的航跡推算方法長時間定位會累計誤差，如果使用Wifi的絕對定位來輔助矯正，可以更好的提高室內(nèi)定位的精度。
[0028]使用神經(jīng)網(wǎng)絡(luò)、隱馬爾科夫模型或支持向量機等機器學(xué)習(xí)算法進(jìn)行手勢模式識另O。這里所說的時間序列運動特征庫是云端的數(shù)據(jù)庫，這是對大量樣本進(jìn)行采集匯總的結(jié)果，一般來說，人的肢體活動的狀態(tài)與時間是有一定關(guān)聯(lián)性的，比如說吃飯的時間一般人都是坐著吃飯，而吃飯的動作也是有規(guī)律可循的，當(dāng)然這是要提前進(jìn)行訓(xùn)練的。由于計算能力的需求，我們這里將模式識別的算法都放到云端，這樣可以降低對機器人的運算能力的要求。
[0029]當(dāng)系統(tǒng)獲得家庭某個成員的肢體活動的屬性后，即知道主人在哪個位置和具體做的事情，這樣就可以將主人常在的地圖區(qū)域進(jìn)行語義賦值，最終實現(xiàn)機器人的高級服務(wù)功能。比如說當(dāng)主人在廚房做完菜后，呼叫機器人，機器人就能來到廚房的位置，然后通過視覺傳感器來進(jìn)行人臉檢測，并來到主人身邊，并執(zhí)行主人吩咐的事情，比如說端菜到大廳的飯桌上。
[0030]圖2示出了本發(fā)明的另一目的在于提供一種家用機器人建立語義地圖的系統(tǒng)，所述系統(tǒng)包括:
二維柵格地圖構(gòu)建模塊，用于對機器人工作的室內(nèi)構(gòu)建二維柵格地圖；
三維地圖構(gòu)建模塊，用于利用RGD-D深度傳感器進(jìn)行機器人活動的室內(nèi)構(gòu)建三維地圖； 家具類型判斷模塊，用于結(jié)合可穿戴式傳感器根據(jù)人的行為特征判斷其接觸的家具類型；
三維室內(nèi)地圖模塊，用于將構(gòu)建的二維柵格地圖和三維地圖進(jìn)行融合構(gòu)建成三維室內(nèi)地圖；
語義地圖構(gòu)建模塊，用于將室內(nèi)家具類型及其他標(biāo)示物的屬性賦值在構(gòu)建成三維室內(nèi)地圖形成三維室內(nèi)語義地圖。
[0031]本發(fā)明的進(jìn)一步技術(shù)方案是:所述二維柵格地圖構(gòu)建模塊中構(gòu)建二維柵格地圖利用的是激光測距儀完成。
[0032]所述語義地圖構(gòu)建模塊中通過判斷家具或標(biāo)示物體的類型確定房間的類型或性質(zhì)。
[0033]所述可穿戴式傳感器包括智能手環(huán)、智能手表及設(shè)于人體腰部的傳感器。
[0034]所述家具類型判斷模塊中通過識別人體活動獲取所在位置家具類型的相關(guān)知識實現(xiàn)家具預(yù)定義活動方式用來確定家具的類型。
[0035]該系統(tǒng)通過人的活動來確定室內(nèi)家具類型，并將家具信息加入到三維地圖中，從而實現(xiàn)三維室內(nèi)語義建圖，利用現(xiàn)有市場上的智能手環(huán)、手表等智能硬件，機器人自帶的視覺傳感器來判斷人的行為特征，最終定義出家具的類型和在三維地圖中的位置，最終實現(xiàn)語義地圖的構(gòu)建。該方法結(jié)構(gòu)簡單、易于實現(xiàn)、操作方便，成本低廉。
[0036]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項】
1.一種家用機器人建立語義地圖的方法，其特征在于，所述方法包括以下步驟: A、對機器人工作的室內(nèi)構(gòu)建二維柵格地圖； B、利用RGD-D深度傳感器進(jìn)行機器人活動的室內(nèi)構(gòu)建三維地圖； C、結(jié)合可穿戴式傳感器根據(jù)人的行為特征判斷其接觸的家具類型； D、將構(gòu)建的二維柵格地圖和三維地圖進(jìn)行融合構(gòu)建成三維室內(nèi)地圖； E、將室內(nèi)家具類型及其他標(biāo)示物的屬性賦值在構(gòu)建成三維室內(nèi)地圖形成三維室內(nèi)語義地圖。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A中構(gòu)建二維柵格地圖利用的是激光測距僅完成。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟E中通過判斷家具或標(biāo)示物體的類型確定房間的類型或性質(zhì)。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述可穿戴式傳感器包括智能手環(huán)、智能手表及設(shè)于人體腰部的傳感器。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟C中通過識別人體活動獲取所在位置家具類型的相關(guān)知識實現(xiàn)家具預(yù)定義活動方式用來確定家具的類型。6.一種家用機器人建立語義地圖的系統(tǒng)，其特征在于，所述系統(tǒng)包括: 二維柵格地圖構(gòu)建模塊，用于對機器人工作的室內(nèi)構(gòu)建二維柵格地圖； 三維地圖構(gòu)建模塊，用于利用RGD-D深度傳感器進(jìn)行機器人活動的室內(nèi)構(gòu)建三維地圖； 家具類型判斷模塊，用于結(jié)合可穿戴式傳感器根據(jù)人的行為特征判斷其接觸的家具類型； 三維室內(nèi)地圖模塊，用于將構(gòu)建的二維柵格地圖和三維地圖進(jìn)行融合構(gòu)建成三維室內(nèi)地圖； 語義地圖構(gòu)建模塊，用于將室內(nèi)家具類型及其他標(biāo)示物的屬性賦值在構(gòu)建成三維室內(nèi)地圖形成三維室內(nèi)語義地圖。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述二維柵格地圖構(gòu)建模塊中構(gòu)建二維柵格地圖利用的是激光測距儀完成。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述語義地圖構(gòu)建模塊中通過判斷家具或標(biāo)示物體的類型確定房間的類型或性質(zhì)。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述可穿戴式傳感器包括智能手環(huán)、智能手表及設(shè)于人體腰部的傳感器。10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述家具類型判斷模塊中通過識別人體活動獲取所在位置家具類型的相關(guān)知識實現(xiàn)家具預(yù)定義活動方式用來確定家具的類型。
【文檔編號】G06T17/05GK106067191SQ201610353996
【公開日】2016年11月2日
【申請日】2016年5月25日 公開號201610353996.3, CN 106067191 A, CN 106067191A, CN 201610353996, CN-A-106067191, CN106067191 A, CN106067191A, CN201610353996, CN201610353996.3
【發(fā)明人】宋洋鵬
【申請人】深圳市寒武紀(jì)智能科技有限公司