本技術(shù)涉及對象目標(biāo)導(dǎo)航領(lǐng)域，具體而言，涉及一種利用多線索語義匹配的機器人目標(biāo)導(dǎo)航方法及相關(guān)裝置。

背景技術(shù)：

1、在對象目標(biāo)導(dǎo)航領(lǐng)域，現(xiàn)有的技術(shù)策略主要圍繞經(jīng)典學(xué)習(xí)、端到端學(xué)習(xí)和模塊化學(xué)習(xí)三大類別展開，每種方法都有其獨特的特點和適用場景。

2、經(jīng)典學(xué)習(xí)方法，側(cè)重于融合定位與地圖構(gòu)建(slam)模塊以及啟發(fā)式探索策略，比如利用基于前沿的探索方法，逐步構(gòu)建環(huán)境地圖，并以此為基礎(chǔ)引導(dǎo)對象到達(dá)目標(biāo)對象。這種方法依賴于精確的地圖構(gòu)建和有效的探索算法，確保了導(dǎo)航過程的魯棒性和準(zhǔn)確性。

3、端到端學(xué)習(xí)方法，則是以強化學(xué)習(xí)(rl)或模仿學(xué)習(xí)(il)為核心，即通過接收rgbd圖像、語義分割和對象檢測的結(jié)果作為輸入，直接在真實環(huán)境中學(xué)習(xí)導(dǎo)航策略。這種方法的優(yōu)點在于能夠適應(yīng)復(fù)雜的環(huán)境變化，學(xué)習(xí)過程不需要人工標(biāo)注的數(shù)據(jù)，而是通過與環(huán)境的交互進行自我優(yōu)化。

4、模塊化學(xué)習(xí)，則是將導(dǎo)航任務(wù)分解為感知、路徑規(guī)劃和導(dǎo)航等子任務(wù)，其中，構(gòu)建語義地圖的語義映射模塊是關(guān)鍵組成部分。此模塊負(fù)責(zé)理解環(huán)境中的對象及其位置，而基于語義地圖的語義策略模塊則根據(jù)對象的位置信息決定最佳的導(dǎo)航路徑。模塊化設(shè)計的優(yōu)勢在于提高了系統(tǒng)的可擴展性和靈活性，使得各個部分可以獨立優(yōu)化和更新。

5、實踐過程中發(fā)現(xiàn)，目前基于模塊化學(xué)習(xí)的語義導(dǎo)航方法，許多方法依賴對特定任務(wù)進行訓(xùn)練，因此，僅能處理訓(xùn)練過的對象類別，難以擴展到新目標(biāo)或未知環(huán)境，因而適應(yīng)性較差。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)中的至少一個不足，本技術(shù)提供一種利用多線索語義匹配的機器人目標(biāo)導(dǎo)航方法及相關(guān)裝置，具體包括：

2、第一方面，本技術(shù)提供一種利用多線索語義匹配的機器人目標(biāo)導(dǎo)航方法，所述方法包括：

3、根據(jù)機器人當(dāng)前視野范圍內(nèi)的圖像，得到已探明區(qū)域的圖像相似地圖與類別相似地圖，其中，所述圖像相似地圖記錄了所述圖像中的畫面信息與導(dǎo)航提示文本之間的圖像相似度，所述類別相似地圖記錄了所述導(dǎo)航提示文本中的目標(biāo)導(dǎo)航對象與所述圖像中的每個對象之間的名稱相似度；

4、根據(jù)所述圖像相似地圖與所述類別相似地圖，得到多個前沿點的探索得分，其中，每個所述前沿點表示待所述機器人探索的候選位置，每個所述前沿點的探索得分表征與所述目標(biāo)導(dǎo)航對象之間的接近程度；

5、根據(jù)所述多個前沿點的探索得分，從中選取探索得分最高的最佳前沿點，并控制所述機器人移動至所述最佳前沿點；

6、若所述最佳前沿點未位于所述目標(biāo)導(dǎo)航對象所在的位置，則返回到根據(jù)機器人當(dāng)前視野范圍內(nèi)的圖像，得到已探明區(qū)域的圖像相似地圖與類別相似地圖，直至所述機器人移動到所述目標(biāo)導(dǎo)航對象所在的位置或者探索完整個預(yù)設(shè)區(qū)域。

7、結(jié)合第一方面的可選實施方式，所述根據(jù)所述圖像相似地圖與所述類別相似地圖，得到多個前沿點的探索得分，包括：

8、從所述已探明區(qū)域中確定出所述多個前沿點；

9、對于每個所述前沿點，根據(jù)所述圖像相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的像素的圖像相似度，得到所述前沿點的圖像相似得分；

10、根據(jù)所述類別相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的像素的名稱相似度，得到所述前沿點的類別相似得分；

11、根據(jù)所述機器人當(dāng)前位置與所述前沿點之間的距離，得到所述前沿點的距離得分；

12、根據(jù)所述前沿點與其他所述前沿點之間的距離，得到所述前沿點的密度得分；

13、將所述圖像相似得分、所述類別相似得分、所述距離得分與所述密度得分進行加權(quán)，得到所述前沿點的探索得分。

14、結(jié)合第一方面的可選實施方式，所述將所述圖像相似得分、所述類別相似得分、所述距離得分與所述密度得分進行加權(quán)，得到所述前沿點的探索得分，包括：

15、獲取所述圖像中預(yù)設(shè)的至少一個背景對象與所述目標(biāo)導(dǎo)航對象之間的背景相似度、所述導(dǎo)航提示文本與空白圖像之間的空白相似度；

16、根據(jù)每個所述背景對象的背景相似度與所述空白相似度，得到權(quán)重策略閾值；

17、若多個所述前沿點中包括有語義傾向節(jié)點，則將所述圖像相似得分、所述類別相似得分、所述距離得分與所述密度得分以第一加權(quán)策略進行加權(quán)，得到所述前沿點的探索得分，其中，所述語義傾向節(jié)點的圖像相似得分或者類別相似得分大于所述權(quán)重策略閾值，所述第一加權(quán)策略中，所述圖像相似得分、所述類別相似得分分得的權(quán)重大于所述距離得分與所述密度得分分得權(quán)重；

18、若多個所述前沿點中未包括有所述語義傾向節(jié)點，則將所述圖像相似得分、所述類別相似得分、所述距離得分與所述密度得分以第二加權(quán)策略進行加權(quán)，得到所述前沿點的探索得分，其中，所述第二加權(quán)策略中，所述圖像相似得分、所述類別相似得分分得的權(quán)重小于所述距離得分與所述密度得分分得權(quán)重。

19、結(jié)合第一方面的可選實施方式，所述根據(jù)所述圖像相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的像素的圖像相似度，得到所述前沿點的圖像相似得分，包括：

20、將所述圖像相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的多個像素作為多個第一鄰域像素；

21、將所述多個第一鄰域像素的圖像相似度的均值，作為所述前沿點的圖像相似得分。

22、結(jié)合第一方面的可選實施方式，所述根據(jù)所述類別相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的像素的名稱相似度，得到所述前沿點的類別相似得分，包括：

23、將所述類別相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的多個像素作為多個第二鄰域像素；

24、將所述多個第二鄰域像素各自最大的名稱相似度的均值，作為所述前沿點的類別相似得分。

25、結(jié)合第一方面的可選實施方式，所述已探明區(qū)域包括所述機器人的已探索區(qū)域與所述圖像對應(yīng)的待探索區(qū)域，所述從所述已探明區(qū)域中確定出所述多個前沿點，包括：

26、確定出所述已探索區(qū)域與待探索區(qū)域之間的多個邊界；

27、從所述多個邊界中確定出所述多個前沿點。

28、結(jié)合第一方面的可選實施方式，所述已探明區(qū)域包括已探索區(qū)域以及與所述圖像對應(yīng)的待探索區(qū)域，根據(jù)機器人當(dāng)前視野范圍內(nèi)的圖像，得到已探明區(qū)域的類別相似地圖，包括：

29、將所述圖像進行分割，確定出所述圖像中的每個像素所屬的對象；

30、根據(jù)所述圖像的深度信息，將所述圖像中的每個像素投影到與所述待探索區(qū)域?qū)?yīng)的平面，得到所述待探索區(qū)域的語義子地圖，其中，所述語義子地圖中的每個像素對應(yīng)一個空間位置，記錄了位于所述空間位置的對象；

31、對于所述語義子地圖中的每個像素，計算位于對應(yīng)空間位置的每個對象的名稱與所述目標(biāo)導(dǎo)航對象的名稱之間的相似度，得到所述待探索區(qū)域的類別相似子地圖；

32、將所述待探索區(qū)域的類別相似子地圖與所述已探索區(qū)域的類別相似子地圖合并，得到所述已探明區(qū)域的類別相似地圖。

33、第二方面，本技術(shù)還提供一種利用多線索語義匹配的機器人目標(biāo)導(dǎo)航裝置，所述裝置包括：

34、相似地圖模塊，用于根據(jù)機器人當(dāng)前視野范圍內(nèi)的圖像，得到已探明區(qū)域的圖像相似地圖與類別相似地圖，其中，所述圖像相似地圖記錄了所述圖像中的畫面信息與導(dǎo)航提示文本之間的圖像相似度，所述類別相似地圖記錄了所述導(dǎo)航提示文本中的目標(biāo)導(dǎo)航對象與所述圖像中的每個對象之間的名稱相似度；

35、探索導(dǎo)航模塊，根據(jù)所述圖像相似地圖與所述類別相似地圖，得到多個前沿點的探索得分，其中，每個所述前沿點表示待所述機器人探索的候選位置，每個所述前沿點的探索得分表征與所述目標(biāo)導(dǎo)航對象之間的接近程度；

36、所述探索導(dǎo)航模塊，還用于根據(jù)多個所述前沿點的探索得分，從中選取探索得分最高的最佳前沿點，并控制所述機器人移動至所述最佳前沿點；

37、若所述最佳前沿點未位于所述目標(biāo)導(dǎo)航對象所在的位置，則返回到根據(jù)機器人當(dāng)前視野范圍內(nèi)的圖像，得到已探明區(qū)域的圖像相似地圖與類別相似地圖，直至所述機器人移動到所述目標(biāo)導(dǎo)航對象所在的位置或者探索完整個預(yù)設(shè)區(qū)域。

38、結(jié)合第二方面的可選實施方式，所述探索導(dǎo)航模塊還具體用于：

39、從所述已探明區(qū)域中確定出所述多個前沿點；

40、對于每個所述前沿點，根據(jù)所述圖像相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的像素的圖像相似度，得到所述前沿點的圖像相似得分；

41、根據(jù)所述類別相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的像素的名稱相似度，得到所述前沿點的類別相似得分；

42、根據(jù)所述機器人當(dāng)前位置與所述前沿點之間的距離，得到所述前沿點的距離得分；

43、根據(jù)所述前沿點與其他所述前沿點之間的距離，得到所述前沿點的密度得分；

44、將所述圖像相似得分、所述類別相似得分、所述距離得分與所述密度得分進行加權(quán)，得到所述前沿點的探索得分。

45、結(jié)合第二方面的可選實施方式，所述探索導(dǎo)航模塊還具體用于：

46、獲取所述圖像中預(yù)設(shè)的至少一個背景對象與所述目標(biāo)導(dǎo)航對象之間的背景相似度、所述導(dǎo)航提示文本與空白圖像之間的空白相似度；

47、根據(jù)每個所述背景對象的背景相似度與所述空白相似度，得到權(quán)重策略閾值；

48、若多個所述前沿點中包括有語義傾向節(jié)點，則將所述圖像相似得分、所述類別相似得分、所述距離得分與所述密度得分以第一加權(quán)策略進行加權(quán)，得到所述前沿點的探索得分，其中，所述語義傾向節(jié)點的圖像相似得分或者類別相似得分大于所述權(quán)重策略閾值，所述第一加權(quán)策略中，所述圖像相似得分、所述類別相似得分分得的權(quán)重大于所述距離得分與所述密度得分分得權(quán)重；

49、若多個所述前沿點中未包括有所述語義傾向節(jié)點，則將所述圖像相似得分、所述類別相似得分、所述距離得分與所述密度得分以第二加權(quán)策略進行加權(quán)，得到所述前沿點的探索得分，其中，所述第二加權(quán)策略中，所述圖像相似得分、所述類別相似得分分得的權(quán)重小于所述距離得分與所述密度得分分得權(quán)重。

50、結(jié)合第二方面的可選實施方式，所述探索導(dǎo)航模塊還具體用于：

51、將所述圖像相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的多個像素作為多個第一鄰域像素；

52、將所述多個第一鄰域像素的圖像相似度的均值，作為所述前沿點的圖像相似得分。

53、結(jié)合第二方面的可選實施方式，所述探索導(dǎo)航模塊還具體用于：

54、將所述類別相似地圖中距離所述前沿點預(yù)設(shè)范圍內(nèi)的多個像素作為多個第二鄰域像素；

55、將所述多個第二鄰域像素各自最大的名稱相似度的均值，作為所述前沿點的類別相似得分。

56、結(jié)合第二方面的可選實施方式，所述已探明區(qū)域包括所述機器人的已探索區(qū)域與所述圖像對應(yīng)的待探索區(qū)域，所述探索導(dǎo)航模塊還具體用于：

57、確定出所述已探索區(qū)域與待探索區(qū)域之間的多個邊界；

58、從所述多個邊界中確定出所述多個前沿點。

59、結(jié)合第二方面的可選實施方式，所述已探明區(qū)域包括已探索區(qū)域以及與所述圖像對應(yīng)的待探索區(qū)域，所述相似地圖模塊還具體用于：

60、將所述圖像進行分割，確定出所述圖像中的每個像素所屬的對象；

61、根據(jù)所述圖像的深度信息，將所述圖像中的每個像素投影到與所述待探索區(qū)域?qū)?yīng)的平面，得到所述待探索區(qū)域的語義子地圖，其中，所述語義子地圖中的每個像素對應(yīng)一個空間位置，記錄了位于所述空間位置的對象；

62、對于所述語義子地圖中的每個像素，計算位于對應(yīng)空間位置的每個對象的名稱與所述目標(biāo)導(dǎo)航對象的名稱之間的相似度，得到所述待探索區(qū)域的類別相似子地圖；

63、將所述待探索區(qū)域的類別相似子地圖與所述已探索區(qū)域的類別相似子地圖合并，得到所述已探明區(qū)域的類別相似地圖。

64、第三方面，本技術(shù)還提供一種存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時，實現(xiàn)所述的利用多線索語義匹配的機器人目標(biāo)導(dǎo)航方法。

65、第四方面，本技術(shù)還提供一種電子設(shè)備，所述電子設(shè)備包括處理器以及存儲器，所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時，實現(xiàn)所述的利用多線索語義匹配的機器人目標(biāo)導(dǎo)航方法。

66、相對于現(xiàn)有技術(shù)而言，本技術(shù)具有以下有益效果：

67、本技術(shù)提供一種利用多線索語義匹配的機器人目標(biāo)導(dǎo)航方法及相關(guān)裝置。該方法中，電子設(shè)備根據(jù)機器人當(dāng)前視野范圍內(nèi)的圖像，得到已探明區(qū)域的圖像相似地圖與類別相似地圖，其中，圖像相似地圖記錄了圖像中的畫面信息與導(dǎo)航提示文本之間的圖像相似度，類別相似地圖記錄了導(dǎo)航提示文本中的目標(biāo)導(dǎo)航對象與圖像中的每個對象之間的名稱相似度；根據(jù)圖像相似地圖與類別相似地圖，得到多個前沿點的探索得分，其中，每個前沿點表示待機器人探索的候選位置，每個前沿點的探索得分表征與目標(biāo)導(dǎo)航對象之間的接近程度；根據(jù)多個前沿點的探索得分，從中選取探索得分最高的最佳前沿點，并控制機器人移動至最佳前沿點；若最佳前沿點未位于目標(biāo)導(dǎo)航對象所在的位置，則返回到根據(jù)機器人當(dāng)前視野范圍內(nèi)的圖像，得到已探明區(qū)域的圖像相似地圖與類別相似地圖，直至機器人移動到目標(biāo)導(dǎo)航對象所在的位置。如此，在圖像相似地圖的基礎(chǔ)上，通過類別相似地圖為提供新目標(biāo)或未知環(huán)境與目標(biāo)導(dǎo)航對象之間的關(guān)聯(lián)信息，從而提高了對不同環(huán)境的適應(yīng)性能力。