本申請涉及移動貨車識別領域，且更為具體地，涉及一種移動機器人的移動貨車識別系統(tǒng)及方法。

背景技術：

1、移動機器人是一種能夠在各種環(huán)境中自主移動和操作的智能設備，廣泛應用于工業(yè)、物流、醫(yī)療等領域。隨著移動機器人在工業(yè)領域的應用越來越廣泛，一個關鍵的挑戰(zhàn)是如何讓這些機器人在動態(tài)的工業(yè)環(huán)境中有效地識別和避讓移動貨車。

2、由于在工業(yè)領域中，貨車的行駛路線、速度以及偶發(fā)的停靠行為可能會影響機器人的正常工作。目前，移動機器人大多依靠單一攝像檢測對移動貨車進行識別，單一攝像檢測檢測角度單一，且容易產(chǎn)生視覺盲區(qū)，造成視角受限和盲區(qū)問題。

3、因此，期望一種移動機器人的移動貨車識別系統(tǒng)及方法。

技術實現(xiàn)思路

1、為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種移動機器人的移動貨車識別系統(tǒng)及方法，其首先獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數(shù)據(jù)和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數(shù)據(jù)，然后利用深度學習技術，對三者進行特征提取和關聯(lián)分析，最后通過分類器，以判斷移動機器人是否需要進行避讓操作，從而在復雜和動態(tài)的工業(yè)環(huán)境中提升移動機器人對周圍環(huán)境的理解能力，確保在工業(yè)環(huán)境中對移動貨車進行的高效安全的操作。

2、根據(jù)本申請的一個方面，提供了一種移動機器人的移動貨車識別系統(tǒng)，其包括：

3、移動貨車識別數(shù)據(jù)獲取模塊，用于獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數(shù)據(jù)和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數(shù)據(jù)；

4、移動貨車識別數(shù)據(jù)提取模塊，用于從所述由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、所述由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數(shù)據(jù)和所述由聲音傳感器采集的多個預定時間點的環(huán)境聲音數(shù)據(jù)中提取周圍環(huán)境貨車追蹤特征向量和環(huán)境多模態(tài)關聯(lián)特征向量；

5、移動機器人避讓操作判斷模塊，用于基于所述周圍環(huán)境貨車追蹤特征向量和所述環(huán)境多模態(tài)關聯(lián)特征向量，判斷移動機器人是否需要進行避讓操作。

6、根據(jù)本申請的另一方面，提供了一種移動機器人的移動貨車識別方法，其包括：

7、獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數(shù)據(jù)和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數(shù)據(jù)；

8、從所述由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、所述由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數(shù)據(jù)和所述由聲音傳感器采集的多個預定時間點的環(huán)境聲音數(shù)據(jù)中提取周圍環(huán)境貨車追蹤特征向量和環(huán)境多模態(tài)關聯(lián)特征向量；

9、基于所述周圍環(huán)境貨車追蹤特征向量和所述環(huán)境多模態(tài)關聯(lián)特征向量，判斷移動機器人是否需要進行避讓操作。

10、與現(xiàn)有技術相比，本申請?zhí)峁┑囊环N移動機器人的移動貨車識別系統(tǒng)及方法，其首先獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數(shù)據(jù)和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數(shù)據(jù)，然后利用深度學習技術，對三者進行特征提取和關聯(lián)分析，最后通過分類器，以判斷移動機器人是否需要進行避讓操作，從而在復雜和動態(tài)的工業(yè)環(huán)境中提升移動機器人對周圍環(huán)境的理解能力，確保在工業(yè)環(huán)境中對移動貨車進行的高效安全的操作。

技術特征：

1.一種移動機器人的移動貨車識別系統(tǒng)，其特征在于，包括：

2.根據(jù)權利要求1所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述移動貨車識別數(shù)據(jù)提取模塊，包括：

3.根據(jù)權利要求2所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述周圍環(huán)境多區(qū)域特征提取單元，包括：

4.根據(jù)權利要求3所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述周圍環(huán)境多區(qū)域特征編碼子單元，包括：

5.根據(jù)權利要求4所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述超聲波距離特征提取單元，包括：

6.根據(jù)權利要求5所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述環(huán)境聲音特征提取單元，包括：

7.根據(jù)權利要求6所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述移動機器人避讓操作判斷模塊，包括：

8.根據(jù)權利要求7所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述環(huán)境信息特征優(yōu)化單元，包括：

9.一種移動機器人的移動貨車識別方法，其特征在于，包括：

10.根據(jù)權利要求9所述的移動機器人的移動貨車識別方法，其特征在于，從所述由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、所述由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數(shù)據(jù)和所述由聲音傳感器采集的多個預定時間點的環(huán)境聲音數(shù)據(jù)中提取周圍環(huán)境貨車追蹤特征向量和環(huán)境多模態(tài)關聯(lián)特征向量，包括：

技術總結
本申請涉及移動貨車識別領域，其具體地公開了一種移動機器人的移動貨車識別系統(tǒng)及方法，其首先獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數(shù)據(jù)和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數(shù)據(jù)，然后利用深度學習技術，對三者進行特征提取和關聯(lián)分析，最后通過分類器，以判斷移動機器人是否需要進行避讓操作，從而在復雜和動態(tài)的工業(yè)環(huán)境中提升移動機器人對周圍環(huán)境的理解能力，確保在工業(yè)環(huán)境中對移動貨車進行的高效安全的操作。

技術研發(fā)人員：徐威挺,陳健,王文偉,邱旭東
受保護的技術使用者：浙江科聰控制技術有限公司
技術研發(fā)日：
技術公布日：2025/1/6