本技術(shù)涉及物料運(yùn)輸，具體地涉及一種agv路徑規(guī)劃方法、電子設(shè)備及機(jī)器可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、agv（automated?guided?vehicle，自動(dòng)導(dǎo)向車(chē)）是采用自動(dòng)或人工方式裝載貨物，按設(shè)定的路線自動(dòng)行駛或牽引著載貨臺(tái)車(chē)至指定地點(diǎn)裝卸貨物的工業(yè)車(chē)輛，廣泛應(yīng)用于工業(yè)生產(chǎn)線、倉(cāng)儲(chǔ)物流等領(lǐng)域。wms（warehouse?management?system，倉(cāng)儲(chǔ)管理系統(tǒng)）作為管理系統(tǒng)中的子系統(tǒng)，主要涉及入庫(kù)管理、庫(kù)內(nèi)管理、出庫(kù)管理三個(gè)功能模塊。在倉(cāng)庫(kù)補(bǔ)貨作業(yè)中，需要各種設(shè)備進(jìn)行集成，主要由wms向下游集成系統(tǒng)發(fā)送搬運(yùn)任務(wù)，并通過(guò)agv進(jìn)行搬運(yùn)動(dòng)作。為提升倉(cāng)庫(kù)內(nèi)各個(gè)設(shè)備的作業(yè)效率，需對(duì)agv進(jìn)行合理調(diào)度，減少運(yùn)輸時(shí)間?，F(xiàn)有agv的調(diào)度方式主要是基于單個(gè)倉(cāng)庫(kù)的內(nèi)部調(diào)度，對(duì)于多倉(cāng)庫(kù)間的調(diào)度控制適應(yīng)度較低，隨著物料運(yùn)輸需求的日趨復(fù)雜，如何覆蓋多倉(cāng)庫(kù)間agv作業(yè)路徑規(guī)劃成為目前亟需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中的上述不足，本技術(shù)實(shí)施例的目的是提供一種agv路徑規(guī)劃方法、電子設(shè)備及機(jī)器可讀存儲(chǔ)介質(zhì)。

2、為了實(shí)現(xiàn)上述目的，本技術(shù)第一方面提供一種agv路徑規(guī)劃方法，包括：

3、獲取作業(yè)需求和所有倉(cāng)庫(kù)的agv信息，其中，作業(yè)需求包括起點(diǎn)位置、終點(diǎn)位置、所有一級(jí)配料區(qū)位置和一級(jí)緩存區(qū)位置、所有二級(jí)配料區(qū)位置和二級(jí)緩存區(qū)位置以及作業(yè)流程，agv信息包括agv的裝載狀態(tài)和agv的位置，一級(jí)配料區(qū)和一級(jí)緩存區(qū)對(duì)應(yīng)設(shè)置于同一倉(cāng)庫(kù)，二級(jí)配料區(qū)和二級(jí)緩存區(qū)對(duì)應(yīng)設(shè)置于同一倉(cāng)庫(kù)，一級(jí)配料區(qū)和二級(jí)配料區(qū)設(shè)置于不同倉(cāng)庫(kù)；

4、基于起點(diǎn)位置和所有agv信息確定目標(biāo)agv；

5、基于作業(yè)需求和目標(biāo)agv的位置構(gòu)建作業(yè)時(shí)間函數(shù)；

6、基于作業(yè)時(shí)間函數(shù)確定目標(biāo)路徑規(guī)劃算法的獎(jiǎng)勵(lì)函數(shù)；

7、基于目標(biāo)路徑規(guī)劃算法進(jìn)行agv路徑規(guī)劃，得到目標(biāo)agv路徑。

8、本技術(shù)實(shí)施例中，基于作業(yè)需求和目標(biāo)agv的位置構(gòu)建作業(yè)時(shí)間函數(shù)，包括：

9、基于作業(yè)流程確定所有一級(jí)配料區(qū)位置和所有一級(jí)緩存區(qū)位置中的目標(biāo)一級(jí)配料區(qū)位置和目標(biāo)一級(jí)緩存區(qū)位置，以及所有二級(jí)配料區(qū)位置和所有二級(jí)緩存區(qū)位置中的目標(biāo)二級(jí)配料區(qū)位置和目標(biāo)二級(jí)緩存區(qū)位置；

10、基于目標(biāo)一級(jí)配料區(qū)位置和目標(biāo)一級(jí)緩存區(qū)位置，以及目標(biāo)二級(jí)配料區(qū)位置和目標(biāo)二級(jí)緩存區(qū)位置確定等待時(shí)間函數(shù)；

11、基于起點(diǎn)位置、終點(diǎn)位置、目標(biāo)一級(jí)配料區(qū)位置和目標(biāo)一級(jí)緩存區(qū)位置、目標(biāo)二級(jí)配料區(qū)位置和目標(biāo)二級(jí)緩存區(qū)位置、目標(biāo)agv的位置以及作業(yè)流程確定運(yùn)輸時(shí)間函數(shù)；

12、確定等待時(shí)間函數(shù)與運(yùn)輸時(shí)間函數(shù)的和為作業(yè)時(shí)間函數(shù)。

13、本技術(shù)實(shí)施例中，agv路徑規(guī)劃方法還包括：

14、基于預(yù)設(shè)約束條件對(duì)作業(yè)時(shí)間函數(shù)進(jìn)行優(yōu)化，其中，預(yù)設(shè)約束條件包括agv裝載閾值、agv運(yùn)輸范圍、agv運(yùn)輸距離最小值、緩存區(qū)容量閾值以及作業(yè)區(qū)容量閾值；

15、基于作業(yè)時(shí)間函數(shù)確定目標(biāo)路徑規(guī)劃算法的獎(jiǎng)勵(lì)函數(shù)，包括：

16、基于優(yōu)化后的作業(yè)時(shí)間函數(shù)確定目標(biāo)路徑規(guī)劃算法的獎(jiǎng)勵(lì)函數(shù)。

17、本技術(shù)實(shí)施例中，基于作業(yè)時(shí)間函數(shù)確定目標(biāo)路徑規(guī)劃算法的獎(jiǎng)勵(lì)函數(shù)，包括：

18、基于預(yù)設(shè)損失因子以及作業(yè)時(shí)間函數(shù)確定懲罰值；

19、基于預(yù)設(shè)獎(jiǎng)勵(lì)值和懲罰值的差值構(gòu)建目標(biāo)路徑規(guī)劃算法的獎(jiǎng)勵(lì)函數(shù)。

20、本技術(shù)實(shí)施例中，目標(biāo)路徑規(guī)劃算法的構(gòu)建步驟包括：

21、以每個(gè)agv作為一個(gè)智能體，建立環(huán)境集合、動(dòng)作集合、獎(jiǎng)勵(lì)函數(shù)、maddpg網(wǎng)絡(luò)架構(gòu)以及每個(gè)智能體的狀態(tài)空間，其中，狀態(tài)空間由智能體在每個(gè)時(shí)刻的狀態(tài)構(gòu)成，狀態(tài)空間包括agv的裝載狀態(tài)和所有預(yù)設(shè)agv位置、agv與作業(yè)區(qū)域的相對(duì)位置、緩存區(qū)當(dāng)前容量以及作業(yè)區(qū)當(dāng)前容量，環(huán)境集合包括作業(yè)需求、障礙物信息以及所有agv的agv信息，動(dòng)作集合包括向預(yù)設(shè)方向運(yùn)動(dòng)、停止、裝貨以及卸貨，獎(jiǎng)勵(lì)函數(shù)是基于作業(yè)時(shí)間函數(shù)確定的；

22、基于預(yù)設(shè)策略、狀態(tài)空間、環(huán)境集合以及動(dòng)作集合確定目標(biāo)動(dòng)作，并得到執(zhí)行目標(biāo)動(dòng)作后的智能體新?tīng)顟B(tài)；

23、基于獎(jiǎng)勵(lì)函數(shù)確定智能體新?tīng)顟B(tài)得到的獎(jiǎng)勵(lì)，并獲得每個(gè)智能體的狀態(tài)轉(zhuǎn)移序列；

24、將每一時(shí)刻得到所有智能體的狀態(tài)轉(zhuǎn)移序列存儲(chǔ)到經(jīng)驗(yàn)池中；

25、在經(jīng)驗(yàn)池中進(jìn)行隨機(jī)抽樣；

26、基于反向傳播算法對(duì)maddpg網(wǎng)絡(luò)架構(gòu)中的本地網(wǎng)絡(luò)參數(shù)進(jìn)行更新；

27、并基于更新后的本地網(wǎng)絡(luò)參數(shù)和軟更新方法更新maddpg網(wǎng)絡(luò)架構(gòu)中的目標(biāo)網(wǎng)絡(luò)參數(shù)；

28、基于預(yù)設(shè)迭代次數(shù)對(duì)maddpg網(wǎng)絡(luò)架構(gòu)進(jìn)行迭代優(yōu)化訓(xùn)練，得到目標(biāo)路徑規(guī)劃算法。

29、本技術(shù)實(shí)施例中，基于起點(diǎn)位置和所有agv信息確定目標(biāo)agv，包括：

30、基于所有agv的裝載狀態(tài)確定空載agv；

31、基于起點(diǎn)位置和所有空載agv的位置，確定所有空載agv中距離起點(diǎn)位置最近的空載agv為目標(biāo)agv。

32、本技術(shù)實(shí)施例中，基于起點(diǎn)位置和所有空載agv的agv位置，確定所有空載agv中距離起點(diǎn)位置最近的空載agv為目標(biāo)agv，包括：

33、分別確定起點(diǎn)位置與各個(gè)空載agv的位置之間的曼哈頓距離；

34、確定所有空載agv中對(duì)應(yīng)的曼哈頓距離最小的空載agv為目標(biāo)agv。

35、本技術(shù)實(shí)施例中，agv路徑規(guī)劃方法還包括：

36、對(duì)所有作業(yè)倉(cāng)庫(kù)的所有區(qū)域進(jìn)行柵格化，得到柵格空間；

37、基于柵格空間建立笛卡爾坐標(biāo)系；

38、基于笛卡爾坐標(biāo)系確定起點(diǎn)位置、終點(diǎn)位置、所有一級(jí)配料區(qū)位置、所有一級(jí)緩存區(qū)位置、所有二級(jí)配料區(qū)位置、所有二級(jí)緩存區(qū)位置以及agv的位置。

39、本技術(shù)第二方面提供一種電子設(shè)備，包括：

40、存儲(chǔ)器，被配置成存儲(chǔ)指令；

41、處理器，被配置成從存儲(chǔ)器調(diào)用指令以及在執(zhí)行指令時(shí)能夠?qū)崿F(xiàn)如上述實(shí)施例所述的agv路徑規(guī)劃方法。

42、本技術(shù)第三方面提供一種機(jī)器可讀存儲(chǔ)介質(zhì)，該機(jī)器可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，該指令用于使得機(jī)器執(zhí)行如上述實(shí)施例所述的agv路徑規(guī)劃方法。

43、通過(guò)上述技術(shù)方案，通過(guò)獲取作業(yè)需求和所有倉(cāng)庫(kù)的agv信息，其中，作業(yè)需求包括起點(diǎn)位置、終點(diǎn)位置、所有一級(jí)配料區(qū)位置和一級(jí)緩存區(qū)位置、所有二級(jí)配料區(qū)位置和二級(jí)緩存區(qū)位置以及作業(yè)流程，agv信息包括agv的裝載狀態(tài)和agv的位置；并基于起點(diǎn)位置和所有agv信息確定目標(biāo)agv；通過(guò)對(duì)agv的篩選，節(jié)省多倉(cāng)庫(kù)間對(duì)agv進(jìn)行調(diào)度的資源。并基于作業(yè)需求和目標(biāo)agv的位置構(gòu)建作業(yè)時(shí)間函數(shù)；基于作業(yè)時(shí)間函數(shù)確定目標(biāo)路徑規(guī)劃算法的獎(jiǎng)勵(lì)函數(shù)；基于目標(biāo)路徑規(guī)劃算法進(jìn)行agv路徑規(guī)劃，得到目標(biāo)agv路徑。使得目標(biāo)agv基于該目標(biāo)agv路徑執(zhí)行作業(yè)需求對(duì)應(yīng)的任務(wù)時(shí)，可以在滿足作業(yè)需求的前提下減少任務(wù)執(zhí)行的時(shí)間。且通過(guò)上述技術(shù)方案，解除了對(duì)倉(cāng)庫(kù)間agv調(diào)度的限制，確保agv能夠?qū)崟r(shí)獲取不同倉(cāng)庫(kù)的agv信息和作業(yè)需求，不再局限于對(duì)單個(gè)倉(cāng)庫(kù)內(nèi)部的agv調(diào)度，實(shí)現(xiàn)了覆蓋多倉(cāng)庫(kù)間agv作業(yè)路徑規(guī)劃，提升了對(duì)多倉(cāng)庫(kù)間agv調(diào)度的適應(yīng)能力。

44、本技術(shù)實(shí)施例的其它特征和優(yōu)點(diǎn)將在隨后的具體實(shí)施方式部分予以詳細(xì)說(shuō)明。