本發(fā)明屬于物聯(lián)網(wǎng)，具體涉及一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法。

背景技術(shù)：

1、隨著科技的發(fā)展以及社會(huì)經(jīng)濟(jì)的快速發(fā)展，自動(dòng)化、智能化的技術(shù)成為了現(xiàn)代社會(huì)發(fā)展的必然趨勢(shì)。智能物聯(lián)網(wǎng)設(shè)備，特別是智能手機(jī)等移動(dòng)設(shè)備，在全球范圍內(nèi)得到了廣泛普及，并逐漸滲透到日常生活的各個(gè)方面。這些設(shè)備在提供豐富功能和應(yīng)用的同時(shí)，也對(duì)其內(nèi)部的計(jì)算資源和能效管理提出了更高的要求。

2、深度神經(jīng)網(wǎng)絡(luò)(dnn)在移動(dòng)設(shè)備上的部署和應(yīng)用已成為研究的熱點(diǎn)。dnn在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理和增強(qiáng)現(xiàn)實(shí)等多個(gè)領(lǐng)域中展現(xiàn)了強(qiáng)大的能力。然而，由于dnn計(jì)算復(fù)雜度高且需要大量的計(jì)算資源，這對(duì)依賴電池供電的移動(dòng)設(shè)備的能效管理提出了巨大挑戰(zhàn)。

3、目前，在實(shí)現(xiàn)高能效并行dnn推理時(shí)，現(xiàn)有的靜態(tài)劃分方案難以適應(yīng)移動(dòng)設(shè)備多變的負(fù)載和處理器條件，從而導(dǎo)致性能和能效的下降。為了克服上述挑戰(zhàn)，現(xiàn)有的研究提出了一些解決方案。例如，通過(guò)模型壓縮、動(dòng)態(tài)電壓頻率調(diào)整(dvfs)以及內(nèi)存訪問(wèn)優(yōu)化等方法，可以在一定程度上提高能效。然而，這些方法往往只關(guān)注單一處理器或靜態(tài)環(huán)境，無(wú)法充分應(yīng)對(duì)異構(gòu)處理器之間復(fù)雜的交互和動(dòng)態(tài)變化的硬件環(huán)境。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法，首先，基于隨機(jī)森林回歸算法的能耗預(yù)測(cè)模型，用于移動(dòng)設(shè)備動(dòng)態(tài)環(huán)境下的能耗預(yù)測(cè)；針對(duì)多種硬件環(huán)境和任務(wù)特征，構(gòu)建能耗數(shù)據(jù)集并進(jìn)行特征選擇，通過(guò)離線建模和在線調(diào)整，實(shí)現(xiàn)對(duì)設(shè)備狀態(tài)和任務(wù)需求的實(shí)時(shí)監(jiān)測(cè)和能耗精準(zhǔn)預(yù)測(cè)。其次，基于動(dòng)態(tài)規(guī)劃算法的算子自適應(yīng)劃分方法，用于深度神經(jīng)網(wǎng)絡(luò)在多異構(gòu)處理器上的高效并行推理。在能耗預(yù)測(cè)的基礎(chǔ)上，綜合考慮算子之間的依賴關(guān)系、跨處理器的數(shù)據(jù)通信開銷及處理器的動(dòng)態(tài)資源情況，實(shí)時(shí)優(yōu)化算子劃分策略，確保系統(tǒng)在滿足性能要求的同時(shí)達(dá)到最佳能效。通過(guò)以上方法，本發(fā)明顯著提高了移動(dòng)設(shè)備上深度神經(jīng)網(wǎng)絡(luò)推理的能效和響應(yīng)速度，解決了現(xiàn)有技術(shù)中靜態(tài)劃分方法難以適應(yīng)動(dòng)態(tài)環(huán)境的問(wèn)題。

2、本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案如下：

3、步驟1：移動(dòng)設(shè)備動(dòng)態(tài)環(huán)境能耗數(shù)據(jù)集構(gòu)建；

4、針對(duì)不同的移動(dòng)設(shè)備和異構(gòu)處理器，采集在多種硬件環(huán)境下的能耗數(shù)據(jù)；

5、將采集到的數(shù)據(jù)按照時(shí)間戳進(jìn)行記錄，確保數(shù)據(jù)的連續(xù)性和完整性；

6、對(duì)采集到的數(shù)據(jù)進(jìn)行預(yù)處理；

7、對(duì)數(shù)據(jù)進(jìn)行歸一化處理；

8、最后，將處理后的數(shù)據(jù)按照指定的格式存儲(chǔ)，構(gòu)建移動(dòng)設(shè)備動(dòng)態(tài)環(huán)境下的能耗數(shù)據(jù)集；

9、步驟2：移動(dòng)設(shè)備動(dòng)態(tài)環(huán)境能耗預(yù)測(cè)的特征選擇方法設(shè)計(jì)；

10、利用隨機(jī)森林回歸算法進(jìn)行特征選擇；

11、設(shè)能耗數(shù)據(jù)集為d＝{(xi,yi)}，其中xi為特征向量，yi為對(duì)應(yīng)的能耗值，特征選擇的目標(biāo)是找到一組特征f，使得能耗預(yù)測(cè)模型的誤差最小化：

12、

13、其中，為模型預(yù)測(cè)的能耗值；

14、步驟3：動(dòng)態(tài)環(huán)境下能耗預(yù)測(cè)模型訓(xùn)練；

15、利用隨機(jī)森林回歸模型對(duì)移動(dòng)設(shè)備的動(dòng)態(tài)環(huán)境進(jìn)行能耗預(yù)測(cè)，訓(xùn)練過(guò)程中優(yōu)化能耗預(yù)測(cè)誤差，預(yù)測(cè)誤差計(jì)算公式如下：

16、

17、其中，|dtest|為測(cè)試數(shù)據(jù)集，ytrue,i為真實(shí)能耗值，ypred,i為模型預(yù)測(cè)的能耗值；

18、通過(guò)不斷調(diào)整模型參數(shù)，最小化上述誤差，最終得到最優(yōu)的能耗預(yù)測(cè)模型；

19、步驟4：基于動(dòng)態(tài)規(guī)劃的算子自適應(yīng)劃分；

20、引入能耗反饋，通過(guò)最小化總能耗，優(yōu)化算子分配；

21、考慮算子之間的依賴關(guān)系和處理器的動(dòng)態(tài)資源情況，更新動(dòng)態(tài)規(guī)劃表，計(jì)算每個(gè)算子在不同處理器上的執(zhí)行時(shí)間和能耗；

22、使用動(dòng)態(tài)規(guī)劃表中的最小能耗值，確定最優(yōu)算子劃分策略，并不斷調(diào)整以適應(yīng)動(dòng)態(tài)環(huán)境；

23、dp[i][j]＝min{dp[i-1][k]+eij(t)}

24、其中，dp[i][j]表示將前i個(gè)算子分配給前j個(gè)處理器的最小能耗，eij(t)表示算子vi在處理器上pj的能耗；

25、步驟5：基于自適應(yīng)調(diào)整算法的算子調(diào)度；

26、利用自適應(yīng)調(diào)整算法，根據(jù)當(dāng)前資源狀態(tài)和歷史狀態(tài)，調(diào)整算子劃分策略以實(shí)現(xiàn)能效優(yōu)化；

27、δr＝∥r(t)-rk∥

28、其中，r(t)為當(dāng)前資源狀態(tài)，rk歷史資源狀態(tài)，δr為當(dāng)前狀態(tài)與歷史狀態(tài)的偏差；

29、通過(guò)計(jì)算當(dāng)前狀態(tài)與歷史狀態(tài)的偏差，判斷是否需要調(diào)整算子劃分策略；當(dāng)偏差小于預(yù)設(shè)閾值時(shí)，保持當(dāng)前算子劃分策略不變，否則根據(jù)當(dāng)前資源狀態(tài)調(diào)整算子劃分策略。

30、優(yōu)選地，所述能耗數(shù)據(jù)集包括特征向量和對(duì)應(yīng)的能耗值。

31、優(yōu)選地，所述特征向量包括處理器的使用狀態(tài)和任務(wù)特征。

32、優(yōu)選地，所述處理器的使用狀態(tài)包括cpu、gpu、dsp的使用率和頻率。

33、優(yōu)選地，所述任務(wù)特征包括算子類型、算子大小。

34、本發(fā)明的有益效果如下：

35、(1)本發(fā)明提出一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法，通過(guò)結(jié)合隨機(jī)森林回歸算法和動(dòng)態(tài)規(guī)劃算法，能夠在動(dòng)態(tài)環(huán)境下精確預(yù)測(cè)能耗，并自適應(yīng)地調(diào)整算子劃分策略，顯著提高了深度神經(jīng)網(wǎng)絡(luò)推理的能效。

36、(2)本發(fā)明采用基于動(dòng)態(tài)規(guī)劃和自適應(yīng)調(diào)整的算子調(diào)度方法，在多異構(gòu)處理器上實(shí)現(xiàn)算子的高效并行，優(yōu)化了深度神經(jīng)網(wǎng)絡(luò)推理的性能，減少了執(zhí)行時(shí)間和能耗。。

37、(3)本發(fā)明通過(guò)實(shí)時(shí)監(jiān)測(cè)設(shè)備狀態(tài)和任務(wù)需求，利用能耗反饋和狀態(tài)偏差計(jì)算，自適應(yīng)調(diào)整算子劃分策略，能夠動(dòng)態(tài)適應(yīng)多變的硬件環(huán)境，保持系統(tǒng)的高效運(yùn)行。

技術(shù)特征：

1.一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法，其特征在于，所述能耗數(shù)據(jù)集包括特征向量和對(duì)應(yīng)的能耗值。

3.根據(jù)權(quán)利要求1所述的一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法，其特征在于，所述特征向量包括處理器的使用狀態(tài)和任務(wù)特征。

4.根據(jù)權(quán)利要求1所述的一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法，其特征在于，所述處理器的使用狀態(tài)包括cpu、gpu、dsp的使用率和頻率。

5.根據(jù)權(quán)利要求1所述的一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法，其特征在于，所述任務(wù)特征包括算子類型、算子大小。

技術(shù)總結(jié)
本發(fā)明公開了一種面向智能物聯(lián)網(wǎng)異構(gòu)嵌入式芯片的自適應(yīng)算子并行分割方法，首先，基于隨機(jī)森林回歸算法的能耗預(yù)測(cè)模型進(jìn)行能耗預(yù)測(cè)；針對(duì)多種硬件環(huán)境和任務(wù)特征，構(gòu)建能耗數(shù)據(jù)集并進(jìn)行特征選擇，實(shí)現(xiàn)對(duì)設(shè)備狀態(tài)和任務(wù)需求的實(shí)時(shí)監(jiān)測(cè)和能耗精準(zhǔn)預(yù)測(cè)。其次，基于動(dòng)態(tài)規(guī)劃算法的算子自適應(yīng)劃分方法，用于深度神經(jīng)網(wǎng)絡(luò)在多異構(gòu)處理器上的高效并行推理。在能耗預(yù)測(cè)的基礎(chǔ)上，綜合考慮算子之間的依賴關(guān)系、跨處理器的數(shù)據(jù)通信開銷及處理器的動(dòng)態(tài)資源情況，確保系統(tǒng)在滿足性能要求的同時(shí)達(dá)到最佳能效。通過(guò)以上方法，本發(fā)明顯著提高了移動(dòng)設(shè)備上深度神經(jīng)網(wǎng)絡(luò)推理的能效和響應(yīng)速度，解決了現(xiàn)有技術(shù)中靜態(tài)劃分方法難以適應(yīng)動(dòng)態(tài)環(huán)境的問(wèn)題。

技術(shù)研發(fā)人員：郭斌,林政,劉思聰,於志文,宋戈揚(yáng)
受保護(hù)的技術(shù)使用者：西北工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30