本發(fā)明涉及電數(shù)字?jǐn)?shù)據(jù)處理，具體為一種自適應(yīng)壓縮編碼的分層聯(lián)邦學(xué)習(xí)方法。

背景技術(shù)：

1、當(dāng)前隨著無線通信技術(shù)的發(fā)展和人們對分布式訓(xùn)練的日益重視，基于“云-邊-端”協(xié)同的分層聯(lián)邦學(xué)習(xí)框架（hfl）越來越受到關(guān)注，被廣泛用于環(huán)境資源分配、位置信息調(diào)度、圖像與視頻數(shù)據(jù)分析等場景。

2、例如公告號為cn113971090b的發(fā)明專利，上述申請一個或多個實施例提供一種分布式深度神經(jīng)網(wǎng)絡(luò)的分層聯(lián)邦學(xué)習(xí)方法及裝置，包括：多個終端利用本地數(shù)據(jù)分別進行模型訓(xùn)練，并將訓(xùn)練得到的前端模型傳輸至同一分支的邊緣節(jié)點；邊緣節(jié)點對分支下的多個終端傳輸?shù)那岸四Ｐ瓦M行聚合，得到聚合后的新的前端模型；基于新的前端模型，邊緣節(jié)點協(xié)同終端對包含后端模型在內(nèi)的整體模型進行訓(xùn)練，并將得到的整體模型傳輸至云端；云端對多個邊緣節(jié)點傳輸?shù)恼w模型進行聚合，迭代多次后得到全局統(tǒng)一的新的整體模型；通過以上方式，上述申請能夠顯著降低任務(wù)計算的時間消耗，增強了實時性要求，能夠解決不同層級的數(shù)據(jù)傾斜問題，具有廣泛應(yīng)用前景。

3、結(jié)合上述技術(shù)方案發(fā)現(xiàn)，目前在對分層聯(lián)邦學(xué)習(xí)技術(shù)方案中，通常是根據(jù)較為固定的訓(xùn)練方式得到后續(xù)訓(xùn)練模型，導(dǎo)致各設(shè)備之間的訓(xùn)練不同步，為聚合操作造成了困難，并且固定訓(xùn)練的方式容易出現(xiàn)設(shè)備之間的傳輸偏差，這些偏差或錯誤可能會在后續(xù)的聚合中被累積和放大，最終影響分層聯(lián)邦學(xué)習(xí)的使用。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種自適應(yīng)壓縮編碼的分層聯(lián)邦學(xué)習(xí)方法，能夠有效解決上述背景技術(shù)中涉及的問題。

2、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：一種自適應(yīng)壓縮編碼的分層聯(lián)邦學(xué)習(xí)方法，包括：s1.分層聯(lián)邦學(xué)習(xí)架構(gòu)構(gòu)建：將各終端設(shè)備、邊緣服務(wù)器和云服務(wù)器進行分層聯(lián)邦學(xué)習(xí)架構(gòu)構(gòu)建；s2.獲取各終端設(shè)備的數(shù)據(jù)處理相關(guān)信息，評估出各終端設(shè)備的數(shù)據(jù)處理性能指數(shù)，根據(jù)預(yù)定義的各性能指數(shù)區(qū)間，匹配出終端設(shè)備對應(yīng)的邊緣服務(wù)器；s3.各終端設(shè)備收集環(huán)境資源調(diào)度云平臺存儲的環(huán)境數(shù)據(jù)并進行模型訓(xùn)練，生成各終端設(shè)備的環(huán)境數(shù)據(jù)訓(xùn)練模型，判定各終端設(shè)備的模型生成性能評估值，并與預(yù)定義的模型生成性能評估閾值進行比較，得到比較結(jié)果，進入s5；s4.邊緣服務(wù)器監(jiān)測各輸入端的網(wǎng)絡(luò)傳輸性能，評估邊緣服務(wù)器各輸入端的網(wǎng)絡(luò)傳輸性能指標(biāo)，匹配出邊緣服務(wù)器各輸入端對應(yīng)的壓縮率；s5.基于比較結(jié)果，邊緣服務(wù)器接收各終端設(shè)備的環(huán)境數(shù)據(jù)訓(xùn)練模型并按照邊緣服務(wù)器各輸入端對應(yīng)的壓縮率依次進行自適應(yīng)壓縮編碼以及邊緣聚合，得到邊緣服務(wù)器的聚合結(jié)果，云服務(wù)器接收邊緣服務(wù)器的聚合結(jié)果并進行全局聚合，判定云服務(wù)器的全局聚合質(zhì)量指標(biāo)，最終判斷分層聯(lián)邦學(xué)習(xí)架構(gòu)所屬云服務(wù)器是否將全局聚合對應(yīng)結(jié)果上傳至環(huán)境資源調(diào)度云平臺。

3、作為進一步的方法，所述評估出各終端設(shè)備的數(shù)據(jù)處理性能指數(shù)，具體評估過程為：所述各終端設(shè)備的數(shù)據(jù)處理相關(guān)信息，具體包括各終端設(shè)備所屬中央處理器的核心數(shù)、各終端設(shè)備所屬中央處理器的時鐘頻率、各終端設(shè)備所屬固態(tài)硬盤的數(shù)據(jù)讀取速度以及各終端設(shè)備所屬固態(tài)硬盤的數(shù)據(jù)寫入速度；根據(jù)各終端設(shè)備的數(shù)據(jù)處理相關(guān)信息，綜合分析得到各終端設(shè)備的數(shù)據(jù)處理性能指數(shù)，具體方式如下：

4、；

5、式中，為第i個終端設(shè)備的數(shù)據(jù)處理性能指數(shù)，i為各終端設(shè)備的編號，，m為終端設(shè)備的總量，為第i個終端設(shè)備所屬中央處理器的核心數(shù)，為第i個終端設(shè)備所屬中央處理器的時鐘頻率，為第i個終端設(shè)備所屬固態(tài)硬盤的數(shù)據(jù)讀取速度，為第i個終端設(shè)備所屬固態(tài)硬盤的數(shù)據(jù)寫入速度，為環(huán)境資源調(diào)度云平臺中預(yù)定義的核心數(shù)對應(yīng)的權(quán)重因子，為環(huán)境資源調(diào)度云平臺中預(yù)定義的時鐘頻率對應(yīng)的權(quán)重因子，為環(huán)境資源調(diào)度云平臺中預(yù)定義的數(shù)據(jù)讀取速度對應(yīng)的權(quán)重因子，為環(huán)境資源調(diào)度云平臺中預(yù)定義的數(shù)據(jù)寫入速度對應(yīng)的權(quán)重因子，e為自然常數(shù)。

6、作為進一步的方法，所述判定各終端設(shè)備的模型生成性能評估值，具體判定過程為：獲取各終端設(shè)備的模型生成關(guān)聯(lián)數(shù)據(jù)，具體包括各終端設(shè)備的模型生成所需時長、各終端設(shè)備模型生成所屬中央處理器的核心數(shù)、各終端設(shè)備模型生成的內(nèi)存占用量、各終端設(shè)備模型生成所屬固態(tài)硬盤的數(shù)據(jù)讀取速度以及各終端設(shè)備模型生成所屬固態(tài)硬盤的數(shù)據(jù)寫入速度；將各終端設(shè)備模型生成所屬固態(tài)硬盤的數(shù)據(jù)讀取速度，與各終端設(shè)備模型生成所屬固態(tài)硬盤的數(shù)據(jù)寫入速度進行比值處理，得到各終端設(shè)備模型生成所屬固態(tài)硬盤的數(shù)據(jù)讀寫效率；從環(huán)境資源調(diào)度云平臺中提取得到內(nèi)存參照占用量；根據(jù)各終端設(shè)備的模型生成所需時長、各終端設(shè)備模型生成所屬中央處理器的核心數(shù)、各終端設(shè)備模型生成的內(nèi)存占用量、內(nèi)存參照占用量以及各終端設(shè)備模型生成所屬固態(tài)硬盤的數(shù)據(jù)讀寫效率，綜合分析得到各終端設(shè)備的模型生成性能評估值。

7、作為進一步的方法，所述與預(yù)定義的模型生成性能評估閾值進行比較，得到比較結(jié)果，具體比較過程為：若比較結(jié)果顯示為各終端設(shè)備的模型生成性能評估值大于或等于模型生成性能評估閾值，則將各終端設(shè)備的環(huán)境數(shù)據(jù)訓(xùn)練模型輸入至邊緣服務(wù)器，若比較結(jié)果顯示為各終端設(shè)備的模型生成性能評估值小于模型生成性能評估閾值，則對各終端設(shè)備進行模型生成性能預(yù)警。

8、作為進一步的方法，所述評估邊緣服務(wù)器各輸入端的網(wǎng)絡(luò)傳輸性能指標(biāo)，具體評估過程為：獲取邊緣服務(wù)器各輸入端的網(wǎng)絡(luò)傳輸監(jiān)測數(shù)據(jù)，具體包括邊緣服務(wù)器與各輸入端之間在數(shù)據(jù)傳輸周期內(nèi)的數(shù)據(jù)傳輸帶寬、數(shù)據(jù)傳輸最大延遲時長、數(shù)據(jù)最大丟包率以及網(wǎng)絡(luò)最小吞吐量；根據(jù)邊緣服務(wù)器各輸入端的網(wǎng)絡(luò)傳輸監(jiān)測數(shù)據(jù)，綜合分析得到邊緣服務(wù)器各輸入端的網(wǎng)絡(luò)傳輸性能指標(biāo)。

9、作為進一步的方法，所述判定云服務(wù)器的全局聚合質(zhì)量指標(biāo)，具體判定過程為：獲取云服務(wù)器的全局聚合關(guān)聯(lián)數(shù)據(jù)，具體包括云服務(wù)器完成全局聚合的數(shù)據(jù)量、云服務(wù)器接收的總數(shù)據(jù)量、云服務(wù)器的全局聚合所需時長；獲取邊緣服務(wù)器輸出端的網(wǎng)絡(luò)傳輸監(jiān)測數(shù)據(jù)，具體為邊緣服務(wù)器與輸出端之間在數(shù)據(jù)傳輸周期內(nèi)的數(shù)據(jù)傳輸帶寬；將云服務(wù)器完成全局聚合的數(shù)據(jù)量，與云服務(wù)器接收的總數(shù)據(jù)量進行比值處理，得到云服務(wù)器的聚合完成度；根據(jù)云服務(wù)器的全局聚合所需時長、云服務(wù)器的聚合完成度、各終端設(shè)備模型生成的內(nèi)存占用量以及邊緣服務(wù)器與輸出端之間在數(shù)據(jù)傳輸周期內(nèi)的數(shù)據(jù)傳輸帶寬，綜合分析得到云服務(wù)器的全局聚合質(zhì)量指標(biāo)。

10、作為進一步的方法，所述判斷分層聯(lián)邦學(xué)習(xí)架構(gòu)所屬云服務(wù)器是否將全局聚合對應(yīng)結(jié)果上傳至環(huán)境資源調(diào)度云平臺，具體判斷過程為：將云服務(wù)器的全局聚合質(zhì)量指標(biāo)，與預(yù)定義的全局聚合質(zhì)量指標(biāo)預(yù)置值進行比較，若云服務(wù)器的全局聚合質(zhì)量指標(biāo)大于全局聚合質(zhì)量指標(biāo)預(yù)置值，則分層聯(lián)邦學(xué)習(xí)架構(gòu)所屬云服務(wù)器將全局聚合對應(yīng)結(jié)果上傳至環(huán)境資源調(diào)度云平臺，若云服務(wù)器的全局聚合質(zhì)量指標(biāo)等于或小于全局聚合質(zhì)量指標(biāo)預(yù)置值，則對分層聯(lián)邦學(xué)習(xí)架構(gòu)所屬云服務(wù)器進行全局聚合質(zhì)量預(yù)警。

11、相對于現(xiàn)有技術(shù)，本發(fā)明的實施例至少具有如下優(yōu)點或有益效果：

12、（1）本發(fā)明通過提供一種自適應(yīng)壓縮編碼的分層聯(lián)邦學(xué)習(xí)方法，首先構(gòu)建出分層聯(lián)邦學(xué)習(xí)架構(gòu)，使得每一層都能充分利用其計算資源，適合處理大規(guī)模數(shù)據(jù)處理和模型訓(xùn)練任務(wù)，通過匹配得到終端設(shè)備對應(yīng)的邊緣服務(wù)器，各終端設(shè)備用于生成環(huán)境數(shù)據(jù)訓(xùn)練模型，根據(jù)邊緣服務(wù)器的網(wǎng)絡(luò)傳輸性能得到對應(yīng)的壓縮率，邊緣服務(wù)器接收各終端設(shè)備的環(huán)境數(shù)據(jù)訓(xùn)練模型并按照對應(yīng)的壓縮率依次進行自適應(yīng)壓縮編碼以及邊緣聚合，自適應(yīng)壓縮編碼可以顯著降低數(shù)據(jù)傳輸?shù)耐ㄐ懦杀荆品?wù)器接收邊緣聚合結(jié)果并進行全局聚合，可以得到更加全面和準(zhǔn)確的模型，最終判斷分層聯(lián)邦學(xué)習(xí)架構(gòu)所屬云服務(wù)器是否將全局聚合對應(yīng)結(jié)果上傳至環(huán)境資源調(diào)度云平臺；

13、（2）本發(fā)明通過邊緣服務(wù)器監(jiān)測自身各輸入端以及輸出端的網(wǎng)絡(luò)傳輸性能，評估邊緣服務(wù)器各輸入端的網(wǎng)絡(luò)傳輸性能指標(biāo)，根據(jù)網(wǎng)絡(luò)傳輸性能指標(biāo)邊緣服務(wù)器可以動態(tài)地調(diào)整對應(yīng)的壓縮，在網(wǎng)絡(luò)狀況較差時增加壓縮率，以減少數(shù)據(jù)傳輸量，從而緩解網(wǎng)絡(luò)擁堵；在網(wǎng)絡(luò)狀況良好時降低壓縮率，以保持?jǐn)?shù)據(jù)質(zhì)量，降低數(shù)據(jù)傳輸延遲；

14、（3）本發(fā)明通過獲取各終端設(shè)備的數(shù)據(jù)處理相關(guān)信息，評估出各終端設(shè)備的數(shù)據(jù)處理性能指數(shù)，根據(jù)預(yù)定義的各性能指數(shù)區(qū)間，匹配出終端設(shè)備對應(yīng)的邊緣服務(wù)器，可以確保在相似性能的設(shè)備間進行同步訓(xùn)練，減少因性能差異導(dǎo)致的訓(xùn)練延遲，通過減少訓(xùn)練過程中的不同步現(xiàn)象，可以降低因重復(fù)訓(xùn)練或等待低性能設(shè)備而產(chǎn)生的通信開銷，提高數(shù)據(jù)傳輸效率。