本發(fā)明屬于視頻目標檢測領域，具體涉及一種受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法。

背景技術(shù)：

1、隨著智能視頻分析技術(shù)的快速發(fā)展，目標檢測已成為視頻監(jiān)控、自動駕駛、智能交互等領域的關(guān)鍵技術(shù)。然而，這些應用場景往往面臨著資源受限的挑戰(zhàn)，尤其是在嵌入式設備和移動平臺上，cpu、npu(神經(jīng)網(wǎng)絡處理單元)和內(nèi)存資源都相對有限。在這種情況下，如何高效利用有限的計算資源，保證視頻目標檢測的實時性和準確性，成為了一個亟待解決的問題。

技術(shù)實現(xiàn)思路

1、(一)要解決的技術(shù)問題

2、本發(fā)明要解決的技術(shù)問題是如何提供一種受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，以解決高效利用有限的計算資源，保證視頻目標檢測的實時性和準確性的問題。

3、(二)技術(shù)方案

4、為了解決上述技術(shù)問題，本發(fā)明提出一種受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，該方法包括：

5、假設進程總數(shù)為n，每個進程包括：預處理、推理、后處理三部分內(nèi)容；cpu完成預處理和后處理過程，npu完成推理過程；

6、首先，通過視頻的幀劃分，按順序?qū)⒌?幀到第n幀分發(fā)給相應的n個進程，再順序?qū)⒌趎+1幀到第2n幀繼續(xù)依次分發(fā)給相應的進程，依此類推；

7、對于任意進程i，采用一個隊列ai保存原始的視頻信息，隊列按順序保存了第i幀、第n+i幀、第2n+i等幀的信息，隊列中的消息格式為[frame_id，frame，start_time]三部分，分別表示幀id、幀內(nèi)容和開始時間，最大隊列長度為a，start_time記錄幀進入進程被處理的開始時間；

8、將隊列內(nèi)容依次經(jīng)過預處理、推理和后處理，得到結(jié)果隊列bi，bi中的消息格式為[frame_id，result，finish_time]，分別表示幀id、結(jié)果和結(jié)束時間，最大隊列長度為b，finish_time記錄進程處理完成的結(jié)束時間；

9、顯示節(jié)點依次從進程1到進程n中順序取出結(jié)果進行顯示即可保證以正確順序顯示結(jié)果。

10、(三)有益效果

11、本發(fā)明提出一種受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，本發(fā)明通過優(yōu)化進程管理、計算資源分配和隊列長度設置，在資源受限的嵌入式設備或移動平臺上，實現(xiàn)高效、穩(wěn)定的視頻目標檢測，從而推動智能視頻分析技術(shù)在更多場景中的應用，本發(fā)明具有以下有益效果：

12、1、提高視頻目標檢測的實時性，確保在受限環(huán)境下仍能保持較高的幀處理速率。

13、2、優(yōu)化cpu、npu資源利用率，避免資源浪費。

14、3、保證視頻輸出的流暢性，提升用戶體驗。

技術(shù)特征：

1.一種受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，該方法包括：

2.如權(quán)利要求1所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，以滑動窗口的方式計算真實fps來評價性能；窗口大小t1為最大端到端推理時間，公式為即針對所有進程處理的每一幀中，推理時間最長的幀的推理時間；窗口更新間隔時間t2為最小端到端推理時間，t2的計算方式為即針對所有進程處理的每一幀中，推理時間最短的幀的推理時間；假設在t1時間段內(nèi)處理了m幀，則fps的計算公式為fps更新的時間間隔為t2。

3.如權(quán)利要求2所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，在進程處理的后處理階段，由于非極大值抑制nms的處理時間與檢測結(jié)果的數(shù)量相關(guān)，設定最大時間閾值p，當nms處理時間超過p秒時，停止計算并退出，防止nms造成的t1值無限增大。

4.如權(quán)利要求3所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，p值根據(jù)目標任務類型作為超參數(shù)自行設定。

5.如權(quán)利要求1-4任一項所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，該方法采用視頻幀率整形機制，即設定一個輸出fps幀率，保證視頻輸出幀率的穩(wěn)定；其中，需要根據(jù)受限環(huán)境調(diào)節(jié)進程總數(shù)n、輸入隊列ai的最大長度a以及結(jié)果隊列bi的最大長度b，輸出fps幀率需要根據(jù)真實fps來計算。

6.如權(quán)利要求5所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，最合適的n值對應最大輸出fps幀率且n值僅僅取決于受限環(huán)境的cpu和npu計算資源；每次調(diào)節(jié)n值時，需要舍棄所有已創(chuàng)建的ai和bi隊列，重新開始fps的計算。

7.如權(quán)利要求5所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，求取合適n值時：采用slow?start算法增加n的初始值，即采用指數(shù)方式，每次采用2n值翻倍增加；當真實fps開始減小，針對n值采用乘性減少的方式，將當前n值乘以0.5的系數(shù)，并轉(zhuǎn)換為整數(shù)值；當真實fps繼續(xù)增加時，采用加性增加的方式，n值每次增加1；循環(huán)乘性減少和加性增加的方式，獲得一個穩(wěn)定的真實fps最高值；

8.如權(quán)利要求7所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，某一穩(wěn)定的受限環(huán)境下，真實fps趨于穩(wěn)定，則設置a等于b。

9.如權(quán)利要求8所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，b的設定公式為

10.如權(quán)利要求8所述的受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，其特征在于，設定一個輸出fps幀率，保證視頻輸出幀率的穩(wěn)定，設定輸出fps幀率為：

技術(shù)總結(jié)
本發(fā)明涉及一種受限環(huán)境下基于目標檢測模型的自適應推理優(yōu)化方法，屬于視頻目標檢測領域。本發(fā)明在CPU、NPU和內(nèi)存資源受限環(huán)境下，完成對視頻的目標檢測處理和顯示的過程，將視頻拆解為圖像幀，按照幀順序?qū)D像幀分發(fā)給多個進程，完成對每幀圖像的處理。同時，本發(fā)明提出了受限環(huán)境，優(yōu)化進程總數(shù)n的方法，計算FPS的方法和幀率整形輸出方法，多進程處理隊列的長度設置方法。本發(fā)明通過優(yōu)化進程管理、計算資源分配和隊列長度設置，在資源受限的嵌入式設備或移動平臺上，實現(xiàn)高效、穩(wěn)定的視頻目標檢測。

技術(shù)研發(fā)人員：吳棟,濮約剛,黃聿澍,何辰飛,張明慶
受保護的技術(shù)使用者：北京計算機技術(shù)及應用研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9