本發(fā)明涉及目標(biāo)檢測與跟蹤，具體為多移動智能體防抖動自動瞄準(zhǔn)方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、自動化瞄準(zhǔn)是一種基于機器視覺的人工智能應(yīng)用技術(shù)，它利用高精度攝像機對目標(biāo)場景進(jìn)行實時捕捉，然后將獲取的視頻流送入目標(biāo)檢測模型進(jìn)行推理，?再根據(jù)模型輸出的檢測結(jié)果對目標(biāo)結(jié)果進(jìn)行自動化瞄準(zhǔn)以及跟蹤，從而實現(xiàn)從識別到瞄準(zhǔn)的全流程操作。

2、基于機器視覺的自動化瞄準(zhǔn)方案同時具有高效率、低成本以及高自主性的優(yōu)勢，現(xiàn)有的一些研究將自動化瞄準(zhǔn)方案劃分為目標(biāo)檢測、瞄準(zhǔn)位置選擇以及自動瞄準(zhǔn)三個部分，通過yolov5目標(biāo)檢測器進(jìn)行二維平面的目標(biāo)識別操作，但在面對極其復(fù)雜的現(xiàn)實場景時，當(dāng)前大部分自動化瞄準(zhǔn)技術(shù)只針對于單目標(biāo)跟蹤，當(dāng)畫面中同時出現(xiàn)多個目標(biāo)時，算法難以快速準(zhǔn)確地做出決策，這會導(dǎo)致準(zhǔn)星在多個目標(biāo)之間大幅度擺動，為此，我們提出多移動智能體防抖動自動瞄準(zhǔn)方法、系統(tǒng)、設(shè)備及介質(zhì)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供多移動智能體防抖動自動瞄準(zhǔn)方法、系統(tǒng)、設(shè)備及介質(zhì)，能夠解決多個高速位移目標(biāo)時存在跟蹤延時與準(zhǔn)星抖動的問題。

2、根據(jù)本發(fā)明的第一方面，為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：多移動智能體防抖動自動瞄準(zhǔn)方法，包括以下步驟：

3、接收攝像機場景圖像畫面幀，并將其輸入yolov8-pose檢測器中，得到目標(biāo)點位置信息記作，其中中的第個元素表示時刻對應(yīng)的畫面中第個跟蹤目標(biāo)點在攝像機二維平面中的坐標(biāo)位置；

4、采用多目標(biāo)跟蹤算法對多個目標(biāo)點的位置信息進(jìn)行預(yù)測、匹配及篩選，得到新的跟蹤點；

5、計算出二維畫面中相對于準(zhǔn)星的偏移量，根據(jù)攝像機的水平及垂直視場角大小，對偏移量的各維度做三維視角變換，從而得到攝像機的轉(zhuǎn)動向量；

6、定義原始執(zhí)行量為，針對準(zhǔn)星在跟蹤目標(biāo)的過程中出現(xiàn)的“準(zhǔn)星追逐”與“準(zhǔn)星過速”兩種狀態(tài)對轉(zhuǎn)動向量進(jìn)行自適應(yīng)位置式pid控制，從而實現(xiàn)原始執(zhí)行量自適應(yīng)調(diào)整得到實際執(zhí)行量；

7、將實際執(zhí)行量輸入外部控制設(shè)備，使攝像機的視角轉(zhuǎn)動向量與實際執(zhí)行量相等。

8、進(jìn)一步地，所述攝像機場景圖像畫面幀通過攝像機實時圖像截取得到，截取畫面的長寬比為，邊長為。

9、進(jìn)一步地，所述攝像機的視場角記作，其中和代表攝像機在橫縱方向上的視野范圍。

10、進(jìn)一步地，采用多目標(biāo)跟蹤算法對多個目標(biāo)點進(jìn)行預(yù)測、匹配及篩選，得到新的跟蹤點，具體包括如下：

11、（41）預(yù)測階段：定義卡爾曼濾波器的均值為，其中代表點坐標(biāo)的估計值，代表點在橫縱維度上移動速度估計值的歸一化結(jié)果；

12、在時刻，卡爾曼濾波器基于前一時刻某點的均值預(yù)測出該點在當(dāng)前時刻的后驗均值，得到后驗分布；取出中所有元素的前兩個分量，得到預(yù)測點集，其中，是對應(yīng)的預(yù)測點，記作；

13、（42）匹配階段，用于匹配點集與中的點：

14、（421）首先計算兩個點集內(nèi)部不同點之間的帶權(quán)馬氏距離，其中，，為兩點集間協(xié)方差矩陣；

15、（422）為確保上一時刻的跟蹤點被優(yōu)先匹配，定義權(quán)重系數(shù)向量，表示點對應(yīng)的權(quán)重系數(shù)，計算公式如下：

16、（1）

17、（2）

18、（3）

19、式中，負(fù)責(zé)提升預(yù)測點的匹配權(quán)重；表示點距離畫面中心的偏移量，點的坐標(biāo)表示為；為偏移量分量系數(shù)，用來控制權(quán)重系數(shù)中偏移量的作用效果，通常取，其中為正方形攝像機畫面邊長；在匹配過程中，即便沒有匹配到適合的檢測點，程序也能夠優(yōu)先選取距離中心點較近的檢測點作為新的跟蹤點，實現(xiàn)小范圍的跟蹤過渡；

20、（423）定義代價矩陣，其元素為歸一化處理后的帶權(quán)馬氏距離，經(jīng)匈牙利匹配后，得到有序?qū)?，其中表示與相匹配；

21、（43）篩選階段：匹配完成后時刻的跟蹤點被定義為，定義相對于準(zhǔn)星的偏移量。

22、進(jìn)一步地，由于三維場景被攝像機截取后降維至二維，場景深度信息被丟棄，因此需要對偏移量進(jìn)行視角場優(yōu)化，得到，計算公式如下：

23、(4)

24、(5)

25、式中，表示畫面邊長，即。

26、進(jìn)一步地，在進(jìn)行pid控制前，首先需要對比例系數(shù)進(jìn)行參數(shù)整定，計算公式如下：

27、(6)

28、式中，表示硬件設(shè)備的可動范圍，表示攝像機的視野范圍，確定后，根據(jù)跟蹤情況從開始微調(diào)積分系數(shù)和微分系數(shù)，前者能夠彌補過小的情況，后者負(fù)責(zé)預(yù)判并抑制過大的情況；

29、將視為偏差量，受位置式pid的啟發(fā)，定義執(zhí)行量的計算公式如下：

30、(7)

31、(8)(9)

32、式中，表示轉(zhuǎn)動向量，表示轉(zhuǎn)動向量相對于時間的導(dǎo)數(shù)；為被限制的偏差量積分值，與表示偏差量積分值的上下限；為條件系數(shù)，表示積分微調(diào)起作用時的合法上限，為了防止高實時跟蹤過程中準(zhǔn)星長時間滯后導(dǎo)致積分大幅累加，使用積分限幅與條件積分對積分項進(jìn)行限制。

33、進(jìn)一步地，針對準(zhǔn)星在跟蹤目標(biāo)的過程中出現(xiàn)的“準(zhǔn)星追逐”與“準(zhǔn)星過速”兩種狀態(tài)對轉(zhuǎn)動向量進(jìn)行自適應(yīng)位置式pid控制，具體如下：

34、（71）首先判斷當(dāng)前跟蹤點是否為新跟蹤點，如果是，即刻執(zhí)行全量控制以加速瞄準(zhǔn)，即；若否，則進(jìn)入狀態(tài)細(xì)分控制：

35、（711）當(dāng)目標(biāo)高速位移且與準(zhǔn)星同向時，由于模型推理存在延時，準(zhǔn)星始終會滯后于目標(biāo)，即“準(zhǔn)星追逐”狀態(tài)，此時執(zhí)行全量控制，即；

36、（712）當(dāng)目標(biāo)突然減速或者移動方向發(fā)生大幅度改變時，準(zhǔn)星會超出目標(biāo)，即“準(zhǔn)星過速”狀態(tài)，此時定義力度縮放因子向量以削減執(zhí)行量的影響，并使用凍結(jié)幀數(shù)以控制力度削減的作用幀數(shù)，即，其中與跟蹤點的運動狀態(tài)有關(guān)，計算公式如下：

37、(10)

38、式中，e表示自然對數(shù)的底數(shù),定義了橫縱方向上的力度縮放因子，其中和用來控制各方向上力度縮放的強度，與偏移量分量占的比率有關(guān)，偏移量越大，力度縮放越顯著,表示時刻k點i的后驗均值,,分別表示點i在時刻k時在橫縱方向上的移動速度估計值的歸一化結(jié)果。

39、根據(jù)本發(fā)明的第二方面，本發(fā)明提供一種多移動智能體防抖動自動瞄準(zhǔn)系統(tǒng)，包括：

40、第一輸入模塊，用于接收攝像機場景圖像畫面幀，并將其輸入yolov8-pose檢測器中，得到目標(biāo)點位置信息記作，其中中的第個元素表示時刻對應(yīng)的畫面中第個跟蹤目標(biāo)點在攝像機二維平面中的坐標(biāo)位置；

41、目標(biāo)點處理模塊，用于采用多目標(biāo)跟蹤算法對多個目標(biāo)點的位置信息進(jìn)行預(yù)測、匹配及篩選，得到新的跟蹤點；

42、計算模塊，用于計算出二維畫面中相對于準(zhǔn)星的偏移量，根據(jù)攝像機的水平及垂直視場角大小，對的各維度做三維視角變換，從而得到攝像機的轉(zhuǎn)動向量；

43、pid控制模塊，用于定義原始執(zhí)行量為，針對準(zhǔn)星在跟蹤目標(biāo)的過程中出現(xiàn)的“準(zhǔn)星追逐”與“準(zhǔn)星過速”兩種狀態(tài)對轉(zhuǎn)動向量進(jìn)行自適應(yīng)位置式pid控制，從而實現(xiàn)原始執(zhí)行量自適應(yīng)調(diào)整得到實際執(zhí)行量；

44、第二輸入模塊，用于將實際執(zhí)行量輸入外部控制設(shè)備，使攝像機的視角轉(zhuǎn)動量與實際執(zhí)行量相等。

45、根據(jù)本發(fā)明的第三方面，本發(fā)明提供一種終端設(shè)備，包括存儲器、處理器及存儲在存儲器中并能夠在處理器上運行的計算機程序，所述存儲器中存儲有能夠在處理器上運行的計算機程序，所述處理器加載并執(zhí)行計算機程序時，采用了上述的多移動智能體防抖動自動瞄準(zhǔn)方法。

46、根據(jù)本發(fā)明的第三方面，本發(fā)明提供一種包含計算機可執(zhí)行指令的存儲介質(zhì)，所述計算機可執(zhí)行指令在由計算機處理器執(zhí)行時用于執(zhí)行上述的多移動智能體防抖動自動瞄準(zhǔn)方法。

47、本發(fā)明至少具備以下有益效果：

48、本發(fā)明以yolov8-pose關(guān)鍵點檢測器為基礎(chǔ)，融合基于mot的多目標(biāo)篩選策略，并首次將機械控制中的pid（比例積分微分控制）控制方法應(yīng)用于跟蹤的后處理階段，通過自適應(yīng)微調(diào)抵消跟蹤延時，實現(xiàn)抗多余目標(biāo)干擾的高平滑度目標(biāo)跟蹤，最大程度上彌補了推理延時帶來的跟蹤滯后現(xiàn)象及準(zhǔn)星抖動，同時能夠預(yù)知跟蹤方向大幅度變化、跟蹤點丟失等突發(fā)狀況并提前做出決策。

49、當(dāng)然，實施本發(fā)明的任一產(chǎn)品并不一定需要同時達(dá)到以上所述的所有優(yōu)點。