本發(fā)明涉及機(jī)器視覺，尤其涉及一種參考點(diǎn)先驗(yàn)位置嵌入與自適應(yīng)更新的多目標(biāo)跟蹤方法。

背景技術(shù)：

1、視頻多目標(biāo)跟蹤(multi-object?tracking，mot)是計(jì)算機(jī)視覺領(lǐng)域極具有挑戰(zhàn)性的問題。mot技術(shù)通過對視頻序列中多個目標(biāo)狀態(tài)進(jìn)行持續(xù)跟蹤，進(jìn)而生成目標(biāo)的運(yùn)動軌跡，該技術(shù)在視頻監(jiān)控、自動駕駛、人機(jī)交互等領(lǐng)域具有重要應(yīng)用前景。由于復(fù)雜場景中的遮擋、光照變化、運(yùn)動模糊以及背景干擾，實(shí)現(xiàn)有效的多目標(biāo)跟蹤仍然是一個具有挑戰(zhàn)性的問題。

2、目前，視頻多目標(biāo)跟蹤方法主要分為基于目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)的跟蹤方法、基于聯(lián)合目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)的一體化跟蹤方法以及基于注意力機(jī)制的跟蹤方法。(1)基于目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)的跟蹤方法在目標(biāo)檢測結(jié)果的基礎(chǔ)上進(jìn)行數(shù)據(jù)關(guān)聯(lián)，屬于兩階段多目標(biāo)跟蹤。因此，模型跟蹤效果很大程度上依賴于檢測器性能，在頻繁遮擋、外觀變化等復(fù)雜場景下的跟蹤穩(wěn)健性尚存在不足。(2)基于聯(lián)合目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)的一體化跟蹤方法將目標(biāo)檢測和數(shù)據(jù)關(guān)聯(lián)結(jié)合在一起，實(shí)現(xiàn)一體化的多目標(biāo)跟蹤；該類跟蹤方法的主要問題在于目標(biāo)檢測與數(shù)據(jù)關(guān)聯(lián)子任務(wù)之間存在對抗。(3)基于注意力機(jī)制的多目標(biāo)跟蹤方法是一種端到端的跟蹤范式，其引入object?query(目標(biāo)查詢)和track?query(跟蹤查詢)實(shí)現(xiàn)一體化的目標(biāo)檢測和數(shù)據(jù)關(guān)聯(lián)。然而，該類跟蹤方法中object?query(目標(biāo)查詢)和track?query(跟蹤查詢)的參考點(diǎn)分別存在著缺乏位置先驗(yàn)和不準(zhǔn)確的問題。首先，對于object?query(目標(biāo)查詢)，其參考點(diǎn)由隨機(jī)初始化生成，缺乏明確的位置先驗(yàn)信息，導(dǎo)致目標(biāo)定位和模型優(yōu)化困難。其次，對于track?query(跟蹤查詢)，其參考點(diǎn)被設(shè)置為上一幀中已跟蹤目標(biāo)的邊界框中心；然而，由于目標(biāo)的運(yùn)動，特別是在目標(biāo)高速運(yùn)動和低幀率場景下，相鄰視頻幀之間同一目標(biāo)的中心位置存在差異，導(dǎo)致track?query(跟蹤查詢)的參考點(diǎn)與待關(guān)聯(lián)目標(biāo)的實(shí)際中心位置存在定位誤差，進(jìn)而影響數(shù)據(jù)關(guān)聯(lián)性能。

3、基于注意力機(jī)制的多目標(biāo)跟蹤方法是當(dāng)前視頻多目標(biāo)跟蹤領(lǐng)域的主流方法。然而，如何解決該類跟蹤方法中參考點(diǎn)缺乏位置先驗(yàn)和不準(zhǔn)確的問題，成為當(dāng)前研究亟需解決的關(guān)鍵問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種參考點(diǎn)先驗(yàn)位置嵌入與自適應(yīng)更新的多目標(biāo)跟蹤方法，解決的技術(shù)問題在于：傳統(tǒng)基于注意力機(jī)制的多目標(biāo)跟蹤方法其目標(biāo)查詢的參考點(diǎn)缺乏位置先驗(yàn)信息，以及跟蹤查詢的參考點(diǎn)不準(zhǔn)確，影響多目標(biāo)跟蹤性能。

2、為解決以上技術(shù)問題，本發(fā)明提供一種參考點(diǎn)先驗(yàn)位置嵌入與自適應(yīng)更新的多目標(biāo)跟蹤方法，其包括：構(gòu)建多目標(biāo)跟蹤網(wǎng)絡(luò)；

3、所述多目標(biāo)跟蹤網(wǎng)絡(luò)包括骨干網(wǎng)絡(luò)、形變注意力網(wǎng)絡(luò)、先驗(yàn)位置生成網(wǎng)絡(luò)、跟蹤參考點(diǎn)預(yù)測網(wǎng)絡(luò)和預(yù)測頭，所述形變注意力網(wǎng)絡(luò)包括編碼器和解碼器；所述骨干網(wǎng)絡(luò)、所述編碼器和所述解碼器順序連接，所述骨干網(wǎng)絡(luò)和所述編碼器用于對輸入圖像分別進(jìn)行特征提取和特征編碼聚合，得到聚合特征輸出至所述解碼器；所述先驗(yàn)位置生成網(wǎng)絡(luò)和所述跟蹤參考點(diǎn)預(yù)測網(wǎng)絡(luò)均連接所述解碼器；所述先驗(yàn)位置生成網(wǎng)絡(luò)用于對每一幀的初始化的目標(biāo)查詢產(chǎn)生具有先驗(yàn)位置信息的目標(biāo)查詢輸出至所述解碼器；所述跟蹤參考點(diǎn)預(yù)測網(wǎng)絡(luò)對前一幀輸出的跟蹤查詢生成當(dāng)前幀的跟蹤參考點(diǎn)輸出至所述解碼器；

4、在初始幀時，所述解碼器根據(jù)具有先驗(yàn)位置信息的目標(biāo)查詢和初始幀的聚合特征，生成輸出嵌入至所述預(yù)測頭；所述預(yù)測頭根據(jù)初始幀的輸出嵌入生成對應(yīng)目標(biāo)的邊界框和類別，并初始化為后一幀的跟蹤查詢；

5、在非初始幀的當(dāng)前幀時，所述解碼器根據(jù)當(dāng)前幀的跟蹤參考點(diǎn)、前一幀的目標(biāo)查詢、當(dāng)前幀的具有先驗(yàn)位置信息的目標(biāo)查詢，生成當(dāng)前幀的輸出嵌入至所述預(yù)測頭，所述預(yù)測頭根據(jù)當(dāng)前幀的輸出嵌入生成對應(yīng)目標(biāo)的邊界框和類別，并初始化為后一幀的跟蹤查詢。

6、進(jìn)一步地，所述先驗(yàn)位置生成網(wǎng)絡(luò)生成的目標(biāo)查詢qdet包括內(nèi)容查詢cdet和位置查詢pdet，位置查詢pdet表示為：

7、

8、其中，rdet表示目標(biāo)查詢的所有參考點(diǎn)，gsin(·)表示位置編碼操作，表示位置嵌入操作。

9、進(jìn)一步地，令則pdet具體為：

10、

11、其中，w1和w2分別為第一層線性映射和第二層線性映射的權(quán)值，b1和b2分別為第一層線性映射和第二層線性映射的偏置項(xiàng)，relu(·)表示relu激活函數(shù)。

12、進(jìn)一步地，所述跟蹤參考點(diǎn)預(yù)測網(wǎng)絡(luò)對當(dāng)前幀的所有跟蹤參考點(diǎn)rtck進(jìn)行調(diào)整，得到調(diào)整后的參考點(diǎn)

13、

14、其中，δrtck為基于跟蹤查詢qtck預(yù)測的跟蹤參考點(diǎn)偏移量，具體表示為：

15、δrtck＝ψθ(qtck)

16、其中，ψθ(·)表示跟蹤參考點(diǎn)預(yù)測模型，θ為該模型的參數(shù)。

17、進(jìn)一步地，δrtck具體表示為：

18、δrtck＝ψθ(qtck)＝(w5(relu(w4(relu(w3qtck+b3))+b4))+b5)

19、其中，表示跟蹤參考點(diǎn)預(yù)測模型的第一層、第二層和第三層線性映射的權(quán)值和偏置項(xiàng)，即參數(shù)θ。

20、進(jìn)一步地，該方法還包括：

21、對構(gòu)建的所述多目標(biāo)跟蹤網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

22、相鄰t-1幀和t幀經(jīng)過多目標(biāo)跟蹤網(wǎng)絡(luò)的預(yù)測集合表示為其中n＝ntck+ndet表示跟蹤目標(biāo)個數(shù)ntck與檢測目標(biāo)個數(shù)ndet的總體個數(shù)；在訓(xùn)練過程中，對多目標(biāo)跟蹤網(wǎng)絡(luò)的優(yōu)化目標(biāo)為：逐個將預(yù)測集合中的預(yù)測結(jié)果與真實(shí)標(biāo)簽集合中的標(biāo)簽yj進(jìn)行準(zhǔn)確關(guān)聯(lián)，k為當(dāng)前幀的真實(shí)目標(biāo)總個數(shù)。

23、進(jìn)一步地，對預(yù)測集合和真實(shí)標(biāo)簽集合y的最優(yōu)關(guān)聯(lián)結(jié)果表示為：

24、

25、其中，表示第j個真實(shí)標(biāo)簽yj與第σ(j)個預(yù)測標(biāo)簽之間的匹配代價函數(shù)，σ(j)為預(yù)測標(biāo)簽的匹配索引。

26、進(jìn)一步地，匹配代價函數(shù)表示為：

27、

28、其中，cj表示該j索引對應(yīng)的真實(shí)標(biāo)簽中的具體目標(biāo)，表示目標(biāo)類型為cj的預(yù)測概率，λcls為超參數(shù)，為相匹配的真實(shí)標(biāo)簽yj的真實(shí)邊界框bj與預(yù)測標(biāo)簽的預(yù)測邊界框之間的差異。

29、進(jìn)一步地，表示為：

30、

31、其中，表示真實(shí)邊界框bj與預(yù)測邊界框之間的廣義交并比代價函數(shù)，‖·‖1表示1范數(shù)，λgiou和為超參數(shù)。

32、進(jìn)一步地，對于預(yù)測集合總體損失函數(shù)表示為：

33、

34、本發(fā)明提供的一種參考點(diǎn)先驗(yàn)位置嵌入與自適應(yīng)更新的多目標(biāo)跟蹤方法，在傳統(tǒng)基于注意力機(jī)制的多目標(biāo)跟蹤網(wǎng)絡(luò)架構(gòu)上，構(gòu)建了多目標(biāo)跟蹤網(wǎng)絡(luò)用于多目標(biāo)跟蹤，在該多目標(biāo)跟蹤網(wǎng)絡(luò)中設(shè)計(jì)了基于目標(biāo)查詢的參考點(diǎn)的先驗(yàn)位置生成網(wǎng)絡(luò)，該先驗(yàn)位置生成網(wǎng)絡(luò)產(chǎn)生具有明確先驗(yàn)位置信息的目標(biāo)查詢，該位置先驗(yàn)信息有助于有效的關(guān)鍵點(diǎn)采樣，可解決目標(biāo)查詢的參考點(diǎn)缺乏先驗(yàn)位置信息的問題，進(jìn)而提升目標(biāo)檢測性能；還設(shè)計(jì)了基于跟蹤查詢的參考點(diǎn)的跟蹤參考點(diǎn)預(yù)測網(wǎng)絡(luò)，該跟蹤參考點(diǎn)預(yù)測網(wǎng)絡(luò)對跟蹤查詢生成新的跟蹤查詢參考點(diǎn)，可有效減小跟蹤參考點(diǎn)位置與目標(biāo)中心位置的偏差，實(shí)現(xiàn)跟蹤參考點(diǎn)的準(zhǔn)確定位，進(jìn)而提升目標(biāo)跟蹤性能。