本發(fā)明屬于人工智能領(lǐng)域，涉及到計(jì)算機(jī)視覺、域自適應(yīng)等技術(shù)，具體地說是一種基于多方面細(xì)粒度對齊的域自適應(yīng)人群計(jì)數(shù)方法。

背景技術(shù)：

1、近年來，使用計(jì)算機(jī)視覺技術(shù)對密集人群進(jìn)行計(jì)數(shù)引起了顯著的關(guān)注。它在許多領(lǐng)域都有廣泛的應(yīng)用，比如估計(jì)社會和體育活動中參與者的規(guī)模和數(shù)量等。

2、最近，使用深度學(xué)習(xí)的人群計(jì)數(shù)方法取得了顯著的進(jìn)展。大多數(shù)現(xiàn)有模型假設(shè)測試數(shù)據(jù)將具有與訓(xùn)練數(shù)據(jù)相同的分布，在這種情況下，模型是在完全監(jiān)督學(xué)習(xí)中訓(xùn)練的。然而，由于圖像風(fēng)格、人群密度以及不同領(lǐng)域中的訓(xùn)練數(shù)據(jù)大小的變化，這種假設(shè)經(jīng)常失敗。這種從訓(xùn)練數(shù)據(jù)（源域）到未見過的測試數(shù)據(jù)（目標(biāo)域）的轉(zhuǎn)變，被稱為領(lǐng)域偏移，顯著影響了深度學(xué)習(xí)模型在現(xiàn)實(shí)世界場景中的性能。本發(fā)明側(cè)重于提高人群計(jì)數(shù)模型的跨域推理能力。

3、對于領(lǐng)域自適應(yīng)人群計(jì)數(shù)任務(wù)，研究人員最初使用合成數(shù)據(jù)集來彌補(bǔ)與真實(shí)數(shù)據(jù)的差距，但由于語義差異，準(zhǔn)確捕捉密集場景中的人群特征仍然很困難。最近的研究集中在影響跨領(lǐng)域人群計(jì)數(shù)泛化性能的因素上，例如對風(fēng)格進(jìn)行轉(zhuǎn)換，和對密度進(jìn)行采樣對齊。然而，這些方法并沒有全面解決訓(xùn)練數(shù)據(jù)大小、圖像風(fēng)格和人群密度等與目標(biāo)域?qū)R的因素，缺乏源域和目標(biāo)域之間全面、細(xì)粒度的信息對齊意味著這些方法主要集中于對齊特定或耦合的信息。因此，領(lǐng)域自適應(yīng)的人群計(jì)數(shù)任務(wù)還有很大的改進(jìn)空間和發(fā)展?jié)摿Α?/p>

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為克服現(xiàn)有技術(shù)的不足之處，提出一種基于多方面細(xì)粒度對齊的域自適應(yīng)人群計(jì)數(shù)方法，以期能緩解源域和目標(biāo)域的訓(xùn)練樣本數(shù)量、人群密度、圖像風(fēng)格的差異性，以正確對齊源域和目標(biāo)域之間的人群分布，從而能提高跨域人群計(jì)數(shù)模型的泛化性和魯棒性。

2、本發(fā)明為解決技術(shù)問題采用如下技術(shù)方案：

3、本發(fā)明一種基于多方面細(xì)粒度對齊的域自適應(yīng)人群計(jì)數(shù)方法的特點(diǎn)在于，是按照如下步驟進(jìn)行：

4、步驟1、獲取源域人群計(jì)數(shù)圖像集和目標(biāo)域人群計(jì)數(shù)圖像集，其中，表示第i個源域人群計(jì)數(shù)圖像，令為的人群密度圖標(biāo)注，表示第j個目標(biāo)域人群計(jì)數(shù)圖像，和分別表示和中的人群計(jì)數(shù)圖像數(shù)量；

5、利用式(1)和式(2)得到加權(quán)后的第i個源域人群計(jì)數(shù)圖像和加權(quán)后的第j個目標(biāo)域人群計(jì)數(shù)圖像：

6、??(1)

7、??(2)

8、式(1)中，表示加權(quán)系數(shù)；

9、步驟2、構(gòu)建源域編-解碼模塊，包括：源域編碼器和源域解碼器，用于對進(jìn)行處理，并生成第i個源域人群特征圖與第j個源域人群密度預(yù)測圖；構(gòu)建目標(biāo)域域編-解碼模塊，包括：目標(biāo)域編碼器和目標(biāo)域解碼器，用于對進(jìn)行處理，生成第i個目標(biāo)域人群特征圖與第j個目標(biāo)域人群密度預(yù)測圖；

10、步驟3、構(gòu)建基于條件域?qū)褂?xùn)練的人群密度對齊模塊，用于對第i個源域人群密度預(yù)測圖和第j個目標(biāo)人群密度預(yù)測圖進(jìn)行處理，得到源域預(yù)測標(biāo)簽值和目標(biāo)域預(yù)測標(biāo)簽值；

11、步驟4、構(gòu)建基于對比學(xué)習(xí)的圖像風(fēng)格對齊模塊，用于對第i個源域人群特征圖和第j個目標(biāo)域人群特征圖進(jìn)行處理，得到第i個源域圖像風(fēng)格表征和第j個目標(biāo)域圖像風(fēng)格表征；

12、步驟5、在人群計(jì)數(shù)數(shù)據(jù)集上對由源域編-解碼模塊、目標(biāo)域編-解碼模塊、人群密度對齊模塊和圖像風(fēng)格對齊模塊構(gòu)成的域自適應(yīng)人群計(jì)數(shù)模型進(jìn)行參數(shù)優(yōu)化，從而得到最優(yōu)域自適應(yīng)人群計(jì)數(shù)模型，用于實(shí)現(xiàn)對開放場景圖片的人群密度預(yù)測。

13、本發(fā)明所述的一種基于多方面細(xì)粒度對齊的域自適應(yīng)人群計(jì)數(shù)方法的特點(diǎn)在于，步驟2是按照如下步驟進(jìn)行：

14、步驟2.1、分別對和進(jìn)行隨機(jī)裁剪，得到維度為的第i個源域人群圖像塊和第j個目標(biāo)域人群圖像塊，并利用源域編碼器和目標(biāo)域編碼器分別對和進(jìn)行處理，相應(yīng)得到第i個源域人群特征圖和第j個目標(biāo)域人群特征圖；其中，表示人群圖像塊的長度；

15、步驟2.2、和分別經(jīng)過源域解碼器和目標(biāo)域解碼器的處理后，相應(yīng)得到第i個源域人群密度預(yù)測圖和第j個目標(biāo)域人群密度預(yù)測圖。

16、進(jìn)一步的，步驟3是按照如下步驟進(jìn)行：

17、步驟3.1、分別對和進(jìn)行線性插值映射后，得到維度為的第i個源域人群密度分布圖和第j個目標(biāo)域人群密度分布圖，再分別對和進(jìn)行維度變換和概率變換后，得到第i個源域人群密度概率直方圖和第j個目標(biāo)域人群密度概率直方圖，其中，表示人群密度分布圖的長度，<；

18、步驟3.2、以和作為條件，以和作為特征，利用隨機(jī)多線性映射生成第i個源域特征圖和第j個目標(biāo)域特征圖，且特征圖的維度為，；其中，表示人群特征圖的維度，表示人群密度概率直方圖的維度；

19、步驟3.3、將和分別輸入到條件域鑒別器中進(jìn)行處理，得到第i個源域預(yù)測標(biāo)簽值和第j個目標(biāo)域預(yù)測標(biāo)簽值。

20、進(jìn)一步的，步驟4是按照如下步驟進(jìn)行：

21、步驟4.1、構(gòu)建源域圖像風(fēng)格原型庫和目標(biāo)域圖像風(fēng)格原型庫，其中，表示第k個源域圖像風(fēng)格原型的第n個標(biāo)記在第c個通道上的取值，表示第k個目標(biāo)域圖像風(fēng)格原型的第n個標(biāo)記在第c個通道上的取值，分別表示風(fēng)格原型的數(shù)量、風(fēng)格原型的標(biāo)記數(shù)和風(fēng)格原型的通道數(shù)；

22、步驟4.2、利用風(fēng)格編碼器分別對和進(jìn)行編碼和歸一化處理，相應(yīng)得到第i個源域風(fēng)格權(quán)重向量和第j個目標(biāo)域風(fēng)格權(quán)重向量；

23、步驟4.3、將分別與中的每個源域圖像風(fēng)格原型進(jìn)行加權(quán)求和后，得到第i個源域圖像風(fēng)格表征；

24、將分別與中的每個目標(biāo)域圖像風(fēng)格原型進(jìn)行加權(quán)求和后，得到目標(biāo)域圖像風(fēng)格表征。

25、進(jìn)一步的，步驟5是按照如下步驟進(jìn)行：

26、步驟5.1、利用式(3)計(jì)算域自適應(yīng)人群計(jì)數(shù)模型的人群密度估計(jì)損失值；

27、???(3)

28、步驟5.2、利用式(4)計(jì)算域自適應(yīng)人群計(jì)數(shù)模型的條件域?qū)箵p失值；

29、???(4)

30、步驟5.3、從步驟4.3得到的個源域風(fēng)格表征和個源域風(fēng)格表征中分別隨機(jī)抽取數(shù)量為m的一批風(fēng)格表征作為一批源域訓(xùn)練樣本和一批目標(biāo)域訓(xùn)練樣本，從而利用式(5)計(jì)算域自適應(yīng)人群計(jì)數(shù)模型的風(fēng)格對比損失值：

31、???(5)

32、式(5)中，、和分別表示一批風(fēng)格表征內(nèi)第r個目標(biāo)域圖像風(fēng)格表征、第k個目標(biāo)域圖像風(fēng)格表征和第k個源域圖像風(fēng)格表征，并分別作為錨點(diǎn)，正樣本和負(fù)樣本；表示余弦相似度函數(shù)，表示尺度溫度，m表示正負(fù)樣本個數(shù)；

33、步驟5.4、將式(3)~式(5)的輸出求和后作為總的損失值對域自適應(yīng)人群計(jì)數(shù)模型進(jìn)行參數(shù)優(yōu)化；利用隨機(jī)梯度下降法對總損失值進(jìn)行優(yōu)化求解，使達(dá)到最小，從而得到在目標(biāo)域人群計(jì)數(shù)數(shù)據(jù)集上的最優(yōu)域自適應(yīng)人群計(jì)數(shù)模型。

34、本發(fā)明一種電子設(shè)備，包括存儲器以及處理器的特點(diǎn)在于，所述存儲器用于存儲支持處理器執(zhí)行所述域自適應(yīng)人群計(jì)數(shù)方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

35、本發(fā)明一種計(jì)算機(jī)可讀存儲介質(zhì)，計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)程序的特點(diǎn)在于，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行所述域自適應(yīng)人群計(jì)數(shù)方法的步驟。

36、與已有技術(shù)相比，本發(fā)明的有益效果體現(xiàn)在：

37、1、本發(fā)明提出了一種多方面細(xì)粒度域?qū)R的自適應(yīng)人群計(jì)數(shù)方法，克服之前的方法只關(guān)注其中一兩個差異，導(dǎo)致性能不盡理想的弊端。首先，本發(fā)明引入了一種樣本加權(quán)策略，以解決源域和目標(biāo)域之間的數(shù)據(jù)不平衡問題，使模型能夠有效利用兩個域中的數(shù)據(jù)進(jìn)行更好的對齊。其次，為了解決人群密度的變化問題，本發(fā)明采用了條件域?qū)咕W(wǎng)絡(luò)，這種網(wǎng)絡(luò)能夠更好地使模型適應(yīng)目標(biāo)域的不同人群密度。此外，本發(fā)明還結(jié)合了風(fēng)格對比學(xué)習(xí)，以減少模型因圖像風(fēng)格變化而對源域的偏向。

38、2、本發(fā)明綜合考慮了源域和目標(biāo)域訓(xùn)練樣本數(shù)量，人群密度，圖像風(fēng)格三個方面的差異，并相應(yīng)設(shè)計(jì)了一種加權(quán)采樣策略和兩種與人群密度，圖像風(fēng)格相關(guān)的損失函數(shù)，分別約束了源域和目標(biāo)域訓(xùn)練樣本數(shù)量、人群密度和圖像風(fēng)格的一致性，以正確對齊源域和目標(biāo)域之間的人群分布，從而提高了跨域人群計(jì)數(shù)模型的泛化性和魯棒性。