本發(fā)明涉及計(jì)算機(jī)視覺(jué)，具體為一種基于圖文融合的少樣本語(yǔ)義分割方法。

背景技術(shù)：

1、在計(jì)算機(jī)視覺(jué)領(lǐng)域，少樣本語(yǔ)義分割一直是一個(gè)具有挑戰(zhàn)性的研究問(wèn)題。傳統(tǒng)的語(yǔ)義分割方法依賴于大量的標(biāo)注數(shù)據(jù)來(lái)訓(xùn)練模型，以實(shí)現(xiàn)對(duì)圖像中目標(biāo)區(qū)域的精確識(shí)別和分割。然而，在實(shí)際應(yīng)用中，獲取大量標(biāo)注數(shù)據(jù)往往非常困難且耗時(shí)，特別是在一些特定領(lǐng)域或新出現(xiàn)的場(chǎng)景中，標(biāo)注樣本極為有限。這使得現(xiàn)有的基于大量數(shù)據(jù)訓(xùn)練的分割方法在面對(duì)少樣本場(chǎng)景時(shí)表現(xiàn)不佳，難以有效推廣和應(yīng)用。

2、為了解決這一問(wèn)題，研究人員提出了少樣本語(yǔ)義分割方法，試圖在少量標(biāo)注樣本的條件下，依然保持較高的分割性能。然而，這些現(xiàn)有方法主要依賴于從有限的支持圖像中提取視覺(jué)特征，但由于數(shù)據(jù)量少且缺乏多樣性，導(dǎo)致模型在分割查詢圖像時(shí)，往往無(wú)法充分捕捉目標(biāo)類別的細(xì)節(jié)和語(yǔ)義信息。此外，由于圖像視覺(jué)特征和語(yǔ)義信息之間的空間差異，現(xiàn)有方法難以實(shí)現(xiàn)高效的特征融合，進(jìn)一步限制了模型的分割性能。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于圖文融合的少樣本語(yǔ)義分割方法，在少樣本場(chǎng)景下，通過(guò)圖文融合和文本提示補(bǔ)充語(yǔ)義信息，提升語(yǔ)義分割的準(zhǔn)確性和性能。

2、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：一種基于圖文融合的少樣本語(yǔ)義分割方法，包括以下步驟：

3、收集并預(yù)處理數(shù)據(jù)集，所述數(shù)據(jù)集按類別分組，每組包含若干支持圖像和查詢圖像；

4、利用預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)提取多尺度圖像特征；

5、使用文本編碼器提取預(yù)設(shè)文本提示的文本特征；

6、將提取的文本特征與圖像特征進(jìn)行融合；

7、利用注意力機(jī)制挖掘支持圖像特征與查詢圖像特征之間的相關(guān)性；

8、對(duì)融合后的圖像特征進(jìn)行上采樣，并解碼生成分割預(yù)測(cè)結(jié)果。

9、優(yōu)選的，所述收集并預(yù)處理數(shù)據(jù)集的步驟包括：

10、根據(jù)數(shù)據(jù)集的圖像總類別對(duì)數(shù)據(jù)集進(jìn)行分組，將數(shù)據(jù)集劃分為四組，每組稱為一個(gè)fold；

11、每個(gè)fold中的數(shù)據(jù)由支持圖像和查詢圖像組成，其中，支持圖像記為查詢圖像記為dq＝{x,y}，其中，xi(x)表示原始圖像，yi(y)表示圖像對(duì)應(yīng)的掩碼，k表示少樣本情境中設(shè)置的shot值，代表每個(gè)類別有幾張支持圖像；

12、將數(shù)據(jù)集中的圖像類別均勻分配到四個(gè)fold中，保證每個(gè)fold包含的類別互不相交。

13、優(yōu)選的，所述利用預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)提取多尺度圖像特征的步驟包括：

14、將輸入圖像xi輸入到預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中，提取多尺度的圖像特征；

15、通過(guò)預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的不同層次，依次提取出四個(gè)尺度的圖像特征，分別記為x1,x2,x3,x4，其中x1,x2,x3,x4依次表示從淺層到深層的圖像特征；

16、對(duì)深層特征圖進(jìn)行全局平均池化，得到圖像的全局特征公式為：

17、

18、將全局特征與深層特征圖x4一起輸入多頭自注意力機(jī)制，以增強(qiáng)圖像的特征表達(dá)能力，公式為：

19、

20、其中，表示增強(qiáng)后的全局特征，z表示增強(qiáng)后的圖像特征。

21、優(yōu)選的，所述使用文本編碼器提取預(yù)設(shè)文本提示的文本特征的步驟包括：

22、預(yù)設(shè)文本提示，所述文本提示與圖像中的目標(biāo)類別相關(guān)，用于指示待分割的目標(biāo)類別；

23、將所述文本提示輸入到文本編碼器transformer中，以提取與該提示相關(guān)的文本特征；

24、文本編碼器transformer對(duì)輸入的文本提示進(jìn)行處理，通過(guò)自注意力機(jī)制捕捉文本中的上下文信息，生成一個(gè)表示文本語(yǔ)義的特征向量t，公式為：

25、t＝transformer(text?prompt)

26、其中，text?prompt表示所述預(yù)設(shè)的文本提示，t表示從文本提示中提取到的文本特征向量。

27、優(yōu)選的，所述將提取的文本特征與圖像特征進(jìn)行融合的步驟包括：

28、通過(guò)一個(gè)由三層transformer組成的transformer解碼器，將圖像特征z與文本特征t進(jìn)行融合，生成包含視覺(jué)信息的文本特征v，公式為：

29、

30、其中，z表示由圖像提取的多尺度特征，t表示文本提示生成的文本特征，v表示經(jīng)過(guò)融合后的包含視覺(jué)信息的文本特征；

31、利用可學(xué)習(xí)的縮放參數(shù)α，將融合后的視覺(jué)信息v與原始文本特征t進(jìn)行加權(quán)組合，生成更新后的文本特征t'，公式為：

32、t′＝t+αv

33、其中，α是控制視覺(jué)信息對(duì)文本特征影響的可學(xué)習(xí)參數(shù)，t'為更新后的文本特征，包含來(lái)自圖像的語(yǔ)義信息；

34、計(jì)算更新后的文本特征t'與圖像特征z之間的相關(guān)性，生成得分圖s，公式為：

35、s＝zt′

36、將得分圖s與原始的深層圖像特征x4進(jìn)行拼接，形成融合后的圖像特征x'4，以便于后續(xù)的解碼和分割，公式為：

37、x′4＝[x4,s]

38、其中，x4為原始深層圖像特征，s為得分圖，x'4為融合后的圖像特征，結(jié)合了圖像與文本的多模態(tài)信息。

39、優(yōu)選的，所述利用注意力機(jī)制挖掘支持圖像特征與查詢圖像特征之間的相關(guān)性的步驟包括：

40、將從支持圖像中提取的特征fs與從查詢圖像中提取的特征fq進(jìn)行展平處理，展平操作將多維特征圖轉(zhuǎn)換為一維向量，公式為：

41、f′s＝flatten(fs)

42、f′q＝flatten(fq)

43、對(duì)展平后的支持圖像特征f's和查詢圖像特征f'q分別進(jìn)行線性映射，生成查詢向量q、鍵向量k和值向量v，公式為：

44、q＝linear(flatten(f'q))

45、k,v＝linear(flatten(f's))

46、利用自注意力機(jī)制計(jì)算查詢向量q與鍵向量k之間的相關(guān)性，相關(guān)性通過(guò)查詢向量q與鍵向量k的點(diǎn)積計(jì)算得到，并通過(guò)歸一化操作生成注意力權(quán)重，進(jìn)而對(duì)值向量v進(jìn)行加權(quán)處理，公式為：

47、

48、其中，softmax(·)表示歸一化操作，為縮放因子，d為向量的維度，atten(q,k,v)為加權(quán)后的特征表示；

49、通過(guò)上述注意力機(jī)制，挖掘支持圖像特征fs與查詢圖像特征fq之間的相關(guān)性，得到增強(qiáng)的查詢圖像特征公式為：

50、

51、其中，為經(jīng)過(guò)注意力機(jī)制增強(qiáng)后的查詢圖像特征，包含了與支持圖像特征相關(guān)的語(yǔ)義信息，進(jìn)一步用于提高少樣本語(yǔ)義分割的準(zhǔn)確性。

52、優(yōu)選的，所述對(duì)融合后的圖像特征進(jìn)行上采樣，并解碼生成分割預(yù)測(cè)結(jié)果的步驟包括：

53、對(duì)經(jīng)過(guò)融合的圖像特征x'4進(jìn)行上采樣操作，將特征圖恢復(fù)到與輸入圖像相同的分辨率，上采樣可以通過(guò)雙線性插值或轉(zhuǎn)置卷積實(shí)現(xiàn)，公式為：

54、xup＝upsample(x′4)

55、其中，x'4表示融合后的圖像特征，xup為上采樣后的特征圖；

56、在上采樣過(guò)程中，將上采樣后的特征圖xup與編碼階段提取的相應(yīng)尺度的圖像特征xi進(jìn)行融合，以保留全局語(yǔ)義信息和細(xì)節(jié)信息，公式為：

57、xfused＝concat(xup,xi)

58、其中，concat(·)表示特征拼接操作，xi表示編碼階段提取的多尺度特征，xfused表示融合后的特征圖；

59、將融合后的特征圖xfused輸入到解碼器中，解碼器由多個(gè)卷積層或轉(zhuǎn)置卷積層組成，用于逐步還原并生成最終的分割預(yù)測(cè)結(jié)果具體表達(dá)式為：

60、

61、其中，decoder(·)表示解碼器，表示解碼器輸出的分割預(yù)測(cè)掩碼；

62、最終生成的分割預(yù)測(cè)掩碼具有與原始輸入圖像相同的分辨率，每個(gè)像素點(diǎn)的值表示該像素屬于某個(gè)類別的概率或分類標(biāo)簽，用于少樣本語(yǔ)義分割任務(wù)的預(yù)測(cè)輸出。

63、本發(fā)明還提供一種基于圖文融合的少樣本語(yǔ)義分割裝置，包括：

64、數(shù)據(jù)預(yù)處理模塊，用于收集并預(yù)處理數(shù)據(jù)集；

65、圖像特征提取模塊，利用預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)提取多尺度圖像特征；

66、文本特征提取模塊，使用文本編碼器提取預(yù)設(shè)文本提示的文本特征；

67、特征融合模塊，將提取的文本特征與圖像特征進(jìn)行融合；

68、相關(guān)性挖掘模塊，利用注意力機(jī)制挖掘支持圖像特征與查詢圖像特征之間的相關(guān)性；

69、解碼模塊，對(duì)融合后的圖像特征進(jìn)行上采樣，并解碼生成分割預(yù)測(cè)結(jié)果。

70、本發(fā)明還提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)如上述的方法。

71、本發(fā)明還提供一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述的方法。

72、本發(fā)明提供了一種基于圖文融合的少樣本語(yǔ)義分割方法。具備以下有益效果：

73、1、本發(fā)明提出了一種基于圖文融合的少樣本語(yǔ)義分割方法，通過(guò)增加文本提示來(lái)補(bǔ)充額外的語(yǔ)義信息，并利用圖文融合的方法對(duì)現(xiàn)有的少樣本語(yǔ)義分割方法進(jìn)行改進(jìn)，從而顯著提升了分割性能。這種方法有效地克服了少樣本情況下因數(shù)據(jù)不足而導(dǎo)致的分割效果不佳的問(wèn)題。

74、2、本發(fā)明在解決少樣本語(yǔ)義分割問(wèn)題時(shí)，引入了與圖像類別相關(guān)的文本提示，作為補(bǔ)充的語(yǔ)義信息來(lái)源。文本提示為模型提供了額外的語(yǔ)義指導(dǎo)，幫助模型更好地理解和識(shí)別圖像中的目標(biāo)類別，從而在數(shù)據(jù)有限的情況下仍然能夠準(zhǔn)確地進(jìn)行語(yǔ)義分割。

75、3、本發(fā)明通過(guò)對(duì)齊圖像視覺(jué)空間與文本語(yǔ)義空間，有效緩解了視覺(jué)與語(yǔ)義空間由于空間差異而導(dǎo)致的融合問(wèn)題。通過(guò)圖文特征的有效融合，模型能夠在語(yǔ)義層面和視覺(jué)層面建立更為緊密的聯(lián)系，提高了融合特征的表達(dá)能力，從而增強(qiáng)了分割效果。

76、4、本發(fā)明提出的方法在少樣本情境下表現(xiàn)出良好的分割性能，能夠顯著提高分割的準(zhǔn)確率。無(wú)論是在訓(xùn)練數(shù)據(jù)有限的情況下，還是在面對(duì)新類別的情況下，該方法都能夠有效地泛化，并在各種挑戰(zhàn)性任務(wù)中提供高精度的分割結(jié)果。