本發(fā)明屬于自然語(yǔ)言處理與計(jì)算機(jī)視覺(jué)結(jié)合的情感分析，具體涉及一種多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法。

背景技術(shù)：

1、情感分析作為自然語(yǔ)言處理領(lǐng)域的重要方向，主要研究如何識(shí)別和提取文本、圖像或音頻中的情感傾向和態(tài)度。通過(guò)對(duì)用戶(hù)在不同模態(tài)（如文本、圖像等）中的表達(dá)內(nèi)容進(jìn)行綜合分析，可以更準(zhǔn)確地識(shí)別情感極性。近年來(lái)，研究人員不斷探索多模態(tài)信息處理技術(shù)，致力于賦予機(jī)器理解復(fù)雜情感信息的能力，使其能夠具備人類(lèi)一樣的情感識(shí)別能力。多模態(tài)融合情感分析在各個(gè)領(lǐng)域中具有廣泛應(yīng)用前景，例如電商平臺(tái)上的用戶(hù)評(píng)論價(jià)值挖掘、客戶(hù)關(guān)系管理、輔助營(yíng)銷(xiāo)決策以及農(nóng)業(yè)領(lǐng)域的農(nóng)產(chǎn)品評(píng)價(jià)分析等，并且還逐步擴(kuò)展至如藥物活性預(yù)測(cè)等新興應(yīng)用場(chǎng)景，通過(guò)整合不同模態(tài)的信息來(lái)實(shí)現(xiàn)動(dòng)態(tài)融合，這種跨模態(tài)信息的融合需求已成為現(xiàn)代數(shù)據(jù)驅(qū)動(dòng)應(yīng)用中的核心技術(shù)要求。

2、然而，當(dāng)前多模態(tài)情感分析方法面臨諸多挑戰(zhàn)。首先，不同模態(tài)間存在的顯著語(yǔ)義差異使得模態(tài)間信息的有效對(duì)齊具有很大難度；其次，多模態(tài)數(shù)據(jù)中頻繁出現(xiàn)的特征冗余問(wèn)題導(dǎo)致計(jì)算復(fù)雜性倍增，不僅增加了模型的計(jì)算開(kāi)銷(xiāo)，還在一定程度上限制了模型的適用性。此外，用戶(hù)發(fā)表意見(jiàn)內(nèi)容的多樣化及其非正式表達(dá)方式（如表情符號(hào)、諷刺性語(yǔ)言和縮寫(xiě)）進(jìn)一步增加了識(shí)別真實(shí)情感的難度，這些因素往往會(huì)導(dǎo)致單模態(tài)分析無(wú)法準(zhǔn)確捕捉用戶(hù)的真實(shí)情感，凸顯了多模態(tài)情感分析在復(fù)雜數(shù)據(jù)場(chǎng)景中的重要性，同時(shí)表明在該領(lǐng)域推進(jìn)多模態(tài)特征融合、語(yǔ)義對(duì)齊和模型泛化研究具有廣闊的前景。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有融合方法存在的特征冗余和過(guò)擬合問(wèn)題，同時(shí)保持跨模態(tài)信息的語(yǔ)義完整性，本發(fā)明的目的是提出一種多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，通過(guò)對(duì)用戶(hù)意見(jiàn)圖文數(shù)據(jù)集進(jìn)行逐層量化多模態(tài)特征處理，減少信息損失并提升分類(lèi)精度，在迭代融合的過(guò)程中將圖像和文本模態(tài)的非歐氏距離信息進(jìn)行有效對(duì)齊，生成具有魯棒性的高維特征表示，實(shí)現(xiàn)對(duì)多模態(tài)數(shù)據(jù)的情感分類(lèi)。

2、本發(fā)明通過(guò)下述技術(shù)方案實(shí)現(xiàn)。

3、一種多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，步驟如下：

4、步驟一：對(duì)社交媒體平臺(tái)的用戶(hù)意見(jiàn)圖文數(shù)據(jù)集進(jìn)行預(yù)處理，獲取多模態(tài)情感分析的圖文數(shù)據(jù)集；

5、步驟二：采用殘差網(wǎng)絡(luò)模型提取圖文數(shù)據(jù)集中的圖像特征；使用雙向編碼器表示模型提取圖文數(shù)據(jù)集中的文本特征；

6、步驟三：通過(guò)多頭注意力機(jī)制對(duì)圖像特征和文本特征進(jìn)行對(duì)齊，提取模態(tài)間的交互信息，得到對(duì)齊后的圖文特征向量；

7、步驟四：將對(duì)齊后的圖文特征向量映射到動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)中，構(gòu)建一個(gè)多層次的非歐氏空間捕捉不同模態(tài)間的復(fù)雜關(guān)聯(lián)關(guān)系，使用高維擴(kuò)展編碼方法對(duì)圖像和文本的多模態(tài)特征進(jìn)行融合和高維擴(kuò)張，得到圖像特征和文本特征的高維擴(kuò)展編碼特征；

8、步驟五：將圖像特征和文本特征的高維擴(kuò)展編碼特征輸入到情感分類(lèi)器中，得到積極、中性、消極三類(lèi)情感分類(lèi)結(jié)果。

9、進(jìn)一步優(yōu)選，步驟二中，結(jié)合隨機(jī)數(shù)據(jù)增強(qiáng)方法對(duì)圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，然后再采用殘差網(wǎng)絡(luò)模型提取圖文數(shù)據(jù)集中的圖像特征。

10、進(jìn)一步優(yōu)選，步驟三中，針對(duì)每對(duì)圖像特征和文本特征應(yīng)用多頭注意力機(jī)制，通過(guò)線(xiàn)性變換得到圖像和文本的查詢(xún)向量、鍵向量、值向量；通過(guò)多頭注意力機(jī)制將圖像特征和文本特征進(jìn)行對(duì)齊，獲取到圖像特征對(duì)文本特征的注意力表示和文本特征對(duì)圖像特征的注意力表示，將文本特征與圖像特征對(duì)文本特征的注意力表示a1進(jìn)行連接，得到包含文本特征和圖像對(duì)文本注意力信息的文本-圖像連接向量，將圖像特征與文本特征對(duì)圖像特征的注意力表示進(jìn)行連接，得到包含圖像特征和文本對(duì)圖像注意力信息的圖像-文本連接向量。

11、進(jìn)一步優(yōu)選，步驟五中，將所有圖像特征和文本特征的高維擴(kuò)展編碼特征向量拼接后輸入到softmax分類(lèi)器中，得到每對(duì)圖像-文本的情感預(yù)測(cè)概率。

12、本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法。

13、本發(fā)明采用了一種通過(guò)逐層量化多模態(tài)特征，將模態(tài)間的特征信息映射到動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)中，結(jié)合高維編碼器減少信息損失并提升分類(lèi)精度的研究方法。通過(guò)對(duì)圖像和文本多模態(tài)信息的特征進(jìn)行逐層量化，構(gòu)建出動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)精準(zhǔn)捕捉不同模態(tài)特征之間的關(guān)聯(lián)，進(jìn)而在非歐氏距離空間中實(shí)現(xiàn)高效對(duì)齊，結(jié)合高維編碼器生成具有魯棒性的高維特征編碼，增強(qiáng)特征的穩(wěn)定性和分類(lèi)準(zhǔn)確性，提升分類(lèi)模型對(duì)噪聲數(shù)據(jù)的容忍程度，促進(jìn)全面情感預(yù)測(cè)，不僅提升了對(duì)多模態(tài)信息的預(yù)測(cè)性能，還顯著增強(qiáng)了泛化能力，為大規(guī)模、多模態(tài)情感分析提供了強(qiáng)有力的技術(shù)支撐。

技術(shù)特征：

1.一種多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，其特征在于，步驟如下：

2.根據(jù)權(quán)利要求1所述的多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，其特征在于，步驟二中，結(jié)合隨機(jī)數(shù)據(jù)增強(qiáng)方法對(duì)圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，然后再采用殘差網(wǎng)絡(luò)模型提取圖文數(shù)據(jù)集中的圖像特征。

3.根據(jù)權(quán)利要求1所述的多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，其特征在于，步驟三中，針對(duì)每對(duì)圖像特征和文本特征應(yīng)用多頭注意力機(jī)制，通過(guò)線(xiàn)性變換得到圖像和文本的查詢(xún)向量、鍵向量、值向量；通過(guò)多頭注意力機(jī)制將圖像特征和文本特征進(jìn)行對(duì)齊，獲取到圖像特征對(duì)文本特征的注意力表示和文本特征對(duì)圖像特征的注意力表示，將文本特征與圖像特征對(duì)文本特征的注意力表示a1進(jìn)行連接，得到包含文本特征和圖像對(duì)文本注意力信息的文本-圖像連接向量，將圖像特征與文本特征對(duì)圖像特征的注意力表示進(jìn)行連接，得到包含圖像特征和文本對(duì)圖像注意力信息的圖像-文本連接向量。

4.根據(jù)權(quán)利要求1所述的多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，其特征在于，步驟四中，將對(duì)齊后圖文特征向量映射到動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)中，構(gòu)建一個(gè)多層次的非歐氏空間捕捉不同模態(tài)間的復(fù)雜關(guān)聯(lián)關(guān)系的過(guò)程為：已知文本-圖像連接向量，其中分別表示第1,2,…,m個(gè)文本-圖像連接向量，圖像-文本連接向量，其中分別表示第1,2,…,m個(gè)圖像-文本連接向量，將和中的每個(gè)元素通過(guò)公式（13）-公式（16）在素?cái)?shù)序列下映射為動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)特征：

5.根據(jù)權(quán)利要求4所述的多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，其特征在于，步驟四中，使用高維擴(kuò)展編碼方法對(duì)圖像和文本的多模態(tài)特征進(jìn)行融合和高維擴(kuò)張，得到圖像特征和文本特征的高維擴(kuò)展編碼特征，過(guò)程如下：將和轉(zhuǎn)換為多項(xiàng)式形式，具體過(guò)程如公式（18）-公式（19）所示：

6.根據(jù)權(quán)利要求1所述的多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，其特征在于，步驟五中，將所有圖像特征和文本特征的高維擴(kuò)展編碼特征向量拼接后輸入到softmax分類(lèi)器中，得到每對(duì)圖像-文本的情感預(yù)測(cè)概率。

7.根據(jù)權(quán)利要求2所述的多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，其特征在于，步驟二中，已知原始圖像數(shù)據(jù)為，其中分別表示第1,2,…,m條圖文數(shù)據(jù)集中的圖像數(shù)據(jù)，對(duì)每條圖像數(shù)據(jù)進(jìn)行隨機(jī)數(shù)據(jù)增強(qiáng)操作，使用柵格搜索方法進(jìn)行增量簡(jiǎn)單網(wǎng)格搜索，計(jì)算過(guò)程如公式（1）所示：

8.根據(jù)權(quán)利要求7所述的多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，其特征在于，步驟二中，對(duì)于輸入的文本數(shù)據(jù)?，其中分別表示第1,2,…,m條圖文數(shù)據(jù)集中的文本數(shù)據(jù)，使用雙向編碼器表示模型提取文本數(shù)據(jù)最后一層的文本隱藏狀態(tài)特征，其中分別表示第1,2,…,m條文本隱藏狀態(tài)特征，表示每次處理的文本數(shù)量，表示文本序列長(zhǎng)度，表示雙向編碼器表示模型的輸出隱藏維度，采用線(xiàn)性層和relu激活函數(shù)對(duì)文本隱藏狀態(tài)特征h進(jìn)行變換，具體如公式（6）所示：

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，其特征在于，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-8任意一項(xiàng)所述多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法。

技術(shù)總結(jié)
本發(fā)明屬于情感分析技術(shù)領(lǐng)域，具體涉及一種多模態(tài)信息融合的動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)情感分析方法，該方法通過(guò)提取圖像特征和文本特征；通過(guò)多頭注意力機(jī)制對(duì)圖像特征和文本特征進(jìn)行對(duì)齊，得到對(duì)齊后的圖文特征向量；將圖文特征向量映射到動(dòng)態(tài)拓?fù)鋵哟谓Y(jié)構(gòu)中，并使用高維擴(kuò)展編碼方法對(duì)圖像和文本的多模態(tài)特征進(jìn)行融合和高維擴(kuò)張，得到圖像特征和文本特征的高維擴(kuò)展編碼特征，并輸入到情感分類(lèi)器中，得到積極、中性、消極三類(lèi)情感分類(lèi)結(jié)果。本發(fā)明結(jié)合深度學(xué)習(xí)的多模態(tài)特征對(duì)齊與融合策略，能夠在不均衡數(shù)據(jù)集上提升情感分類(lèi)的準(zhǔn)確性和適用性，為多模態(tài)情感分析提供了有效的技術(shù)解決方案。

技術(shù)研發(fā)人員：易文龍,黃暄,嚴(yán)春燕,劉木華,趙進(jìn)輝,程香平
受保護(hù)的技術(shù)使用者：江西農(nóng)業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30