本申請涉及計算機領(lǐng)域，具體而言，涉及一種內(nèi)容審核方法和裝置、存儲介質(zhì)及電子設(shè)備。

背景技術(shù)：

1、隨著網(wǎng)絡(luò)直播行業(yè)的快速發(fā)展，內(nèi)容審核成為平臺安全管理和用戶體驗的重要組成部分，現(xiàn)有的直播平臺的內(nèi)容審核主要包括人工審核和自動化審核兩種方式，但通過人工審核來識別和過濾不合規(guī)的內(nèi)容的效率較低，現(xiàn)有的自動化審核系統(tǒng)大多數(shù)均依賴于關(guān)鍵詞匹配和簡單的規(guī)則引擎，難以應對復雜多變的內(nèi)容情境。

2、例如，在國際化直播平臺中，到審核的內(nèi)容可能來不同國家和地區(qū)的用戶生成的，上述通過關(guān)鍵詞匹配等方法由于缺乏對不同語言和文化背景內(nèi)容的有效識別和處理能力，也即無法確保針對多語言內(nèi)容的審核結(jié)果的準確性。從而導致了直播內(nèi)容的審核結(jié)果的準確性較低的技術(shù)問題。

3、針對上述的問題，目前尚未提出有效的解決方案。

技術(shù)實現(xiàn)思路

1、本申請實施例提供了一種內(nèi)容審核方法和裝置、存儲介質(zhì)及電子設(shè)備，以至少解決在內(nèi)容審核過程中出現(xiàn)的效率較低的技術(shù)問題。

2、根據(jù)本申請實施例的一個方面，提供了一種內(nèi)容審核方法，包括：獲取內(nèi)容交互平臺中的目標交互內(nèi)容；通過將目標交互內(nèi)容輸入多模態(tài)語義識別模型，得到融合語義向量，其中，融合語義向量用于指示目標交互內(nèi)容的情感描述信息；基于融合語義向量及區(qū)域文化描述向量，對內(nèi)容審核模型中的評價參數(shù)進行調(diào)整，得到調(diào)整后的內(nèi)容審核模型，其中，評價參數(shù)表示帶有特殊含義的部分內(nèi)容對于審核結(jié)果的影響程度，區(qū)域文化描述向量表示通過結(jié)合區(qū)域文化信息對目標交互內(nèi)容進行深度挖掘得到的深層含義；基于調(diào)整后的內(nèi)容審核模型，生成目標審核結(jié)果。

3、可選地，上述通過將目標交互內(nèi)容輸入多模態(tài)語義識別模型，得到融合語義向量，包括：對多模態(tài)交互數(shù)據(jù)中的視頻交互數(shù)據(jù)進行特征提取，得到視頻交互特征，其中，多模態(tài)交互數(shù)據(jù)包括視頻交互數(shù)據(jù)、音頻交互數(shù)據(jù)和文本交互數(shù)據(jù)，目標交互內(nèi)容包括多模態(tài)交互數(shù)據(jù)；對音頻交互數(shù)據(jù)進行特征提取，得到音頻交互特征；對文本交互數(shù)據(jù)進行特征提取，得到文本交互特征；通過對視頻交互特征、音頻交互特征及文本交互特征進行融合，并將融合后的交互特征輸入多模態(tài)語義識別模型，得到融合語義向量。

4、可選地，上述基于融合語義向量及區(qū)域文化描述向量，對內(nèi)容審核模型中的評價參數(shù)進行調(diào)整，包括：獲取發(fā)表目標交互內(nèi)容的帳號對應的帳號行為數(shù)據(jù)以及帳號登錄的客戶端所在位置的區(qū)域描述數(shù)據(jù)；通過將帳號行為數(shù)據(jù)和區(qū)域描述數(shù)據(jù)輸入目標感知模型，得到用于表示帳號當前狀態(tài)的區(qū)域文化描述向量；基于融合語義向量所表示的目標交互內(nèi)容的情感類型和區(qū)域文化描述向量所表示的深層含義，對內(nèi)容審核模型中的評價參數(shù)進行調(diào)整。

5、可選地，上述基于融合語義向量所表示的目標交互內(nèi)容的情感類型和區(qū)域文化描述向量所表示的深層含義，對內(nèi)容審核模型中的評價參數(shù)進行調(diào)整，包括：在融合語義向量表示目標交互內(nèi)容的情感類型為第一類型、且深層含義表示符合區(qū)域文化描述規(guī)范的情況下，增加評價參數(shù)的取值，其中，評價參數(shù)的取值越高，目標交互內(nèi)容中帶有特殊含義的部分內(nèi)容被審核為不合規(guī)內(nèi)容的可能性越?。辉谌诤险Z義向量表示目標交互內(nèi)容的情感類型為第二類型、且深層含義表示不符合區(qū)域文化描述規(guī)范的情況下，減小評價參數(shù)的取值；在融合語義向量表示目標交互內(nèi)容的情感類型為第一類型、且深層含義表示不符合區(qū)域文化描述規(guī)范的情況下，減小評價參數(shù)的取值。

6、可選地，上述基于調(diào)整后的內(nèi)容審核模型，生成目標審核結(jié)果，包括：利用生成對抗網(wǎng)絡(luò)，對目標交互內(nèi)容進行檢測，得到目標檢測結(jié)果，其中，生成對抗網(wǎng)絡(luò)內(nèi)置在內(nèi)容審核模型中；在目標檢測結(jié)果表示目標交互內(nèi)容未包含非合規(guī)性內(nèi)容的情況下，通過引入隨機性噪聲，對目標交互內(nèi)容進行差分隱私處理，得到處理后的交互內(nèi)容；通過將處理后的交互內(nèi)容輸入調(diào)整后的內(nèi)容審核模型，得到目標審核結(jié)果。

7、可選地，上述利用生成對抗網(wǎng)絡(luò)，對目標交互內(nèi)容進行檢測，得到目標檢測結(jié)果，包括：對目標交互內(nèi)容中的文本數(shù)據(jù)進行分詞處理和編碼處理，得到處理后的數(shù)據(jù)特征；通過將處理后的數(shù)據(jù)特征輸入生成對抗網(wǎng)絡(luò)中的判別器，得到目標檢測結(jié)果。

8、可選地，在通過將處理后的數(shù)據(jù)特征輸入生成對抗網(wǎng)絡(luò)中的判別器，得到目標檢測結(jié)果之后，上述方法還包括：在目標檢測結(jié)果表示目標交互內(nèi)容存在異常現(xiàn)象的情況下，為目標交互內(nèi)容中存在異常現(xiàn)象的部分內(nèi)容添加異常標記；對判別器中的權(quán)重參數(shù)進行優(yōu)化，得到優(yōu)化后的生成對抗網(wǎng)絡(luò)。

9、可選地，在基于調(diào)整后的內(nèi)容審核模型，生成目標審核結(jié)果之后，上述方法還包括：在目標審核結(jié)果表示目標交互內(nèi)容包含非合規(guī)性內(nèi)容的情況下，對目標交互內(nèi)容的處理包括至少以下之一：屏蔽目標交互內(nèi)容、對目標交互內(nèi)容進行調(diào)整、對目標交互內(nèi)容進行修改。

10、根據(jù)本申請實施例的又一方面，還提供了一種內(nèi)容審核裝置，包括：第一獲取單元，用于獲取內(nèi)容交互平臺中的目標交互內(nèi)容；第一處理單元，用于通過將目標交互內(nèi)容輸入多模態(tài)語義識別模型，得到融合語義向量，其中，融合語義向量用于指示交互內(nèi)容的情感描述信息；調(diào)整單元，用于基于融合語義向量及區(qū)域文化描述向量，對內(nèi)容審核模型中的評價參數(shù)進行調(diào)整，得到調(diào)整后的內(nèi)容審核模型，其中，評價參數(shù)表示帶有特殊含義的部分內(nèi)容對于審核結(jié)果的影響程度，區(qū)域文化描述向量表示通過結(jié)合區(qū)域文化信息對目標交互內(nèi)容進行深度挖掘得到的深層含義；第二處理單元，用于基于調(diào)整后的內(nèi)容審核模型，生成目標審核結(jié)果。

11、根據(jù)本申請實施例的又一方面，還提供了一種計算機可讀的存儲介質(zhì)，該計算機可讀的存儲介質(zhì)中存儲有計算機程序，其中，該計算機程序用于被電子設(shè)備運行時執(zhí)行上述內(nèi)容審核方法。

12、根據(jù)本申請實施例的又一方面，還提供了一種計算機程序產(chǎn)品，包括計算機程序該計算機程序被處理器執(zhí)行時實現(xiàn)上述方法的步驟。

13、根據(jù)本申請實施例的又一方面，還提供了一種電子設(shè)備，包括存儲器和處理器，上述存儲器中存儲有計算機程序，上述處理器被設(shè)置為通過計算機程序執(zhí)行上述內(nèi)容審核方法。

14、采用本申請?zhí)峁┑纳鲜鰧嵤├ㄟ^對包含多種語言類型的直播內(nèi)容進行翻譯處理，將直播內(nèi)容轉(zhuǎn)換為語言類型統(tǒng)一的目標交互內(nèi)容，然后在目標交互內(nèi)容的基礎(chǔ)上結(jié)合多模態(tài)直播數(shù)據(jù)，得到用于表示直播內(nèi)容的情感信息的融合語義向量，最后通過將融合語義向量與用戶所在地的區(qū)域文化描述向量相結(jié)合，使得模型能夠充分理解待審核內(nèi)容的上下文含義及文化背景知識，從而實時調(diào)整內(nèi)容審核模型中的評價參數(shù)，生成目標審核結(jié)果。換言之，通過對多語言直播場景中的直播內(nèi)容進行翻譯處理、多模態(tài)數(shù)據(jù)融合、上下文理解及文化背景識別等處理，使得能夠準確識別出不符合要求的直播內(nèi)容，實現(xiàn)了提高內(nèi)容識別結(jié)果的準確性的技術(shù)效果。

技術(shù)特征：

1.一種內(nèi)容審核方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過將所述目標交互內(nèi)容輸入多模態(tài)語義識別模型，得到融合語義向量，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述融合語義向量及區(qū)域文化描述向量，對內(nèi)容審核模型中的評價參數(shù)進行調(diào)整，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述融合語義向量所表示的所述目標交互內(nèi)容的情感類型和所述區(qū)域文化描述向量所表示的深層含義，對所述內(nèi)容審核模型中的評價參數(shù)進行調(diào)整，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述調(diào)整后的內(nèi)容審核模型，生成目標審核結(jié)果，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述利用生成對抗網(wǎng)絡(luò)，對所述目標交互內(nèi)容進行檢測，得到目標檢測結(jié)果，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在通過將所述處理后的數(shù)據(jù)特征輸入所述生成對抗網(wǎng)絡(luò)中的判別器，得到所述目標檢測結(jié)果之后，所述方法還包括：

8.根據(jù)權(quán)利要求1至7中任一項所述的方法，其特征在于，在所述基于所述調(diào)整后的內(nèi)容審核模型，生成目標審核結(jié)果之后，所述方法還包括：

9.一種內(nèi)容審核裝置，其特征在于，包括：

10.一種計算機可讀的存儲介質(zhì)，其特征在于，所述計算機可讀的存儲介質(zhì)包括存儲的程序，其中，所述程序可被終端設(shè)備或計算機運行時執(zhí)行如權(quán)利要求1至8任一項中所述的方法。

11.一種電子設(shè)備，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設(shè)置為通過所述計算機程序執(zhí)行如權(quán)利要求1至8任一項中所述的方法。

技術(shù)總結(jié)
本申請公開了一種內(nèi)容審核方法和裝置、存儲介質(zhì)及電子設(shè)備。其中，該方法包括：獲取內(nèi)容交互平臺中的目標交互內(nèi)容；通過將目標交互內(nèi)容輸入多模態(tài)語義識別模型，得到融合語義向量，其中，融合語義向量用于指示目標交互內(nèi)容的情感描述信息；基于融合語義向量及區(qū)域文化描述向量，對內(nèi)容審核模型中的評價參數(shù)進行調(diào)整，得到調(diào)整后的內(nèi)容審核模型，其中，評價參數(shù)表示帶有特殊含義的部分內(nèi)容對于審核結(jié)果的影響程度；基于調(diào)整后的內(nèi)容審核模型，生成目標審核結(jié)果。本申請解決了相關(guān)技術(shù)中在內(nèi)容審核過程中出現(xiàn)的準確率較低的技術(shù)問題。

技術(shù)研發(fā)人員：曹旺,胡奕涵,賀子悅,姚智健
受保護的技術(shù)使用者：湖南快樂陽光互動娛樂傳媒有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9