本申請(qǐng)實(shí)施例涉及智能檢測(cè)，尤其涉及一種基于多模態(tài)融合的智能檢測(cè)方法、系統(tǒng)、設(shè)備及機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)的發(fā)展，越來越多的應(yīng)用場(chǎng)景需要對(duì)復(fù)雜環(huán)境下的多源異構(gòu)數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)和智能分析。例如，在工業(yè)生產(chǎn)監(jiān)控、環(huán)境監(jiān)測(cè)、醫(yī)療診斷等領(lǐng)域，傳統(tǒng)的單一模態(tài)數(shù)據(jù)處理方法難以滿足日益增長(zhǎng)的需求。這些場(chǎng)景往往需要綜合多種類型的數(shù)據(jù)(如圖像、聲音、傳感器讀數(shù)、文本記錄等)，以便更全面地理解現(xiàn)場(chǎng)情況并做出準(zhǔn)確的判斷。

2、目前，大多數(shù)智能檢測(cè)方法僅依賴于單一模態(tài)的數(shù)據(jù)進(jìn)行分析。例如，使用圖像識(shí)別技術(shù)來檢測(cè)特定對(duì)象或使用傳感器數(shù)據(jù)來監(jiān)測(cè)物理環(huán)境的變化。這些方法雖然在某些特定場(chǎng)景下表現(xiàn)出色，但在復(fù)雜環(huán)境中卻可能受限于數(shù)據(jù)的局限性，導(dǎo)致檢測(cè)結(jié)果不夠準(zhǔn)確或全面。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種基于多模態(tài)融合的智能檢測(cè)方法、系統(tǒng)、設(shè)備及機(jī)存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)中檢測(cè)結(jié)果不夠準(zhǔn)確的問題。

2、第一方面，本申請(qǐng)實(shí)施例提供一種基于多模態(tài)融合的智能檢測(cè)方法，包括：

3、采集目標(biāo)區(qū)域內(nèi)的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)至少包括圖像數(shù)據(jù)、傳感器數(shù)據(jù)、聲音數(shù)據(jù)和文本數(shù)據(jù)；

4、對(duì)所述多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理至少包括去噪、標(biāo)準(zhǔn)化、特征提??；

5、利用預(yù)處理后的多模態(tài)數(shù)據(jù)，通過多模態(tài)融合技術(shù)進(jìn)行特征融合，生成融合特征向量；

6、基于所述融合特征向量以及獲取的目標(biāo)數(shù)據(jù)，采用機(jī)器學(xué)習(xí)算法進(jìn)行分類或回歸分析，得到所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果。

7、可選地，所述多模態(tài)融合技術(shù)至少包括深度學(xué)習(xí)模型、特征拼接、注意力機(jī)制、門控遞歸單元。

8、可選地，所述特征融合包括以下步驟：

9、將不同模態(tài)的數(shù)據(jù)映射到統(tǒng)一的特征空間，形成各自模態(tài)的特征表示；

10、應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)，提取各模態(tài)特征；

11、通過門控機(jī)制選擇性地融合各模態(tài)特征，生成融合特征向量。

12、可選地，所述對(duì)所述多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理還包括：

13、對(duì)圖像數(shù)據(jù)應(yīng)用高斯模糊濾波器進(jìn)行去噪處理，所述高斯模糊濾波器的核大小為k×k，標(biāo)準(zhǔn)差為σ；

14、對(duì)傳感器數(shù)據(jù)應(yīng)用小波變換進(jìn)行降噪處理，所述小波變換采用daubechies小波基，分解層數(shù)為j層。

15、可選地，所述基于所述融合特征向量以及獲取的目標(biāo)數(shù)據(jù)，采用機(jī)器學(xué)習(xí)算法進(jìn)行分類或回歸分析，得到所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果，包括：

16、構(gòu)建支持向量機(jī)模型，所述支持向量機(jī)模型用以使用核函數(shù)k(xi，xj)來處理非線性可分問題；

17、計(jì)算所述融合特征向量x＝{x1，x2，…，xn}在所述核函數(shù)下的映射值φ(x)；

18、使用軟間隔最大化原則確定最優(yōu)分類超平面，以完成對(duì)所述支持向量機(jī)模型的訓(xùn)練；

19、其中，所述最優(yōu)分類超平面由以下公式定義：

20、

21、subjectto0≤αi≤c，i＝1，…，n

22、

23、其中，αi和αj為拉格朗日乘子，yi為樣本標(biāo)簽，yj為樣本xj的類別標(biāo)簽，c為懲罰系數(shù)，n為訓(xùn)練樣本的數(shù)量，k(xi，xj)為核函數(shù)，φ(x)為映射函數(shù)，xi和xj：訓(xùn)練集中的樣本點(diǎn)；

24、將獲取的目標(biāo)數(shù)據(jù)輸入訓(xùn)練好的支持向量機(jī)模型，以確定所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果；

25、所述將獲取的目標(biāo)數(shù)據(jù)輸入訓(xùn)練好的支持向量機(jī)模型，以確定所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果，包括：

26、通過公式：確定所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果，所述檢測(cè)結(jié)果至少包括所述目標(biāo)數(shù)據(jù)的所屬類別；

27、其中，f(xnew)為預(yù)測(cè)函數(shù)，用于輸出所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果，xnew為目標(biāo)數(shù)據(jù)，k(xi，xnew)為核函數(shù)，用于衡量訓(xùn)練樣本xi和目標(biāo)數(shù)據(jù)xnew在高維空間中的相似度，b為偏置項(xiàng)。

28、可選地，所述通過多模態(tài)融合技術(shù)進(jìn)行特征融合，生成融合特征向量，包括：

29、使用自適應(yīng)加權(quán)機(jī)制來調(diào)整不同模態(tài)特征的重要性；

30、其中，所述自適應(yīng)加權(quán)機(jī)制包括以下步驟：

31、定義模態(tài)m的特征向量

32、計(jì)算特征向量fm的重要性權(quán)重wm，其中：

33、

34、其中，fm為第m個(gè)模態(tài)的特征向量，為第m個(gè)模態(tài)特征向量中的第i個(gè)特征值，nm為第m個(gè)模態(tài)特征向量的維度，wm為第m個(gè)模態(tài)特征向量的重要性權(quán)重，m為模態(tài)的數(shù)量，βm是用于調(diào)整模態(tài)m的重要性的超參數(shù)，是特征向量fm的信息量度量，所述信息量度量至少包括信息熵或方差，βm'是用于調(diào)整第m'個(gè)模態(tài)的重要性的超參數(shù)，是特征向量fm'的信息量度量；

35、根據(jù)權(quán)重wm調(diào)整不同模態(tài)特征的重要性，以得到融合特征向量

36、可選地，所述信息量度量通過以下公式計(jì)算：

37、

38、其中，是特征向量fm的平均值，為第m個(gè)模態(tài)特征向量的信息量度量，例如信息摘或方差，為第m個(gè)模態(tài)特征向量中的第i個(gè)特征值，nm第m個(gè)模態(tài)特征向量的維度，第m個(gè)模態(tài)特征向量的平均值。

39、第二方面，本申請(qǐng)實(shí)施例提供一種基于多模態(tài)融合的智能檢測(cè)系統(tǒng)，包括：

40、數(shù)據(jù)采集模塊，用于采集目標(biāo)區(qū)域內(nèi)的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)至少包括圖像數(shù)據(jù)、傳感器數(shù)據(jù)、聲音數(shù)據(jù)和文本數(shù)據(jù)；

41、數(shù)據(jù)預(yù)處理模塊，用于對(duì)所述多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理至少包括去噪、標(biāo)準(zhǔn)化、特征提??；

42、特征融合模塊，用于利用預(yù)處理后的多模態(tài)數(shù)據(jù)，通過多模態(tài)融合技術(shù)進(jìn)行特征融合，生成融合特征向量；

43、智能檢測(cè)模塊，用于基于所述融合特征向量以及獲取的目標(biāo)數(shù)據(jù)，采用機(jī)器學(xué)習(xí)算法進(jìn)行分類或回歸分析，得到所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果。

44、第三方面，本申請(qǐng)實(shí)施例中提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以執(zhí)行第一方面任一所述的基于多模態(tài)融合的智能檢測(cè)方法。

45、第四方面，本申請(qǐng)實(shí)施例中提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中任意一項(xiàng)所述的基于多模態(tài)融合的智能檢測(cè)方法。

46、本申請(qǐng)實(shí)施例中，采集目標(biāo)區(qū)域內(nèi)的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)至少包括圖像數(shù)據(jù)、傳感器數(shù)據(jù)、聲音數(shù)據(jù)和文本數(shù)據(jù)；對(duì)所述多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理至少包括去噪、標(biāo)準(zhǔn)化、特征提?。焕妙A(yù)處理后的多模態(tài)數(shù)據(jù)，通過多模態(tài)融合技術(shù)進(jìn)行特征融合，生成融合特征向量；基于所述融合特征向量以及獲取的目標(biāo)數(shù)據(jù)，采用機(jī)器學(xué)習(xí)算法進(jìn)行分類或回歸分析，得到所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果。本申請(qǐng)?zhí)峁┑募夹g(shù)方案提高了檢測(cè)結(jié)果的準(zhǔn)確性和可靠性。

47、本申請(qǐng)的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡(jiǎn)明易懂。

技術(shù)特征：

1.一種基于多模態(tài)融合的智能檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多模態(tài)融合技術(shù)至少包括深度學(xué)習(xí)模型、特征拼接、注意力機(jī)制、門控遞歸單元。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述特征融合包括以下步驟：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理還包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述融合特征向量以及獲取的目標(biāo)數(shù)據(jù)，采用機(jī)器學(xué)習(xí)算法進(jìn)行分類或回歸分析，得到所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過多模態(tài)融合技術(shù)進(jìn)行特征融合，生成融合特征向量，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述信息量度量通過以下公式計(jì)算：

8.一種基于多模態(tài)融合的智能檢測(cè)系統(tǒng)，其特征在于，包括：

9.一種電子設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以執(zhí)行權(quán)利要求1至7任一所述的基于多模態(tài)融合的智能檢測(cè)方法。

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，其特征在于，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任意一項(xiàng)所述的基于多模態(tài)融合的智能檢測(cè)方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N基于多模態(tài)融合的智能檢測(cè)方法、系統(tǒng)、設(shè)備及機(jī)存儲(chǔ)介質(zhì)。其中，采集目標(biāo)區(qū)域內(nèi)的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)至少包括圖像數(shù)據(jù)、傳感器數(shù)據(jù)、聲音數(shù)據(jù)和文本數(shù)據(jù)；對(duì)所述多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理至少包括去噪、標(biāo)準(zhǔn)化、特征提?。焕妙A(yù)處理后的多模態(tài)數(shù)據(jù)，通過多模態(tài)融合技術(shù)進(jìn)行特征融合，生成融合特征向量；基于所述融合特征向量以及獲取的目標(biāo)數(shù)據(jù)，采用機(jī)器學(xué)習(xí)算法進(jìn)行分類或回歸分析，得到所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的檢測(cè)結(jié)果。本申請(qǐng)?zhí)峁┑募夹g(shù)方案提高了檢測(cè)結(jié)果的準(zhǔn)確性和可靠性。

技術(shù)研發(fā)人員：牟宏磊,蒙洋,劉晶晶,田磊,孫振江
受保護(hù)的技術(shù)使用者：中關(guān)村機(jī)器人產(chǎn)業(yè)創(chuàng)新發(fā)展有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6