本發(fā)明涉及多模態(tài)，具體涉及一種用于調(diào)制信號(hào)分類(lèi)識(shí)別的多模態(tài)數(shù)據(jù)融合方法及系統(tǒng)。

背景技術(shù)：

1、5g通信技術(shù)能夠生成大量通信數(shù)據(jù)，人工智能中的深度學(xué)習(xí)技術(shù)能夠?qū)W習(xí)大量數(shù)據(jù)中的特征，因此人工智能技術(shù)和無(wú)線(xiàn)通信技術(shù)的聯(lián)合發(fā)展是當(dāng)前主流發(fā)展方向。本專(zhuān)利旨在研究通信物理層中自動(dòng)調(diào)制分類(lèi)(amc)技術(shù)與深度學(xué)習(xí)技術(shù)相結(jié)合的相關(guān)算法。amc是指在沒(méi)有或已知部分先驗(yàn)知識(shí)的情況下，自動(dòng)識(shí)別出信號(hào)的調(diào)制方式。該過(guò)程屬于信號(hào)檢測(cè)和信號(hào)解調(diào)之間的中間步驟，是在接收端解調(diào)信號(hào)的先決條件，也是無(wú)線(xiàn)通信的關(guān)鍵環(huán)節(jié)。amc在民用和軍事領(lǐng)域都發(fā)揮著關(guān)鍵作用。

2、深度學(xué)習(xí)是一種強(qiáng)大的人工智能技術(shù)，能從海量的數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征并擬合非線(xiàn)性網(wǎng)絡(luò)，在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等研究領(lǐng)域取得了巨大的成功?；谏疃葘W(xué)習(xí)的自動(dòng)調(diào)制識(shí)別也因此受到了廣泛的關(guān)注。目前基于深度學(xué)習(xí)的自動(dòng)調(diào)制識(shí)別方法主要分為兩類(lèi)。

3、第一類(lèi)是將信號(hào)轉(zhuǎn)化成圖像，再用圖像識(shí)別領(lǐng)域的深度學(xué)習(xí)算法對(duì)調(diào)制信號(hào)進(jìn)行分類(lèi)。如將信號(hào)轉(zhuǎn)換成時(shí)頻圖，星座圖，振幅直方圖、循環(huán)譜圖、眼圖等，然后再使用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)；第二類(lèi)是直接用神經(jīng)網(wǎng)絡(luò)提取信號(hào)序列中的特征并完成分類(lèi)。如直接將同相正交信號(hào)序列(iq)、幅度相位信號(hào)序列(ap)、頻率序列等作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行分類(lèi)。

4、在這兩種類(lèi)型的amc方法中，圖像模態(tài)的信號(hào)具有空間上的分布特征，序列模態(tài)的信號(hào)具有時(shí)間上的分布特征。因此，本專(zhuān)利通過(guò)將兩種模態(tài)的數(shù)據(jù)融合進(jìn)同一個(gè)網(wǎng)絡(luò)，從而提取到更多有效的特征，以獲得更好的分類(lèi)性能。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述問(wèn)題，本發(fā)明的目的是提供一種用于調(diào)制信號(hào)分類(lèi)識(shí)別的多模態(tài)數(shù)據(jù)融合方法及系統(tǒng)，較使用單一模態(tài)數(shù)據(jù)作為輸入的方法，提高識(shí)別效果。

2、本發(fā)明提供了一種用于調(diào)制信號(hào)分類(lèi)識(shí)別的多模態(tài)數(shù)據(jù)融合方法，包括：

3、步驟s101，獲取原始iq信號(hào)；

4、步驟s102，對(duì)所述原始iq信號(hào)的幅值進(jìn)行最大值歸一化和最小值歸一化處理，并根據(jù)歸一化處理后的iq信號(hào)生成iq序列信號(hào)；

5、步驟s103，根據(jù)所述原始iq信號(hào)計(jì)算ap序列信號(hào)的振幅和相位，根據(jù)所述振幅和相位生成ap序列信號(hào)；

6、步驟s104，將所述原始iq信號(hào)轉(zhuǎn)換為復(fù)平面上點(diǎn)的集合，生成iq彩色密度星座圖；

7、步驟s105，將所述原始iq信號(hào)在幅值-相位維度進(jìn)行投影，生成ap散點(diǎn)圖；

8、步驟s106，根據(jù)所述iq序列信號(hào)和ap序列信號(hào)提取序列模態(tài)信號(hào)特征；

9、步驟s107，根據(jù)所述iq彩色密度星座圖和ap散點(diǎn)圖提取圖像模態(tài)信號(hào)特征；

10、步驟s108，根據(jù)所述序列模態(tài)信號(hào)特征和圖像模態(tài)信號(hào)特征進(jìn)行特征融合，得到聯(lián)合特征；

11、步驟s109，將所述聯(lián)合特征映射到每個(gè)調(diào)制類(lèi)別，并將最大概率對(duì)應(yīng)的調(diào)制類(lèi)別作為調(diào)制信號(hào)分類(lèi)識(shí)別結(jié)果輸出。

12、在一種可能的實(shí)現(xiàn)方式中，所述步驟s102包括：

13、對(duì)接收到的原始iq信號(hào)(ri，rq)幅值進(jìn)行最大值歸一化和最小值歸一化，范圍為(-1，1)，公式如下：

14、

15、將長(zhǎng)度n的iq序列信號(hào)樣本組織在矩陣siq中，生成iq序列信號(hào)siq，公式如下：

16、

17、式中，(ri，rq)為原始iq信號(hào)，ri為同相分量，rq為正交分量，siq為iq序列信號(hào)，n為長(zhǎng)度，ri(n)為幅值最小值歸一化后iq信號(hào)，rq(n)為幅值最大值歸一化后iq信號(hào)。

18、在一種可能的實(shí)現(xiàn)方式中，所述步驟s103包括：

19、對(duì)振幅進(jìn)行l(wèi)2范數(shù)歸一化，歸一化后的幅值范圍為(0，1)，對(duì)相位在(-1，1)之間進(jìn)行歸一化，公式如下：

20、

21、

22、將長(zhǎng)度n的ap序列信號(hào)樣本組織在矩陣sap中，生成ap序列信號(hào)sap，公式如下：

23、

24、式中，(ri，rq)為原始iq信號(hào)，ri為同相分量，rq為正交分量，sap為ap序列信號(hào)，n為長(zhǎng)度，ra(n)為振幅，rq(n)為相位。

25、在一種可能的實(shí)現(xiàn)方式中，所述步驟s104包括：

26、將原始iq信號(hào)(ri，rq)轉(zhuǎn)換為復(fù)平面上點(diǎn)的集合，公式如下：

27、iiq＝[ri(n)，rq(n)]＝|(ri(0)，rq(0))，(ri(1)，rq(1))，…，(ri(n-1)，rq(n-1))|

28、式中，(ri，rq)為原始iq信號(hào)，ri為同相分量，rq為正交分量，iiq為iq彩色密度星座圖中點(diǎn)的集合，n為長(zhǎng)度。

29、在一種可能的實(shí)現(xiàn)方式中，所述步驟s105包括：

30、將原始iq信號(hào)在幅值-相位維度進(jìn)行投影，公式如下：

31、iap＝[ra(n)，rp(n)]＝[(ra(0)，rp(0))，(ra(1)，rp(1))，…，(ra(n-1)，rp(n-1))]

32、式中，ra(n)為振幅，rq(n)為相位，iap為iq彩色密度星座圖中點(diǎn)的集合，n為長(zhǎng)度。

33、在一種可能的實(shí)現(xiàn)方式中，所述步驟s106包括：

34、對(duì)所述iq序列信號(hào)依次進(jìn)行卷積核大小為1×2，3×1，3×1的卷積運(yùn)算，并提取不同尺度和維度的通道特征，得到第一特征；

35、對(duì)所述ap序列信號(hào)依次進(jìn)行卷積核大小為1×2，3×1，3×1的卷積運(yùn)算，板提取不同尺度和維度的通道特征，得到第二特征；

36、將所述第一特征和所述第二特征縱向拼接在一起，得到序列信號(hào)融合特征；

37、將所述序列信號(hào)融合特征輸入到lstm網(wǎng)絡(luò)用于提取序列信號(hào)的時(shí)序特征，得到序列模態(tài)信號(hào)特征。

38、在一種可能的實(shí)現(xiàn)方式中，所述步驟s107包括：

39、對(duì)所述iq彩色密度星座圖依次進(jìn)行卷積核大小為7×7，5×5，3×3的卷積運(yùn)算，并提取圖像不同深度的空間特征，得到第三特征；

40、對(duì)所述ap散點(diǎn)圖依次進(jìn)行卷積核大小為7×7，5×5，3×3的卷積運(yùn)算，并提取圖像不同深度的空間特征，得到第四特征。

41、將所述第三特征和第四特征縱向拼接在一起，得到圖像信號(hào)融合特征；

42、將所述圖像信號(hào)融合特征輸入到全連接層，經(jīng)過(guò)非線(xiàn)性變化后映射到序列模態(tài)信號(hào)特征維度空間，得到圖像模態(tài)信號(hào)特征。

43、在一種可能的實(shí)現(xiàn)方式中，所述步驟s108包括：

44、在網(wǎng)絡(luò)特征層通過(guò)連接函數(shù)對(duì)所述序列模態(tài)信號(hào)特征和圖像模態(tài)信號(hào)特征進(jìn)行特征融合，得到聯(lián)合特征。

45、在一種可能的實(shí)現(xiàn)方式中，所述步驟s109包括：

46、根據(jù)交叉熵?fù)p失函數(shù)將所述聯(lián)合特征映射到每個(gè)調(diào)制類(lèi)別，并將最大概率對(duì)應(yīng)的調(diào)制類(lèi)別作為調(diào)制信號(hào)分類(lèi)識(shí)別結(jié)果輸出。

47、本發(fā)明還提供了一種用于調(diào)制信號(hào)分類(lèi)識(shí)別的多模態(tài)數(shù)據(jù)融合系統(tǒng)，用于執(zhí)行任一上述的多模態(tài)數(shù)據(jù)融合方法，包括：

48、信號(hào)獲取模塊，用于獲取原始iq信號(hào)；

49、iq序列信號(hào)生成模塊，用于對(duì)所述原始iq信號(hào)的幅值進(jìn)行最大值歸一化和最小值歸一化處理，并根據(jù)歸一化處理后的iq信號(hào)生成iq序列信號(hào)；

50、ap序列信號(hào)生成模塊，用于根據(jù)所述原始iq計(jì)算ap序列信號(hào)的振幅和相位，根據(jù)所述振幅和相位生成ap序列信號(hào)；

51、iq彩色密度星座圖生成模塊，用于將所述原始iq信號(hào)轉(zhuǎn)換為復(fù)平面上點(diǎn)的集合，生成iq彩色密度星座圖；

52、ap散點(diǎn)圖生成模塊，用于將所述原始iq信號(hào)在幅值-相位維度進(jìn)行投影，生成ap散點(diǎn)圖；

53、序列模態(tài)信號(hào)特征提取模塊，用于根據(jù)所述iq序列信號(hào)和ap序列信號(hào)提取序列模態(tài)信號(hào)特征；

54、圖像模態(tài)信號(hào)特征提取模塊，用于根據(jù)所述iq彩色密度星座圖和ap散點(diǎn)圖提取圖像模態(tài)信號(hào)特征；

55、特征融合模塊，用于根據(jù)所述序列模態(tài)信號(hào)特征和圖像模態(tài)信號(hào)特征進(jìn)行特征融合，得到聯(lián)合特征；

56、輸出模塊，用于將所述聯(lián)合特征映射到每個(gè)調(diào)制類(lèi)別，并將最大概率對(duì)應(yīng)的調(diào)制類(lèi)別作為調(diào)制信號(hào)分類(lèi)識(shí)別結(jié)果輸出。

57、本發(fā)明的目的是提供一種用于調(diào)制信號(hào)分類(lèi)識(shí)別的多模態(tài)數(shù)據(jù)融合方法及系統(tǒng)，通過(guò)原始iq信號(hào)生成多模態(tài)數(shù)據(jù)，然后在神經(jīng)網(wǎng)絡(luò)的特征層對(duì)多模態(tài)數(shù)據(jù)進(jìn)行融合，最后在損失函數(shù)的監(jiān)督下訓(xùn)練網(wǎng)絡(luò)模型，完成對(duì)調(diào)制信號(hào)的分類(lèi)。該方法較使用單一模態(tài)數(shù)據(jù)作為輸入進(jìn)行調(diào)制識(shí)別的方法，識(shí)別效果得到較大改進(jìn)。