本發(fā)明涉及計(jì)算機(jī)，特別是涉及一種圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、社群關(guān)系圖結(jié)構(gòu)生成方法及系統(tǒng)。

背景技術(shù)：

1、圖卷積網(wǎng)絡(luò)(graph?convolution?neural?networks，gcn)是一種深度學(xué)習(xí)模型，專門用于處理圖結(jié)構(gòu)數(shù)據(jù)(graph?data)。這種模型通過聚合鄰接節(jié)點(diǎn)的信息來更新節(jié)點(diǎn)表示，從而提取和發(fā)掘圖結(jié)構(gòu)數(shù)據(jù)中的特征和模式。圖卷積網(wǎng)絡(luò)的核心思想在于利用圖的結(jié)構(gòu)信息，通過鄰接節(jié)點(diǎn)的信息聚合來更新每個(gè)節(jié)點(diǎn)的表示，進(jìn)而實(shí)現(xiàn)對(duì)圖數(shù)據(jù)的深度學(xué)習(xí)處理。圖卷積網(wǎng)絡(luò)的基本組成包括節(jié)點(diǎn)特征矩陣、鄰接矩陣(adjacency?matrix)、度矩陣(degree?matrix)以及多個(gè)圖卷積層(graph?convolutional?layer)。每一層的圖卷積操作本質(zhì)上是對(duì)每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)信息進(jìn)行聚合，然后通過線性變換和非線性激活函數(shù)進(jìn)行更新，這一過程在每一層中重復(fù)進(jìn)行，直到達(dá)到預(yù)設(shè)的層數(shù)，從而得到最終的節(jié)點(diǎn)表示。圖卷積神經(jīng)網(wǎng)絡(luò)圖卷積神經(jīng)網(wǎng)絡(luò)具備以下性質(zhì)：層級(jí)結(jié)構(gòu)性質(zhì)(特征逐層抽取，深層特征比淺層特征更抽象、更高級(jí))，非線性性質(zhì)(增加圖卷積神經(jīng)網(wǎng)絡(luò)的表達(dá)能力)，端對(duì)端訓(xùn)練性質(zhì)。

2、圖卷積神經(jīng)網(wǎng)絡(luò)分為兩類：基于譜域的圖卷積神經(jīng)網(wǎng)絡(luò)和基于空域的圖卷積神經(jīng)網(wǎng)絡(luò)?；谧V域的圖卷積神經(jīng)網(wǎng)絡(luò)通過從圖信號(hào)處理的角度引入濾波器來定義圖卷積，其中，圖卷積操作被解釋為從圖信號(hào)中去除噪聲?；诳沼虻姆椒▽D卷積表示為聚合來自鄰居的特征信息。

3、針對(duì)圖卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，通常是基于圖結(jié)構(gòu)樣本，調(diào)用圖卷積神經(jīng)網(wǎng)絡(luò)之后得到的預(yù)測(cè)結(jié)果，結(jié)合預(yù)測(cè)結(jié)果和圖結(jié)構(gòu)樣本攜帶的樣本標(biāo)簽，對(duì)圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這種常規(guī)的訓(xùn)練方式使得圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果不佳，也即訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)性能不佳。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問題或至少部分地解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、社群關(guān)系圖結(jié)構(gòu)生成方法及系統(tǒng)。

2、第一方面，本發(fā)明實(shí)施例提供了一種圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，所述圖神經(jīng)網(wǎng)絡(luò)包括輸入層、多個(gè)隱藏層和輸出層；所述方法包括：

3、獲取圖結(jié)構(gòu)樣本；

4、獲取預(yù)設(shè)的第一損失函數(shù)，所述第一損失函數(shù)用于維持輸入所述多個(gè)隱藏層的圖信號(hào)之間的能量不變；

5、利用所述圖結(jié)構(gòu)樣本和所述第一損失函數(shù)，對(duì)所述圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)。

6、在可選的實(shí)施例中，所述方法還包括：獲取預(yù)設(shè)的第二損失函數(shù)，所述第二損失函數(shù)為對(duì)數(shù)損失函數(shù)；

7、利用所述圖結(jié)構(gòu)樣本和所述第一損失函數(shù)，對(duì)所述圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)，包括：根據(jù)所述第一損失函數(shù)和所述第二損失函數(shù)，確定聯(lián)合損失函數(shù)；利用所述圖結(jié)構(gòu)樣本和所述聯(lián)合損失函數(shù)，對(duì)所述圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)。

8、在可選的實(shí)施例中，所述圖神經(jīng)網(wǎng)絡(luò)還包括輸入層，所述輸入層接收所述圖結(jié)構(gòu)樣本，并將輸出信息傳輸給所述圖神經(jīng)網(wǎng)絡(luò)的第1層隱藏層；

9、所述第一損失函數(shù)如下式(1)所示：

10、

11、其中，loss1表示第一損失值，h(m)表示所述圖神經(jīng)網(wǎng)絡(luò)的第m層隱藏層的輸出信息，表示所述圖神經(jīng)網(wǎng)絡(luò)第m隱藏層的輸出信息的傅里葉變換，表示的l2范數(shù)，表示所述圖神經(jīng)網(wǎng)絡(luò)輸入層的輸出信息的傅里葉變換，表示的l2范數(shù)，表示所述圖神經(jīng)網(wǎng)絡(luò)第(l-1)層隱藏層的輸出信息的傅里葉變換，表示的l2范數(shù)，m表示所述圖神經(jīng)網(wǎng)絡(luò)的第m隱藏層，m＝1，2，…，l-1，l表示所述圖神經(jīng)網(wǎng)絡(luò)隱藏層的總層數(shù)。

12、在可選的實(shí)施例中，所述第二損失函數(shù)如下式(2)所示：

13、

14、其中，loss2表示第二損失值，l表示所述圖神經(jīng)網(wǎng)絡(luò)隱藏層的總層數(shù)，h(m)表示所述圖神經(jīng)網(wǎng)絡(luò)第m層隱藏層的輸出信息，y表示所述圖結(jié)構(gòu)樣本的標(biāo)簽，p(h(m)＝y(tǒng))表示所述圖神經(jīng)網(wǎng)絡(luò)第m層隱藏層的輸出信息與所述圖結(jié)構(gòu)樣本的標(biāo)簽之間的相似度，或所述圖神經(jīng)網(wǎng)絡(luò)第m層隱藏層的輸出對(duì)應(yīng)的標(biāo)簽與所述圖結(jié)構(gòu)樣本的標(biāo)簽相同的概率。

15、在可選的實(shí)施例中，所述圖神經(jīng)網(wǎng)絡(luò)第m層隱藏層的輸出信息作為第一向量；所述方法還包括：

16、計(jì)算所述第一向量與所述圖結(jié)構(gòu)樣本的標(biāo)簽對(duì)應(yīng)的第二向量之間的距離；

17、將所述第一向量與所述第二向量之間的距離，作為所述圖神經(jīng)網(wǎng)絡(luò)第m層隱藏層的輸出信息與所述圖結(jié)構(gòu)樣本的標(biāo)簽之間的相似度。

18、在可選的實(shí)施例中，所述方法還包括：

19、針對(duì)所述圖神經(jīng)網(wǎng)絡(luò)的每一隱藏層，將所述隱藏層的輸出信息輸入預(yù)構(gòu)建的概率預(yù)測(cè)模型，所述概率預(yù)測(cè)模型包括池化層、多層感知機(jī)層和歸一化層；

20、獲取所述概率預(yù)測(cè)模型的輸出信息，所述概率預(yù)測(cè)模型的輸出信息作為所述隱藏層對(duì)應(yīng)的標(biāo)簽與所述圖結(jié)構(gòu)樣本的標(biāo)簽相同的概率。

21、第二方面，本發(fā)明實(shí)施例提供了一種社群關(guān)系圖結(jié)構(gòu)生成方法，包括：

22、客戶端向服務(wù)端發(fā)送社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求，所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求包括用戶信息；

23、所述服務(wù)端響應(yīng)于接收到所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求，調(diào)用訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)，利用所述訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)對(duì)所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求包括的用戶信息進(jìn)行分析，獲得所述用戶信息對(duì)應(yīng)的社群關(guān)系圖結(jié)構(gòu)；所述訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)為根據(jù)本發(fā)明任一實(shí)施例的圖神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法得到；

24、所述服務(wù)端向所述客戶端反饋所述用戶信息對(duì)應(yīng)的社群關(guān)系圖結(jié)構(gòu)。

25、在可選的實(shí)施例中，在客戶端向服務(wù)端發(fā)送社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求之前，所述方法還包括：

26、所述客戶端向所述服務(wù)端發(fā)送密鑰獲取請(qǐng)求，所述密鑰獲取請(qǐng)求指示獲取所述服務(wù)端的至少一個(gè)第一密鑰；

27、所述服務(wù)端響應(yīng)于接收到所述密鑰獲取請(qǐng)求，向所述客戶端反饋至少一個(gè)第一密鑰；

28、所述客戶端響應(yīng)于接收到所述至少一個(gè)第一密鑰，基于所述至少一個(gè)第一密鑰對(duì)對(duì)用戶信息進(jìn)行加密，得到加密用戶信息；

29、所述客戶端基于所述加密用戶信息，生成社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求；

30、所述服務(wù)端在調(diào)用訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)之前，所述方法還包括：

31、所述服務(wù)端響應(yīng)于接收到所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求，根據(jù)所述至少一個(gè)第一密鑰對(duì)所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求攜帶的加密用戶信息進(jìn)行解密，獲得解密后的用戶信息。

32、在可選的實(shí)施例中，所述客戶端響應(yīng)于接收到所述至少一個(gè)第一密鑰，基于所述至少一個(gè)第一密鑰對(duì)對(duì)用戶信息進(jìn)行加密，得到加密用戶信息，包括：

33、所述客戶端響應(yīng)于接收到所述至少一個(gè)第一密鑰，按照指定組合方式將所述至少一個(gè)第一密鑰與至少一個(gè)第二密鑰進(jìn)行組合，獲得目標(biāo)密鑰；

34、所述客戶端利用所述目標(biāo)密鑰對(duì)用戶信息進(jìn)行加密，得到加密用戶信息；

35、所述客戶端基于所述加密用戶信息、所述至少一個(gè)第二密鑰和所述指定組合方式，生成社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求；

36、所述服務(wù)端響應(yīng)于接收到所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求，根據(jù)所述至少一個(gè)第一密鑰對(duì)所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求攜帶的加密用戶信息進(jìn)行解密，獲得解密后的用戶信息，包括：

37、所述服務(wù)端響應(yīng)于接收到所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求，解析所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求，獲得所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求攜帶的加密用戶信息、至少一個(gè)第二密鑰和所述指定組合方式；

38、所述服務(wù)端按照所述指定組合方式將所述至少一個(gè)第一密鑰與至少一個(gè)第二密鑰進(jìn)行組合，獲得所述目標(biāo)密鑰，并利用所述目標(biāo)密鑰對(duì)所述加密用戶信息進(jìn)行解密，獲得解密后的用戶信息。

39、第三方面，本發(fā)明實(shí)施例提供了一種圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練系統(tǒng)，所述圖神經(jīng)網(wǎng)絡(luò)包括多個(gè)隱藏層；所述系統(tǒng)包括：

40、獲取模塊，用于獲取圖結(jié)構(gòu)樣本；

41、構(gòu)建模塊，用于獲取預(yù)設(shè)的第一損失函數(shù)，所述第一損失函數(shù)用于維持輸入所述多個(gè)隱藏層的圖信號(hào)之間的能量不變；

42、訓(xùn)練模塊，用于利用所述圖結(jié)構(gòu)樣本和所述第一損失函數(shù)，對(duì)所述圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)。

43、第四方面，本發(fā)明實(shí)施例提供了一種社群關(guān)系圖結(jié)構(gòu)生成系統(tǒng)，包括客戶端和服務(wù)端：

44、所述客戶端向所述服務(wù)端發(fā)送社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求，所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求包括用戶信息；

45、所述服務(wù)端響應(yīng)于接收到所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求，調(diào)用訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)，利用所述訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)對(duì)所述社群關(guān)系圖結(jié)構(gòu)生成請(qǐng)求包括的用戶信息進(jìn)行分析，獲得所述用戶信息對(duì)應(yīng)的社群關(guān)系圖結(jié)構(gòu)；所述訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)為根據(jù)本發(fā)明任一實(shí)施例所述的圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法得到；

46、所述服務(wù)端向所述客戶端反饋所述用戶信息對(duì)應(yīng)的社群關(guān)系圖結(jié)構(gòu)。

47、第五方面，本發(fā)明實(shí)施例提供了一種電子設(shè)備，包括處理器、通信接口、存儲(chǔ)器和通信總線，其中，處理器，通信接口，存儲(chǔ)器通過通信總線完成相互間的通信；存儲(chǔ)器，用于存放計(jì)算機(jī)程序；處理器，用于執(zhí)行存儲(chǔ)器上所存放的程序時(shí)，實(shí)現(xiàn)本發(fā)明任一實(shí)施例所述的圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法或社群關(guān)系圖結(jié)構(gòu)生成方法。

48、第六方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明任一實(shí)施例所述的圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法或社群關(guān)系圖結(jié)構(gòu)生成方法。

49、本發(fā)明實(shí)施例提供的技術(shù)方案至少帶來以下有益效果：

50、本發(fā)明實(shí)施例提供的圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，獲取圖結(jié)構(gòu)樣本；獲取預(yù)設(shè)的第一損失函數(shù)，所述第一損失函數(shù)用于維持輸入圖神經(jīng)網(wǎng)絡(luò)的多個(gè)隱藏層的圖信號(hào)之間的能量不變；利用所述圖結(jié)構(gòu)樣本和所述第一損失函數(shù)，對(duì)所述圖神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的圖神經(jīng)網(wǎng)絡(luò)。該方法通過優(yōu)化后的用于維持輸入圖神經(jīng)網(wǎng)絡(luò)多個(gè)隱藏層的圖信號(hào)之間的能量不變的損失函數(shù)，提升了圖神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練效果，使得模型能夠更準(zhǔn)確地學(xué)習(xí)和預(yù)測(cè)。