一種圖計(jì)算預(yù)處理的裝置、方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式數(shù)據(jù)處理領(lǐng)域，尤其涉及一種圖計(jì)算預(yù)處理的裝置、方法及系統(tǒng)。
【背景技術(shù)】
[0002]圖是表示對象與對象之間的關(guān)系的一種抽向的方法，是圖論的基本研究對象。在圖計(jì)算中，圖是由頂點(diǎn)和頂點(diǎn)之間的邊構(gòu)成。隨著信息的快速增長，圖的規(guī)模隨之也越來越大，隨之出現(xiàn)的分布式圖處理可以高效的對大規(guī)模圖進(jìn)行處理。其中，在分布式圖處理對大規(guī)模圖進(jìn)行處理時(shí)，一般需要對大規(guī)模圖進(jìn)行圖計(jì)算預(yù)處理，然后，對大規(guī)模圖進(jìn)行相應(yīng)的計(jì)算。
[0003]在現(xiàn)有同步并行模式的分布式圖處理系統(tǒng)中，圖計(jì)算預(yù)處理方法包括三個(gè)步驟:首先，主控節(jié)點(diǎn)將圖數(shù)據(jù)分割為若干個(gè)文件分片，并把個(gè)文件分片分配至多個(gè)計(jì)算節(jié)點(diǎn)；其次，各計(jì)算節(jié)點(diǎn)讀取主控節(jié)點(diǎn)發(fā)送的文件分片；最后，各個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行圖頂點(diǎn)重分配，即為各個(gè)計(jì)算節(jié)點(diǎn)通過在其他計(jì)算節(jié)點(diǎn)之間發(fā)送網(wǎng)絡(luò)消息，將圖頂點(diǎn)分配至對應(yīng)的計(jì)算節(jié)點(diǎn)，以獲得圖中頂點(diǎn)在存儲(chǔ)時(shí)的一次粗略優(yōu)化。
[0004]在實(shí)現(xiàn)上述圖計(jì)算預(yù)處理的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)存在以下問題:計(jì)算節(jié)點(diǎn)通過圖頂點(diǎn)重分配能夠?qū)⒏鱾€(gè)頂點(diǎn)均勻的分配至各個(gè)計(jì)算節(jié)點(diǎn)中，但并沒有考慮圖頂點(diǎn)間邊的影響。在圖計(jì)算開始運(yùn)行后，若一個(gè)頂點(diǎn)與其鄰接頂點(diǎn)不在一個(gè)計(jì)算節(jié)點(diǎn)中，則在計(jì)算節(jié)點(diǎn)計(jì)算該頂點(diǎn)時(shí)，需要通過此計(jì)算節(jié)點(diǎn)與該頂點(diǎn)的鄰接頂點(diǎn)所在的計(jì)算節(jié)點(diǎn)之間的網(wǎng)絡(luò)進(jìn)行信息交互。這樣，在圖計(jì)算開始運(yùn)行后，各個(gè)計(jì)算節(jié)點(diǎn)均需獲取各自鄰接頂點(diǎn)的信息，若存在大量的頂點(diǎn)與其鄰接頂點(diǎn)不在相同的計(jì)算節(jié)點(diǎn)中，則需要通過網(wǎng)絡(luò)傳輸大量的信息，從而增加了網(wǎng)絡(luò)消耗。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實(shí)施例提供一種圖計(jì)算預(yù)處理的裝置、方法及系統(tǒng)，用以降低網(wǎng)絡(luò)消耗。
[0006]為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案:
[0007]第一方面，本發(fā)明實(shí)施例提供了一種圖轉(zhuǎn)換器，包括:接收單元，用于接收主控節(jié)點(diǎn)發(fā)送的原始圖文件地址；獲取單元，用于獲取大頂點(diǎn)統(tǒng)計(jì)閾值；所述獲取單元，還用于根據(jù)所述接收單元接收的所述原始圖文件地址讀取原始圖文件；確定單元，用于根據(jù)所述獲取單元讀取的所述大頂點(diǎn)統(tǒng)計(jì)閾值，在所述原始圖文件中確定出大頂點(diǎn)；處理單元，用于將所述確定單元確定的所述大頂點(diǎn)與所述大頂點(diǎn)的邊數(shù)記錄到大頂點(diǎn)表中；發(fā)送單元，用于將所述大頂點(diǎn)表發(fā)送至圖均衡器；所述接收單元，還用于接收所述圖均衡器發(fā)送的大頂點(diǎn)分配表；所述大頂點(diǎn)分配表用于記錄大頂點(diǎn)與存儲(chǔ)空間之間映射關(guān)系；所述處理單元，還用于按照預(yù)設(shè)規(guī)則并根據(jù)所述大頂點(diǎn)分配表，將各頂點(diǎn)分配至對應(yīng)的存儲(chǔ)空間，以使得所述存儲(chǔ)空間所在的計(jì)算節(jié)點(diǎn)對所述原始圖文件進(jìn)行計(jì)算；其中，所述預(yù)設(shè)規(guī)則包括將第一頂點(diǎn)分配至與其相鄰的大頂點(diǎn)對應(yīng)的存儲(chǔ)空間；所述第一頂點(diǎn)是所述原始圖文件中不是大頂點(diǎn)，且與大頂點(diǎn)相鄰的頂點(diǎn)。
[0008]在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述獲取單元，具體用于從本地獲取預(yù)先設(shè)定的所述大頂點(diǎn)統(tǒng)計(jì)閾值；或者，所述獲取單元，具體用于接收所述主控節(jié)點(diǎn)發(fā)送的所述大頂點(diǎn)統(tǒng)計(jì)閾值。
[0009]結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述處理單元，具體用于依次讀取所述原始圖文件中的各頂點(diǎn)，并確定所述頂點(diǎn)是否為大頂點(diǎn)；所述處理單元，具體用于在所述頂點(diǎn)是大頂點(diǎn)的情況下，根據(jù)大頂點(diǎn)分配表，將所述頂點(diǎn)分配至與其對應(yīng)的存儲(chǔ)空間；所述處理單元，具體用于在所述頂點(diǎn)不是大頂點(diǎn)的情況下，確定所述頂點(diǎn)是否為第一頂點(diǎn)；所述處理單元，具體用于在所述頂點(diǎn)是第一頂點(diǎn)的情況下，將所述頂點(diǎn)分配至所述大頂點(diǎn)分配表中與所述頂點(diǎn)相鄰的大頂點(diǎn)對應(yīng)的存儲(chǔ)空間；所述處理單元，具體用于在所述頂點(diǎn)不是第一頂點(diǎn)的情況下，將所述頂點(diǎn)分配至任一可選的存儲(chǔ)空間。
[0010]結(jié)合第一方面或第一方面的第一或第二種可能的實(shí)現(xiàn)方式，在第一方面的第三種可能的實(shí)現(xiàn)方式中，所述獲取單元，具體用于根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)；所述確定單元，具體用于將邊數(shù)大于或者等于所述大頂點(diǎn)統(tǒng)計(jì)閾值的頂點(diǎn)確定為大頂點(diǎn)。
[0011]結(jié)合第一方面或第一方面的第一至第三任一種可能的實(shí)現(xiàn)方式，在第一方面的第四種可能的實(shí)現(xiàn)方式中，所述獲取單元，具體根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)，并為每一頂點(diǎn)分配頂點(diǎn)用戶身份標(biāo)識(shí)ID ;所述確定單元，具體用于將邊數(shù)大于或者等于所述大頂點(diǎn)統(tǒng)計(jì)閾值的頂點(diǎn)確定為大頂點(diǎn)；所述頂點(diǎn)ID用于唯一標(biāo)識(shí)一個(gè)頂點(diǎn)；所述確定單元，具體用于將所述原始圖文件中的每一頂點(diǎn)和與其對應(yīng)的頂點(diǎn)ID，生成圖名字字典；所述圖名字字典用于記錄所述原始圖文件中各頂點(diǎn)與頂點(diǎn)ID間的映射關(guān)系；所述處理單元，具體用于根據(jù)所述圖名字字典及確定出的大頂點(diǎn)，將所述大頂點(diǎn)的頂點(diǎn)ID與所述大頂點(diǎn)的邊數(shù)記錄到大頂點(diǎn)表中。
[0012]結(jié)合第一方面的第四種可能的實(shí)現(xiàn)方式，在第一方面的第五種可能的實(shí)現(xiàn)方式中，所述接收單元，還用于接收所述主控節(jié)點(diǎn)發(fā)送的圖轉(zhuǎn)換標(biāo)志位；所述確定單元，還用于根據(jù)所述接收單元接收的所述圖轉(zhuǎn)換標(biāo)志位確定是否對所述原始圖文件進(jìn)行轉(zhuǎn)換；所述獲取單元，具體用于在所述圖轉(zhuǎn)換器確定對所述原始圖文件進(jìn)行轉(zhuǎn)換的情況下，根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)，為每一頂點(diǎn)分配頂點(diǎn)ID。
[0013]第二方面，本發(fā)明實(shí)施例提供了一種圖均衡器，包括:接收單元，用于接收圖轉(zhuǎn)換器發(fā)送的大頂點(diǎn)表；所述大頂點(diǎn)表記錄有原始圖文件中的大頂點(diǎn)與其對應(yīng)的邊數(shù)；發(fā)送單元，用于向主控節(jié)點(diǎn)發(fā)送資源請求消息；所述接收單元，還用于接收所述主控節(jié)點(diǎn)發(fā)送的資源響應(yīng)消息；所述資源響應(yīng)消息攜帶對所述原始圖文件進(jìn)行計(jì)算的所有計(jì)算節(jié)點(diǎn)的信息；所述發(fā)送單元，還用于向元數(shù)據(jù)服務(wù)器發(fā)送存儲(chǔ)空間請求消息；所述存儲(chǔ)空間請求消息攜帶所述計(jì)算節(jié)點(diǎn)的信息；所述接收單元，還用于接收所述元數(shù)據(jù)服務(wù)器發(fā)送的所述存儲(chǔ)空間響應(yīng)消息；所述存儲(chǔ)空間響應(yīng)消息攜帶存儲(chǔ)空間信息；處理單元，用于根據(jù)所述大頂點(diǎn)表中各大頂點(diǎn)的邊數(shù)以及所述存儲(chǔ)空間信息，生成大頂點(diǎn)分配表；所述大頂點(diǎn)分配表記錄有大頂點(diǎn)與存儲(chǔ)空間之間的映射關(guān)系；所述發(fā)送單元，還用于將所述處理單元生成的所述大頂點(diǎn)分配表發(fā)送至所述圖轉(zhuǎn)換器。
[0014]在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述資源響應(yīng)消息包括:執(zhí)行節(jié)點(diǎn)列表；所述執(zhí)行節(jié)點(diǎn)列表用于記錄對原始圖文件進(jìn)行計(jì)算的所有計(jì)算節(jié)點(diǎn)的信息。
[0015]結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式，在第二方面的第二種可能的實(shí)現(xiàn)方式中，所述處理單元，具體用于確定第一存儲(chǔ)空間；所述第一存儲(chǔ)空間是未分配大頂點(diǎn)的存儲(chǔ)空間中存儲(chǔ)空間最大的存儲(chǔ)空間；所述處理單元，具體用于確定是否存在未確定存儲(chǔ)空間的大頂點(diǎn)；所述處理單元，具體用于在確定存在未確定存儲(chǔ)空間的大頂點(diǎn)的情況下，確定是否存在第一大頂點(diǎn)；所述第一大頂點(diǎn)是未確定存儲(chǔ)空間的大頂點(diǎn)中邊數(shù)不大于所述第一存儲(chǔ)空間的剩余存儲(chǔ)空間的任一大頂點(diǎn)；所述第一存儲(chǔ)空間的剩余存儲(chǔ)空間是所述第一存儲(chǔ)空間的大小減去已分配至所述第一存儲(chǔ)空間的大頂點(diǎn)的邊數(shù)得到的值；所述處理單元，具體用于在不存在所述第一大頂點(diǎn)的情況下，將所述第一存儲(chǔ)空間確定為已分配大頂點(diǎn)的存儲(chǔ)空間，并繼續(xù)執(zhí)行所述圖均衡器確定第一存儲(chǔ)空間；所述處理單元，具體用于在存在所述第一大頂點(diǎn)的情況下，將所述第一大頂點(diǎn)與所述第一空間的映射關(guān)系存儲(chǔ)至所述大頂點(diǎn)分配表，將所述第一大頂點(diǎn)確定為已確定存儲(chǔ)空間的大頂點(diǎn)，并繼續(xù)執(zhí)行確定是否存在未確定存儲(chǔ)空間的大頂點(diǎn)，直至確定不存在未確定存儲(chǔ)空間的大頂點(diǎn)為止。
[0016]第三方面，本發(fā)明實(shí)施例提供了一種元數(shù)據(jù)服務(wù)器，包括:接收單元，用于接收圖均衡器發(fā)送的存儲(chǔ)空間請求消息；所述存儲(chǔ)空間請求消息攜帶計(jì)算節(jié)點(diǎn)的信息；處理單元，用于根據(jù)所述存儲(chǔ)空間請求消息，在各計(jì)算節(jié)點(diǎn)上分配存儲(chǔ)空間；發(fā)送單元，用于將存儲(chǔ)空間響應(yīng)消息發(fā)送至所述圖均衡器；所述存儲(chǔ)空間響應(yīng)消息攜帶存儲(chǔ)空間信息。
[0017]第四方面，本發(fā)明實(shí)施例提供了一種主控節(jié)點(diǎn)，包括:獲取單元，用于獲取圖處理請求消息；所述圖處理請求消息攜帶原始圖文件地址；處理單元，用于根據(jù)所述獲取單元獲取的所述圖處理請求消息，分配計(jì)算節(jié)點(diǎn)；發(fā)送單元，用于將所述原始圖文件地址發(fā)送至圖轉(zhuǎn)換器；接收單元，用于接收圖均衡器發(fā)送的資源請求消息；所述發(fā)送單元，還用于向所述圖均衡器發(fā)送資源響應(yīng)消息；所述資源響應(yīng)消息攜帶對所述原始圖文件進(jìn)行計(jì)算的所有計(jì)算節(jié)點(diǎn)的信息。
[0018]在第四方面的第一種可能的實(shí)現(xiàn)方式中，所述圖處理請求消息還可以攜帶大頂點(diǎn)統(tǒng)計(jì)閾值；所述發(fā)送單元，具體用于將所述原始圖文件地址以及所述大頂點(diǎn)統(tǒng)計(jì)閾值發(fā)送至所述圖轉(zhuǎn)換器。
[0019]結(jié)合第四方面或第四方面的第一種可能的實(shí)現(xiàn)方式，在第四方面的第二種可能的實(shí)現(xiàn)方式中，所述發(fā)送單元，還用于向所述圖轉(zhuǎn)換器發(fā)送圖轉(zhuǎn)換標(biāo)志位；所述圖轉(zhuǎn)換標(biāo)志位用于確定是否對所述原始圖文件進(jìn)行轉(zhuǎn)換。
[0020]結(jié)合第四方面或第四方面的第一或第二種可能的實(shí)現(xiàn)方式，在第四方面的第三種可能的實(shí)現(xiàn)方式中，所述資源響應(yīng)消息包括:執(zhí)行節(jié)點(diǎn)列表；所述執(zhí)行節(jié)點(diǎn)列表用于記錄對所述原始圖文件進(jìn)行計(jì)算的所有計(jì)算節(jié)點(diǎn)的信息。
[0021]第五方面，本發(fā)明實(shí)施例提供了一種圖計(jì)算預(yù)處理的方法，包括:圖轉(zhuǎn)換器接收主控節(jié)點(diǎn)發(fā)送的原始圖文件地址，并獲取大頂點(diǎn)統(tǒng)計(jì)閾值；所述圖轉(zhuǎn)換器根據(jù)所述原始圖文件地址讀取原始圖文件，并根據(jù)所述大頂點(diǎn)統(tǒng)計(jì)閾值，在所述原始圖文件中確定出大頂點(diǎn)，并將所述大頂點(diǎn)與所述大頂點(diǎn)的邊數(shù)記錄到大頂點(diǎn)表中；所述圖轉(zhuǎn)換器將所述大頂點(diǎn)表發(fā)送至圖均衡器；所述圖轉(zhuǎn)換器接收所述圖均衡器發(fā)送的大頂點(diǎn)分配表；所述大頂點(diǎn)分配表用于記錄大頂點(diǎn)與存儲(chǔ)空間之間映射關(guān)系；所述圖轉(zhuǎn)換器按照預(yù)設(shè)規(guī)則并根據(jù)所述大頂點(diǎn)分配表，將各頂點(diǎn)分配至對應(yīng)的存儲(chǔ)空間，以使得所述存儲(chǔ)空間所在的計(jì)算節(jié)點(diǎn)對所述原始圖文件進(jìn)行計(jì)算；其中，所述預(yù)設(shè)規(guī)則包括將第一頂點(diǎn)分配至與其相鄰的大頂點(diǎn)對應(yīng)的存儲(chǔ)空間；所述第一頂點(diǎn)是所述原始圖文件中不是大頂點(diǎn)，且與大頂點(diǎn)相鄰的頂點(diǎn)。
[0022]在第五方面的第一種可能的實(shí)現(xiàn)方式中，所述圖轉(zhuǎn)換器獲取大頂點(diǎn)統(tǒng)計(jì)閾值包括:所述圖轉(zhuǎn)換器從本地獲取預(yù)先設(shè)定的所述大頂點(diǎn)統(tǒng)計(jì)閾值；或者，所述圖轉(zhuǎn)換器接收所述主控節(jié)點(diǎn)發(fā)送的所述大頂點(diǎn)統(tǒng)計(jì)閾值。
[0023]結(jié)合第五方面或第五方面的第一種可能的實(shí)現(xiàn)方式，在第五方面的第二種可能的實(shí)現(xiàn)方式中，所述圖轉(zhuǎn)換器按照預(yù)設(shè)規(guī)則并根據(jù)所述大頂點(diǎn)分配表，將各頂點(diǎn)分配至對應(yīng)的存儲(chǔ)空間包括:所述圖轉(zhuǎn)換器依次讀取所述原始圖文件中的各頂點(diǎn)，并確定所述頂點(diǎn)是否為大頂點(diǎn)；在所述頂點(diǎn)是大頂點(diǎn)的情況下，所述圖轉(zhuǎn)換器根據(jù)大頂點(diǎn)分配表，將所述頂點(diǎn)分配至與其對應(yīng)的存儲(chǔ)空間；在所述頂點(diǎn)不是大頂點(diǎn)的情況下，所述圖轉(zhuǎn)換器確定所述頂點(diǎn)是否為第一頂點(diǎn)；在所述頂點(diǎn)是第一頂點(diǎn)的情況下，所述圖轉(zhuǎn)換器將所述頂點(diǎn)分配至所述大頂點(diǎn)分配表中與所述頂點(diǎn)相鄰的大頂點(diǎn)對應(yīng)的存儲(chǔ)空間；在所述頂點(diǎn)不是第一頂點(diǎn)的情況下，所述圖轉(zhuǎn)換器將所述頂點(diǎn)分配至任一可選的存儲(chǔ)空間。
[0024]結(jié)合第五方面或第五方面的第一或第二種可能的實(shí)現(xiàn)方式，在第五方面的第三種可能的實(shí)現(xiàn)方式中，所述圖轉(zhuǎn)換器根據(jù)所述原始圖文件地址讀取原始圖文件，并根據(jù)所述大頂點(diǎn)統(tǒng)計(jì)閾值，在所述原始圖文件中確定出大頂點(diǎn)包括:所述圖轉(zhuǎn)換器根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)，并將邊數(shù)大于或者等于所述大頂點(diǎn)統(tǒng)計(jì)閾值的頂點(diǎn)確定為大頂點(diǎn)。
[0025]結(jié)合第五方面或第五方面的第一至第三任一種可能的實(shí)現(xiàn)方式，在第五方面的第四種可能的實(shí)現(xiàn)方式中，所述圖轉(zhuǎn)換器根據(jù)所述原始圖文件地址讀取原始圖文件，并根據(jù)所述大頂點(diǎn)統(tǒng)計(jì)閾值，在所述原始圖文件中確定出大頂點(diǎn)，并將所述大頂點(diǎn)與所述大頂點(diǎn)的邊數(shù)記錄到大頂點(diǎn)表中包括:所述圖轉(zhuǎn)換器根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)，為每一頂點(diǎn)分配頂點(diǎn)用戶身份標(biāo)識(shí)ID，并將邊數(shù)大于或者等于所述大頂點(diǎn)統(tǒng)計(jì)閾值的頂點(diǎn)確定為大頂點(diǎn)；所述頂點(diǎn)ID用于唯一標(biāo)識(shí)一個(gè)頂點(diǎn)；所述圖轉(zhuǎn)換器將所述原始圖文件中的每一頂點(diǎn)和與其對應(yīng)的頂點(diǎn)ID，生成圖名字字典；所述圖名字字典用于記錄所述原始圖文件中各頂點(diǎn)與頂點(diǎn)ID間的映射關(guān)系；所述圖轉(zhuǎn)換器根據(jù)所述圖名字字典及確定出的大頂點(diǎn)，將所述大頂點(diǎn)的頂點(diǎn)ID與所述大頂點(diǎn)的邊數(shù)記錄到大頂點(diǎn)表中。
[0026]結(jié)合第五方面的第四種可能的實(shí)現(xiàn)方式，在第五方面的第五種可能的實(shí)現(xiàn)方式中，在所述圖轉(zhuǎn)換器根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)，為每一頂點(diǎn)分配頂點(diǎn)ID之前，還包括:所述圖轉(zhuǎn)換器接收所述主控節(jié)點(diǎn)發(fā)送的圖轉(zhuǎn)換標(biāo)志位；所述圖轉(zhuǎn)換器根據(jù)所述圖轉(zhuǎn)換標(biāo)志位確定是否對所述原始圖文件進(jìn)行轉(zhuǎn)換；所述圖轉(zhuǎn)換器根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)，為每一頂點(diǎn)分配頂點(diǎn)ID包括:在所述圖轉(zhuǎn)換器確定對所述原始圖文件進(jìn)行轉(zhuǎn)換的情況下，根據(jù)所述原始圖文件地址,依次讀取所述原始圖文件中每一頂點(diǎn)，為每一頂點(diǎn)分配頂點(diǎn)ID。
[0027]第六方面，本發(fā)明實(shí)施例提供了一種圖計(jì)算預(yù)處理的方法，包括:圖均衡器接收圖轉(zhuǎn)換器發(fā)送的大頂點(diǎn)表；所述大頂點(diǎn)表記錄有原始圖文件中的大頂點(diǎn)與其對應(yīng)的邊數(shù)；所述圖均衡器向主控節(jié)點(diǎn)發(fā)送資源請求消息；所述圖均衡器接收所述主控節(jié)點(diǎn)發(fā)送的資源響應(yīng)消息；所述資源響應(yīng)消息攜帶對所述原始圖文件進(jìn)行計(jì)算的所有計(jì)算節(jié)點(diǎn)的信息；所述圖均衡器向元數(shù)據(jù)服務(wù)器發(fā)送存儲(chǔ)空間請求消息；所述存儲(chǔ)空間請求消息攜帶所述計(jì)算節(jié)點(diǎn)的信息；所述圖均衡器接收所述元數(shù)據(jù)服務(wù)器發(fā)送的所述存儲(chǔ)空間響應(yīng)消息；所述存儲(chǔ)空間響應(yīng)消息攜帶存儲(chǔ)空間信息；所述圖均衡器根據(jù)所述大頂點(diǎn)表中各大頂點(diǎn)的邊數(shù)以及所述存儲(chǔ)空間信息，生成大頂點(diǎn)分配表；所述大頂點(diǎn)分配表記錄有大頂點(diǎn)與存儲(chǔ)空間之間的映射關(guān)系；所述圖均衡器將所述大頂點(diǎn)分配表發(fā)送至所述圖轉(zhuǎn)換器。
[0028]在第六方面的第一種可能的實(shí)現(xiàn)方式中，所述資源響應(yīng)消息包括:執(zhí)行節(jié)點(diǎn)列表；所述執(zhí)行節(jié)點(diǎn)列表用于記錄對原始圖文件進(jìn)行計(jì)算的所有計(jì)算節(jié)點(diǎn)的信息。
[0029]結(jié)合第六方面或第六方面的第一種可能的實(shí)現(xiàn)方式，在第六方面的第二種可能的實(shí)現(xiàn)方式中，所述圖均衡器根據(jù)所述大頂點(diǎn)表中各大頂點(diǎn)的邊數(shù)以及所述存儲(chǔ)空間信息，生成大頂點(diǎn)分配表包括:所述圖均衡器確定第一存儲(chǔ)空間；所述第一存儲(chǔ)空間是未分配大頂點(diǎn)的存儲(chǔ)空間中存儲(chǔ)空間最大的存儲(chǔ)空間；確定是否存在未確定存儲(chǔ)空間的大頂點(diǎn)；在確定存在未確定存儲(chǔ)空間的大頂點(diǎn)的情況下，所述圖均衡器確定是否存在第一大頂點(diǎn)；所述第一大頂點(diǎn)是未確定存儲(chǔ)空間的大頂點(diǎn)中邊數(shù)不大于所述第一存儲(chǔ)空間的剩余存儲(chǔ)空間的任一大頂點(diǎn)；所述第一存儲(chǔ)空間的剩余存儲(chǔ)空間是所述第一存儲(chǔ)空間的大小減去已分配至所述第一存儲(chǔ)空間的大頂點(diǎn)的邊數(shù)得到的值；在不存在所述第一大頂點(diǎn)的情況下，將所述第一存儲(chǔ)空間確定為已分配大頂點(diǎn)的存儲(chǔ)空間，并繼續(xù)執(zhí)行所述圖均衡器確定第一存儲(chǔ)空間；在存在所述第一大頂點(diǎn)的情況下，將所述第一大頂點(diǎn)與所述第一空間的映射關(guān)系存儲(chǔ)至所述大頂點(diǎn)分配表，將所述第一大頂點(diǎn)確定為已確定存儲(chǔ)空間的大頂點(diǎn)，并繼續(xù)執(zhí)行確定是否存在未確定存儲(chǔ)空間的大頂點(diǎn)，直至確定不存在未確定存儲(chǔ)空間的大頂點(diǎn)為止。
[0030]第七方面，本發(fā)明實(shí)施例提供了一種圖計(jì)算預(yù)處理的方法，包括:元數(shù)據(jù)服務(wù)器接收圖均衡器發(fā)送的存儲(chǔ)空間請求消息；所述存儲(chǔ)空間請求消息攜帶計(jì)算節(jié)點(diǎn)的信息；所述元數(shù)據(jù)服務(wù)器根據(jù)所述存儲(chǔ)空間請求消息，在各計(jì)算節(jié)點(diǎn)上分配存儲(chǔ)空間，并將存儲(chǔ)空間響應(yīng)消息發(fā)送至所述圖均衡器；所述存儲(chǔ)空間響應(yīng)消息攜帶存儲(chǔ)空間信息。
[0031]第八方面，本發(fā)明實(shí)施例提供了一種圖計(jì)算預(yù)處理的方法，包括:主控節(jié)點(diǎn)獲取圖處理請求消息；所述圖處理請求消息攜帶原始圖文件地址；所述主控節(jié)點(diǎn)根據(jù)所述圖處理請求消息，分配計(jì)算節(jié)點(diǎn)，并將所述原始圖文件地址發(fā)送至圖轉(zhuǎn)換器；所述主控節(jié)點(diǎn)接收圖均衡器發(fā)送的資源請求消息；所述主控節(jié)點(diǎn)向所述圖均衡器發(fā)送資源響應(yīng)消息；所述資源響應(yīng)消息攜帶對所述原始圖文件進(jìn)行計(jì)算的所有計(jì)算節(jié)點(diǎn)的信息。
[0032]在第八方面的第一種可能的實(shí)現(xiàn)方式中，所述圖處理請求消息還可以攜帶大頂點(diǎn)統(tǒng)計(jì)閾值；所述主控節(jié)點(diǎn)根據(jù)所述圖處理請求消息，為圖處理任務(wù)分配計(jì)算節(jié)點(diǎn)，并將所述原始圖文件地址發(fā)送至圖轉(zhuǎn)換器包括:所述主控節(jié)點(diǎn)根據(jù)所述圖處理請求消息，為圖處理任務(wù)分配計(jì)算節(jié)點(diǎn)，并將所述原始圖文件地址以及所述大頂點(diǎn)統(tǒng)計(jì)閾值發(fā)送至所述圖轉(zhuǎn)換器。
[0033]結(jié)合第八方面或第八方面的第一種可能的實(shí)現(xiàn)方式，在第八方面的第二種可能的實(shí)現(xiàn)方式中，還包括:所述主控節(jié)點(diǎn)向所述圖轉(zhuǎn)換器發(fā)送圖轉(zhuǎn)換標(biāo)志位；所述圖轉(zhuǎn)換標(biāo)志位用于確定是否對所述原始圖文件進(jìn)行轉(zhuǎn)換。
[0034]結(jié)合第八方面或第八方面的第一或第二種可能的實(shí)現(xiàn)方式，在第八方面的第三種可能的實(shí)現(xiàn)方式中，所述資源響應(yīng)消息包括:執(zhí)行節(jié)點(diǎn)列表；所述執(zhí)行節(jié)點(diǎn)列表用于記錄對所述原始圖文件進(jìn)行計(jì)算的所有計(jì)算節(jié)點(diǎn)的信息。
[0035]第九方面，本發(fā)明實(shí)施例提供了一種圖轉(zhuǎn)換器，包括:接收器，用于接收主控節(jié)點(diǎn)發(fā)送的原始圖文件地址；處理器，用于獲取大頂點(diǎn)統(tǒng)計(jì)閾值；所述處理器，還用于根據(jù)所述接收器接收的所述原始圖文件地址讀取原始圖文件；所述處理器，還用于根據(jù)所述大頂點(diǎn)統(tǒng)計(jì)閾值，在所述原始圖文件中確定出大頂點(diǎn)；所述處理器，還用于將所述大頂點(diǎn)與所述大頂點(diǎn)的邊數(shù)記錄到大頂點(diǎn)表中；發(fā)送器，用于將所述大頂點(diǎn)表發(fā)送至圖均衡器；所述接收器，還用于接收所述圖均衡器發(fā)送的大頂點(diǎn)分配表；所述大頂點(diǎn)分配表用于記錄大頂點(diǎn)與存儲(chǔ)空間之間映射關(guān)系；所述處理器，還用于按照預(yù)設(shè)規(guī)則并根據(jù)所述大頂點(diǎn)分配表，將各頂點(diǎn)分配至對應(yīng)的存儲(chǔ)空間，以使得所述存儲(chǔ)空間所在的計(jì)算節(jié)點(diǎn)對所述原始圖文件進(jìn)行計(jì)算；其中，所述預(yù)設(shè)規(guī)則包括將第一頂點(diǎn)分配至與其相鄰的大頂點(diǎn)對應(yīng)的存儲(chǔ)空間；所述第一頂點(diǎn)是所述原始圖文件中不是大頂點(diǎn)，且與大頂點(diǎn)相鄰的頂點(diǎn)。
[0036]在第九方面的第一種可能的實(shí)現(xiàn)方式中，所述處理器，具體用于從本地獲取預(yù)先設(shè)定的所述大頂點(diǎn)統(tǒng)計(jì)閾值；或者，所述處理器，具體用于接收所述主控節(jié)點(diǎn)發(fā)送的所述大頂點(diǎn)統(tǒng)計(jì)閾值。
[0037]結(jié)合第九方面或第九方面的第一種可能的實(shí)現(xiàn)方式，在第九方面的第二種可能的實(shí)現(xiàn)方式中，所述處理器，具體用于依次讀取所述原始圖文件中的各頂點(diǎn)，并確定所述頂點(diǎn)是否為大頂點(diǎn)；所述處理器，具體用于在所述頂點(diǎn)是大頂點(diǎn)的情況下，根據(jù)大頂點(diǎn)分配表，將所述頂點(diǎn)分配至與其對應(yīng)的存儲(chǔ)空間；所述處理器，具體用于在所述頂點(diǎn)不是大頂點(diǎn)的情況下，確定所述頂點(diǎn)是否為第一頂點(diǎn)；所述處理器，具體用于在所述頂點(diǎn)是第一頂點(diǎn)的情況下，將所述頂點(diǎn)分配至所述大頂點(diǎn)分配表中與所述頂點(diǎn)相鄰的大頂點(diǎn)對應(yīng)的存儲(chǔ)空間；所述處理器，具體用于在所述頂點(diǎn)不是第一頂點(diǎn)的情況下，將所述頂點(diǎn)分配至任一可選的存儲(chǔ)空間。
[0038]結(jié)合第九方面或第九方面的第一或第二種可能的實(shí)現(xiàn)方式，在第九方面的第三種可能的實(shí)現(xiàn)方式中，所述處理器，具體用于根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)；所述處理器，具體用于將邊數(shù)大于或者等于所述大頂點(diǎn)統(tǒng)計(jì)閾值的頂點(diǎn)確定為大頂點(diǎn)。
[0039]結(jié)合第九方面或第九方面的第一至第三任一種可能的實(shí)現(xiàn)方式，在第九方面的第四種可能的實(shí)現(xiàn)方式中，所述處理器，具體根據(jù)所述原始圖文件地址，依次讀取所述原始圖文件中每一頂點(diǎn)，并為每一頂點(diǎn)分配頂點(diǎn)用戶身份標(biāo)識(shí)ID ;所述處理器，具體用于將邊數(shù)大于或者等于所述大頂點(diǎn)統(tǒng)計(jì)閾值的頂點(diǎn)確定為大頂點(diǎn)；所述頂點(diǎn)ID用于唯一標(biāo)識(shí)一個(gè)頂點(diǎn)；所述處理器，具體用于將所述原始圖文件中的每一頂點(diǎn)和與其對應(yīng)的頂點(diǎn)ID，生成圖名字字典；所述圖名字字典用