以矩陣為中心的分布式計(jì)算框架的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式計(jì)算技術(shù)領(lǐng)域，特別涉及一種以矩陣為中心的分布式計(jì)算框架。
【背景技術(shù)】
[0002]在機(jī)器學(xué)習(xí)、圖計(jì)算等領(lǐng)域，實(shí)際問(wèn)題中的數(shù)據(jù)規(guī)模在不斷增長(zhǎng)，對(duì)現(xiàn)有計(jì)算框架的性能提出了更高要求，計(jì)算在準(zhǔn)確性的基礎(chǔ)上，還要更注重其計(jì)算、存儲(chǔ)和通信等性能。在這些數(shù)據(jù)量較大的科學(xué)問(wèn)題中，數(shù)據(jù)通常被抽象成稀疏矩陣形式，而在常見(jiàn)的算法中，對(duì)數(shù)據(jù)的處理也一般可以歸結(jié)為基本的矩陣運(yùn)算原語(yǔ)，即矩陣加法和乘法，而乘法的計(jì)算效率會(huì)更影響計(jì)算整體計(jì)算效率。
[0003]SpMV(稀疏矩陣向量乘法)是一個(gè)常用的計(jì)算內(nèi)核，在大多數(shù)計(jì)算框架中被作為進(jìn)行矩陣乘法的基本原語(yǔ)被實(shí)現(xiàn)。目前對(duì)SpMV的實(shí)現(xiàn)，運(yùn)行效率普遍很低，一個(gè)主要原因是數(shù)據(jù)訪問(wèn)在時(shí)間和空間上均較差。目前對(duì)SpMV的實(shí)現(xiàn)中，主要對(duì)數(shù)據(jù)進(jìn)行壓縮，很少考慮到單機(jī)上數(shù)據(jù)間的關(guān)系和系統(tǒng)的通信成本。而且稀疏矩陣中的數(shù)據(jù)分布無(wú)規(guī)律可循，簡(jiǎn)單的存儲(chǔ)分配策略會(huì)使不同節(jié)點(diǎn)上的計(jì)算量產(chǎn)生差異。所以在分布式環(huán)境中，對(duì)SpMV的優(yōu)化主要需要從其存儲(chǔ)策略上進(jìn)行。不同的數(shù)據(jù)存儲(chǔ)策略下，不同節(jié)點(diǎn)上的計(jì)算量均衡、系統(tǒng)通信量和單節(jié)點(diǎn)計(jì)算性能都會(huì)受到影響。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的旨在至少解決上述的技術(shù)缺陷之一。
[0005]為此，本發(fā)明的目的在于提出一種以矩陣為中心的分布式計(jì)算框架。該計(jì)算框架，解決分布式矩陣劃分中對(duì)系統(tǒng)性能的均衡問(wèn)題。該計(jì)算框架在劃分中針對(duì)數(shù)據(jù)的矩陣特征進(jìn)行優(yōu)化，在數(shù)據(jù)傾斜、通信量和單機(jī)計(jì)算效率等性能上達(dá)到平衡。
[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例公開(kāi)了一種以矩陣為中心的分布式計(jì)算框架，執(zhí)行如下步驟:計(jì)算框架讀取數(shù)據(jù)，并根據(jù)所述數(shù)據(jù)生成稀疏矩陣；對(duì)所述稀疏矩陣進(jìn)行預(yù)處理，并將所述稀疏矩陣進(jìn)行邏輯分塊以得到多個(gè)矩陣塊；通過(guò)所述計(jì)算框架對(duì)所述多個(gè)矩陣塊進(jìn)行劃分；以及根據(jù)劃分后的矩陣塊進(jìn)行矩陣運(yùn)算以提升所述數(shù)據(jù)的處理效率。
[0007]根據(jù)本發(fā)明實(shí)施例的以矩陣為中心的分布式計(jì)算框架，解決分布式矩陣劃分中對(duì)系統(tǒng)性能的均衡問(wèn)題。該計(jì)算框架在劃分中針對(duì)數(shù)據(jù)的矩陣特征進(jìn)行優(yōu)化，在數(shù)據(jù)傾斜、通信量和單機(jī)計(jì)算效率等性能上達(dá)到平衡。
[0008]另外，根據(jù)本發(fā)明上述實(shí)施例的以矩陣為中心的分布式計(jì)算框架還可以具有如下附加的技術(shù)特征:
[0009]在一些示例中，所述計(jì)算框架讀取數(shù)據(jù)，并根據(jù)所述數(shù)據(jù)生成稀疏矩陣，進(jìn)一步包括:所述計(jì)算框架讀取所述數(shù)據(jù)，并以行壓縮格式存儲(chǔ)以得到所述稀疏矩陣。
[0010]在一些示例中，其中，所述矩陣塊的大小1K*1K。
[0011]在一些示例中，所述通過(guò)計(jì)算框架對(duì)所述多個(gè)矩陣塊進(jìn)行劃分，進(jìn)一步包括:S1:計(jì)算當(dāng)前節(jié)點(diǎn)可分配到的數(shù)據(jù)量的閥值；S2:在當(dāng)前的稀疏矩陣中進(jìn)行搜索，并將搜索到的第一矩陣塊分配給所述當(dāng)前節(jié)點(diǎn)，以及對(duì)所述當(dāng)前節(jié)點(diǎn)上的數(shù)據(jù)量進(jìn)行更新；S3:如果更新后的所述當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)量未達(dá)到所述數(shù)據(jù)量的閥值，或者分配下一矩陣塊后所述當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)量與所述數(shù)據(jù)量的閥值之間的差值小于第一預(yù)設(shè)值，則以逐層擴(kuò)張的方式，搜索最鄰近的矩陣塊并進(jìn)行分配；S4:在所述當(dāng)前節(jié)點(diǎn)分配完成之后轉(zhuǎn)向下一節(jié)，并重復(fù)執(zhí)行所述步驟SI至S4。
[0012]在一些示例中，所述第一矩陣塊的搜索原則為:以靠近所述稀疏矩陣的頂端進(jìn)行搜索。
[0013]在一些示例中，所述分配下一矩陣塊后所述當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)量與所述數(shù)據(jù)量的閥值之間的差值小于第一預(yù)設(shè)值指:當(dāng)所述當(dāng)前節(jié)點(diǎn)分配了某一矩陣塊后，所述當(dāng)前節(jié)點(diǎn)上的數(shù)據(jù)量與所述閥值的差大于閥值與分配前數(shù)據(jù)量的差。
[0014]在一些示例中，所述搜索最鄰近矩陣塊，進(jìn)一步包括:搜索方式，從左側(cè)開(kāi)始，以逆時(shí)針循環(huán)逐層增加的順序，首先檢查當(dāng)前層內(nèi)可用的矩陣塊，其中，搜索的優(yōu)先級(jí)為以源矩陣塊的下、右、上、左進(jìn)行；如果當(dāng)前一層沒(méi)有可用的數(shù)據(jù)塊，則以所述當(dāng)前一層的第一個(gè)矩陣塊作為源矩陣塊，搜索下一層的起始位置，其中，所述下一層仍以所述搜索方式進(jìn)行搜索；如果無(wú)法找到所述下一層的起始位置，則重新搜索所述第一個(gè)矩陣塊，并進(jìn)行分配。
[0015]在一些示例中，所述數(shù)據(jù)量的閾值為當(dāng)前剩余的未分配的數(shù)據(jù)量/剩余節(jié)點(diǎn)個(gè)數(shù)。
[0016]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。
【附圖說(shuō)明】
[0017]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中，
[0018]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的以矩陣為中心的分布式計(jì)算框架的數(shù)據(jù)處理流程圖；
[0019]圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的以矩陣為中心的分布式計(jì)算框架的稀疏矩陣劃分的流程圖；
[0020]圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的以矩陣為中心的分布式計(jì)算框架的稀疏矩陣劃分中搜索下一個(gè)矩陣塊的流程圖；以及
[0021]圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的以矩陣為中心的分布式計(jì)算框架的稀疏矩陣劃分中搜索下一個(gè)臨近矩陣塊的示意圖。
【具體實(shí)施方式】
[0022]下面詳細(xì)描述本發(fā)明的實(shí)施例，實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。
[0023]在本發(fā)明的描述中，需要理解的是，術(shù)語(yǔ)“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。
[0024]在本發(fā)明的描述中，需要說(shuō)明的是，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過(guò)中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。
[0025]以下結(jié)合附圖描述根據(jù)本發(fā)明上述實(shí)施例的以矩陣為中心的分布式計(jì)算框架。
[0026]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的以矩陣為中心的分布式計(jì)算框架的數(shù)據(jù)處理流程圖。如圖1所示，根據(jù)本發(fā)明一個(gè)實(shí)施例的以矩陣為中心的分布式計(jì)算框架，執(zhí)行如下步驟:
[0027]SlOl:計(jì)算框架讀取數(shù)據(jù)，并根據(jù)數(shù)據(jù)生成稀疏矩陣。
[0028]在本發(fā)明的一個(gè)實(shí)施例中，計(jì)算框架讀取所述數(shù)據(jù)，并以行壓縮格式存儲(chǔ)以得到稀疏矩陣，即:將數(shù)據(jù)讀入計(jì)算框架，并以行壓縮格式存儲(chǔ)，從而將讀入的數(shù)據(jù)轉(zhuǎn)換為稀疏矩陣的形式。
[0029]S102:對(duì)稀疏矩陣進(jìn)行預(yù)處理，