一種機器學習方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種機器學習方法及裝置，其中，該方法包括：數(shù)據(jù)處理服務器將Spark數(shù)據(jù)處理算法及對應的待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，Spark數(shù)據(jù)處理算法為由Spark提供的數(shù)據(jù)處理算法；FPGA異構加速計算裝置獲取由FPGA算法庫提供的與Spark數(shù)據(jù)處理算法對應的FPGA數(shù)據(jù)處理算法，并利用FPGA數(shù)據(jù)處理算法對待處理數(shù)據(jù)進行處理。由此，利用FPGA數(shù)據(jù)處理算法實現(xiàn)對于待處理數(shù)據(jù)的處理；而FPGA數(shù)據(jù)處理算法均為計算速度較Spark數(shù)據(jù)處理算法更快的數(shù)據(jù)處理算法，因此，縮短了大數(shù)據(jù)處理周期，提升了Spark機器學習性能。
【專利說明】
一種機器學習方法及系統(tǒng)
技術領域
[0001 ]本發(fā)明涉及機器學習技術領域，更具體地說，涉及一種機器學習方法及系統(tǒng)。
【背景技術】
[0002]Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用并行框架，Spark擁有Hadoop MapReduce所具有的優(yōu)點；但不同于Hadoop MapReduce的是Job中間輸出結果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法。
[0003]相對于hadoop系統(tǒng)，Spark框架充分利用了內(nèi)存計算技術，改進了1的使用頻度，有效的提升了大數(shù)據(jù)處理的性能。但是，隨著更大規(guī)模海量數(shù)據(jù)的出現(xiàn)，對高性能數(shù)據(jù)分析處理的需求一直在增長。更多、更復雜及更多樣化的數(shù)據(jù)正在不斷出現(xiàn)，對計算性能的苛刻要求依然在增長。因此，有效提升Spark機器學習的性能，可以縮短大數(shù)據(jù)處理周期，縮短工作人員對于分析結果的等待時間。
[0004]綜上所述，如何提供一種能夠有效提升Spark機器學習性能的技術方案，是目前本領域技術人員亟待解決的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是提供一種機器學習方法及系統(tǒng)，以有效提升機器學習性能，縮短大數(shù)據(jù)處理周期。
[0006]為了實現(xiàn)上述目的，本發(fā)明提供如下技術方案:
[0007]—種機器學習方法，包括:
[0008]數(shù)據(jù)處理服務器將Spark數(shù)據(jù)處理算法及對應的待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，其中，所述Spark數(shù)據(jù)處理算法為由Spark提供的數(shù)據(jù)處理算法；
[0009]所述FPGA異構加速計算裝置獲取由FPGA算法庫提供的與所述Spark數(shù)據(jù)處理算法對應的FPGA數(shù)據(jù)處理算法，并利用所述FPGA數(shù)據(jù)處理算法對所述待處理數(shù)據(jù)進行處理。
[0010]優(yōu)選的，所述數(shù)據(jù)處理服務器將所述待處理數(shù)據(jù)發(fā)送至所述FPGA異構加速計算裝置，包括:
[0011]判斷所述FPGA異構加速計算裝置的內(nèi)存是否大于或等于所述待處理數(shù)據(jù)，如果是，則將所述待處理數(shù)據(jù)發(fā)送至所述FPGA異構加速計算裝置，如果否，則將所述待處理數(shù)據(jù)分割成小于或等于所述FPGA異構加速計算裝置的內(nèi)存的待處理數(shù)據(jù)塊，再依次發(fā)送至所述FPGA異構加速計算裝置。
[0012]優(yōu)選的，所述FPGA異構加速計算裝置獲取所述FPGA數(shù)據(jù)處理算法之后，還包括:
[0013]將所述FPGA數(shù)據(jù)處理算法進行存儲；
[0014]對應的，所述FPGA異構加速計算裝置獲取所述FPGA數(shù)據(jù)處理算法，包括:
[0015]判斷所述FPGA異構加速計算裝置是否存儲有所述FPGA數(shù)據(jù)處理算法，如果是，則直接采用所述FPGA數(shù)據(jù)處理算法，如果否，則由所述FPGA算法庫獲取所述FPGA數(shù)據(jù)處理算法。
[0016]優(yōu)選的，還包括:
[0017]所述數(shù)據(jù)處理服務器將所述FPGA異構加速裝置對所述待處理數(shù)據(jù)進行計算得到的計算結果返回給服務器主機，所述服務器主機為發(fā)送所述Spark數(shù)據(jù)處理算法至所述數(shù)據(jù)處理服務器的裝置。
[0018]優(yōu)選的，所述數(shù)據(jù)處理服務器將所述Spark數(shù)據(jù)處理算法發(fā)送至所述FPGA異構加速計算裝置，包括:
[0019]所述數(shù)據(jù)處理服務器將所述Spark數(shù)據(jù)處理算法中計算性能要求大于預設值的部分算法發(fā)送至所述FPGA異構加速計算裝置。
[°02°] 一種機器學習系統(tǒng)，包括:
[0021]數(shù)據(jù)處理服務器，用于將Spark數(shù)據(jù)處理算法及對應的待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，其中，所述Spark數(shù)據(jù)處理算法為由Spark提供的數(shù)據(jù)處理算法；
[0022]所述FPGA異構加速計算裝置，用于獲取由FPGA算法庫提供的與所述Spark數(shù)據(jù)處理算法對應的FPGA數(shù)據(jù)處理算法，并利用所述FPGA數(shù)據(jù)處理算法對所述待處理數(shù)據(jù)進行處理；
[0023]所述FPGA算法庫，用于提供FPGA數(shù)據(jù)處理算法。
[0024]優(yōu)選的，所述數(shù)據(jù)處理服務器包括:
[0025]第一發(fā)送模塊，用于判斷所述FPGA異構加速計算裝置的內(nèi)存是否大于或等于所述待處理數(shù)據(jù)，如果是，則將所述待處理數(shù)據(jù)發(fā)送至所述FPGA異構加速計算裝置，如果否，則將所述待處理數(shù)據(jù)分割成小于或等于所述FPGA異構加速計算裝置的內(nèi)存的待處理數(shù)據(jù)塊，再依次發(fā)送至所述FPGA異構加速計算裝置。
[0026]優(yōu)選的，所述FPGA異構加速計算裝置包括:
[0027]存儲模塊，用于將所述FPGA數(shù)據(jù)處理算法進行存儲；
[0028]對應的，所述FPGA異構加速計算裝置包括:
[0029]獲取模塊，用于判斷所述FPGA異構加速計算裝置是否存儲有所述FPGA數(shù)據(jù)處理算法，如果是，則直接采用所述FPGA數(shù)據(jù)處理算法，如果否，則由所述FPGA算法庫獲取所述FPGA數(shù)據(jù)處理算法。
[0030]優(yōu)選的，所述數(shù)據(jù)處理服務器包括:
[0031 ]反饋模塊，用于將所述FPGA異構加速裝置對所述待處理數(shù)據(jù)進行計算得到的計算結果返回給服務器主機，所述服務器主機為發(fā)送所述Spark數(shù)據(jù)處理算法至所述數(shù)據(jù)處理服務器的裝置。
[0032]優(yōu)選的，所述數(shù)據(jù)處理服務器包括:
[0033]第二發(fā)送模塊，用于將所述Spark數(shù)據(jù)處理算法中計算性能要求大于預設值的部分算法發(fā)送至所述FPGA異構加速計算裝置。
[0034]本發(fā)明提供的一種機器學習方法及裝置，其中，該方法包括:數(shù)據(jù)處理服務器將Spark數(shù)據(jù)處理算法及對應的待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，其中，所述Spark數(shù)據(jù)處理算法為由Spark提供的數(shù)據(jù)處理算法;所述FPGA異構加速計算裝置獲取由FPGA算法庫提供的與所述Spark數(shù)據(jù)處理算法對應的FPGA數(shù)據(jù)處理算法，并利用所述FPGA數(shù)據(jù)處理算法對所述待處理數(shù)據(jù)進行處理。本發(fā)明實施例提供的上述技術方案中，基于FPGA異構加速計算裝置及FPGA算法庫，利用FPGA數(shù)據(jù)處理算法實現(xiàn)對于待處理數(shù)據(jù)的處理。而FPGA數(shù)據(jù)處理算法均為計算性能較Spark數(shù)據(jù)處理算法更快的數(shù)據(jù)處理算法，因此，利用FPGA數(shù)據(jù)處理算法對待處理數(shù)據(jù)進行處理，能夠縮短大數(shù)據(jù)處理周期，提升Spark機器學習性能。
【附圖說明】
[0035]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0036]圖1為本發(fā)明實施例提供的一種機器學習方法的流程圖；
[0037]圖2為本發(fā)明實施例提供的一種機器學習系統(tǒng)的結構示意圖。
【具體實施方式】
[0038]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0039]請參閱圖1，其示出了本發(fā)明實施例提供的一種機器學習方法的流程圖，可以包括以下步驟:
[0040]SI 1:數(shù)據(jù)處理服務器將Spark數(shù)據(jù)處理算法及對應的待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，其中，Spark數(shù)據(jù)處理算法為由Spark提供的數(shù)據(jù)處理算法。
[0041 ] 其中，需要說明的是，Spark數(shù)據(jù)處理算法為由Spark提供的經(jīng)典Spark數(shù)據(jù)處理算法，該算法可以由服務器主機確定每個數(shù)據(jù)處理服務器需使用的Spark數(shù)據(jù)處理算法后通過任務分發(fā)機制向每個數(shù)據(jù)處理服務器發(fā)送該Spark數(shù)據(jù)處理算法。以K-mean聚類機器學習算法為例，將算法在Spark集群中啟動，由服務器主機通過任務分發(fā)機制，將其發(fā)送至每個數(shù)據(jù)處理服務器。而待處理數(shù)據(jù)為數(shù)據(jù)處理服務器預先獲取與服務器主機發(fā)送的Spark數(shù)據(jù)處理算法對應的數(shù)據(jù)。
[0042]另外，將待處理數(shù)據(jù)及Spark數(shù)據(jù)處理算法發(fā)送至FPGA異構加速計算裝置中，具體可以是發(fā)送至FPGA異構加速計算裝置的板載DDR內(nèi)存中，該DDR內(nèi)存可以是DDR3/DDR4。
[0043]S12:FPGA異構加速計算裝置獲取由FPGA算法庫提供的與Spark數(shù)據(jù)處理算法對應的FPGA數(shù)據(jù)處理算法，并利用FPGA數(shù)據(jù)處理算法對待處理數(shù)據(jù)進行處理。
[0044]其中，F(xiàn)PGA異構加速計算裝置具體可以為擴展卡式設計，采用PCIe3.0接口與其他裝置進行連接，核心計算部件為FPGA(現(xiàn)場可編程門陣列)芯片。而FPGA算法庫為機器學習專用算法庫在FPGA芯片上的邏輯實現(xiàn)，經(jīng)過對大數(shù)據(jù)算法的優(yōu)化，較高的匹配FPGA算法庫的硬件屬性。具體來說，F(xiàn)PGA算法庫具體可以包括協(xié)同過濾，隱性反饋vs顯性反饋，梯度下降基礎算法，二元分類，線性回歸，聚類等。另外，為了使得數(shù)據(jù)處理服務器能夠?qū)ι鲜鲅b置進行應用，還可以包括FPGA加速裝置接口，為對應服務器提供軟件接口，對上層透明，與Spark的機器學習底層算法相配合，使得采用Spark平臺的處理任務設計人員無需了解底層的FPGA算法庫設計。
[0045]本發(fā)明實施例提供的上述技術方案中，基于FPGA異構加速計算裝置及FPGA算法庫，利用FPGA數(shù)據(jù)處理算法實現(xiàn)對于待處理數(shù)據(jù)的處理。而FPGA數(shù)據(jù)處理算法均為計算速度較Spark數(shù)據(jù)處理算法更快的數(shù)據(jù)處理算法，因此，利用FPGA數(shù)據(jù)處理算法對待處理數(shù)據(jù)進行處理，能夠縮短大數(shù)據(jù)處理周期，提升Spark機器學習性能。
[0046]其中，F(xiàn)PGA異構加速計算裝置為機器學習算法提供硬件加速平臺，F(xiàn)PGA算法庫在FPGA上進行加速優(yōu)化實現(xiàn)，為Spark機器學習提供算法支持;且，上述兩個裝置實現(xiàn)的異構加速的機器學習算法與Spark上層應用松耦合，對上層透明，使用戶無需關心底層實現(xiàn)。
[0047]本發(fā)明實施例提供的一種機器學習方法，數(shù)據(jù)處理服務器將待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，可以包括:
[0048]判斷FPGA異構加速計算裝置的內(nèi)存是否大于或等于待處理數(shù)據(jù)，如果是，則將待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，如果否，則將待處理數(shù)據(jù)分割成小于或等于FPGA異構加速計算裝置的內(nèi)存的待處理數(shù)據(jù)塊，再依次發(fā)送至FPGA異構加速計算裝置。
[0049]其中，數(shù)據(jù)處理服務器將一個待處理數(shù)據(jù)塊發(fā)送至FPGA異構加速計算裝置后，F(xiàn)PGA異構加速計算裝置對該數(shù)據(jù)塊進行處理，然后返回處理完成信息至數(shù)據(jù)處理服務器，數(shù)據(jù)處理服務器再將下一個待處理數(shù)據(jù)塊發(fā)送至FPGA異構加速計算裝置，直至全部待處理數(shù)據(jù)塊處理完成為止。并且，F(xiàn)PGA異構加速計算裝置可以將每次計算完成的結果存儲，以在對待處理數(shù)據(jù)全部計算完成后，將計算結果反饋給數(shù)據(jù)處理服務器。
[0050]本發(fā)明實施例提供的一種機器學習方法，F(xiàn)PGA異構加速計算裝置獲取FPGA數(shù)據(jù)處理算法之后，還可以包括:
[0051 ]將FPGA數(shù)據(jù)處理算法進行存儲；
[0052]對應的，F(xiàn)PGA異構加速計算裝置獲取FPGA數(shù)據(jù)處理算法，可以包括:
[0053]判斷FPGA異構加速計算裝置是否存儲有FPGA數(shù)據(jù)處理算法，如果是，則直接采用FPGA數(shù)據(jù)處理算法，如果否，則由FPGA算法庫獲取FPGA數(shù)據(jù)處理算法。
[0054]由此，能夠在一定程序上避免FPGA異構加速計算裝置由FPGA算法庫中獲取FPGA數(shù)據(jù)處理算法的次數(shù)，進一步提高了數(shù)據(jù)處理速度，提升了機器學習性能。
[0055]本發(fā)明實施例提供的一種機器學習方法，還可以包括:
[0056]數(shù)據(jù)處理服務器將FPGA異構加速裝置對待處理數(shù)據(jù)進行計算得到的計算結果返回給服務器主機，服務器主機為發(fā)送Spark數(shù)據(jù)處理算法至數(shù)據(jù)處理服務器的裝置。
[0057]將全部計算結果返回給服務器主機，以供服務器主機利用。
[0058]本發(fā)明實施例提供的一種機器學習方法，數(shù)據(jù)處理服務器將Spark數(shù)據(jù)處理算法發(fā)送至FPGA異構加速計算裝置，可以包括:
[0059]數(shù)據(jù)處理服務器將Spark數(shù)據(jù)處理算法中計算性能要求大于預設值的部分算法發(fā)送至FPGA異構加速計算裝置。
[0060]其中，預設值可以根據(jù)實際需要進行確定，由此，僅將Spark數(shù)據(jù)處理算法中計算性能要求大于預設值的部分算法，即計算性能要求較高的部分算法發(fā)送至FPGA異構加速計算裝置，由該裝置進行處理，而Spark數(shù)據(jù)處理算法中的其他算法，則直接利用Spark數(shù)據(jù)處理算法進行處理，實現(xiàn)了對于FPGA異構加速計算裝置的合理利用。
[0061]與上述方法實施例相對應，本發(fā)明實施例還提供了一種機器學習系統(tǒng)，如圖2所示，可以包括:
[0062]數(shù)據(jù)處理服務器11，用于將Spark數(shù)據(jù)處理算法及對應的待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置12，其中，Spark數(shù)據(jù)處理算法為由Spark提供的數(shù)據(jù)處理算法；
[0063]FPGA異構加速計算裝置12，用于獲取由FPGA算法庫13提供的與Spark數(shù)據(jù)處理算法對應的FPGA數(shù)據(jù)處理算法，并利用FPGA數(shù)據(jù)處理算法對待處理數(shù)據(jù)進行處理；
[0064]FPGA算法庫13，用于提供FPGA數(shù)據(jù)處理算法。
[0065]本發(fā)明實施例提供的一種機器學習系統(tǒng)，數(shù)據(jù)處理服務器可以包括:
[0066]第一發(fā)送模塊，用于判斷FPGA異構加速計算裝置的內(nèi)存是否大于或等于待處理數(shù)據(jù)，如果是，則將待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，如果否，則將待處理數(shù)據(jù)分割成小于或等于FPGA異構加速計算裝置的內(nèi)存的待處理數(shù)據(jù)塊，再依次發(fā)送至FPGA異構加速計算裝置。
[0067]本發(fā)明實施例提供的一種機器學習系統(tǒng)，F(xiàn)PGA異構加速計算裝置可以包括:
[0068]存儲模塊，用于將FPGA數(shù)據(jù)處理算法進行存儲；
[0069]對應的，F(xiàn)PGA異構加速計算裝置可以包括:
[0070]獲取模塊，用于判斷FPGA異構加速計算裝置是否存儲有FPGA數(shù)據(jù)處理算法，如果是，則直接采用FPGA數(shù)據(jù)處理算法，如果否，則由FPGA算法庫獲取FPGA數(shù)據(jù)處理算法。
[0071]本發(fā)明實施例提供的一種機器學習系統(tǒng)，數(shù)據(jù)處理服務器可以包括:
[0072]反饋模塊，用于將FPGA異構加速裝置對待處理數(shù)據(jù)進行計算得到的計算結果返回給服務器主機，服務器主機為發(fā)送Spark數(shù)據(jù)處理算法至數(shù)據(jù)處理服務器的裝置。
[0073]本發(fā)明實施例提供的一種機器學習系統(tǒng)，數(shù)據(jù)處理服務器可以包括:
[0074]第二發(fā)送模塊，用于將Spark數(shù)據(jù)處理算法中計算性能要求大于預設值的部分算法發(fā)送至FPGA異構加速計算裝置。
[0075]本發(fā)明實施例提供的一種機器學習系統(tǒng)中相關部分的說明請參見本發(fā)明實施例提供的一種機器學習方法中對應部分的詳細說明，在此不再贅述。
[0076]對所公開的實施例的上述說明，使本領域技術人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領域技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
【主權項】
1.一種機器學習方法，其特征在于，包括: 數(shù)據(jù)處理服務器將Spark數(shù)據(jù)處理算法及對應的待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，其中，所述Spark數(shù)據(jù)處理算法為由Spark提供的數(shù)據(jù)處理算法； 所述FPGA異構加速計算裝置獲取由FPGA算法庫提供的與所述Spark數(shù)據(jù)處理算法對應的FPGA數(shù)據(jù)處理算法，并利用所述FPGA數(shù)據(jù)處理算法對所述待處理數(shù)據(jù)進行處理。2.根據(jù)權利要求1所述的方法，其特征在于，所述數(shù)據(jù)處理服務器將所述待處理數(shù)據(jù)發(fā)送至所述FPGA異構加速計算裝置，包括: 判斷所述FPGA異構加速計算裝置的內(nèi)存是否大于或等于所述待處理數(shù)據(jù)，如果是，則將所述待處理數(shù)據(jù)發(fā)送至所述FPGA異構加速計算裝置，如果否，則將所述待處理數(shù)據(jù)分割成小于或等于所述FPGA異構加速計算裝置的內(nèi)存的待處理數(shù)據(jù)塊，再依次發(fā)送至所述FPGA異構加速計算裝置。3.根據(jù)權利要求1所述的方法，其特征在于，所述FPGA異構加速計算裝置獲取所述FPGA數(shù)據(jù)處理算法之后，還包括: 將所述FPGA數(shù)據(jù)處理算法進行存儲； 對應的，所述FPGA異構加速計算裝置獲取所述FPGA數(shù)據(jù)處理算法，包括: 判斷所述FPGA異構加速計算裝置是否存儲有所述FPGA數(shù)據(jù)處理算法，如果是，則直接采用所述FPGA數(shù)據(jù)處理算法，如果否，則由所述FPGA算法庫獲取所述FPGA數(shù)據(jù)處理算法。4.根據(jù)權利要求3所述的方法，其特征在于，還包括: 所述數(shù)據(jù)處理服務器將所述FPGA異構加速裝置對所述待處理數(shù)據(jù)進行計算得到的計算結果返回給服務器主機，所述服務器主機為發(fā)送所述Spark數(shù)據(jù)處理算法至所述數(shù)據(jù)處理服務器的裝置。5.根據(jù)權利要求1至4任一項所述的方法，其特征在于，所述數(shù)據(jù)處理服務器將所述Spark數(shù)據(jù)處理算法發(fā)送至所述FPGA異構加速計算裝置，包括: 所述數(shù)據(jù)處理服務器將所述Spark數(shù)據(jù)處理算法中計算性能要求大于預設值的部分算法發(fā)送至所述FPGA異構加速計算裝置。6.一種機器學習系統(tǒng)，其特征在于，包括: 數(shù)據(jù)處理服務器，用于將Spark數(shù)據(jù)處理算法及對應的待處理數(shù)據(jù)發(fā)送至FPGA異構加速計算裝置，其中，所述Spark數(shù)據(jù)處理算法為由Spark提供的數(shù)據(jù)處理算法； 所述FPGA異構加速計算裝置，用于獲取由FPGA算法庫提供的與所述Spark數(shù)據(jù)處理算法對應的FPGA數(shù)據(jù)處理算法，并利用所述FPGA數(shù)據(jù)處理算法對所述待處理數(shù)據(jù)進行處理； 所述FPGA算法庫，用于提供FPGA數(shù)據(jù)處理算法。7.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理服務器包括: 第一發(fā)送模塊，用于判斷所述FPGA異構加速計算裝置的內(nèi)存是否大于或等于所述待處理數(shù)據(jù)，如果是，則將所述待處理數(shù)據(jù)發(fā)送至所述FPGA異構加速計算裝置，如果否，則將所述待處理數(shù)據(jù)分割成小于或等于所述FPGA異構加速計算裝置的內(nèi)存的待處理數(shù)據(jù)塊，再依次發(fā)送至所述FPGA異構加速計算裝置。8.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，所述FPGA異構加速計算裝置包括: 存儲模塊，用于將所述FPGA數(shù)據(jù)處理算法進行存儲； 對應的，所述FPGA異構加速計算裝置包括: 獲取模塊，用于判斷所述FPGA異構加速計算裝置是否存儲有所述FPGA數(shù)據(jù)處理算法，如果是，則直接采用所述FPGA數(shù)據(jù)處理算法，如果否，則由所述FPGA算法庫獲取所述FPGA數(shù)據(jù)處理算法。9.根據(jù)權利要求8所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理服務器包括: 反饋模塊，用于將所述FPGA異構加速裝置對所述待處理數(shù)據(jù)進行計算得到的計算結果返回給服務器主機，所述服務器主機為發(fā)送所述Spark數(shù)據(jù)處理算法至所述數(shù)據(jù)處理服務器的裝置。10.根據(jù)權利要求6至9任一項所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理服務器包括: 第二發(fā)送模塊，用于將所述Spark數(shù)據(jù)處理算法中計算性能要求大于預設值的部分算法發(fā)送至所述FPGA異構加速計算裝置。
【文檔編號】G06N99/00GK105956666SQ201610283789
【公開日】2016年9月21日
【申請日】2016年4月29日
【發(fā)明人】王洪偉
【申請人】浪潮(北京)電子信息產(chǎn)業(yè)有限公司