專利名稱：數(shù)據(jù)傳輸方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)傳輸方法及系統(tǒng)。
背景技術(shù)：
貝奧武夫(Beowulf)集群是一種高性能的并行計算機集群結(jié)構(gòu)，它是由一組獨立的計算機系統(tǒng)構(gòu)建的松耦合的多處理機系統(tǒng)，系統(tǒng)中各進程借助網(wǎng)絡(luò)實現(xiàn)通信、共享內(nèi)存?zhèn)鬟f信息，從而實現(xiàn)分布式并行計算。Beowulf集群的設(shè)計目標(biāo)是使一般大學(xué)的計算機系和小型研究機構(gòu)有能力建立自己的超級計算機系統(tǒng)，每秒可運行上十億條指令。Beowulf集群技術(shù)解決了如何通過使用普通計算機來達到高性能、高實時的計算系統(tǒng)的問題。近年來，Beowulf集群系統(tǒng)迅速發(fā)展，主要是因為作為集群節(jié)點的工作站系統(tǒng)的處理性能越來越強，更快的處理器和更高效的多CPU機器大量進入市場，以及局域網(wǎng)新技術(shù)和新協(xié)議的引入，集群節(jié)點間的通信能獲得更高的帶寬和較小的延遲，集群系統(tǒng)比傳統(tǒng)的并行計算機更易于 融合到已有的網(wǎng)絡(luò)系統(tǒng)中去。目前，集群系統(tǒng)的開發(fā)工具日臻成熟，其價格也愈加便宜并且易于構(gòu)建。另外，集群系統(tǒng)的可擴展性良好，節(jié)點的性能也很容易通過增加內(nèi)存或改善處理器性能獲得提聞。信息傳遞接口(Message Passing Interface, MPI)是一種消息傳遞編程接口，它提供了實現(xiàn)其一系列接口的多語言函數(shù)集。MPI是Beomilf集群上常用的消息傳遞機制，并行程序常常使用MPI來進行數(shù)據(jù)的發(fā)送與接收。MPI標(biāo)準(zhǔn)定義了一組函數(shù)，使應(yīng)用程序可以將消息從一個MPI進程傳遞到另一個MPI進程。在Beowulf集群系統(tǒng)中，N個節(jié)點(如計算機)之間使用MPI進行數(shù)據(jù)傳輸時，通常采用順次傳輸模型。具體地說，首先給每個節(jié)點依次編一個號碼，從O開始，直到N-1。圖Ia示出了現(xiàn)有技術(shù)的第I輪數(shù)據(jù)發(fā)送過程的示意圖，圖Ib示出了現(xiàn)有技術(shù)的第I輪數(shù)據(jù)接收過程的示意圖，圖Ia和圖Ib示出了 6個節(jié)點的情況。如圖Ia和圖Ib所示,在第I輪數(shù)據(jù)傳輸過程中，除節(jié)點O以外的其它節(jié)點都使用MPI發(fā)送(MPI Send)函數(shù)向節(jié)點O發(fā)送數(shù)據(jù)，此時節(jié)點O在一個循環(huán)語句中使用MPI接收(MPI Recv)函數(shù)依次接收從節(jié)點I到N-I發(fā)送過來的數(shù)據(jù)。在第2輪數(shù)據(jù)傳輸過程中，除節(jié)點I以外的其它節(jié)點都使用MPI Send函數(shù)向節(jié)點I發(fā)送數(shù)據(jù)，此時節(jié)點I在一個循環(huán)語句中使用MPI Recv函數(shù)依次接收從節(jié)點O、2到N-I發(fā)送過來的數(shù)據(jù)。依次類推，直到第N輪數(shù)據(jù)傳輸過程結(jié)束后，所有節(jié)點都獲得了其他節(jié)點發(fā)送過來的數(shù)據(jù)，整個數(shù)據(jù)傳輸過程完成。上述采用順次傳輸模型的數(shù)據(jù)傳輸方法存在如下缺點在通常情況下，集群系統(tǒng)中所有節(jié)點的網(wǎng)卡都是同構(gòu)的，所以它們的最大傳輸帶寬是相同的。由于在每一輪數(shù)據(jù)傳輸過程中，所有節(jié)點都會向同一個節(jié)點發(fā)送數(shù)據(jù)，在將接收節(jié)點的帶寬打滿的情況下，所有發(fā)送節(jié)點的帶寬是沒用滿的，這樣造成了整體傳輸帶寬的浪費。

發(fā)明內(nèi)容
鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的數(shù)據(jù)傳輸系統(tǒng)和相應(yīng)的數(shù)據(jù)傳輸方法。根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)傳輸方法，包括將N個節(jié)點的數(shù)據(jù)傳輸過程分為N-I輪，N彡2 ;對于每個節(jié)點，隨機選擇該節(jié)點的數(shù)據(jù)發(fā)送順序，所述數(shù)據(jù)發(fā)送順序是在數(shù)據(jù)傳輸過程中接收該節(jié)點發(fā)送的數(shù)據(jù)的節(jié)點按照輪次的排列順序；在每一輪數(shù)據(jù)傳輸過程中，每個節(jié)點都執(zhí)行一次發(fā)送動作，執(zhí)行發(fā)送動作的節(jié)點按照自身的數(shù)據(jù)發(fā)送順序發(fā)送數(shù)據(jù)；執(zhí)行接收動作的節(jié)點根據(jù)先到先收的方式接收數(shù)據(jù)。根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)傳輸系統(tǒng)，包括N個節(jié)點，所述N個節(jié)點 的數(shù)據(jù)傳輸過程分為N-I輪，N > 2 ;其中，每一個節(jié)點包括發(fā)送單元，用于在每一輪數(shù)據(jù)傳輸過程中，執(zhí)行一次發(fā)送動作，所述發(fā)送動作具體為按照自身的數(shù)據(jù)發(fā)送順序發(fā)送數(shù)據(jù)；所述數(shù)據(jù)發(fā)送順序是隨機選擇的，所述數(shù)據(jù)發(fā)送順序是在數(shù)據(jù)傳輸過程中接收該節(jié)點發(fā)送的數(shù)據(jù)的節(jié)點按照輪次的排列順序；接收單元，用于根據(jù)先到先收的方式接收數(shù)據(jù)。根據(jù)本發(fā)明提供的數(shù)據(jù)傳輸方法及系統(tǒng)，在每一輪數(shù)據(jù)傳輸過程中，執(zhí)行發(fā)送動作的節(jié)點按照自身隨機選擇的數(shù)據(jù)發(fā)送順序發(fā)送數(shù)據(jù)，這樣同時發(fā)往同一個節(jié)點的概率大大減少，極少出現(xiàn)一個節(jié)點同時接收所有其他節(jié)點發(fā)送的數(shù)據(jù)的情況，將數(shù)據(jù)分散傳輸，保證每個節(jié)點的網(wǎng)卡都可以較為充分的利用最大傳輸帶寬工作。執(zhí)行接收動作的節(jié)點根據(jù)先到先收的方式接收數(shù)據(jù)，實現(xiàn)了無延遲的數(shù)據(jù)接收。上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式
。


通過閱讀下文優(yōu)選實施方式的詳細(xì)描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中圖Ia示出了現(xiàn)有技術(shù)的第I輪數(shù)據(jù)發(fā)送過程的示意圖；圖Ib示出了現(xiàn)有技術(shù)的第I輪數(shù)據(jù)接收過程的示意圖；圖2示出了根據(jù)本發(fā)明一個實施例的數(shù)據(jù)傳輸方法的流程圖；圖3a示出了本發(fā)明實施例中第I輪數(shù)據(jù)發(fā)送過程的示意圖；圖3b示出了本發(fā)明實施例中第I輪數(shù)據(jù)接收過程的示意圖；圖4示出了根據(jù)本發(fā)明一個實施例的數(shù)據(jù)傳輸系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。
與現(xiàn)有技術(shù)的數(shù)據(jù)傳輸方法采用順次傳輸模型不同的是，本發(fā)明的數(shù)據(jù)傳輸方法采用分輪次隨機收發(fā)模型。本發(fā)明的集群系統(tǒng)包括N個節(jié)點，NS 2，那么這N個節(jié)點的數(shù)據(jù)傳輸過程就被分為N-I輪。圖2示出了根據(jù)本發(fā)明一個實施例的數(shù)據(jù)傳輸方法的流程圖。如圖2所示，該數(shù)據(jù)傳輸方法包括如下步驟步驟101、對于N個節(jié)點中的每個節(jié)點，隨機選擇該節(jié)點的數(shù)據(jù)發(fā)送順序。該數(shù)據(jù)發(fā)送順序是指在數(shù)據(jù)傳輸過程中，接收該節(jié)點發(fā)送的數(shù)據(jù)的節(jié)點按照輪次的排列順序。該數(shù)據(jù)發(fā)送順序限定了節(jié)點 在每一輪數(shù)據(jù)傳輸過程向哪個節(jié)點發(fā)送數(shù)據(jù)。每個節(jié)點的數(shù)據(jù)發(fā)送順序是隨機選擇的，一旦選定該數(shù)據(jù)發(fā)送順序，在N-I輪的數(shù)據(jù)傳輸過程中，每個節(jié)點都按照對應(yīng)的數(shù)據(jù)發(fā)送順序向指定節(jié)點發(fā)送數(shù)據(jù)。設(shè)N為6，給這6個節(jié)點分別編一個號碼為0、1、2、3、4、5。對于其中的每個節(jié)點，隨機選擇對應(yīng)的數(shù)據(jù)發(fā)送順序。表I示出了為每個節(jié)點隨機選擇的數(shù)據(jù)發(fā)送順序。表I.節(jié)點與數(shù)據(jù)發(fā)送順序?qū)?yīng)表
權(quán)利要求
1.一種數(shù)據(jù)傳輸方法，包括 將N個節(jié)點的數(shù)據(jù)傳輸過程分為N-I輪，N > 2 ; 對于每個節(jié)點，隨機選擇該節(jié)點的數(shù)據(jù)發(fā)送順序，所述數(shù)據(jù)發(fā)送順序是在數(shù)據(jù)傳輸過程中接收該節(jié)點發(fā)送的數(shù)據(jù)的節(jié)點按照輪次的排列順序； 在每一輪數(shù)據(jù)傳輸過程中，每個節(jié)點都執(zhí)行一次發(fā)送動作，執(zhí)行發(fā)送動作的節(jié)點按照自身的數(shù)據(jù)發(fā)送順序發(fā)送數(shù)據(jù)；執(zhí)行接收動作的節(jié)點根據(jù)先到先收的方式接收數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的數(shù)據(jù)傳輸方法，所述發(fā)送動作采用非阻塞式通信方法來執(zhí)行。
3.根據(jù)權(quán)利要求I或2所述的數(shù)據(jù)傳輸方法，所述接收動作采用阻塞式通信方法來執(zhí)行。
4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)傳輸方法，所述N個節(jié)點屬于貝奧武夫集群系統(tǒng)，所述發(fā)送動作采用非阻塞式的MPI發(fā)送函數(shù)來實現(xiàn)。
5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)傳輸方法，所述N個節(jié)點屬于貝奧武夫集群系統(tǒng)，所述接收動作采用阻塞式的MPI接收函數(shù)來實現(xiàn)。
6.一種數(shù)據(jù)傳輸系統(tǒng)，包括N個節(jié)點，所述N個節(jié)點的數(shù)據(jù)傳輸過程分為N-I輪，N ^ 2 ； 其中，每一個節(jié)點包括 發(fā)送單元，用于在每一輪數(shù)據(jù)傳輸過程中，執(zhí)行一次發(fā)送動作，所述發(fā)送動作具體為按照自身的數(shù)據(jù)發(fā)送順序發(fā)送數(shù)據(jù)；所述數(shù)據(jù)發(fā)送順序是隨機選擇的，所述數(shù)據(jù)發(fā)送順序是在數(shù)據(jù)傳輸過程中接收該節(jié)點發(fā)送的數(shù)據(jù)的節(jié)點按照輪次的排列順序； 接收單元，用于根據(jù)先到先收的方式接收數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)傳輸系統(tǒng)，所述發(fā)送單元具體用于采用非阻塞式通信方法執(zhí)行發(fā)送動作。
8.根據(jù)權(quán)利要求6或7所述的數(shù)據(jù)傳輸系統(tǒng)，所述接收單元具體用于采用阻塞式通信方法執(zhí)行接收動作。
9.根據(jù)權(quán)利要求7所述的數(shù)據(jù)傳輸系統(tǒng)，所述數(shù)據(jù)傳輸系統(tǒng)為貝奧武夫集群系統(tǒng)，所述發(fā)送單元具體用于采用非阻塞式的MPI發(fā)送函數(shù)來實現(xiàn)所述發(fā)送動作。
10.根據(jù)權(quán)利要求8所述的數(shù)據(jù)傳輸系統(tǒng)，所述數(shù)據(jù)傳輸系統(tǒng)為貝奧武夫集群系統(tǒng)，所述接收單元具體用于采用阻塞式的MPI接收函數(shù)來實現(xiàn)所述接收動作。
全文摘要
本發(fā)明公開了一種數(shù)據(jù)傳輸方法及系統(tǒng)。其中數(shù)據(jù)傳輸方法包括將N個節(jié)點的數(shù)據(jù)傳輸過程分為N-1輪，N≥2；對于每個節(jié)點，隨機選擇該節(jié)點的數(shù)據(jù)發(fā)送順序，所述數(shù)據(jù)發(fā)送順序是在數(shù)據(jù)傳輸過程中接收該節(jié)點發(fā)送的數(shù)據(jù)的節(jié)點按照輪次的排列順序；在每一輪數(shù)據(jù)傳輸過程中，每個節(jié)點都執(zhí)行一次發(fā)送動作，執(zhí)行發(fā)送動作的節(jié)點按照自身的數(shù)據(jù)發(fā)送順序發(fā)送數(shù)據(jù)；執(zhí)行接收動作的節(jié)點根據(jù)先到先收的方式接收數(shù)據(jù)。本發(fā)明提供的數(shù)據(jù)傳輸方法及系統(tǒng)將數(shù)據(jù)分散傳輸，保證每個節(jié)點的網(wǎng)卡都可以較為充分的利用最大傳輸帶寬工作。
文檔編號H04L12/861GK102970245SQ201210477339
公開日2013年3月13日 申請日期2012年11月21日 優(yōu)先權(quán)日2012年11月21日
發(fā)明者何銳邦, 唐會軍 申請人:北京奇虎科技有限公司, 奇智軟件(北京)有限公司