空中傳輸計(jì)算的通信方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信技術(shù)領(lǐng)域,尤其涉及空中傳輸計(jì)算的通信方法及系統(tǒng)。
【背景技術(shù)】
[0002] 隨著云計(jì)算、大數(shù)據(jù)的飛速發(fā)展,其核心基礎(chǔ)設(shè)施,數(shù)據(jù)中心,得到全世界工業(yè)界 和學(xué)術(shù)界的極大關(guān)注。基于谷歌等公司提出的分布式計(jì)算框架(MapRedUCe[l])和分布式 文件存儲(chǔ)系統(tǒng)(GoogleFileSyStem[2],Had〇〇pDFS[3]),目前的數(shù)據(jù)中心可以充分利用 廉價(jià)計(jì)算節(jié)點(diǎn)(PC機(jī))提高計(jì)算存儲(chǔ)能力,而節(jié)點(diǎn)之間的通信網(wǎng)絡(luò)成為數(shù)據(jù)中心的性能瓶 頸。
[0003] 目前數(shù)據(jù)中心網(wǎng)絡(luò)(DCN)普遍采用以太網(wǎng)靜態(tài)鏈路和有線網(wǎng)絡(luò)接口,網(wǎng)絡(luò)構(gòu)架主 要是基于FAT-TREE的三層網(wǎng)絡(luò)構(gòu)架核心[4]。雖然有線網(wǎng)絡(luò)鏈路帶寬較寬,但是其固定鏈 路結(jié)構(gòu)難以適應(yīng)數(shù)據(jù)中心大量的隨機(jī)高突發(fā)流量和高負(fù)載服務(wù)器,不具備動(dòng)態(tài)能源匹配能 力,網(wǎng)絡(luò)擴(kuò)展性也遇到瓶頸,限制了數(shù)據(jù)中心的性能提升[5]
[0004] 無(wú)線通信的可控鏈路與定向天線技術(shù)可以克服有線鏈路的限制,靈活應(yīng)對(duì)數(shù)據(jù)中 心的隨機(jī)業(yè)務(wù)需求,節(jié)省能源和成本,無(wú)線DCN開始被廣泛研宄[6]。其中,高帶寬的高頻無(wú) 線通信,特別是60GHz[6]以及可見光通信[7],成為最有前景的無(wú)線DCN射頻解決方案。針 對(duì)高頻電磁波容易被遮擋的問題,論文[8]提出利用屋頂反射實(shí)現(xiàn)準(zhǔn)視距傳輸,利用3D波 束成型解決干擾問題。而論文[9]則利用機(jī)架內(nèi)外雙天線實(shí)現(xiàn)被遮擋信號(hào)的中繼傳輸,提 出全無(wú)線DCN的方案。在這些物理層技術(shù)的基礎(chǔ)上,清華大學(xué)的Y.Cui等研宄了無(wú)線DCN 的調(diào)度和資源分配等問題[15]。
[0005] 無(wú)線DCN不同于現(xiàn)有任何無(wú)線網(wǎng)絡(luò),具有自己特殊性質(zhì),包括:
[0006] (1)多對(duì)一數(shù)據(jù)業(yè)務(wù):現(xiàn)代數(shù)據(jù)中心兩個(gè)主要功能是分布式數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處 理,兩種功能都存在廣泛的多對(duì)一傳輸業(yè)務(wù)(在TCP造成Incast問題[16, 17])。對(duì)于分布 式存儲(chǔ),利用網(wǎng)絡(luò)編碼(糾刪碼)進(jìn)行編碼存儲(chǔ)可以大大提高存儲(chǔ)效率[10]。在編碼存儲(chǔ) 系統(tǒng)中,當(dāng)產(chǎn)生編碼塊的時(shí)候(新建一個(gè)編碼塊或者修復(fù)丟失編碼塊),通常需要把相關(guān)的 K個(gè)數(shù)據(jù)塊發(fā)送到接收節(jié)點(diǎn)并進(jìn)行網(wǎng)絡(luò)編碼操作(線性相加),即多對(duì)一傳輸任務(wù)。對(duì)于分 布式數(shù)據(jù)處理,源于谷歌的MapReduce編程模型[1]是目前最廣泛使用的并行大數(shù)據(jù)處理 模式。在MapReduce模型中,當(dāng)map節(jié)點(diǎn)計(jì)算完成后,所有map節(jié)點(diǎn)的結(jié)果中,凡是有相同 鍵值(key)的結(jié)果都會(huì)發(fā)送到同一個(gè)reduce節(jié)點(diǎn)做處理。所以這也是多對(duì)一的數(shù)據(jù)傳輸 任務(wù)。
[0007] (2)緊湊的物理網(wǎng)絡(luò)空間:為了降低成本,數(shù)據(jù)中心的計(jì)算節(jié)點(diǎn)通常都是集中到 一個(gè)專門建造的房間之內(nèi)。所以物理網(wǎng)絡(luò)空間都限制在房間之內(nèi),計(jì)算節(jié)點(diǎn)之間都規(guī)則的 緊密排列。非常適合于用有線連接所有節(jié)點(diǎn),提供參考信號(hào)[11]。
[0008] (3)準(zhǔn)靜態(tài)高斯信道:專用數(shù)據(jù)中心內(nèi),計(jì)算(通信)節(jié)點(diǎn)都位置固定且節(jié)點(diǎn)外部 環(huán)境很少發(fā)生變化;節(jié)點(diǎn)之間可以利用屋頂反射形成間接視距傳輸(LineofSight) [8]。 因此,無(wú)線收發(fā)節(jié)點(diǎn)之間可以形成準(zhǔn)靜態(tài)高斯信道,非常適合發(fā)送端的預(yù)編碼和預(yù)處理。
[0009] 總體來(lái)說(shuō),目前無(wú)線DCN基本上集中于無(wú)線鏈路的結(jié)構(gòu)和可行性研究,主要思路 是將成熟的無(wú)線通信技術(shù)移植到DCN中,這些方案未能充分考慮DCN的網(wǎng)絡(luò)特性和業(yè)務(wù)需 求,未能考慮DCN和DC存儲(chǔ)功能、計(jì)算功能有機(jī)結(jié)合。
[0010] 參考文獻(xiàn):
[0011] [1].J.DeanandS.Ghemawat,"Mapreduce:Simplifieddataprocessingon largeclusters".ACMCommun.Rev,51(1): 107-113,Jan. 2008.
[0012] [2] ?S.Ghemawat,H.Gobioff,andS. _T.Leung,"Thegooglefilesystem" ? InProceedingsoftheNineteenthACMSymposiumonOperatingSystems Principles,S0SP,03,pages29 - 43,NewYork,NY,USA,2003.
[0013] [3] ?K.Shvachko,H.Kuang,S.Radia,andR.Chansler,"Thehadoopdistributed filesystem".InMassStorageSystemsandTechnologies(MSST),2010IEEE26th Symposiumon,pages1 - 10,May2010.
[0014] [4] ?M.Al-Fares,A.Loukissa,andA.Vahdat."Ascalablecommoditydata centernetworkarchitecture^.InProc.ACMSIGC0MM2007,2008.
[0015] [5].李丹,陳貴海,任豐原,蔣長(zhǎng)林,徐明,"數(shù)據(jù)中心網(wǎng)絡(luò)的研究進(jìn)展與趨 勢(shì)",37 (2),pp. 259-274,計(jì)算機(jī)學(xué)報(bào),2014.
[0016] [6].K.Ramachandran,R.Kokku,R.Mahindra,andS.Rangarajan, "60ghz data-centernetworking:wireless= >worryless"?Tech.Rep.,NECLaboratories America,Inc. ,july2008.
[0017] [7].N.Hamedazimi,Z.Qazi,H.Gupta,V.Sekar,S.R.Das,J.P.Longtin,H. Shah,andA.Tanwer, "Firefly:Areconfigurablewirelessdatacenterfabric usingfree-spaceoptics".InProceedingsofthe2014ACMConferenceon SIGC0MM,SIGC0MM' 14,pages319 - 330,NewYork,NY,USA,2014.
[0018] [8].X.Zhou,Z.Zhang,Y.Zhu,Y.Li,S.Kumar,A.Vahdat,B.Y.Zhao,and H.Zheng,"Mirrormirrorontheceiling:Flexiblewirelesslinksfordata centers".InProceedingsoftheACMSIGC0MM2012Conference,SIGC0MM' 12,pages 443 - 454,NewYork,NY,USA, 2012.
[0019] [9].J._Y.Shin,E.G.Sirer,H.Weatherspoon,andD.Kirovski."On thefeasibilityofcompletelywirelesssdatacenters"?IEEE/ACMTrans. Netw.,21 (5) : 1666 - 1679,Oct. 2013.
[0020] [10].A.Dimakis,P.Godfrey,Y.Wu,M.Wainwright,andK.Ramchandran,^Network codingfordistributedstoragesystems" ?IEEETrans.Inf.Theory, 56(9):4539 -4551,Sept2010.
[0021] [11].C.Shepard,H.Yu,N.Anand,E.Li,T.Marzetta,R.Yang,and L.Zhong, "Argos:Practicalmany-antennabasestations^.InProceedingsof Mobicom' 12,pages53 - 64,NewYork,NY,USA,2012.
[0022] [12].C. -T.Chu,S.K.Kim,Y.Lin,Y.Yu,G.Bradski,A.Ng,and K.Olukotun, "Map-reduceformachinelearningonmulticore''?InProc.Neural InformationProcessingSystemsConference(NIPS),Apr. 2006.
[0023] [13].C.Ranger,R.Raghuraman,A.Penmetsa,G.Bradski,and C.Ko