欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

數(shù)據(jù)中心及其實(shí)現(xiàn)數(shù)據(jù)處理的方法和網(wǎng)絡(luò)控制器的制造方法

文檔序號(hào):7803252閱讀:301來(lái)源:國(guó)知局
數(shù)據(jù)中心及其實(shí)現(xiàn)數(shù)據(jù)處理的方法和網(wǎng)絡(luò)控制器的制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種數(shù)據(jù)中心及其實(shí)現(xiàn)數(shù)據(jù)處理的方法和網(wǎng)絡(luò)控制器,在基于SDN的數(shù)據(jù)中心中,服務(wù)器根據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包;接收到數(shù)據(jù)包的交換機(jī)確定數(shù)據(jù)包為所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,網(wǎng)絡(luò)控制器根據(jù)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型,生成轉(zhuǎn)發(fā)路徑;數(shù)據(jù)包所屬數(shù)據(jù)流中的其他數(shù)據(jù)包采用生成的轉(zhuǎn)發(fā)路徑進(jìn)行轉(zhuǎn)發(fā)。本發(fā)明方法通過(guò)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型識(shí)別數(shù)據(jù)流的類(lèi)型,規(guī)劃了適合該數(shù)據(jù)流的最優(yōu)轉(zhuǎn)發(fā)路徑,而且為不同的數(shù)據(jù)流匹配了不同的服務(wù)等級(jí)質(zhì)量,避免了數(shù)據(jù)傳輸?shù)钠款i,同時(shí)減小了維護(hù)開(kāi)銷(xiāo)。而且基于SDN的數(shù)據(jù)中心降低了原有數(shù)據(jù)中心復(fù)雜度。
【專(zhuān)利說(shuō)明】數(shù)據(jù)中心及其實(shí)現(xiàn)數(shù)據(jù)處理的方法和網(wǎng)絡(luò)控制器
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及軟件定義網(wǎng)絡(luò)(SDN, Software Defined Network)技術(shù),尤指一種基于SDN的數(shù)據(jù)中心及其實(shí)現(xiàn)數(shù)據(jù)處理的方法和網(wǎng)絡(luò)控制器。
【背景技術(shù)】
[0002]目前,為了實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)和數(shù)據(jù)中心間服務(wù)器的通信,需要構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu),圖1為現(xiàn)有數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu)示意圖,如圖1所示,以計(jì)算服務(wù)器為界,數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)可以分為前端網(wǎng)絡(luò)和后端網(wǎng)絡(luò)。其中,前端網(wǎng)絡(luò)主要承載著數(shù)據(jù)中心內(nèi)計(jì)算服務(wù)器之間以及與數(shù)據(jù)中心外的服務(wù)器之間的通信,是基于TCP/IP網(wǎng)絡(luò)體系架構(gòu),實(shí)現(xiàn)技術(shù)為IP+以太網(wǎng)(Ethernet)方式。后端網(wǎng)絡(luò)則承載著服務(wù)器至存儲(chǔ)系統(tǒng)的通信。由于存儲(chǔ)設(shè)備間通過(guò)存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN, Storage Area Network)技術(shù)構(gòu)建存儲(chǔ)系統(tǒng),是一種有別于IP+Ethernet的技術(shù),但是,由于Ethernet技術(shù)擁有的沖突丟包的天然缺陷,使得后端網(wǎng)絡(luò)的I/O同步問(wèn)題、高速低延遲等基本需求無(wú)法得到滿(mǎn)足。因而,目前,后端網(wǎng)絡(luò)基本上采用基于光纖通信的SAN(FC SAN, Fiber Channel SAN)技術(shù),實(shí)現(xiàn)計(jì)算系統(tǒng)與存儲(chǔ)系統(tǒng)的通信。
[0003]FC SAN技術(shù)的引入,使得數(shù)據(jù)中心的網(wǎng)絡(luò)存在以下幾個(gè)問(wèn)題:多張網(wǎng)絡(luò),也就是說(shuō),對(duì)計(jì)算服務(wù)器而言,處于Ethernet和FC SAN兩張網(wǎng)絡(luò)中;多種端口協(xié)議,由于計(jì)算服務(wù)器存在于多個(gè)網(wǎng)絡(luò)中,為了適應(yīng)不同網(wǎng)絡(luò)的需求,計(jì)算服務(wù)器上需要具備支持多個(gè)協(xié)議的網(wǎng)口,增加了計(jì)算服務(wù)器的復(fù)雜性;以及成本問(wèn)題,由于FC SAN采用的是光纖通信,鏈路的設(shè)備成本較高。
[0004]為此,在數(shù)據(jù)中心的后端網(wǎng)絡(luò)中引入了基于光纖通信的以太網(wǎng)(FCoE,F(xiàn)iberChannel over Ethernet)技術(shù),通過(guò)對(duì)原有的FC數(shù)據(jù)包進(jìn)行Ethernet封裝,實(shí)現(xiàn)了前端網(wǎng)絡(luò)與后端網(wǎng)絡(luò)的融合,圖2為現(xiàn)有基于FCoE技術(shù)的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)示意圖,如圖2所示,計(jì)算服務(wù)器上配備CAN網(wǎng)卡,計(jì)算服務(wù)器的任何通信均需求通過(guò)該CAN網(wǎng)卡發(fā)送給FCoE交換機(jī)。位于FCoE交換機(jī)中的數(shù)據(jù)轉(zhuǎn)發(fā)單元(FCF, Fiber Channel Forwarder)(圖2中未示出)會(huì)對(duì)數(shù)據(jù)進(jìn)行識(shí)別,如果是正常的Ethernet數(shù)據(jù)包,則將其轉(zhuǎn)發(fā)至IP/Ethernet網(wǎng)絡(luò)中;如果是封裝成Ethernet包的FC數(shù)據(jù)包,則將其轉(zhuǎn)發(fā)至FC網(wǎng)絡(luò)中。
[0005]FCoE技術(shù)提供了利用Ethernet技術(shù)實(shí)現(xiàn)計(jì)算服務(wù)器與后端存儲(chǔ)網(wǎng)絡(luò)通信需求的方案,但是仍然存在一些問(wèn)題:
[0006]一方面,為了保證計(jì)算服務(wù)器與存儲(chǔ)系統(tǒng)之間高速的數(shù)據(jù)傳輸,同時(shí)為了使存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)傳輸不占用以太網(wǎng)的資源,在數(shù)據(jù)中心,將計(jì)算服務(wù)器的通信網(wǎng)絡(luò)與存儲(chǔ)系統(tǒng)的通信網(wǎng)絡(luò)分離開(kāi)來(lái),從而構(gòu)建了兩張網(wǎng)絡(luò),引來(lái)了多網(wǎng)絡(luò)的問(wèn)題:前端網(wǎng)絡(luò)采用IP+Ethernet技術(shù)進(jìn)行組網(wǎng),而存儲(chǔ)網(wǎng)絡(luò)采用SAN技術(shù)。FCoE技術(shù)通過(guò)數(shù)據(jù)包封裝的方式,實(shí)現(xiàn)了用以太網(wǎng)技術(shù)連接計(jì)算服務(wù)器和存儲(chǔ)設(shè)備,但是,存儲(chǔ)設(shè)備之間的網(wǎng)絡(luò)仍然沒(méi)有發(fā)生改變,也就是說(shuō),在數(shù)據(jù)中心之間仍然是多張網(wǎng)絡(luò)的格局。
[0007]另一方面,目前在FCoE技術(shù)的部署方案中,基本上是在計(jì)算服務(wù)器的通信網(wǎng)以及存儲(chǔ)網(wǎng)的邊緣部署FCoE交換機(jī)。隨著云計(jì)算的發(fā)展,計(jì)算服務(wù)器與存儲(chǔ)系統(tǒng)之間的信息通信需求將日漸強(qiáng)烈。為了承載大量的數(shù)據(jù)流動(dòng),F(xiàn)CoE交換機(jī)的部署范圍將日益拓展,甚至FCoE交換機(jī)的部署返回會(huì)擴(kuò)展至整個(gè)存儲(chǔ)網(wǎng)絡(luò)。但是,F(xiàn)CoE交換機(jī)屬于專(zhuān)用交換機(jī),適用范圍較窄;而且,F(xiàn)CoE交換機(jī)是基于光纖通信的,因此,基于FCoE技術(shù)的數(shù)據(jù)中心網(wǎng)絡(luò)的成本顯然是較高的,而且,后期存儲(chǔ)網(wǎng)絡(luò)的建設(shè)和改造將引發(fā)較大的資金投入。更重要的是,在云計(jì)算及互聯(lián)網(wǎng)需求的推動(dòng)下,40/100G網(wǎng)絡(luò)技術(shù)在數(shù)據(jù)中心內(nèi)得到了較好的發(fā)展,而且40/100G技術(shù)也將在數(shù)據(jù)中心中大行其道。但是,靜觀(guān)FC SAN網(wǎng)絡(luò)近些年來(lái)的發(fā)展,一直維持在IOG以下的速度。因而,在數(shù)據(jù)中心之間仍然是多張網(wǎng)絡(luò)的格局中,必然會(huì)導(dǎo)致前端網(wǎng)絡(luò)和后端網(wǎng)絡(luò)速度不匹配的問(wèn)題,從而導(dǎo)致了數(shù)據(jù)傳輸?shù)钠款i。

【發(fā)明內(nèi)容】

[0008]為了解決上述技術(shù)問(wèn)題,本發(fā)明提供了一種數(shù)據(jù)中心及其實(shí)現(xiàn)數(shù)據(jù)處理的方法和網(wǎng)絡(luò)控制器,能夠降低數(shù)據(jù)中心復(fù)雜度、避免數(shù)據(jù)傳輸?shù)钠款i,同時(shí)減小維護(hù)開(kāi)銷(xiāo)。
[0009]為了達(dá)到本發(fā)明目的,本發(fā)明提供了一種網(wǎng)絡(luò)控制器,至少包括策略處理模塊、流表處理模塊、路由處理模塊,以及用于維護(hù)網(wǎng)絡(luò)結(jié)構(gòu)視圖的拓?fù)涮幚砟K;其中,
[0010]策略處理模塊,用于將業(yè)務(wù)層的用戶(hù)需求轉(zhuǎn)換為相應(yīng)數(shù)據(jù)流的網(wǎng)絡(luò)需求,并將這些網(wǎng)絡(luò)需求通知給路由處理模塊和流表處理模塊;
[0011]路由處理模塊,接收來(lái)自策略處理模塊的網(wǎng)絡(luò)需求,并根據(jù)拓?fù)涔芾砟K維護(hù)的網(wǎng)絡(luò)結(jié)構(gòu)視圖,為數(shù)據(jù)流規(guī)劃最符合要求的轉(zhuǎn)發(fā)路由;
[0012]流表處理模塊,用于接收來(lái)自策略處理模塊的網(wǎng)絡(luò)需求,按照路由處理模塊規(guī)劃的轉(zhuǎn)發(fā)路由生成相應(yīng)的OpenFlow流表,并下發(fā)至OpenFlow交換機(jī)。
[0013]所述拓?fù)涮幚砟K,還用于通過(guò)收集所述設(shè)備層中的各服務(wù)器的信息,在所述網(wǎng)絡(luò)控制器中構(gòu)建各服務(wù)器之間的邏輯拓?fù)鋱D并存儲(chǔ)。
[0014]所述網(wǎng)絡(luò)控制器還包括:設(shè)備處理模塊,用于對(duì)所述網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)層中的網(wǎng)絡(luò)交換機(jī)進(jìn)行管理、配置。
[0015]本發(fā)明又公開(kāi)了一種數(shù)據(jù)中心,至少包括設(shè)備層、數(shù)據(jù)轉(zhuǎn)發(fā)層,以及網(wǎng)絡(luò)控制層;其中,
[0016]設(shè)備層包括一個(gè)或一個(gè)以上服務(wù)器,服務(wù)器包括計(jì)算服務(wù)器和存儲(chǔ)服務(wù)器,用于依據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包,并通過(guò)網(wǎng)卡連接到數(shù)據(jù)轉(zhuǎn)發(fā)層,實(shí)現(xiàn)計(jì)算服務(wù)器之間、計(jì)算服務(wù)器與存儲(chǔ)服務(wù)器之間、存儲(chǔ)服務(wù)器與存儲(chǔ)服務(wù)器之間的數(shù)據(jù)交換;
[0017]數(shù)據(jù)轉(zhuǎn)發(fā)層由若干個(gè)支持Openflow協(xié)議的網(wǎng)絡(luò)交換機(jī)組成,包括接入層和匯聚/核心層,用于按照網(wǎng)絡(luò)控制層的控制對(duì)來(lái)自服務(wù)器的數(shù)據(jù)包進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā);
[0018]網(wǎng)絡(luò)控制層,包括網(wǎng)絡(luò)控制器,用于控制數(shù)據(jù)的轉(zhuǎn)發(fā)。
[0019]所述接入交換機(jī)還用于,預(yù)留預(yù)設(shè)數(shù)量個(gè)高速上行接口,用于保證所述接入交換機(jī)至匯聚/核心交換機(jī)的網(wǎng)絡(luò)速度;將剩余的高速端口優(yōu)先分配給所述存儲(chǔ)服務(wù)器。
[0020]本發(fā)明還公開(kāi)了一種數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)處理的方法,包括:服務(wù)器依據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包;
[0021]接收到數(shù)據(jù)包的交換機(jī)確定數(shù)據(jù)包為所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,網(wǎng)絡(luò)控制器根據(jù)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型,生成轉(zhuǎn)發(fā)路徑;
[0022]數(shù)據(jù)包所屬數(shù)據(jù)流中的其他數(shù)據(jù)包采用生成的轉(zhuǎn)發(fā)路徑進(jìn)行轉(zhuǎn)發(fā)。[0023]所述確定數(shù)據(jù)包是否為其所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包包括:
[0024]根據(jù)所述數(shù)據(jù)包的表示端口類(lèi)型信息的字段,匹配交換機(jī)中的流表項(xiàng),如果在交換機(jī)的流表中不存在相關(guān)的匹配信息,則確定所述數(shù)據(jù)包是所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,否則所述數(shù)據(jù)包不是第一數(shù)據(jù)包。
[0025]所述網(wǎng)絡(luò)控制器根據(jù)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型,生成轉(zhuǎn)發(fā)路徑之前,該方法還包括:
[0026]所述交換機(jī)根據(jù)接收數(shù)據(jù)包的端口的類(lèi)型生成執(zhí)行相應(yīng)的策略,在數(shù)據(jù)流來(lái)自高速的轉(zhuǎn)發(fā)端口時(shí),將該數(shù)據(jù)流標(biāo)示為存儲(chǔ)流,上報(bào)給所述網(wǎng)絡(luò)控制器;所述控制器根據(jù)約束最短路由優(yōu)先CSPF算法為該數(shù)據(jù)流規(guī)劃路徑。
[0027]與現(xiàn)有技術(shù)相比,本發(fā)明包括:在基于SDN的數(shù)據(jù)中心中,服務(wù)器根據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包;確定數(shù)據(jù)包為所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,根據(jù)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型,生成轉(zhuǎn)發(fā)路徑;數(shù)據(jù)包所屬數(shù)據(jù)流中的其他數(shù)據(jù)包采用生成的轉(zhuǎn)發(fā)路徑進(jìn)行轉(zhuǎn)發(fā)。本發(fā)明方法通過(guò)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型識(shí)別數(shù)據(jù)流的類(lèi)型,規(guī)劃了適合該數(shù)據(jù)流的最優(yōu)轉(zhuǎn)發(fā)路徑,具體地,為在高速端口間轉(zhuǎn)發(fā)的數(shù)據(jù)流設(shè)置高的服務(wù)等級(jí)質(zhì)量,選擇質(zhì)量好、轉(zhuǎn)發(fā)速度快的路徑配置數(shù)據(jù)流轉(zhuǎn)發(fā)路由,而為在低速端口間轉(zhuǎn)發(fā)的數(shù)據(jù)流設(shè)置低的服務(wù)等級(jí)質(zhì)量,選擇質(zhì)量不是最好、轉(zhuǎn)發(fā)速度不是最快的路徑配置數(shù)據(jù)流轉(zhuǎn)發(fā)路由,為不同的數(shù)據(jù)流匹配了不同的服務(wù)等級(jí)質(zhì)量,避免了數(shù)據(jù)傳輸?shù)钠款i,同時(shí)減小了維護(hù)開(kāi)銷(xiāo)。而且基于SDN的數(shù)據(jù)中心降低了原有數(shù)據(jù)中心復(fù)雜度。
[0028]本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述,并且,部分地從說(shuō)明書(shū)中變得顯而易見(jiàn),或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書(shū)、權(quán)利要求書(shū)以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0029]附圖用來(lái)提供對(duì)本發(fā)明技術(shù)方案的進(jìn)一步理解,并且構(gòu)成說(shuō)明書(shū)的一部分,與本申請(qǐng)的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案,并不構(gòu)成對(duì)本發(fā)明技術(shù)方案的限制。
[0030]圖1為現(xiàn)有數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu)示意圖;
[0031]圖2為現(xiàn)有基于FCoE技術(shù)的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)示意圖;
[0032]圖3為現(xiàn)有SDN架構(gòu)的示意圖;
[0033]圖4為本發(fā)明數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu)示意圖;
[0034]圖5為本發(fā)明數(shù)據(jù)中心中不同數(shù)據(jù)流的流向示意圖;
[0035]圖6為本發(fā)明數(shù)據(jù)中心中的網(wǎng)絡(luò)控制器的邏輯組成結(jié)構(gòu)示意圖;
[0036]圖7為本發(fā)明實(shí)現(xiàn)數(shù)據(jù)處理的方法的流程圖。
【具體實(shí)施方式】
[0037]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白,下文中將結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說(shuō)明。需要說(shuō)明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。
[0038]在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行。并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0039]軟件定義網(wǎng)絡(luò)(SDN, Software Defined Network)是控制與轉(zhuǎn)發(fā)分離并直接可編程的網(wǎng)絡(luò)架構(gòu),圖3為現(xiàn)有SDN架構(gòu)的示意圖,如圖3所示,其核心思想是將傳統(tǒng)網(wǎng)絡(luò)設(shè)備緊耦合的網(wǎng)絡(luò)架構(gòu)解耦成應(yīng)用、控制、數(shù)據(jù)(轉(zhuǎn)發(fā))三層分離的架構(gòu),并通過(guò)標(biāo)準(zhǔn)化實(shí)現(xiàn)網(wǎng)絡(luò)的集中管控和網(wǎng)絡(luò)應(yīng)用的可編程。在SDN架構(gòu)下,開(kāi)放和標(biāo)準(zhǔn)化是核心關(guān)鍵點(diǎn):標(biāo)準(zhǔn)化數(shù)據(jù)面與控制面的接口,又稱(chēng)為南向接口,屏蔽了網(wǎng)絡(luò)基礎(chǔ)設(shè)施資源在類(lèi)型、支持的協(xié)議等方面的異構(gòu)性,使得數(shù)據(jù)面的網(wǎng)絡(luò)資源設(shè)施資源能夠無(wú)障礙地接收控制面的指令,承載網(wǎng)絡(luò)中的數(shù)據(jù)轉(zhuǎn)發(fā)業(yè)務(wù);標(biāo)準(zhǔn)化控制層和應(yīng)用層的接口,又稱(chēng)為北向接口,為上層應(yīng)用提供統(tǒng)一的管理視圖和編程接口,使得用戶(hù)可以通過(guò)軟件從邏輯上來(lái)定義網(wǎng)絡(luò)控制和網(wǎng)絡(luò)服務(wù)。
[0040]圖4為本發(fā)明數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu)示意圖,如圖4所示,至少包括設(shè)備層、數(shù)據(jù)轉(zhuǎn)發(fā)層,以及網(wǎng)絡(luò)控制層;其中,
[0041]設(shè)備層,其中包括一個(gè)或一個(gè)以上服務(wù)器,這里,服務(wù)器包括計(jì)算服務(wù)器和存儲(chǔ)服務(wù)器,計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器均用于,依據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包,并通過(guò)網(wǎng)卡連接到數(shù)據(jù)轉(zhuǎn)發(fā)層的接入交換機(jī),并通過(guò)接入交換機(jī)實(shí)現(xiàn)計(jì)算服務(wù)器之間、計(jì)算服務(wù)器與存儲(chǔ)服務(wù)器之間、存儲(chǔ)服務(wù)器與存儲(chǔ)服務(wù)器之間的數(shù)據(jù)交換。
[0042]數(shù)據(jù)轉(zhuǎn)發(fā)層包括接入層和匯聚/核心層,由若干個(gè)支持Openflow協(xié)議的網(wǎng)絡(luò)交換機(jī)組成,用于按照網(wǎng)絡(luò)控制層的控制對(duì)來(lái)自服務(wù)器的數(shù)據(jù)包進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)。
[0043]在數(shù)據(jù)轉(zhuǎn)發(fā)層中,所有的網(wǎng)絡(luò)交換機(jī)均通過(guò)統(tǒng)一、標(biāo)準(zhǔn)的協(xié)議,即Openflow協(xié)議,與網(wǎng)絡(luò)控制層中的網(wǎng)絡(luò)控制器進(jìn)行通信。這樣,一方面,標(biāo)準(zhǔn)的協(xié)議為網(wǎng)絡(luò)控制器屏蔽了設(shè)備層中計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器等設(shè)備的異構(gòu)性,也就是說(shuō),設(shè)備層中的設(shè)備對(duì)網(wǎng)絡(luò)控制器來(lái)說(shuō)是不存在差異的,從而降低了對(duì)不同廠(chǎng)家設(shè)備的依賴(lài)程度;另一方面,網(wǎng)絡(luò)的本質(zhì)就是數(shù)據(jù)轉(zhuǎn)發(fā),因而會(huì)涉及到大量的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備,在本發(fā)明的數(shù)據(jù)中心中,數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備的成本僅在于轉(zhuǎn)發(fā)芯片,更容易實(shí)現(xiàn)量產(chǎn),使得網(wǎng)絡(luò)成本的降低具有了較大的優(yōu)勢(shì)。
[0044]在本發(fā)明數(shù)據(jù)中心中,為了盡可能地降低物理端口速度對(duì)數(shù)據(jù)流速度的限制,在構(gòu)建計(jì)算/存儲(chǔ)服務(wù)器與接入交換機(jī)、接入交換機(jī)與匯聚/核心交換機(jī)之間的連接方式時(shí),首先,接入交換機(jī)預(yù)留預(yù)設(shè)數(shù)量如2個(gè)高速上行接口,用于保證接入交換機(jī)至匯聚/核心交換機(jī)的網(wǎng)絡(luò)速度;其次,如果還有高速端口剩余,那么,遵循優(yōu)先分配給存儲(chǔ)服務(wù)器的原則。需要說(shuō)明的是,這里并不是一定要保證所有的交換機(jī)之間都能以高速端口連接,但是,按照本發(fā)明方法,會(huì)盡量滿(mǎn)足高速連接需求;如圖5所示,圖5為本發(fā)明數(shù)據(jù)中心中不同數(shù)據(jù)流的流向示意圖,圖5中,以接入交換機(jī)、匯聚/核心交換為OpenFlow交換機(jī)、網(wǎng)絡(luò)控制器為SDN控制器為例,斜線(xiàn)陰影小方框所示端口表示高速的交換機(jī)端口,斜小方格陰影小方框所示端口表示低速的交換機(jī)端口。
[0045]網(wǎng)絡(luò)控制層,包括網(wǎng)絡(luò)控制器,用于控制數(shù)據(jù)的轉(zhuǎn)發(fā),以及數(shù)據(jù)中心的管理。圖6為本發(fā)明數(shù)據(jù)中心中的網(wǎng)絡(luò)控制器的邏輯組成結(jié)構(gòu)示意圖,如圖6所示,主要包括策略處理模塊、流表處理模塊、路由處理模塊,以及用于維護(hù)網(wǎng)絡(luò)結(jié)構(gòu)視圖的拓?fù)涮幚砟K;其中,
[0046]策略處理模塊,用于將業(yè)務(wù)層的用戶(hù)需求轉(zhuǎn)換為相應(yīng)數(shù)據(jù)流的網(wǎng)絡(luò)需求,比如網(wǎng)絡(luò)延遲要求、重傳率要求等,并將這些網(wǎng)絡(luò)需求通知給路由處理模塊和流表處理模塊。具體地,用于為計(jì)算服務(wù)器與計(jì)算服務(wù)器、計(jì)算服務(wù)器與存儲(chǔ)服務(wù)器、存儲(chǔ)服務(wù)器之間的轉(zhuǎn)發(fā)需求設(shè)置不同的網(wǎng)絡(luò)服務(wù)質(zhì)量。[0047]路由處理模塊,接收來(lái)自策略處理模塊的網(wǎng)絡(luò)需求,并根據(jù)拓?fù)涔芾砟K維護(hù)的網(wǎng)絡(luò)結(jié)構(gòu)視圖,為數(shù)據(jù)流規(guī)劃最符合要求的轉(zhuǎn)發(fā)路由。
[0048]流表處理模塊,用于接收來(lái)自策略處理模塊的網(wǎng)絡(luò)需求,按照路由處理模塊規(guī)劃的轉(zhuǎn)發(fā)路由生成相應(yīng)的OpenFlow流表,并下發(fā)至OpenFlow交換機(jī)。這樣,當(dāng)來(lái)自服務(wù)器的數(shù)據(jù)包經(jīng)過(guò)這些OpenFlow交換機(jī)時(shí),按照OpenFlow交換機(jī)中存儲(chǔ)的流表進(jìn)行轉(zhuǎn)發(fā)。
[0049]本發(fā)明拓?fù)涮幚砟K,還用于通過(guò)收集設(shè)備層中的各服務(wù)器的信息,在網(wǎng)絡(luò)控制器中構(gòu)建各服務(wù)器之間的邏輯拓?fù)鋱D并存儲(chǔ),這樣,在生成轉(zhuǎn)發(fā)路徑時(shí),可以作為依據(jù)。其中,收集的信息包括但不限于:服務(wù)器的端口、服務(wù)器的鄰居節(jié)點(diǎn)信息以及鄰居與端口的對(duì)應(yīng)關(guān)系、服務(wù)器類(lèi)型(如計(jì)算服務(wù)器、或者存儲(chǔ)服務(wù)器)等。具體如何構(gòu)建邏輯拓?fù)鋱D,屬于本領(lǐng)域技術(shù)人員的慣用技術(shù)手段,不用于限定本發(fā)明的保護(hù)范圍,這里不再贅述。
[0050]本發(fā)明網(wǎng)絡(luò)控制器還包括:設(shè)備處理模塊,用于對(duì)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)層中的網(wǎng)絡(luò)交換機(jī)進(jìn)行狀態(tài)監(jiān)控、轉(zhuǎn)發(fā)端口設(shè)置、VLAN設(shè)置等,以實(shí)現(xiàn)網(wǎng)絡(luò)控制器對(duì)數(shù)據(jù)轉(zhuǎn)發(fā)層中的網(wǎng)絡(luò)交換機(jī)的管理、配置。
[0051]在本發(fā)明數(shù)據(jù)中心的網(wǎng)絡(luò)控制器中,將網(wǎng)絡(luò)控制器的各項(xiàng)功能采用直觀(guān)的可視化界面,展現(xiàn)給網(wǎng)絡(luò)管理人員,網(wǎng)絡(luò)管理人員通過(guò)可視化界面設(shè)置各項(xiàng)用戶(hù)需求,并提供給策略處理模塊。
[0052]本發(fā)明數(shù)據(jù)中心還包括:網(wǎng)絡(luò)應(yīng)用層,包括如防火墻、網(wǎng)絡(luò)監(jiān)控等應(yīng)用,利用網(wǎng)絡(luò)控制層開(kāi)放的API接口,由開(kāi)發(fā)人員自主開(kāi)發(fā),其具體實(shí)現(xiàn)不在本發(fā)明的保護(hù)范圍之內(nèi),這里不再贅述。
[0053]圖4所示的本發(fā)明基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中,在設(shè)備層,計(jì)算服務(wù)器與計(jì)算服務(wù)器之間的數(shù)據(jù)通信遵循IP/Ethernet協(xié)議,計(jì)算服務(wù)器與存儲(chǔ)服務(wù)器之間,以及存儲(chǔ)服務(wù)器之間的通信遵循FC SAN協(xié)議。相對(duì)于TCP/IP架構(gòu)來(lái)說(shuō),本發(fā)明基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)充分利用現(xiàn)有網(wǎng)絡(luò)的設(shè)備(如計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器等),不需要對(duì)原有設(shè)備升級(jí),設(shè)備依據(jù)自身支持的協(xié)議生成數(shù)據(jù)報(bào)文即可,本發(fā)明只需要一張網(wǎng)即可承載傳統(tǒng)的以太網(wǎng)、存儲(chǔ)網(wǎng)的數(shù)據(jù)流量,降低了數(shù)據(jù)中心復(fù)雜度;本發(fā)明數(shù)據(jù)中心中的網(wǎng)絡(luò)交換機(jī)是支持Openflow協(xié)議的OpenFlow交換機(jī),所有的網(wǎng)絡(luò)交換機(jī)均通過(guò)統(tǒng)一、標(biāo)準(zhǔn)的協(xié)議與網(wǎng)絡(luò)控制層中的網(wǎng)絡(luò)控制器進(jìn)行通信,并且只保留了轉(zhuǎn)發(fā)面,使得網(wǎng)絡(luò)交換機(jī)可以量產(chǎn),降低了網(wǎng)絡(luò)成本,而且標(biāo)準(zhǔn)的協(xié)議為網(wǎng)絡(luò)控制器屏蔽了設(shè)備層中各種設(shè)備的異構(gòu)性,使得設(shè)備層中的設(shè)備對(duì)網(wǎng)絡(luò)控制器來(lái)說(shuō)是不存在差異的,從而降低了對(duì)不同廠(chǎng)家設(shè)備的依賴(lài)程度。更重要的是,本發(fā)明網(wǎng)絡(luò)控制器在確定需求策略時(shí),區(qū)分不同數(shù)據(jù)流設(shè)置不同的服務(wù)等級(jí)質(zhì)量,以生成適合該數(shù)據(jù)流的最優(yōu)轉(zhuǎn)發(fā)路徑,避免了數(shù)據(jù)傳輸?shù)钠款i,同時(shí)減少了維護(hù)開(kāi)銷(xiāo)。
[0054]圖7為本發(fā)明實(shí)現(xiàn)數(shù)據(jù)處理的方法的流程圖,如圖7所示,包括:
[0055]步驟700:服務(wù)器依據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包。本步驟的具體實(shí)現(xiàn)屬于本領(lǐng)域技術(shù)人員的慣用技術(shù)手段,這里不再贅述。
[0056]步驟701:接收到數(shù)據(jù)包的交換機(jī)確定數(shù)據(jù)包為所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,網(wǎng)絡(luò)控制器根據(jù)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型,生成轉(zhuǎn)發(fā)路徑。
[0057]本步驟還包括:如果數(shù)據(jù)包不是其所屬數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,那么,按照之前下發(fā)的轉(zhuǎn)發(fā)路徑進(jìn)行轉(zhuǎn)發(fā)即可,結(jié)束本流程。
[0058]本步驟中,確定數(shù)據(jù)包是否為其所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包包括:根據(jù)數(shù)據(jù)包的L2/L3/L4、端口號(hào)、VLAN等表示端口類(lèi)型信息的字段,匹配交換機(jī)中的流表項(xiàng),如果在交換機(jī)的流表中不存在相關(guān)的匹配信息,則確定該數(shù)據(jù)包是所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,否則該數(shù)據(jù)包不是第一數(shù)據(jù)包。
[0059]本步驟中,交換機(jī)根據(jù)接收數(shù)據(jù)包的端口的類(lèi)型生成執(zhí)行相應(yīng)的策略如果數(shù)據(jù)流來(lái)自高速的轉(zhuǎn)發(fā)端口,則將該數(shù)據(jù)流標(biāo)示為存儲(chǔ)流,上報(bào)給SDN控制器;SDN控制器中的路由轉(zhuǎn)發(fā)模塊會(huì)根據(jù)CSPF算法為該數(shù)據(jù)流規(guī)劃合適的路徑,比如帶寬大、鏈路利用率較低的路徑。這里,使用何種策略與網(wǎng)絡(luò)配置相關(guān),可通過(guò)設(shè)定CSPF中的約束條件來(lái)達(dá)到。
[0060]這里,生成轉(zhuǎn)發(fā)路由的算法可以采用現(xiàn)有的約束最短路由優(yōu)先(CSPF)算法,并根據(jù)自身需求對(duì)算法中的約束條件進(jìn)行修改和匹配。由于存儲(chǔ)數(shù)據(jù)流的鏈路占用時(shí)間長(zhǎng)、數(shù)據(jù)流量大等特點(diǎn),因此,其中的約束條件可以具體化為:鏈路累計(jì)占用率〈70%,以使得存儲(chǔ)數(shù)據(jù)流選擇非關(guān)鍵繁忙路徑,這里約束條件的具體規(guī)則與數(shù)據(jù)流的需求、網(wǎng)管人員的設(shè)計(jì)等有關(guān)。CSPF算法的使用屬于本領(lǐng)域技術(shù)人員的常用技術(shù),這里不再贅述。
[0061]步驟702:數(shù)據(jù)包所屬數(shù)據(jù)流中的其他數(shù)據(jù)包采用生成的轉(zhuǎn)發(fā)路徑進(jìn)行轉(zhuǎn)發(fā)。
[0062]舉個(gè)例子來(lái)說(shuō),本發(fā)明實(shí)現(xiàn)數(shù)據(jù)處理的方法包括:
[0063]在設(shè)備層中的服務(wù)器依據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包,并通過(guò)相應(yīng)的網(wǎng)卡將數(shù)據(jù)包發(fā)送給網(wǎng)絡(luò)交換機(jī);在數(shù)據(jù)轉(zhuǎn)發(fā)層,網(wǎng)絡(luò)交換機(jī)則根據(jù)L2/L3/L4、端口號(hào)、VLAN等字段匹配收到的數(shù)據(jù)包,以確定該數(shù)據(jù)包是否是所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包;如果是,則將該數(shù)據(jù)包轉(zhuǎn)發(fā)給網(wǎng)絡(luò)控制層中的網(wǎng)絡(luò)控制器,網(wǎng)絡(luò)控制器通過(guò)全局的統(tǒng)一視圖以及數(shù)據(jù)包的格式和協(xié)議等需求策略,生成相應(yīng)的轉(zhuǎn)發(fā)路由;并將相應(yīng)的轉(zhuǎn)發(fā)路由發(fā)送給相關(guān)的網(wǎng)絡(luò)交換機(jī),這樣,以后收到的該條數(shù)據(jù)流的其他數(shù)據(jù)包將采用生成的轉(zhuǎn)發(fā)路由進(jìn)行轉(zhuǎn)發(fā);如果不是第一個(gè)數(shù)據(jù)包,則按照之前網(wǎng)絡(luò)控制器下發(fā)的轉(zhuǎn)發(fā)路徑進(jìn)行轉(zhuǎn)發(fā)即可。其中,生成相應(yīng)的轉(zhuǎn)發(fā)路由具體包括:如果數(shù)據(jù)流來(lái)自于高速的轉(zhuǎn)發(fā)端口并且要去往高速的轉(zhuǎn)發(fā)接口時(shí),則認(rèn)為該數(shù)據(jù)流是存儲(chǔ)服務(wù)器與存儲(chǔ)服務(wù)器之間的數(shù)據(jù)流,或者是對(duì)網(wǎng)絡(luò)服務(wù)質(zhì)量要求高的數(shù)據(jù)流。這時(shí),網(wǎng)絡(luò)控制器會(huì)給這部分?jǐn)?shù)據(jù)流設(shè)置高的服務(wù)等級(jí)質(zhì)量,而在配置數(shù)據(jù)流轉(zhuǎn)發(fā)路由時(shí),會(huì)選擇質(zhì)量好、轉(zhuǎn)發(fā)速度快的路徑。
[0064]本發(fā)明方法通過(guò)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型區(qū)分不同數(shù)據(jù)流,設(shè)置不同的服務(wù)等級(jí)質(zhì)量,生成了適合該數(shù)據(jù)流的最優(yōu)轉(zhuǎn)發(fā)路徑,即為在高速端口間轉(zhuǎn)發(fā)的數(shù)據(jù)流設(shè)置高的服務(wù)等級(jí)質(zhì)量,選擇質(zhì)量好、轉(zhuǎn)發(fā)速度快的路徑配置數(shù)據(jù)流轉(zhuǎn)發(fā)路由,而為在低速端口間轉(zhuǎn)發(fā)的數(shù)據(jù)流設(shè)置低的服務(wù)等級(jí)質(zhì)量,選擇質(zhì)量不是最好、轉(zhuǎn)發(fā)速度不是最快的路徑配置數(shù)據(jù)流轉(zhuǎn)發(fā)路由,避免了數(shù)據(jù)傳輸?shù)钠款i,同時(shí)減少了維護(hù)開(kāi)銷(xiāo)。
[0065]雖然本發(fā)明所揭露的實(shí)施方式如上,但所述的內(nèi)容僅為便于理解本發(fā)明而采用的實(shí)施方式,并非用以限定本發(fā)明。任何本發(fā)明所屬領(lǐng)域內(nèi)的技術(shù)人員,在不脫離本發(fā)明所揭露的精神和范圍的前提下,可以在實(shí)施的形式及細(xì)節(jié)上進(jìn)行任何的修改與變化,但本發(fā)明的專(zhuān)利保護(hù)范圍,仍須以所附的權(quán)利要求書(shū)所界定的范圍為準(zhǔn)。
【權(quán)利要求】
1.一種網(wǎng)絡(luò)控制器,其特征在于,至少包括策略處理模塊、流表處理模塊、路由處理模塊,以及用于維護(hù)網(wǎng)絡(luò)結(jié)構(gòu)視圖的拓?fù)涮幚砟K;其中, 策略處理模塊,用于將業(yè)務(wù)層的用戶(hù)需求轉(zhuǎn)換為相應(yīng)數(shù)據(jù)流的網(wǎng)絡(luò)需求,并將這些網(wǎng)絡(luò)需求通知給路由處理模塊和流表處理模塊; 路由處理模塊,接收來(lái)自策略處理模塊的網(wǎng)絡(luò)需求,并根據(jù)拓?fù)涔芾砟K維護(hù)的網(wǎng)絡(luò)結(jié)構(gòu)視圖,為數(shù)據(jù)流規(guī)劃最符合要求的轉(zhuǎn)發(fā)路由; 流表處理模塊,用于接收來(lái)自策略處理模塊的網(wǎng)絡(luò)需求,按照路由處理模塊規(guī)劃的轉(zhuǎn)發(fā)路由生成相應(yīng)的OpenFlow流表,并下發(fā)至OpenFlow交換機(jī)。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)中心,其特征在于,所述拓?fù)涮幚砟K,還用于通過(guò)收集所述設(shè)備層中的各服務(wù)器的信息,在所述網(wǎng)絡(luò)控制器中構(gòu)建各服務(wù)器之間的邏輯拓?fù)鋱D并存儲(chǔ)。
3.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)中心,其特征在于,所述網(wǎng)絡(luò)控制器還包括:設(shè)備處理模塊,用于對(duì)所述網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)層中的網(wǎng)絡(luò)交換機(jī)進(jìn)行管理、配置。
4.一種數(shù)據(jù)中心,其特征在于,至少包括設(shè)備層、數(shù)據(jù)轉(zhuǎn)發(fā)層,以及網(wǎng)絡(luò)控制層;其中, 設(shè)備層包括一個(gè)或一個(gè)以上服 務(wù)器,服務(wù)器包括計(jì)算服務(wù)器和存儲(chǔ)服務(wù)器,用于依據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包,并通過(guò)網(wǎng)卡連接到數(shù)據(jù)轉(zhuǎn)發(fā)層,實(shí)現(xiàn)計(jì)算服務(wù)器之間、計(jì)算服務(wù)器與存儲(chǔ)服務(wù)器之間、存儲(chǔ)服務(wù)器與存儲(chǔ)服務(wù)器之間的數(shù)據(jù)交換; 數(shù)據(jù)轉(zhuǎn)發(fā)層由若干個(gè)支持Openf low協(xié)議的網(wǎng)絡(luò)交換機(jī)組成,包括接入層和匯聚/核心層,用于按照網(wǎng)絡(luò)控制層的控制對(duì)來(lái)自服務(wù)器的數(shù)據(jù)包進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā); 網(wǎng)絡(luò)控制層,包括網(wǎng)絡(luò)控制器,用于控制數(shù)據(jù)的轉(zhuǎn)發(fā)。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)中心,其特征在于,所述接入交換機(jī)還用于,預(yù)留預(yù)設(shè)數(shù)量個(gè)高速上行接口,用于保證所述接入交換機(jī)至匯聚/核心交換機(jī)的網(wǎng)絡(luò)速度;將剩余的高速端口優(yōu)先分配給所述存儲(chǔ)服務(wù)器。
6.根據(jù)權(quán)利要求4或5所述的數(shù)據(jù)中心,其特征在于,所述控制器如權(quán)利要求1~3所述。
7.一種數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)處理的方法,其特征在于,包括:服務(wù)器依據(jù)自身支持的協(xié)議生成相應(yīng)的數(shù)據(jù)包; 接收到數(shù)據(jù)包的交換機(jī)確定數(shù)據(jù)包為所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,網(wǎng)絡(luò)控制器根據(jù)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型,生成轉(zhuǎn)發(fā)路徑; 數(shù)據(jù)包所屬數(shù)據(jù)流中的其他數(shù)據(jù)包采用生成的轉(zhuǎn)發(fā)路徑進(jìn)行轉(zhuǎn)發(fā)。
8.根據(jù)權(quán)利要求7所述的方法,其特征在于,所述確定數(shù)據(jù)包是否為其所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包包括: 根據(jù)所述數(shù)據(jù)包的表示端口類(lèi)型信息的字段,匹配交換機(jī)中的流表項(xiàng),如果在交換機(jī)的流表中不存在相關(guān)的匹配信息,則確定所述數(shù)據(jù)包是所屬的數(shù)據(jù)流中的第一個(gè)數(shù)據(jù)包,否則所述數(shù)據(jù)包不是第一數(shù)據(jù)包。
9.根據(jù)權(quán)利要求7或8所述的方法,其特征在于,所述網(wǎng)絡(luò)控制器根據(jù)數(shù)據(jù)包轉(zhuǎn)發(fā)端口的類(lèi)型,生成轉(zhuǎn)發(fā)路徑之前,該方法還包括: 所述交換機(jī)根據(jù)接收數(shù)據(jù)包的端口的類(lèi)型生成執(zhí)行相應(yīng)的策略,在數(shù)據(jù)流來(lái)自高速的轉(zhuǎn)發(fā)端口時(shí),將該數(shù)據(jù)流標(biāo)示為存儲(chǔ)流,上報(bào)給所述網(wǎng)絡(luò)控制器;所述控制器根據(jù)約束最短路由優(yōu)先CSPF算法為該數(shù)據(jù)流規(guī)劃路徑。
【文檔編號(hào)】H04L12/801GK103986663SQ201410192914
【公開(kāi)日】2014年8月13日 申請(qǐng)日期:2014年5月8日 優(yōu)先權(quán)日:2014年5月8日
【發(fā)明者】王淑玲, 張?jiān)朴? 房秉毅 申請(qǐng)人:中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
平邑县| 威远县| 康平县| 获嘉县| 芦山县| 景洪市| 青冈县| 明水县| 浠水县| 名山县| 张掖市| 宜丰县| 安顺市| 永仁县| 玉田县| 罗城| 彩票| 澎湖县| 博湖县| 庆元县| 怀来县| 昆明市| 郓城县| 高碑店市| 拜城县| 儋州市| 嘉峪关市| 曲周县| 福鼎市| 达日县| 黄大仙区| 河南省| 桦南县| 晴隆县| 和平县| 象州县| 岱山县| 体育| 文山县| 连平县| 长宁县|