欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

網(wǎng)絡設備冗余化系統(tǒng)、控制裝置、網(wǎng)絡設備冗余化方法及程序的制作方法

文檔序號:7792312閱讀:185來源:國知局
網(wǎng)絡設備冗余化系統(tǒng)、控制裝置、網(wǎng)絡設備冗余化方法及程序的制作方法
【專利摘要】實現(xiàn)使用了兩個不同的機型的網(wǎng)絡設備的冗余結構中的狀態(tài)性的失效轉移。網(wǎng)絡設備冗余化系統(tǒng)包括:第一開關,配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級;第二開關,配置在所述兩個不同的機型的網(wǎng)絡設備的后級;以及控制裝置,包括基于從所述第一開關發(fā)送的分組的頭信息和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組的頭信息,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則的轉換規(guī)則管理部,在切換到所述備用系統(tǒng)的網(wǎng)絡設備時,基于所述頭轉換規(guī)則,對所述第二開關指示頭改寫,使得成為與所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備相同的輸出分組。
【專利說明】網(wǎng)絡設備冗余化系統(tǒng)、控制裝置、網(wǎng)絡設備冗余化方法及程序

【技術領域】
[0001][關于關聯(lián)申請的記載]
[0002]本發(fā)明基于日本專利申請:特愿2012 — 079953號(2012年3月30日申請)的優(yōu)先權主張,該申請的全部記載內(nèi)容通過引用而編入記載到本申請中。
[0003]本發(fā)明涉及網(wǎng)絡設備冗余化系統(tǒng)、控制裝置、網(wǎng)絡設備冗余化方法及程序,尤其,涉及配置了兩個不同的機型的網(wǎng)絡設備的網(wǎng)絡設備冗余化系統(tǒng)、控制裝置、網(wǎng)絡設備冗余化方法及程序。

【背景技術】
[0004]在專利文獻I中,公開了并列配置主路由器和備份路由器的結構。根據(jù)該公報,記載了在并列配置的路由器的前級的共享集線器中復制分組,發(fā)送到主路由器和備份路由器的雙方,主路由器轉發(fā)分組,備份路由器丟棄分組,從而主路由器和備份路由器間不進行通信就能夠將狀態(tài)同期。
[0005]在專利文獻2中,公開了具有如下結構的分組轉發(fā)裝置:在裝置內(nèi)復制分組,并轉發(fā)到現(xiàn)用系統(tǒng)和待機系的雙方的路徑控制模塊而使其執(zhí)行路徑控制處理,根據(jù)來自待機系模塊的內(nèi)部控制分組的接收,判定待機系模塊的狀態(tài)。
[0006]在非專利文獻I中,提出了如下方式:通過對分組進行二重處理而將狀態(tài)冗余化,從而能夠降低狀態(tài)交換的開銷。
[0007]非專利文獻2、3是涉及被稱為打開流(OpenFlow)的集中控制型的網(wǎng)絡的文獻。
[0008]現(xiàn)有技術文獻
[0009]專利文獻
[0010]專利文獻1:特開2007 - 208502號公報
[0011]專利文獻2:特開2005 - 303501號公報
[0012]非專利文獻
[0013]非專利文獻1:狩野秀一、鈴木一哉、地引昌弘、“路由器簇中的二重分組處理冗余方式(互聯(lián)網(wǎng)及普通)(>一夕H '夕!二杉(少3 二重A^卜処理冗長方式(4 >夕一才、7卜及& 一般))”、電子信息通信學會技術研究報告、ΙΑ、互聯(lián)網(wǎng)結構、104(377)、21-26、2004 - 10 - 21
[0014]非專利文獻2:NickMcKeown外7名、“OpenFlow:Enabling Innovat1n in CampusNetworks”、[online]、[平成 24 (2012)年2月 14 日檢索]、互聯(lián)網(wǎng)(URL: http: / / www.0penflow.0rg/documents/openflow-wp-latest.pdf)
[0015]非專利文獻3: ^OpenFlow Switch Specificat1n,?Vers1nl.1.0Implemented(ffire Protocol0x02)、[online]、[平成 24(2012)年 2 月 14 日檢索]、互聯(lián)網(wǎng)〈URL:http://www.0penflow.0rg/documents/openflow-spec-vl.1.0.pdf)


【發(fā)明內(nèi)容】

[0016]發(fā)明要解決的課題
[0017]以下的分析是由本發(fā)明所提供的。在多個虛擬網(wǎng)絡中共享物理網(wǎng)絡資源的情況下,一個網(wǎng)絡的故障會對多個虛擬網(wǎng)絡帶來影響。鑒于這樣的事態(tài),通常需要對所有網(wǎng)絡設備準備現(xiàn)用系統(tǒng)和備用系統(tǒng)的兩個以上的系統(tǒng)而進行冗余化。
[0018]但是,在對NAT (Network Address Translat1n,網(wǎng)絡地址轉換)或 NAPT (NetworkAddress Port Translat1n,網(wǎng)絡地址端口轉換)、LB (Load Balancer,負載均衡器)等的、伴隨著分組頭(以后,簡稱為“頭”)的轉換(以后,稱為“頭轉換”)的網(wǎng)絡設備(以后,簡稱為“設備”或者“AP”)進行冗余化的情況下,根據(jù)服務,需要實現(xiàn)狀態(tài)性的失效轉移。這里,狀態(tài)性的失效轉移是指,即使在存在會話的期間發(fā)生現(xiàn)用系統(tǒng)(或稱為“ACT”。相反地,備用系統(tǒng)稱為“SBY”。)的設備的切換(以后,稱為“系統(tǒng)切換”),這些會話也能夠繼續(xù)的失效轉移。此時,用戶必須將具有狀態(tài)性的冗余化功能的同機型的設備準備2臺以上,并且將它們緊密連接。其理由在于,由于這些設備進行的頭的轉換結果(以后,稱為“轉換后頭”)因每個裝置而不同,所以需要在ACT和SBY中交換轉換信息而共享,其共享方法因每個廠家或裝置而不同。其結果,這個制約損傷網(wǎng)絡結構和物理資源的分配的靈活性。
[0019]在這一點上,在專利文獻1、2及非專利文獻I的技術中,存在需要各個路由器的改造,不能直接使用在各供應商銷售的路由器的問題點。
[0020]本發(fā)明的目的在于,提供一種能夠貢獻于使用了兩個不同的機型的網(wǎng)絡設備的狀態(tài)性的失效轉移的實現(xiàn)的網(wǎng)絡設備冗余化系統(tǒng)、控制裝置、網(wǎng)絡設備冗余化方法及程序。[0021 ] 用于解決課題的技術方案
[0022]根據(jù)第一觀點,提供一種網(wǎng)絡設備冗余化系統(tǒng),包括:第一開關,配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級;第二開關,配置在所述兩個不同的機型的網(wǎng)絡設備的后級;以及控制裝置,包括基于從所述第一開關發(fā)送的分組的頭信息和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組的頭信息,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則的轉換規(guī)則管理部,在切換到所述備用系統(tǒng)的網(wǎng)絡設備時,基于所述頭轉換規(guī)則,對所述第二開關指示頭改寫,使得成為與所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備相同的輸出分組。
[0023]根據(jù)第二觀點,提供一種控制裝置,連接到配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級的第一開關以及配置在所述兩個不同的機型的網(wǎng)絡設備的后級的第二開關,所述控制裝置包括基于從所述第一開關發(fā)送的分組和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則的轉換規(guī)則管理部,所述控制裝置在切換到所述備用系統(tǒng)的網(wǎng)絡設備時,基于所述頭轉換規(guī)則,對所述第二開關指示頭改寫,使得成為與所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備相同的輸出分組。
[0024]根據(jù)第三觀點,提供一種網(wǎng)絡設備冗余化方法,用于連接到配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級的第一開關以及配置在所述兩個不同的機型的網(wǎng)絡設備的后級的第二開關的控制裝置,該網(wǎng)絡設備冗余化方法包括:基于從所述第一開關發(fā)送的分組的頭信息和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組的頭信息,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則的步驟;以及在從所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備切換到所述備用系統(tǒng)的網(wǎng)絡設備時,基于所述頭轉換規(guī)則,對所述第二開關指示與所述第一開關相同的頭改寫的步驟。本方法與對開關進行控制的控制裝置等的特定的機械有關。
[0025]根據(jù)第四觀點,提供一種程序,使在連接到配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級的第一開關以及配置在所述兩個不同的機型的網(wǎng)絡設備的后級的第二開關的控制裝置中裝配的計算機執(zhí)行:基于從所述第一開關發(fā)送的分組的頭信息和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組的頭信息,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則的處理;以及在從所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備切換到所述備用系統(tǒng)的網(wǎng)絡設備時,基于所述頭轉換規(guī)則,對所述第二開關指示與所述第一開關相同的頭改寫的處理。另外,該程序能夠記錄在計算機能夠讀取的(非瞬時的)存儲介質中。S卩,本發(fā)明能夠作為計算機程序產(chǎn)品而具體實現(xiàn)。
[0026]發(fā)明效果
[0027]根據(jù)本發(fā)明,能夠以使用了兩個不同的機型的網(wǎng)絡設備的冗余結構,對狀態(tài)性的失效轉移的實現(xiàn)產(chǎn)生貢獻。

【專利附圖】

【附圖說明】
[0028]圖1是表示本發(fā)明的一實施方式的結構的圖。
[0029]圖2是表示本發(fā)明的第一實施方式的網(wǎng)絡設備冗余化系統(tǒng)的結構的圖。
[0030]圖3是圖2的各裝置的MAC地址和IP地址的對應表。
[0031]圖4是在本發(fā)明的第一實施方式的控制裝置中保持的冗余結構管理表的例。
[0032]圖5是在本發(fā)明的第一實施方式的控制裝置中保持的頭轉換表的例。
[0033]圖6是在本發(fā)明的第一實施方式的第一開關(前級開關)中設定的流條目(控制信息)的例。
[0034]圖7是在本發(fā)明的第一實施方式的第二開關(后級開關)中設定的流條目(控制信息)的例。
[0035]圖8是本發(fā)明的第一實施方式中的分組轉換的一例(封裝)。
[0036]圖9是本發(fā)明的第一實施方式中的分組轉換的另一例(頭嵌入)。
[0037]圖10是表示了本發(fā)明的第一實施方式的動作(初始設定)的流程圖。
[0038]圖11是表示了本發(fā)明的第一實施方式的一系列的動作(CLl的ARP?ARP響應為止)的時序圖。
[0039]圖12是表示了本發(fā)明的第一實施方式的一系列的動作(CLl的分組發(fā)送?SVl到達為止)的時序圖。
[0040]圖13是表示了本發(fā)明的第一實施方式的一系列的動作(SVl的ARP?ARP響應為止)的時序圖。
[0041]圖14是表示了本發(fā)明的第一實施方式的一系列的動作(SVl的分組發(fā)送?CLl到達為止)的時序圖。
[0042]圖15是表示了本發(fā)明的第一實施方式的動作(NAT表轉換)的流程圖。
[0043]圖16是AP2 (系統(tǒng)2)通過現(xiàn)用系統(tǒng)來動作的狀態(tài)的冗余結構管理表的例。
[0044]圖17是AP2(系統(tǒng)2)通過現(xiàn)用系統(tǒng)來動作的狀態(tài)下在第一開關(前級開關)中設定的流條目(控制信息)的例。
[0045]圖18是AP2(系統(tǒng)2)通過現(xiàn)用系統(tǒng)來動作的狀態(tài)下在第二開關(后級開關)中設定的流條目(控制信息)的例。

【具體實施方式】
[0046]首先,參照【專利附圖】

【附圖說明】本發(fā)明的一實施方式的概要。另外,在該概要中附加的附圖參考標號是作為用于幫助理解的一例而為方便而對各元素附加的,并不意圖將本發(fā)明限定于圖示的方式。
[0047]如圖1所示,本發(fā)明在其一個實施方式中,能夠通過包括配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備20、21的前級的第一開關30、配置在所述兩個不同的機型的網(wǎng)絡設備20、21的后級的第二開關31、對所述第一、第二開關30、31進行控制的控制裝置40的結構來實現(xiàn)。
[0048]更具體而言,控制裝置40包括轉換規(guī)則管理部,該轉換規(guī)則管理部基于從第一開關30發(fā)送的分組的頭信息和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在第二開關31中接收到的分組的頭信息,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備20的頭轉換規(guī)則。并且,控制裝置40在從現(xiàn)用系統(tǒng)切換到備用系統(tǒng)的網(wǎng)絡設備21時,基于所述頭轉換規(guī)則,對第二開關31指示頭改寫,使得成為與所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備20相同的輸出分組。
[0049]以上,能夠實現(xiàn)在不同的設備間的狀態(tài)性的失效轉移。另外,根據(jù)上述結構,不需要對于設備的改造,此外,設備20、21只要分別具有同種頭轉換的功能即可,廠家或機型也可以不同。
[0050][第一實施方式]
[0051]參照附圖詳細說明本發(fā)明的第一實施方式。以下,作為設備,舉出對進行半NAT的負載均衡器(以后,稱為“LB”)進行冗余化的例。另外,本發(fā)明并不限定于該實施方式,除此之外在進行隨著頭轉換的設備的冗余化時能夠應用。
[0052]圖2是表示本發(fā)明的第一實施方式的網(wǎng)絡設備冗余化系統(tǒng)的結構的圖。參照圖2,表示了包括并列配置的設備(AP) 120、121、配置在這些AP120、121的前級的第一開關110、配置在這些AP120U21的后級的第二開關111、對第一、第二開關110、111進行控制的控制裝置140的結構。
[0053]在第一開關110的端口 p0中,連接有客戶端CLl。在第一開關110的端口 pi中,連接有在初始狀態(tài)中通過現(xiàn)用系統(tǒng)來動作的設備(AP) 120,在端口 p2中,連接有在初始狀態(tài)中通過備用系統(tǒng)來動作的設備(AP) 121。同樣地,在第二開關111的端口 pi中,連接有在初始狀態(tài)中通過現(xiàn)用系統(tǒng)來動作的設備(API) 120,在端口 p2中,連接有在初始狀態(tài)中通過備用系統(tǒng)來動作的設備(AP2)121。此外,在第二開關111的端口 p0中,經(jīng)由開關112連接有服務器SVl?SV3。另外,設備(AP) 120,121分別在內(nèi)部保持NAT表(相當于地址轉換表)O
[0054]控制裝置140包括路徑控制部141和轉換規(guī)則管理部142,路徑控制部141具有學習MAC(Media Access Control,媒體接入控制)地址和端口的關系的功能、如圖3所示那樣學習IP(Internet Protocol,互聯(lián)網(wǎng)協(xié)議)地址和MAC地址的關系的功能或在第一、第二開關中設定流條目(控制信息)的功能。
[0055]此外,控制裝置140的轉換規(guī)則管理部142保持用于對進行了冗余化的設備的結構及狀態(tài)進行管理的冗余結構管理表、和用于對組成冗余結構的各系統(tǒng)以流為單位進行的頭轉換內(nèi)容進行管理的頭轉換表。控制裝置140的轉換規(guī)則管理部142在從現(xiàn)用系統(tǒng)切換到備用系統(tǒng)的設備121時,參照所述頭轉換表,對配置在這些設備的后級的第二開關111指示頭改寫,使得成為與現(xiàn)用系統(tǒng)的設備120相同的輸出分組。
[0056]圖4是在轉換規(guī)則管理部142中保持的冗余結構管理表的例。在圖4的例中,能夠與用于確定組成冗余結構的設備的簇ID(以后,稱為“CLID”)對應地存儲設定了冗余結構的設備和開關的連接信息(swl表示第一開關的ID,sw2表示第二開關的ID)、作為現(xiàn)用系統(tǒng)而動作的系統(tǒng)的信息、設備的類別信息、表示在湊齊了 ACT和SBY的雙方的頭轉換規(guī)則之后是否也繼續(xù)賦予轉換前頭的處理的繼續(xù)標記、對在轉換前頭中成為用于將某一分組串當作相同的流所需的關鍵的字段進行管理的關鍵字段。
[0057]圖5是在轉換規(guī)則管理部142中保持的頭轉換表的例。在圖5的例中,能夠與CLID對應地存儲轉換前的頭的信息(即,經(jīng)由第二開關111獲得的從第一開關110發(fā)送的分組的頭信息)、在設備120、121中分別進行了轉換的轉換后的頭信息(即,第二開關111接收到的分組的頭信息)。另外,在包括圖4、圖5的以下的說明中,dl_type表示上層的協(xié)議類型,dl_src表示發(fā)送源MAC地址,dl_dst表示發(fā)送目標MAC地址。此夕卜,nw_src表示發(fā)送源IP地址,nw_dst表示發(fā)送目標IP地址。此外,tp_src表示發(fā)送源L4端口號,tp_dst表示發(fā)送目標L4端口號。
[0058]第一、第二開關110、111分別包括根據(jù)從上述控制裝置140的路徑控制部141設定的流條目(控制信息)來動作的分組處理部130、131。此外,第一、第二開關110、111包括存儲流條目(控制信息)的控制信息存儲部(省略圖示)。
[0059]圖6是在第一開關110中設定的流條目(控制信息)的例。在圖6的例中,越是在上位中存儲的流條目(字段編號的值越大),作為優(yōu)先級越高的流條目來處理。流條目(控制信息)構成為將對流進行識別的匹配條件(match)和對該流進行的動作(act1n)建立對應。例如,圖6的編號103的流條目表示在從端口 p1、即設備120接收到發(fā)送源IP地址為VIP_L(設備的輸入側的虛擬IP地址)、目的地IP地址為IP_CL1 (客戶端CLl的IP地址)的IP分組的情況下,應轉發(fā)給端口 PO、即客戶端CU。另外,圖6中的表示通配符。例如,圖6的編號O的流條目全部設定了因此,第一開關110在接收到具有對上位的流條目的哪一個都不適合的頭的分組的情況下,對控制裝置140發(fā)送分組??刂蒲b置140的路徑控制部141若接收到所述分組,則分析其內(nèi)容,進行路徑的計算等,在第一開關110 (若需要也在第二開關112中)中設定適當?shù)牧鳁l目。
[0060]此外,在圖6的例中,在從端口 PO、即客戶端CLl接收到目的地IP地址為IP_CLl (客戶端CLl的IP地址)、發(fā)送源IP地址為IP_SV1 (服務器SVl的IP地址)的IP分組的情況下,將改寫了其目的地MAC地址等的IP分組,分別設定從端口 p1、p2發(fā)送的流條目(參照編號104的流條目)。此外,在從客戶端CLl接收到ARP (Address Resolut1nProtocol,地址分辨協(xié)議)分組的情況下,也分別設定從端口 pl、p2發(fā)送的流條目(參照編號100的流條目)。
[0061]圖7是在第二開關111中設定的流條目(控制信息)的例。例如,圖7的編號104的流條目在從端口 PO、即開關112通過IP分組來接收到發(fā)送源IP地址為VIP_L (設備的輸入側的虛擬IP地址)、目的地IP地址為IP_CL1 (客戶端CLl的IP地址)的分組的情況下,分別將頭的目的地MAC地址改寫為設備的連接端口的MAC地址的基礎上,設定從端口 pl、p2發(fā)送的流條目(參照編號104的流條目;關于要發(fā)送到設備121的分組,還改寫發(fā)送源MAC地址、發(fā)送源IP地址。)。此外,在圖7的例中,如上所述,關于在第一開關110中附加轉換前頭,且經(jīng)由設備120而來的分組,在除去了轉換前頭的基礎上,設定要轉發(fā)到開關111的流條目(參照編號101的流條目)。另一方面,關于在第一開關110中附加轉換前頭且經(jīng)由備用系統(tǒng)的設備121而來的分組,設定指示丟棄的流條目(參照編號100的流條目)。此夕卜,在圖7中,也與圖6相同地,設定全部設定了通配符的流條目(參照編號O的流條目)。因此,第二開關111在接收到具有對上位的流條目的哪一個都不適合的頭的分組的情況下,對控制裝置140發(fā)送分組。
[0062]如上述分組處理部130、131還能夠作為通過各開關110、111上的CPU(CentralProcessing Unit,中央處理單元)來動作的程序而安裝,或者作為進行特定的處理的ASIC (Applicat1n Specific Integrated Circuit,專用集成電路)而實現(xiàn)。此外,由于上述基本動作與非專利文獻1、2的打開流開關相同,所以還能夠使用按照非專利文獻2的方法來構成的開關。
[0063]這里,作為圖6、圖7中的動作,說明在設定了頭賦予、頭刪除時的具體的頭賦予(刪除)的方法。在這樣的頭賦予(刪除)的方法中,例如舉出如下的方式。如圖8所述,第一個方式是通過相同的分組頭對分組頭進行封裝的方式。在圖8的例中,為了識別對分組是否賦予了轉換前頭,在IP頭的可選字段(Opt1ns)中,設置了表示附加轉換前頭的標記。
[0064]如圖9所述,第兩個方式是在IP頭的可選字段(Opt1ns)內(nèi)存儲頭的方式。圖9的例中,也設置了用于識別是否賦予了轉換前頭的賦予標記。另外,在圖8、圖9的例中,利用了 IP頭的可選字段(Opt1ns),但也可以利用TCP頭的可選字段(Opt1ns)。此外,在圖
8、圖9的例中,保存了 L2?L4的頭,但也可以不需要保存全部頭,在頭中只保存需要的字段。
[0065]接著,參照附圖詳細說明本實施方式的動作。
[0066][初始設定]
[0067]首先,說明對在圖2中表示的控制裝置140或第一、第二開關110、111進行的初始設定。圖10是表示了本發(fā)明的第一實施方式的動作(初始設定)的流程圖。以下,將第一開關110稱為前級開關、將第二開關111稱為后級開關來說明。
[0068]如圖10所示,操作員在冗余結構管理表中,注冊簇ID(CLID)、設定了冗余結構的設備和前后級的開關的連接信息、作為現(xiàn)用系統(tǒng)來動作的系統(tǒng)的信息、設備的類別信息、繼續(xù)標記、關鍵字段(步驟S100)。
[0069]此時,繼續(xù)標記或關鍵字段既可以手動輸入,也可以自動輸入。例如,由于設備類別為半NAT (DNAT),所以系統(tǒng)自動地判定為例如繼續(xù)標記為“否(No) ”、關鍵字段為nw_src。這里,在通過設備進行的分組頭的轉換,在設備的前后不能唯一地識別流信息的情況下,繼續(xù)標記必須設為“是(Yes)”。例如,在設備的類別如圖4所示那樣不是半NAT而是全NAT的情況下,發(fā)送源IP地址和目的地IP地址都發(fā)生轉換,所以在設備的前后不能識別流。在這樣的情況下,通過將繼續(xù)標記設定為“是”,繼續(xù)在前級開關(第一開關110)中的轉換前頭信息的賦予和在后級開關(第二開關111)中的轉換前頭信息的除去,控制裝置能夠識別流。另外,在全NAT時的關鍵字段成為nw_src、nw_dst,在NAPT時tp_src、tp_dst也加入條件。
[0070]以下,在本實施方式中,設為操作員作為繼續(xù)標記而設定為“是(Yes)”、將關鍵字段手動設定為nw_SrC。另外,在繼續(xù)標記為“否(No)”的情況下,在頭轉換表中湊齊了 ACT和SBY的雙方的轉換后頭信息的時刻,控制裝置140對分組處理部130指示轉換前頭的賦予的停止(指示圖6的編號102的流條目的刪除即可)。在轉換前頭的賦予中,前級開關(第一開關110)將前述的IP頭內(nèi)的賦予標記(參照圖8、圖9)設為打開(0N),在后級開關(第二開關111)中進行在打開(ON)時除去轉換前頭信息的處理。
[0071]接著,在冗余結構管理表中注冊了條目的階段,控制裝置140基于這些信息,在前級開關(第一開關110)的流表中設定丟棄來自SBY的分組的流條目編號I。此外,控制裝置140在后級開關(第二開關111)的流表中,設定丟棄來自SBY的ARP分組的流條目編號
I。另外,設為前后級開關的編號O的流條目在控制裝置和這些開關連接的階段被設定。
[0072]接著,說明在上述初始設定的完成后能夠實施的分組轉發(fā)處理。
[0073][分組轉發(fā)]
[0074]圖11?圖14是表示了本發(fā)明的第一實施方式的一系列的動作的時序圖。如圖11所示,客戶端CLl在通信開始時,向VIP_L (設備的輸入側的虛擬IP地址)發(fā)送ARP請求分組(步驟Si I)。
[0075]前級開關(第一開關110)從分組處理部130內(nèi)的流表(以后,簡稱為“流表”)中檢索具有適合接收到的ARP請求分組的匹配條件的條目。這里,由于圖6的編號O的流條目命中(hit),所以前級開關(第一開關110)根據(jù)其動作,對控制裝置140轉發(fā)ARP分組(以下,將從開關向控制裝置的分組轉發(fā)處理(流條目的設定請求處理)稱為“分組輸入(Packet In) ”)(步驟 sl2)。
[0076]控制裝置140根據(jù)冗余結構管理表的連接信息和接收分組的頭,判定為分組是對于設備的VIP_L的ARP請求,在前級開關(第一開關110)中設定將ARP分組發(fā)送到AP120和AP121的流條目。這里,設定圖6的編號100的流條目。接著,控制裝置140從前級開關(第一開關110)的端口 pl、p2分別對設備AP120和AP121進行分組發(fā)送請求,使前級開關(第一開關110)發(fā)送分組(以下,將該處理稱為“分組輸出(Packet Out) ”)(步驟sl3)。
[0077]設備AP120、AP121獲取ARP分組,并通過ARP響應分組來發(fā)回對于VIP_L的MAC地址(步驟sl4)。
[0078]前級開關(第一開關110)根據(jù)圖6的編號I的流條目,丟棄從AP121獲取的ARP響應(步驟sl5)。
[0079]另一方面,如級開關(第一開關110)根據(jù)圖6的編號O的流條目,將從AP120獲取的ARP響應發(fā)送到控制裝置140 (步驟s 16)。
[0080]控制裝置140的路徑控制部141判定為接收到的分組是來自設備的ARP響應,設定輸出到成為其發(fā)送目標的前級開關(第一開關110)的端口的流條目。這里,由于發(fā)送目標是CL1,所以輸出目標端口成為PO,設定圖6的編號101的流條目。并且,控制裝置140使從前級開關(第一開關110)的端口 p0進行分組輸出(步驟sl7)??蛻舳薈Ll獲取ARP響應(步驟s 18)。[0081 ] 如圖12所示,獲取了所述ARP響應的客戶端CLl向VIP_L發(fā)送IP分組(步驟sl9)。
[0082]根據(jù)編號O的流條目,前級開關(第一開關110)對控制裝置140發(fā)送所接收的IP分組(步驟s20)。
[0083]控制裝置140判定為接收到的分組是向設備的IP分組,在前級開關(第一開關
110)中設定賦予轉換前頭,將目的地MAC地址轉換為用于各個設備的地址,并發(fā)送到AP120和AP121的流條目。進一步,控制裝置140使前級開關(第一開關110)對分組賦予轉換前頭,并從端口 pl、P2進行分組輸出(步驟s21)。另外,由于冗余結構管理表的繼續(xù)標記為“是(Yes) ”,所以如圖6的編號102的流條目那樣,設定在動作中追加轉換前頭賦予處理的流條目。此外,由于繼續(xù)標記為“是(Yes)”,所以不利用在IP頭中的賦予標記。
[0084]設備AP120、AP121分別基于自身的NAT表,轉換接收分組并輸出(步驟s22)。
[0085]后級開關(第二開關111)從分組處理部131內(nèi)的流表中檢索具有適合接收到的分組的匹配條件的條目。這里,由于圖7的編號O的流條目命中,所以后級開關(第二開關
111)根據(jù)其動作,對控制裝置140轉發(fā)接收分組(步驟s23a、s23s)。
[0086]控制裝置140參照冗余結構管理表,根據(jù)接收分組的輸入端口信息(inport)來判定來自后級開關(第二開關111)的接收分組是來自ACT的還是來自SBY的,并基于此來注冊頭轉換表的條目。
[0087]控制裝置140在根據(jù)來自ACT的接收分組而在頭轉換表中注冊了條目的情況下,對后級開關(第二開關111)設定使從端口 PO輸出后續(xù)分組的流條目。另外,此時,在冗余結構管理表的繼續(xù)標記為“是(Yes) ”的情況下,如圖7的編號101的流條目所示,控制裝置140追加轉換前頭的除去動作。之后,控制裝置140除去轉換前頭,使后級開關(第二開關111)從端口 PO進行分組輸出(步驟s24a)。
[0088]另一方面,在根據(jù)來自SBY的接收分組而在頭轉換規(guī)則中注冊了條目的情況下,控制裝置140設定使后續(xù)分組丟棄的流條目,且丟棄該分組(步驟s24s)。
[0089]以上的結果,在SVl中接收到經(jīng)由AP120而被轉發(fā)的分組(步驟s25a)。
[0090]接著,如圖13所示,接收到所述分組的SVl在發(fā)送向IP_CL1的響應分組時,對作為默認GW的VIP_R發(fā)送ARP請求分組(步驟s30)。
[0091]后級開關(第二開關111)從分組處理部131內(nèi)的流表中檢索具有適合接收到的ARP分組的匹配條件的條目。這里,由于圖7的編號O的流條目命中,所以后級開關(第二開關111)根據(jù)其動作,對控制裝置140轉發(fā)ARP分組(步驟s31)。
[0092]控制裝置140根據(jù)冗余結構管理表的連接信息和接收分組的頭,判定為分組是對于設備的VIP_I^^ARP請求,在后級開關(第二開關111)中設定將ARP分組發(fā)送到AP120和AP121的流條目。這里,設定圖7的編號102的流條目。接著,控制裝置140使從后級開關(第二開關111)的端口 pl、p2分別向設備AP120和AP121發(fā)送分組(步驟s32)。
[0093]設備AP120、AP121獲取ARP分組,并通過ARP響應分組來發(fā)回對于VIP_R的MAC地址(步驟s33)。
[0094]后級開關(第二開關111)根據(jù)圖7的編號I的流條目,丟棄從AP121獲取的ARP響應(步驟s34)。
[0095]另一方面,后級開關(第_■開關111)根據(jù)圖7的編號O的流條目,將從AP120獲取的ARP響應發(fā)送到控制裝置140 (步驟s35)。
[0096]控制裝置140的路徑控制部141判定為接收到的分組是從設備向SVl的ARP響應,設定輸出到成為其發(fā)送目標的后級開關(第二開關111)的端口的流條目。這里,由于發(fā)送目標為SVl,所以輸出目標端口成為PO,設定圖7的編號103的流條目。并且,控制裝置140使從后級開關(第二開關111)的端口 PO進行分組輸出(步驟s36)。SVl獲取ARP響應。
[0097]如圖14所示,獲取了所述ARP響應的SVl向VIP_R發(fā)送IP分組(步驟s37)。
[0098]后級開關(第二開關111)根據(jù)編號O的流條目,對控制裝置140發(fā)送所接收的IP分組(步驟s38)。
[0099]控制裝置140判定為接收到的分組是向CLl的IP分組,設定為了將該IP分組發(fā)送到AP120而轉換目的地MAC地址(dl_dst)、為了發(fā)送到AP121而轉換目的地MAC地址(dl_dst)、發(fā)送源MAC地址(dl_src)、發(fā)送源IP地址(nw_src)之后發(fā)送的流條目。這里,設定圖7的編號104的流條目。進一步,控制裝置140在后級開關(第二開關111)中對接收分組進行同樣的處理之后,使從端口 pl、p2進行分組輸出(步驟s39)。進行這樣的發(fā)送到AP121時的轉換的理由在于,需要當作從AP121進行了通信的SV2返回的分組。這些信息能夠從路徑控制部141獲取。
[0100]設備AP120、AP121分別接收IP分組,基于自身的NAT表而轉換分組頭之后,輸出到前級開關(第一開關110)(步驟S40)。
[0101]前級開關(第一開關110)從分組處理部130內(nèi)的流表中檢索具有適合接收到的分組的匹配條件的條目。根據(jù)圖6的編號I的流條目,丟棄來自AP121的分組(步驟s41)。
[0102]另一方面,根據(jù)圖6的編號O的流條目,來自AP120的分組轉發(fā)到控制裝置140 (步驟 s42)。
[0103]控制裝置140判定為接收分組是來自AP120的折返分組,在前級開關(第一開關
110)中設定從輸出端口 PO輸出分組的流條目。這里,設定圖6的編號103的流條目。控制裝置140對前級開關(第一開關110)指示分組輸出(步驟s43)。
[0104]以上的結果,在CLl中接收到經(jīng)由AP120而被轉發(fā)的響應分組(步驟s44)。
[0105][NAT表的更新]
[0106]接著,說明在設備AP120、AP121中進行了 NAT表的更新時的處理。圖15是表示了本發(fā)明的第一實施方式的動作(NAT表轉換)的流程圖。
[0107]在進行了 NAT表的更新的情況下,通過它們的設備的分組的頭在前級開關(第一開關110)或者后級開關(第二開關111)的編號O的流條目中捕捉,并發(fā)送到控制裝置140。
[0108]這里,作為例子,說明關于從CLl向VIP_L發(fā)送的分組,作為現(xiàn)在ACT的系統(tǒng)I的AP120的NAT表發(fā)生更新,nw_dst從IP_SV1改寫為IP_SV3的情況。
[0109]此時,后級開關(第二開關111)若接收到根據(jù)新的NAT表的信息進行了頭轉換的分組,則根據(jù)編號O的流條目而對控制裝置140發(fā)送該分組(步驟S201)。
[0110]控制裝置140參照冗余結構管理表,確定接收分組是哪個設備輸出的分組。在該例中,由于后級開關(第二開關111)的SWID為SW2、輸入端口信息(inport)為pl,所以冗余結構管理表的CLID為I的條目符合。此外,該條目的關鍵字段信息為nw_src、接收分組的頭的nw_src字段的值為IP_CL1。根據(jù)這些結果,控制裝置140確定是頭轉換表的編號I的條目。接著,控制裝置140在頭轉換表的編號I的系統(tǒng)I的轉換后頭信息中,將nw_dst改寫為從接收分組的頭獲取的IP_SV3(步驟S202)。另外,在是從逆向發(fā)送的分組的情況下,作為nw_src的逆的nw_dst成為關鍵信息。此外,由于繼續(xù)標記為“是(Yes) ”,所以也可以基于轉換前頭來確定頭轉換表的條目。
[0111]接著,控制裝置140基于系統(tǒng)I的轉換后頭的改寫前后的信息,改寫后級開關(第二開關111)的流條目。首先,將圖7的編號101的流條目的匹配條件的nw_dst從IP_SV1改寫為IP_SV3,將編號104的流條目的匹配條件的nw_src從IP_SV1改寫為IP_SV3。之后,控制裝置140使后級開關(第二開關111)從端口 PO進行分組輸出(步驟S203)。
[0112]另外,上述例只不過是設備類別為半NAT,且從CLl向SVl的分組的一例,并不限定實施方式。
[0113][系統(tǒng)切換]
[0114]接著,說明在進行了 AP120、AP121的ACT、SBY的切換時的動作。在組成冗余結構的AP120和AP121的設備中,在AP120中產(chǎn)生了故障的情況下,控制裝置140獲取其通知。該方法中有SNMP (Simple Network Management Protocol,簡單網(wǎng)絡管理協(xié)議)的Trap或從設備接受信息、經(jīng)由設備來監(jiān)視分組或者基于心跳(heartbeat)的生存確認等的方法,但并不特別限定于這些方法。
[0115]控制裝置140根據(jù)所獲取的通知,參照冗余結構管理表,參照CLID為I的條目,將現(xiàn)在的ACT (現(xiàn)用系統(tǒng))變更為系統(tǒng)2,獲取系統(tǒng)I的連接端口和關鍵字段信息的nw_src。接著,控制裝置140參照頭轉換表,獲取CLID為1、現(xiàn)用系統(tǒng)字段為系統(tǒng)I的nw_src的一覽。在該例中,頭轉換表的編號I的條目符合。圖16是表示上述更新后的冗余結構管理表的圖,虛線表示發(fā)生變更的部位。
[0116]接著,控制裝置140關于所獲取的nw_SrC (該例中為IP_CL1),改寫關聯(lián)的后級開關(第二開關111)的流條目。具體而言,控制裝置140在后級開關(第二開關111)的流條目中確定匹配條件的nw_src為IP_CL1的編號100和編號101流條目(參照圖7),并將編號 100 的流條目的動作變更為 rewrite dl_dst = MAC_SV1>rewrite nw_dst = IP_SV1、output p0o此外,控制裝置140將編號101的流條目的動作變更為丟棄(drop)。
[0117]接著,控制裝置140關于對以前SBY的系統(tǒng)2的連接端口 p2丟棄ARP分組的編號I的流條目,將匹配條件的輸入端口信息(inport)變更為新SBY的連接端口 pl。此外,關于編號103的流條目,將匹配條件的輸入端口信息(inport)變更為新ACT的連接端口 p2。以上,后級開關(第二開關111)將與作為新ACT的AP121的通信分組(不轉換分組頭)進行轉發(fā),丟棄作為以前的ACT的AP120的通信分組。圖18是表示上述更新后的后級開關(第二開關111)的流條目的圖,虛線表示發(fā)生變更的部位。
[0118]接著,控制裝置140將在前級開關(第一開關110)的流條目中關聯(lián)的條目進行改寫(參照圖7)。具體而言,控制裝置140關于對以前ACT的系統(tǒng)I的連接端口 pl轉發(fā)ARP分組的編號101的流條目,將匹配條件的輸入端口信息(inport)變更為新ACT的連接端口P2。接著,控制裝置140關于對以前SBY的系統(tǒng)2的連接端口 p2丟棄ARP分組的編號I的流條目,將匹配條件的輸入端口信息(inport)變更為新SBY的連接端口 pl。進一步,控制裝置140關于從以前ACT向CLl轉發(fā)返回分組的編號103的流條目,將匹配條件的輸入端口信息(inport)變更為p2。圖17是表示上述更新后的前級開關(第一開關110)的流條目的圖,虛線表示發(fā)生變更的部位。
[0119]以上,前級開關(第一開關110)轉發(fā)與作為新ACT的AP121的通信分組(不轉換分組頭的同時),丟棄作為以前ACT的AP120的通信分組。
[0120]另外,在系統(tǒng)切換后切回系統(tǒng)的情況下,只要將上述順序逆向返回即可。
[0121]如以上所述,根據(jù)本實施方式,在后級開關(第二開關111)中吸收AP120系統(tǒng)和AP121系統(tǒng)的頭轉換的差分。其結果,即使ACT和SBY的設備是不同機型,也能夠實現(xiàn)狀態(tài)性的失效轉移。如本實施方式那樣,通過前級開關(第一開關110)和后級開關(第二開關
111)來夾住想要進行冗余化的設備,能夠實現(xiàn)不同機型間的狀態(tài)性的失效轉移,所以與設備機型選擇或配置有關的自由度增加,物理資源的分配的靈活性提高。
[0122]以上,說明了本發(fā)明的實施方式,但本發(fā)明并不限定于上述實施方式,在不脫離本發(fā)明的基本的技術思想的范圍中,能夠加入進一步的變形、置換、調(diào)整。例如,在上述實施方式中,說明了在前級開關(第一開關110)中連接客戶端CL1,在后級開關(第二開關111)中經(jīng)由開關112而連接服務器SVl?SV3的情況,但這些只是用于幫助本發(fā)明的理解的一例,并不限定于例示的方式。
[0123]另外,設為上述專利文獻及非專利文獻的各公開通過引用而編入本申請中。在本發(fā)明的全部公開(包括權利要求書的范圍)的框架內(nèi),能夠進一步基于其基本的技術思想,進行實施方式及實施例的變更、調(diào)整。此外,在本發(fā)明的權利要求書的范圍的框架內(nèi),能夠進行各種公開元素(包括各權利要求項的各元素、各實施方式及實施例的各元素、各附圖的各元素等)的多種組合及選擇。即,本發(fā)明當然包括根據(jù)包括權利要求書的范圍的全部公開、技術思想而本領域的技術人員能夠獲得的各種變形、修改。
[0124]此外,日語的單數(shù)和復數(shù)是相同形式,用單數(shù)來記載的用語也代表多個。
[0125]標號說明
[0126]20、21網(wǎng)絡設備
[0127]30第一開關
[0128]31第二開關
[0129]40控制裝置
[0130]110 第一開關
[0131]111 第二開關
[0132]112 開關
[0133]120、121 設備(AP)
[0134]130、131分組處理部
[0135]140控制裝置
[0136]141路徑控制部
[0137]142轉換規(guī)則管理部
[0138]p0、pl、p2 端口
[0139]CLl客戶端
[0140]SVl?SV3服務器
【權利要求】
1.一種網(wǎng)絡設備冗余化系統(tǒng),包括: 第一開關,配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級; 第二開關,配置在所述兩個不同的機型的網(wǎng)絡設備的后級;以及 控制裝置,包括轉換規(guī)則管理部,基于從所述第一開關發(fā)送的分組的頭信息和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組的頭信息,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則,在切換到所述備用系統(tǒng)的網(wǎng)絡設備時,所述控制裝置基于所述頭轉換規(guī)則,對所述第二開關指示頭改寫,使得成為與所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備相同的輸出分組。
2.—種網(wǎng)絡設備冗余化系統(tǒng), 所述第一開關、第二開關包括: 控制信息存儲部,存儲將用于與接收分組進行匹配的匹配條件和處理內(nèi)容建立對應的控制信息;以及 分組處理部,執(zhí)行處理內(nèi)容,該處理內(nèi)容由從所述控制信息存儲部中存儲的控制信息中、具有適合接收分組的匹配條件的控制信息確定, 所述控制裝置通過改寫所述第一開關、第二開關的控制信息存儲部的控制信息,獲取從所述第一開關發(fā)送的分組的頭信息和在所述第二開關中接收到的分組的頭信息。
3.如權利要求2所述的網(wǎng)絡設備冗余化系統(tǒng),其中, 在所述第一開關中設定發(fā)送分組的控制信息,所述分組能夠存儲所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的變更前后的頭信息, 在所述第二開關中設定轉發(fā)分組的控制信息,所述分組由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備改寫頭信息, 由此所述控制裝置學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則。
4.如權利要求2或3所述的網(wǎng)絡設備冗余化系統(tǒng),其中, 所述控制裝置使用所述控制信息對所述第一開關、第二開關指示頭改寫。
5.如權利要求1至4的任一項所述的網(wǎng)絡設備冗余化系統(tǒng),其中, 所述控制裝置基于來自所述第二開關的通知檢測地址轉換表有無更新,并更新在所述轉換規(guī)則管理部中保持的頭轉換規(guī)則,并且對所述第二開關指示頭改寫,使得成為與所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備相同的輸出分組。
6.如權利要求1至5的任一項所述的網(wǎng)絡設備冗余化系統(tǒng),其中, 所述網(wǎng)絡設備是NAT裝置、NAPT裝置、負載均衡器中的任一個。
7.—種控制裝置,其中, 連接到第一開關以及第二開關,該第一開關配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級,該第二開關配置在所述兩個不同的機型的網(wǎng)絡設備的后級, 所述控制裝置包括轉換規(guī)則管理部,基于從所述第一開關發(fā)送的分組和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則, 所述控制裝置在切換到所述備用系統(tǒng)的網(wǎng)絡設備時,基于所述頭轉換規(guī)則,對所述第二開關指示頭改寫,使得成為與所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備相同的輸出分組。
8.—種網(wǎng)絡設備冗余化方法,其中,包括以下步驟: 連接到第一開關以及第二開關的控制裝置基于從所述第一開關發(fā)送的分組的頭信息和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組的頭信息,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則,所述第一開關配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級,所述第二開關配置在所述兩個不同的機型的網(wǎng)絡設備的后級;以及 在從所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備切換到所述備用系統(tǒng)的網(wǎng)絡設備時,基于所述頭轉換規(guī)則對所述第二開關指示與所述第一開關相同的頭改寫。
9.一種程序,使連接到第一開關以及第二開關的控制裝置中裝配的計算機執(zhí)行后述的處理,所述第一開關配置在切換到現(xiàn)用系統(tǒng)和備用系統(tǒng)而運用的兩個不同的機型的網(wǎng)絡設備的前級,所述第二開關配置在所述兩個不同的機型的網(wǎng)絡設備的后級,所述處理是: 基于從所述第一開關發(fā)送的分組的頭信息和經(jīng)由所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備在所述第二開關中接收到的分組的頭信息,學習所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備的頭轉換規(guī)則;以及 在從所述現(xiàn)用系統(tǒng)的網(wǎng)絡設備切換到所述備用系統(tǒng)的網(wǎng)絡設備時,基于所述頭轉換規(guī)貝U,對所述第二開關指示與所述第一開關相同的頭改寫。
【文檔編號】H04L12/70GK104247342SQ201380017998
【公開日】2014年12月24日 申請日期:2013年3月29日 優(yōu)先權日:2012年3月30日
【發(fā)明者】森本昌治 申請人:日本電氣株式會社
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
卢氏县| 睢宁县| 靖西县| 盘锦市| 永新县| 巨鹿县| 扶绥县| 镇康县| 承德市| 涡阳县| 白山市| 盘山县| 泗阳县| 竹山县| 新宁县| 宁远县| 沁源县| 修武县| 大竹县| 北京市| 洪泽县| 寻乌县| 宁远县| 神池县| 大石桥市| 久治县| 三都| 凌源市| 江油市| 厦门市| 托克托县| 晋中市| 阳朔县| 平山县| 息烽县| 乐平市| 武平县| 怀安县| 康乐县| 阳信县| 和林格尔县|