欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

動態(tài)縮放云環(huán)境中的多級應(yīng)用的制作方法

文檔序號:6497859閱讀:147來源:國知局
動態(tài)縮放云環(huán)境中的多級應(yīng)用的制作方法
【專利摘要】在限定時間段內(nèi)確定多級應(yīng)用的預測工作負載。針對所預測的工作負載確定應(yīng)用容量的改變。針對所述應(yīng)用容量的變化動態(tài)選擇縮放策略,其中所述縮放策略包括垂直縮放和水平縮放。
【專利說明】動態(tài)縮放云環(huán)境中的多級應(yīng)用
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及云計算和與計算應(yīng)用,并且更具體而言涉及縮放(scale)云計算環(huán)境中的應(yīng)用。
【背景技術(shù)】
[0002]云計算通常稱之為基于諸如廣域網(wǎng)、英特網(wǎng)等計算網(wǎng)絡(luò)可訪問的基于服務(wù)器的計算資源。計算資源可以包括在被稱之為云服務(wù)器的遠程可訪問服務(wù)器上執(zhí)行的應(yīng)用、數(shù)據(jù)存儲等。在云環(huán)境中,所有處理和數(shù)據(jù)存儲都可以在云服務(wù)器以及相關(guān)聯(lián)存儲設(shè)備上進行。因此,云計算資源的用戶沒必要在本地存儲數(shù)據(jù)或執(zhí)行正被利用的應(yīng)用。
[0003]云計算資源通常易于受到適于用于給定要求或需要而影響,錄入通過提供附加處理或存儲資源。不過,由于置于云應(yīng)用上的需求可以隨時改變,因此有必要管理可獲得的資源。如果可獲得的資源對給定的需求不足時,云應(yīng)用的性能就可能受到損害(compromise)。相反,如果可獲得的云資源極大超出了該需求,則該資源可能就被浪費了,這導致了不必要的成本或損失了其中該資源可能已經(jīng)被應(yīng)用到其他需要的機會。對資源的需求可能非常迅速增加的爆發(fā)性活動,例如可能在幾分鐘的時間段內(nèi)或幾個小時的時間段內(nèi)增長可能是很多倍或數(shù)量級的,可能會對云資源的管理帶來許多挑戰(zhàn)。

【發(fā)明內(nèi)容】

[0004]在第一實施例中,一種縮放方法可以包括:通過計算設(shè)備,確定限定時間段內(nèi)多級應(yīng)用的預測工作負載??梢源_定所述預測工作負載的應(yīng)用容量的變化。針對所述應(yīng)用容量的變化動態(tài)選擇縮放策略。述縮放策略包括垂直縮放和水平縮放。
[0005]可以包括一個或多個下述特征。所述縮放策略包括實現(xiàn)多個執(zhí)行所述多級應(yīng)用的虛擬機。所述多個虛擬機的每一個具有通常等同地配置的資源分配。至少一個虛擬機實現(xiàn)為具有較低資源分配。如果所述應(yīng)用容量的變化小于所述具有較低資源分配的虛擬機的剩余容量,則選擇所述縮放策略可以包括垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配。如果所述應(yīng)用容量的變化大于所述具有較低資源分配的虛擬機的剩余容量,則選擇所述縮放策略可以包括垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配以及水平地縮放包括實現(xiàn)其資源分配低于所述通常等同地配置的資源分配的新虛擬機的應(yīng)用。
[0006]動態(tài)選擇縮放策略可以包括至少部分基于所預測工作負載連續(xù)選擇縮放策略。確定預測工作負載可以至少部分基于歷史工作負載需求。動態(tài)選擇縮放策略可以包括縮放與所述多級應(yīng)用的確定級相關(guān)聯(lián)的資源。
[0007]根據(jù)另一種實現(xiàn)方式,一種計算機程序產(chǎn)品,包括計算機可讀介質(zhì),其上存儲有多個指令。當這些指令在被處理器執(zhí)行時可使得處理器執(zhí)行包括確定限定時間段內(nèi)多級應(yīng)用的預測工作負載的一些操作。該指令還可以使得處理器確定所述預測工作負載的應(yīng)用容量的變化。可以針對所述應(yīng)用容量的變化動態(tài)選擇縮放策略,所述縮放策略包括垂直縮放和水平縮放。
[0008]可以包括一個或多個下述特征。所述縮放策略包括實現(xiàn)多個執(zhí)行所述多級應(yīng)用的虛擬機。所述多個虛擬機的每一個具有通常等同地配置的資源分配。至少一個虛擬機實現(xiàn)為具有較低資源分配。如果所述應(yīng)用容量的變化小于所述具有較低資源分配的虛擬機的剩余容量,則用于選擇所述縮放策略的指令能夠可以包括用于垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配的指令。如果所述應(yīng)用容量的變化大于所述具有較低資源分配的虛擬機的剩余容量,則用于選擇所述縮放策略指令可以包括用于垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配以及水平地縮放包括實現(xiàn)其資源分配低于所述通常等同地配置的資源分配的新虛擬機的應(yīng)用的指令。
[0009]用于動態(tài)選擇縮放策略的指令可以包括用于至少部分基于所預測工作負載連續(xù)選擇縮放策略的指令。確定預測工作負載可以至少部分基于歷史工作負載需求。用于動態(tài)選擇縮放策略的指令可以包括用于縮放與所述多級應(yīng)用的確定級相關(guān)聯(lián)的資源的指令。
[0010]根據(jù)本發(fā)明的另一個實現(xiàn)方式,一種系統(tǒng)可以包括處理器和與處理器連接的存儲器體系結(jié)構(gòu)。第一軟件模塊可由所述處理器和存儲器體系結(jié)構(gòu)執(zhí)行。該第一軟件模塊配置為確定限定時間段內(nèi)多級應(yīng)用的預測工作負載。第二軟件模塊可由所述處理器和存儲器體系結(jié)構(gòu)執(zhí)行。該第二軟件模塊配置為確定所述預測工作負載的應(yīng)用容量的變化。第三軟件模塊可由所述處理器和存儲器體系結(jié)構(gòu)執(zhí)行。該第三軟件模塊配置為針對所述應(yīng)用容量的變化動態(tài)選擇縮放策略,所述縮放策略包括垂直縮放和水平縮放。
[0011]可以包括一個或多個下述特征。所述縮放策略包括實現(xiàn)多個執(zhí)行所述多級應(yīng)用的虛擬機。所述多個虛擬機的每一個具有通常等同地配置的資源分配。至少一個虛擬機實現(xiàn)為具有較低資源分配。如果所述應(yīng)用容量的變化小于所述具有較低資源分配的虛擬機的剩余容量,則第三軟件模塊可被配置為垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配。如果所述應(yīng)用容量的變化大于所述具有較低資源分配的虛擬機的剩余容量,則第三軟件模塊可被配置為垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配以及水平地縮放包括實現(xiàn)其資源分配低于所述通常等同地配置的資源分配的新虛擬機的應(yīng)用。
[0012]第三軟件模塊可被配置為至少部分基于所預測工作負載連續(xù)選擇縮放策略。第一軟件模塊可被配置為至少部分基于歷史工作負載需求確定預測工作負載。第三軟件模塊可被配置為縮放與所述多級應(yīng)用的確定級相關(guān)聯(lián)的資源。
[0013]根據(jù)另一個實現(xiàn)方式,一種縮放方法包括通過計算設(shè)備,確定限定時間段內(nèi)多級應(yīng)用的預測工作負載。確定所述預測工作負載的應(yīng)用容量的變化。針對所述應(yīng)用容量的變化動態(tài)選擇縮放策略。所述縮放策略包括實現(xiàn)多個執(zhí)行所述多級應(yīng)用的虛擬機,其中所述多個虛擬機的每一個具有通常等同地配置的資源分配。所述縮放策略還可包括實現(xiàn)至少一個具有較低資源分配的虛擬機。
[0014]在下面的附圖和描述中給出了一個或多個實現(xiàn)方式的細節(jié)。通過該描述、附圖以及權(quán)利要求書將對其他特性更清楚。
【專利附圖】

【附圖說明】[0015]圖1示意性描繪了與云計算環(huán)境相連的縮放處理。
[0016]圖2是圖1的縮放處理所執(zhí)行的處理的流程圖。
[0017]圖3示意性描繪了與云計算環(huán)境相連的圖1的縮放處理。
[0018]圖4采用圖形描繪了物理服務(wù)器的使用率、資源浪費率以及SLA成本的違背(breach)。
【具體實施方式】
[0019]所屬【技術(shù)領(lǐng)域】的技術(shù)人員知道,本發(fā)明的各個方面可以實現(xiàn)為方法、系統(tǒng)或計算機程序產(chǎn)品。因此,本發(fā)明的各個方面可以具體實現(xiàn)為以下形式,即:完全的硬件實施方式、完全的軟件實施方式(包括固件、駐留軟件、微代碼等),或硬件和軟件方面結(jié)合的實施方式,這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。此外,在一些實施例中,本發(fā)明的各個方面還可以實現(xiàn)為在一個或多個計算機可用存儲介質(zhì)中的計算機程序產(chǎn)品的形式,該介質(zhì)中包含計算機可讀的程序代碼。
[0020]可以采用適當?shù)挠嬎銠C可用或者可讀介質(zhì)。計算機可讀介質(zhì)可以是計算機可讀信號介質(zhì)或者計算機可讀存儲介質(zhì)。計算機可用或者可讀存儲介質(zhì)(包括與計算機設(shè)備或客戶電子設(shè)備關(guān)聯(lián)的存儲設(shè)備)例如可以是——但不限于——電、磁、光、電磁、紅外線、或半導體的系統(tǒng)、裝置或器件,或者任意以上的組合。計算機可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個或多個導線的電連接、便攜式計算機盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPR0M或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件的組合。在本文件中,計算機可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì),該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。
[0021]計算機可讀的信號介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號,其中承載了計算機可讀的程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式,包括——但不限于——電磁信號、光信號或上述的任意合適的組合。計算機可讀的信號介質(zhì)還可以是計算機可讀存儲介質(zhì)以外的任何計算機可讀介質(zhì),該計算機可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。
[0022]計算機可讀介質(zhì)上包含的程序代碼可以用任何適當?shù)慕橘|(zhì)傳輸,包括一但不限于一無線、有線、光纜、RF等等,或者上述的任意合適的組合。
[0023]可以用面向?qū)ο蟪绦蛟O(shè)計語言來編寫用于執(zhí)行本發(fā)明操作的計算機程序代碼,諸如Java、Smalltalk、C++等。用于實施本發(fā)明的操作的計算機程序代碼還可以用常規(guī)的過程式程序設(shè)計語言編寫一諸如“C”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算機上執(zhí)行、部分地在用戶計算機上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算機上部分在遠程計算機上執(zhí)行、或者完全在遠程計算機或服務(wù)器上執(zhí)行。在涉及遠程計算機的情形中,遠程計算機可以通過局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶計算機,或者,可以連接到外部計算機(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。
[0024]下面將參照根據(jù)本發(fā)明實施例的方法、裝置(系統(tǒng))和計算機程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明。應(yīng)當理解,流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合,都可以由計算機程序指令實現(xiàn)。這些計算機程序指令可以提供給通用計算機、專用計算機或其它可編程數(shù)據(jù)處理裝置的處理器,從而生產(chǎn)出一種機器,使得這些計算機程序指令在通過計算機或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時,產(chǎn)生了實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的裝置。
[0025]也可以把這些計算機程序指令存儲在計算機可讀存儲中,這些指令使得計算機、其它可編程數(shù)據(jù)處理裝置、或其他設(shè)備以特定方式工作,從而,存儲在計算機可讀存儲中的指令就產(chǎn)生出包括實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的指令的制造品(article of manufacture)。
[0026]計算機程序指令也可以加載到計算機、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備上以便能夠在計算機、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備上執(zhí)行一系列操作步驟,從而產(chǎn)生即計算機實現(xiàn)的處理,使得在計算機或其他可編程數(shù)據(jù)處理裝置執(zhí)行的指令提供處理以便實現(xiàn)在流程圖和/或框圖的框中指定的功能/行為。
[0027]參見圖1,其中顯示了縮放處理10,其可以至少部分控制在云計算環(huán)境12中的資源分配。如圖所示,云環(huán)境12可以包括硬件資源14和軟件資源16。硬件資源14可以包括,但不限于,一個或多個服務(wù)器計算機(例如,服務(wù)器Si到sn)以及一個或多個存儲設(shè)備(例如,存儲設(shè)備dl到dn)。軟件資源16可以包括一個或多個基于云的應(yīng)用(例如,應(yīng)用al到an)。而且應(yīng)用al到an中的一個或多個可以包括多級(mult1-tier)應(yīng)用。正如所理解到的,多級應(yīng)用可以包括多個相互交互的模塊和/或組件,或者可以包括多個離散的交互應(yīng)用。例如,多級應(yīng)用可以包括用戶接口組件(例如,其可以生成和輸出由客戶Cl到Cn所瀏覽的顯示)、應(yīng)用組件(例如,其可以控制這些硬功的功能)、以及數(shù)據(jù)組件(例如其可以存儲和檢索被應(yīng)用組件所利用的信息)。多級應(yīng)用的其它實例可以包括具有不同功能的組件,并且因此前面的實例不應(yīng)被認為是對本公開的限定。
[0028]服務(wù)器Si到sn的實例(例如其可以包括一個或多個處理器和一個或多個存儲器架構(gòu)體系,未示出)可以包括,但不限于,刀片(blade)服務(wù)器(諸如IBMBladeCenterPS704Express)或其他服務(wù)器計算機。存儲設(shè)備dl到dn的實例可以包括但不限于硬盤驅(qū)動器、固態(tài)驅(qū)動器、光驅(qū)、隨機存取存儲器、只讀存儲器等等。服務(wù)器Si到sn每個都可以執(zhí)行適當?shù)牟僮飨到y(tǒng),諸如例如Red Hatv Linux'其可以存儲在存儲設(shè)備dl到dn中的一個或多個上。(Red Hat是Red Hat公司在美國、其他國家或兩者中的注冊商標,而Linux是Linus Torvalds在美國、其他國家或兩者中的注冊商標)
[0029]盡管沒有示出,但是云環(huán)境12可以包括附加的硬件和軟件,其可以使得硬件資源14和軟件資源16可以被一個或多個(客戶Cl到Cn)客戶機訪問。這種附加的硬件和軟件可以包括,但不限于,例如,切換器、橋接、萬絡(luò)服務(wù)器等,其可以使得客戶Cl到Cn能夠訪問硬件資源14和/或軟件資源16。此外,客戶Cl到Cn可以通過一個或多個網(wǎng)絡(luò)訪問云環(huán)境,所述一個或多個網(wǎng)絡(luò)包括,但不限于,英特網(wǎng)、局域網(wǎng)、廣域網(wǎng)或其他計算機網(wǎng)絡(luò)??蛻鬋l到Cn可以使用適當?shù)挠嬎阍O(shè)備訪問云計算環(huán)境12執(zhí)行各種軟件,該適當?shù)挠嬎阍O(shè)備包括,但不限于,臺式機、筆記本計算機、移動計算設(shè)備(例如,啟用數(shù)據(jù)的蜂窩電話、筆記本、個人數(shù)字助理等),該各種軟件諸如網(wǎng)絡(luò)瀏覽器或應(yīng)用專用軟件。
[0030]還是參見圖2,縮放處理10可以包括確定50限定時間段內(nèi)多級應(yīng)用的預測工作負載。縮放處理10還可以確定52用于預測工作負載的應(yīng)用容量的改變??s放處理10還可以動態(tài)選擇54用于所述應(yīng)用容量的變化的縮放策略。該縮放策略可以包括垂直縮放和水平縮放。
[0031]確定50限定時間段內(nèi)多級應(yīng)用的預測工作負載可以利用各種預測模型,例如其可能可以指出該限定時間段的工作負載。例如,該預測模型可以至少部分基于歷史工作負載需求。例如,對于至少一些基于云的應(yīng)用(例如應(yīng)用al)而言工作負載需求可能趨向于以爆發(fā)性需求出現(xiàn)可能是已知的,在該爆發(fā)性需求中,用于應(yīng)用al的工作負載需求在相當短的時間段內(nèi)可以按照多倍或甚至多個數(shù)量級地增加。例如,應(yīng)用al可以包括社交網(wǎng)絡(luò)應(yīng)用,其可以在工作日通常的末端看到爆發(fā)性需求。在這種實施例中,預測模型可以指出爆發(fā)性需求開始于一天的通常的具體時間。在其它實施例中,預測模型可以指出,例如,如果應(yīng)用al的工作負載需求在最近的十五分鐘內(nèi)已經(jīng)增加了 20%,則最終的工作負載需求很可能會在下一個小時上升800% (相對于初始的工作負載需求)。即,該預測模型可以包括至少部分基于工作負載需求的變化的速率的限定時間段內(nèi)的統(tǒng)計學可能最終工作負載需求。此外,至少部分基于該預測模型,可知曉在限定時間段內(nèi)對應(yīng)用al的統(tǒng)計學上的可能最終工作負載需求。將可以理解到可以利用各種附加/可替換的預測模型,并且因此并不應(yīng)將前面的實例認為是對本公開的限制。
[0032]還參見圖3,在一個實施例中,預測模型可以通過預測器100而提供給縮放處理
10。預測器100可以包括可以評估傳遞給應(yīng)用al的各種類型的請求的請求歷史的組件(例如,其可以包括具有多種組件或模塊的多級應(yīng)用,和/或可以包括多個相互作用的應(yīng)用),并且可以生成用于的預測工作負載、請求類型、應(yīng)用級別等等統(tǒng)計請求預測模型,在一個圖釋的實施例中,預測器100可以使用多項式近似法利用基于時間系列分析的短期預測請求到達速率。將劣跡到可以等同地利用各種附加/可替換的分析方法。
[0033]與圖3中所示的圖釋實例一樣,預測器100可以接受來自數(shù)據(jù)倉庫102的請求歷史信息。在這種實例中,數(shù)據(jù)倉庫102包括來自運行在云(例如,云環(huán)境12)中的一個或多個服務(wù)器(例如S1、s2、s3、s4)和應(yīng)用(例如在所示實例中的應(yīng)用al和a2)的被監(jiān)測應(yīng)用和系統(tǒng)參數(shù)(例如,其可以接收于一個或多個服務(wù)器,例如所示實例中的服務(wù)器S1、s2、s3、s4)的資料庫。在應(yīng)用(例如應(yīng)用al)接收多個請求類型的情況下,數(shù)據(jù)倉庫102可以錄入在給定監(jiān)測時間段(例如,一分鐘間隔)內(nèi)作用每個請求類型的請求的數(shù)量。此外,數(shù)據(jù)倉庫102還可以累積包括與用于應(yīng)用的服務(wù)等級協(xié)議(SLA)相關(guān)的參數(shù)??杀粩?shù)據(jù)倉庫102錄入的系統(tǒng)參數(shù)的實例可以包括,但不限于,用于每個虛擬機(例如運行在應(yīng)用al上的VM1、VM2、VM3以及VM4和運行在應(yīng)用a2上的VM5、VM6、VM7和VM8)的資源權(quán)利(例如CPU或時間切片分配,以及RAM和/或盤空間分配),以及每個虛擬機的資源權(quán)利的利用程度。
[0034]至少部分基于在限定時間段內(nèi)所確定50的預測工作負載,縮放處理10可以確定52用于預測工作負載.的應(yīng)用容量的改變。如上所述,數(shù)據(jù)倉庫102可以錄入(log)多中請求類型,并且預測器100可以提供預測模型,其不僅可以包括請求速率的數(shù)量或變化,而且預測器100還可以提供指示請求的類型的預測模型。如將理解到的那樣,不同類型的請求,如也可以理解到那個級別的應(yīng)用可以處理不同類型的請求一樣,可以影響應(yīng)用(例如應(yīng)用al)的必要容量。
[0035]與圖3中所示的圖釋實例一樣,縮放處理10可以至少部分基于從工作負載分類器104接收的數(shù)據(jù)確定52應(yīng)用容量的改變。工作負載分類器104可以將工作負載分類為一組或多組預先創(chuàng)建的工作負載類別。因此,工作負載分類器104可以從數(shù)據(jù)倉庫102接收用于應(yīng)用的與工作負載混合相關(guān)的信息。用于應(yīng)用的與工作負載混合相關(guān)的信息可以包括,但不限于,請求類型的當前分布。工作負載混合可以影響應(yīng)用所要求的資源的數(shù)量和類型,以便分派(serve)具體數(shù)量的具有請求類型的給定分布的請求,因此,至少部分基于預測器100所提供的預測模型和工作負載分類器104所提供的工作負載混合(和/或根據(jù)預測模型的預測工作負載混合),縮放處理10可以確定52處理具有所預測的請求類型分布的所預測的即將到來的工作負載所必須的應(yīng)用容量的改變。
[0036]至少部分基于與所確定50的預測工作負載相關(guān)聯(lián)的所確定52的應(yīng)用容量的改變,縮放處理10可動態(tài)選擇54用于所述應(yīng)用容量的變化的縮放策略。該縮放策略可以包括多級應(yīng)用(例如,應(yīng)用al)的垂直縮放和水平縮放。如在此所使用,垂直縮放可以包括修改執(zhí)行應(yīng)用的具體虛擬機(例如執(zhí)行應(yīng)用al的VMl)的資源分配。例如,增加容量的垂直縮放可以包括增加虛擬機的CPU權(quán)利(entitlement)(例如將該權(quán)利從0.5核增加到0.9核(core))、增加存儲器權(quán)利(將RAM權(quán)利從RAM的2GB增加到RAM的4GB)、以及增減該具體虛擬機的其他資源權(quán)利。水平縮放可以包括創(chuàng)建一個或多個具有其自身資源分配的新虛擬機場合(instance),其中每個新的(以及任何先前存在的)虛擬機執(zhí)行該應(yīng)用(例如,應(yīng)用al)。在水平縮放情形下,執(zhí)行應(yīng)用al的每個新虛擬機以及任何先前存在的虛擬機可以集中地執(zhí)行應(yīng)用al以便處理所預測的工作負載和提供必要的應(yīng)用容量的改變。
[0037]所述動態(tài)選擇54縮放策略包括,例如,指令虛擬化管理器106改變一個或多個執(zhí)行應(yīng)用(例如,應(yīng)用al)的虛擬機(例如,VMl)的資源分配。此外/可選擇地,虛擬化管理器106可以創(chuàng)建一個或多個可執(zhí)行應(yīng)用al的新虛擬機(例如,VM2、VM3、VM4)。虛擬化管理器106可以包括管理程序,諸如IBM PowerVM?,其可以支持在線、動態(tài)虛擬機尺寸改變(例如增加或減少CPU或存儲器資源,而不會帶來用于重新配置的VM下降)以及創(chuàng)建虛擬虛擬機場合和配置。
[0038]此外,縮放處理10可以實現(xiàn)必要的應(yīng)用重新配置。例如,在縮放策略包括水平縮放的情況下,縮放處理10可以指令進口(admission)控制器/負載平衡器108更新主機列表等,使得經(jīng)由網(wǎng)關(guān)110接收的請求可以分布到新例舉(instantiate)的虛擬機(例如,VM2、VM3、VM4以及VMl)。這種應(yīng)用重新配置可能對確保在執(zhí)行該應(yīng)用的多種多樣的虛擬機之間分布負載是必要的,以便為該應(yīng)用提供處理預測工作負載的容量。
[0039]在預測的爆發(fā)性工作負載情形下,用于處理預測工作負載的必要應(yīng)用容量可能遠超出當前所例舉的虛擬機的容量,因此需要創(chuàng)建一個(或多個)新虛擬機來執(zhí)行該應(yīng)用。與本公開的一個方面一樣,縮放處理10可以選擇54通常能夠平衡應(yīng)用的新能和成本的縮放策略。與這個發(fā)那個面一樣,以及如在圖3的服務(wù)器簇中所示一樣,縮放策略可以包括實現(xiàn)56多個執(zhí)行多級應(yīng)用的虛擬機,所述多個虛擬機的每一個可具有通常等同地配置的資源分配。至少一個虛擬機可以實現(xiàn)為具有較低資源分配。
[0040]例如,如下面所闡述的,執(zhí)行應(yīng)用al的虛擬機的實例可以具有在應(yīng)用新能和成本之間提供所期望的平衡的配置(例如處理器、存儲器等資源的分配)。為了下面描述的目的,這種配置可以采用術(shù)語稱之為“最優(yōu)”配置。不過,應(yīng)該理解到,該術(shù)語“最優(yōu)”僅僅是為了表達應(yīng)用新能和成本之間的一種主觀上的可期望的平衡,并且不因該被認為是對本公開的一種限制,因為在適當?shù)那闆r下也可以采用其他性能與成本的平衡。對于給定的必要的、或期望的應(yīng)用容量(例如,所確定52的應(yīng)用容量的改變),所動態(tài)選擇54的縮放策略可以實現(xiàn)多個最優(yōu)配置的虛擬機(例如,多個具有通常等同地配置的資源分配的虛擬機)。由于用于所預測工作負載的所確定52的應(yīng)用容量可能等于全體數(shù)量的最優(yōu)配置虛擬機是不可能的,因此所動態(tài)選擇54的縮放策略可以利用多個最優(yōu)配置虛擬機來提供給所確定52的容量的主要部分,以及可以利用一個或多個其資源配置少于所述最優(yōu)配置的虛擬機(例如,所述一個或多個虛擬機可以具有較低的CPU或存儲器分配)。
[0041]與前面一樣,對于用于所確定50的預測工作負載的所確定52的容量C,可以分布在M個虛擬機上。在所示的實施例中,M-1個虛擬機可以被最優(yōu)配置為具有容量N。第M個虛擬機可以具有由下面的公式所給出的容量CM:
[0042]C-(M_1)*N
[0043]將可以理解到,在其他實施例中,一個以上的虛擬機的容量可以不同于最優(yōu)配置虛擬機的容量,在這種實施例中,X個虛擬機的容量不同于所述最優(yōu)容量。在這種實現(xiàn)方式中,X個虛擬機的累計容量可以由下面的公式給出:
[0044]C- (M - X) *N
[0045]在這種實施例中,X個虛擬機的累計容量可以根據(jù)設(shè)計規(guī)則和用戶的偏好而以均等方式或不等方式劃分。
[0046]與前面描述一致,并參見圖3,假設(shè)初始應(yīng)用al僅僅實現(xiàn)在單一虛擬機(VMl)上。而且,假設(shè),基于所確定50的預測工作負載,縮放處理10可以確定52預測工作負載的容量的改變大于執(zhí)行應(yīng)用al的最優(yōu)配置虛擬機的可獲得容量的三倍??s放處理10可以動態(tài)選擇54實現(xiàn)56多個具有通常等同資源分配配置的虛擬機(例如VM1、VM2、VM3)(例如其可以一起集中地提供給用于所預測工作負載的所確定52的容量改變的主要部分)的縮放策略。此外,縮放處理10可以實現(xiàn)56具有較低資源分配的虛擬機VM4,例如,其可以提供所確定54的容量改變與由虛擬機VMl、VM2、VM3所集中提供的容量之間的差別。這樣,VMl、VM2.VM3以及VM4可以一起提供調(diào)節(jié)(accommodate)所確定52的容量改變所必要的容量。這樣,前述縮放策略可以包括垂直縮放58 (例如,將VMl的初始資源分配配置從初始次優(yōu)配置增加到最優(yōu)配置)并且也可以包括水平縮放60 (例如,創(chuàng)建另外的虛擬機場合VM2、VM3、VM4)。將理解到,盡管在該實例中只提到了四個虛擬機,但是這僅僅是為了方便解釋和圖示,虛擬機的數(shù)量、服務(wù)器的數(shù)量以及云計算環(huán)境的多樣性可以有極大不同。
[0047]如下滿將更詳細闡述的那樣,可以理解到,可以有與水平縮放和垂直縮放相關(guān)聯(lián)的基于經(jīng)濟和性能的各種成本。基于最優(yōu)配置虛擬機的概念,并且還參見圖4,將理解到,可能存在與利用物理服務(wù)器資源不足或過度利用物理服務(wù)器資源相關(guān)聯(lián)的成本。例如,如圖所示,當服務(wù)器被運行在服務(wù)器上的應(yīng)用(以及相關(guān)聯(lián)虛擬機)被最小利用時,就存在相當高的資源浪費程度。即,對于給定的可獲得資源,服務(wù)器可能被糟糕地利用。不過,增加物理服務(wù)器利用率(例如,用于增加由在該服務(wù)器上運行的應(yīng)用所利用的資源的垂直縮放)可能會增加在該服務(wù)器上運行的其他應(yīng)用的資源內(nèi)容的風險,可能有必要將其他應(yīng)用的一個或多個場合從一個物理服務(wù)器遷移到另一個服務(wù)器,并且可能引發(fā)運行在該服務(wù)器上的那些應(yīng)用的SLA違例(breach)。根據(jù)一個實施例,理想的服務(wù)器利用率通常可以是相對于物理服務(wù)器理用于的資源浪費曲線和SLA成本的違背曲線的交叉點。因此,理想的是,向物理服務(wù)器加載用于獲得在該交叉點處的物理服務(wù)器利用率的最大數(shù)量。
[0048]考慮到上面情況,縮放處理10可以確定例舉新虛擬機以便在分離服務(wù)器執(zhí)行給定應(yīng)用(例如應(yīng)用al)的另一個場合(即水平縮放應(yīng)用al)和增加執(zhí)行應(yīng)用al的現(xiàn)有場合的虛擬機的資源分配(垂直縮放應(yīng)用al,這會導致物理服務(wù)的利用率超出資源浪費曲線和SLA成本違背曲線的交點)的相對成本。縮放處理10可以至少部分基于成本模型112來確定與水平縮放應(yīng)用al和垂直縮放應(yīng)用al相關(guān)聯(lián)的成本。
[0049]除了與超出上述交叉點的利用物理服務(wù)器相關(guān)聯(lián)的成本,將理解到,垂直縮放可能具有額外的實際限制和成本。例如,并且如上所述,垂直縮放應(yīng)用al的場合(例如增加分配給運行應(yīng)用al的場合的虛擬機的資源)可能要求遷移其他應(yīng)用以便釋放用于垂直縮放應(yīng)用al所必需的資源(即,為了將這種資源分配給運行應(yīng)用al的虛擬機)。因此,可以達到垂直縮放的程度,在該程度,添加更多的資源(例如附加的CPU或存儲器資源)可能不會導致應(yīng)用的增加的容量,和/或可以實現(xiàn)一種可以實現(xiàn)減小(diminished)返回的狀態(tài),在該狀態(tài)中,由于物理服務(wù)器、應(yīng)用架構(gòu)或者其他約束所施加的限制,用于虛擬機的資源的遞增產(chǎn)生在性能或應(yīng)用容量方面的減少的遞增(例如,應(yīng)用處理請求的能力)。根據(jù)實施例,實現(xiàn)每分配資源的性能的一些最大值的點可以利用為最優(yōu)虛擬機容量。當然,其他配置可以考慮其他因素,并且可以基于這種性能對成本平衡實現(xiàn)其他最優(yōu)容量虛擬機配置。
[0050]此外,各種成本可以與該應(yīng)用的水平縮放相關(guān)聯(lián)(例如例舉在附加服務(wù)器上運行應(yīng)用的新虛擬機)。例如,與垂直縮放相比,水平縮放可能相對慢(例如需要例舉和配置新虛擬機,更新網(wǎng)關(guān)中的主機列表等等)。因此,水平縮放可以有相關(guān)聯(lián)的性能,因為在例舉和配置附加虛擬機所需的時間期間,該應(yīng)用(運行在現(xiàn)有虛擬機上)可能沒有容來來處理所有到來的請求。此外,其他成本,諸如軟件許可成本、與新例舉的虛擬機相關(guān)聯(lián)的資源成本、分段存儲等等,可能也與水平縮放相關(guān)聯(lián)。這些成本可以通過例如成本模型112而提供給縮放處理10。
[0051]與前面所述一致,如果所述應(yīng)用容量的變化小于所述具有較低資源分配的虛擬機的剩余容量,則選擇縮放策略可以包括通過垂直縮放所述具有較低資源分配的虛擬機來垂直縮放58所述應(yīng)用。在上述實例中,虛擬機(例如,VM4)可以包括小于最優(yōu)資源分配的資源分配。也就是說,更多服務(wù)器資源可以在所期望的成本對性能的平衡內(nèi)被虛擬機所利用。因此,動態(tài)選擇54縮放策略可以包括垂直縮放58VM4以便調(diào)節(jié)附加容量。垂直縮放58所述虛擬機可以包括將虛擬機垂直擴展到最優(yōu)配置。附加地/可替代地垂直縮放58所述虛擬機可以包括縮放該虛擬機到高于或低于所述最優(yōu)配置的資源分配配置。
[0052]此外,如上所述,縮放處理10可以確定52與預測工作負載相關(guān)聯(lián)的容量的改變。確定52與預測工作負載相關(guān)聯(lián)的容量的改變可以至少部分基于由資源模型114所提供的信息。資源模型114可以包括簡檔驅(qū)動資源模型,其可以表示在各種給定縮放配置下使用的資源。例如,資源模型114可以包括與資源有關(guān)的信息(例如,CPU資源、存儲器等等),該信息是對于每秒的請求或操作的給定輸出量或數(shù)量所需要的。該資源模型至少部分可以基于數(shù)據(jù)倉庫102所錄入的信息而根據(jù)經(jīng)驗導出。附加地/可替換地,資源模型114可以包括統(tǒng)計學模型,其可以至少部分基于數(shù)據(jù)倉庫102所錄入的信息。
[0053]而且,如果所述應(yīng)用容量的變化大于所述具有較低資源分配的虛擬機的剩余容量,則選擇54縮放策略可以包括水平縮放60該應(yīng)用。如上所述,水平縮放60所述應(yīng)用可以包括創(chuàng)建執(zhí)行該應(yīng)用的(例如,應(yīng)用al)虛擬機的附加場合(例如,圖3的圖釋實施例中的VM2、VM3、VM4)。同樣如上所述,該應(yīng)用的水平縮放60可以包括添加額外的虛擬機,其可以具有不同的資源分配水平(例如最優(yōu)縮放的虛擬機VM2、VM3以及次最優(yōu)縮放的VM4)。
[0054]動態(tài)選擇54縮放策略可以包括至少部分基于預測工作負載連續(xù)選擇62縮放策略。也就是說,縮放處理10可以選擇54用于改變條件的縮放策略。例如,至少部分基于所確定50的預測工作負載(例如,其可以隨時間改變)以及對應(yīng)的所確定52的預測工作負載的應(yīng)用容量的改變,縮放處理10可以,例如隨著預測工作負載改變,而改變所選擇54的縮放策略。因此,縮放處理10可以隨著條件和預測工作負載的改變而連續(xù)地并適應(yīng)性地選擇54縮放策略。連續(xù)地選擇62縮放策略可以包括對所選擇的縮放策略作出行進中實時的調(diào)節(jié)。附加地/可替換地,連續(xù)選擇62縮放策略可以包括間歇地(例如,以預定的時間間隔、或者基于條件的改變,諸如應(yīng)用性能或預測工作負載)選擇54縮放策略(包括調(diào)節(jié)所選擇的通常策略)。
[0055]動態(tài)選擇54縮放策略可以包括縮放64與所述多級應(yīng)用的所確定的級別相關(guān)聯(lián)的資源。例如,如上所述,應(yīng)用al可以包括多個模塊或組件(例如,其可以包括多個相互作用的應(yīng)用)。應(yīng)用al可以接收多個請求類型,其可以要求將由應(yīng)用al的不同級別承擔的處理或動作。而且,將由不同級別承擔的處理或動作可以利用不同的資源(例如,有些處理或動作可以需要更多RAM,而其他處理或動作可能需要更大的CPU分配),和/或由可以由不同虛擬機執(zhí)行的模塊或組件(例如,包括一個或多個相互作用的應(yīng)用)來執(zhí)行。因此,動態(tài)選擇54縮放策略可以包括,至少部分基于多級應(yīng)用的不同級別的所確定50的預測工作負載和所確定52的應(yīng)用容量的改變,縮放64與多級應(yīng)用的所確定的級別相關(guān)聯(lián)的資源(諸如CPU分配、RAM分配或單個虛擬機或成組虛擬機)。在有些情況下,與多級應(yīng)用的所有級別相關(guān)聯(lián)的資源可以被縮放64,但是該縮放(例如,根據(jù)縮放程度、虛擬機配置、所分配的資源、縮放類型的類型和成簇,諸如垂直和水平縮放等)對于多級應(yīng)用的不同級別而有所不同。
[0056]附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上,流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分,所述模塊、程序段或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當注意,在有些作為替換的實現(xiàn)中,方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如,兩個連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行,它們有時也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或動作的專用的基于硬件的系統(tǒng)來實現(xiàn),或者可以用專用硬件與計算機指令的組合來實現(xiàn)。
[0057]此處所使用的術(shù)語僅僅是為了描述具體實施例,并不是為了限定本發(fā)明。如在此所使用的單數(shù)形式“一”、“一個”以及“該”和“所述”也意圖包含有復數(shù)形式,除非在上下文中清楚表示不同情況。還應(yīng)該理解到,術(shù)語“包括”和/或“包含”在被用于本發(fā)明時,其指明了所聲明特征、整數(shù)、步驟、操作、元件和/或組件的存在,但是并不排除出現(xiàn)或增加一個或多個其他特征、整數(shù)、步驟、操作、元件、組件和/或其組合。
[0058]在下面權(quán)利要求書中的所有裝置或步驟加功能元件的對應(yīng)結(jié)構(gòu)、材料、動作以及等同方式意圖包括用于與所具體請求保護的其他聲稱的元件一起執(zhí)行該功能的任何結(jié)構(gòu)、材料或行為。為了圖釋和描述的目的已經(jīng)給出了本發(fā)明的說明書,但是其并不是意圖以所披露的方式窮盡或限制本發(fā)明。對本領(lǐng)域普通技術(shù)人員而言,在不脫離本發(fā)明的范圍和精神的情況下,很清楚將會有很多修改方式和變化形式。選擇和描述該實施例是為了更好解釋本發(fā)明的原理和實際應(yīng)用,并且使得本領(lǐng)域普通技術(shù)人員中的其他人能夠理解用于各種實施例的本發(fā)明,因為各種實施例適于所想到的特定用途。
[0059]因此,已經(jīng)詳細并參照實施例描述了本申請的方法,清楚的是,在不脫離附后權(quán)利要求書所限定的本發(fā)明的范圍的情況下可以有修改形式和變化形式。
【權(quán)利要求】
1.一種縮放方法,包括: 通過計算設(shè)備,確定限定時間段內(nèi)多級應(yīng)用的預測工作負載; 通過計算設(shè)備,確定所述預測工作負載的應(yīng)用容量的變化;以及 通過計算設(shè)備,針對所述應(yīng)用容量的變化,動態(tài)選擇縮放策略,所述縮放策略包括垂直縮放和水平縮放。
2.根據(jù)權(quán)利要求1所述的方法,其中,所述縮放策略包括實現(xiàn)多個執(zhí)行所述多級應(yīng)用的虛擬機和實現(xiàn)至少一個具有較低資源分配的虛擬機,所述多個虛擬機的每一個具有通常等同地配置的資源分配。
3.根據(jù)權(quán)利要求2所述的方法,其中,如果所述應(yīng)用容量的變化小于所述具有較低資源分配的虛擬機的剩余容量,則選擇所述縮放策略包括垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配。
4.根據(jù)權(quán)利要求3所述的方法,其中,如果所述應(yīng)用容量的變化大于所述具有較低資源分配的虛擬機的剩余容量,則選擇所述縮放策略包括垂直地將所述具有較低資源分配的虛擬機擴大到所 述通常等同地配置的資源分配以及水平地縮放包括實現(xiàn)其資源分配低于所述通常等同地配置的資源分配的新虛擬機的應(yīng)用。
5.根據(jù)任意前述權(quán)利要求所述的方法,其中,動態(tài)選擇縮放策略包括至少部分基于所預測工作負載連續(xù)選擇縮放策略。
6.根據(jù)權(quán)利要求1-4中任意一個所述的方法,其中,確定預測工作負載至少部分基于歷史工作負載需求。
7.根據(jù)權(quán)利要求1-4中任意一個所述的方法,其中,動態(tài)選擇縮放策略包括縮放與所述多級應(yīng)用的確定級相關(guān)聯(lián)的資源。
8.一種計算機程序產(chǎn)品,包括計算機可讀介質(zhì),其上存儲有多個指令,這些指令在被處理器執(zhí)行時使得處理器執(zhí)行一些操作,這些操作包括: 確定限定時間段內(nèi)多級應(yīng)用的預測工作負載; 確定所述預測工作負載的應(yīng)用容量的變化;以及 針對所述應(yīng)用容量的變化,動態(tài)選擇縮放策略,所述縮放策略包括垂直縮放和水平縮放。
9.根據(jù)權(quán)利要求8所述的計算機程序產(chǎn)品,其中,所述縮放策略包括實現(xiàn)多個執(zhí)行所述多級應(yīng)用的虛擬機和實現(xiàn)至少一個具有較低資源分配的虛擬機,所述多個虛擬機的每一個具有通常等同地配置的資源分配。
10.根據(jù)權(quán)利要求9所述的計算機程序產(chǎn)品,其中,如果所述應(yīng)用容量的變化小于所述具有較低資源分配的虛擬機的剩余容量,則用于選擇所述縮放策略的指令包括用于垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配的指令。
11.根據(jù)權(quán)利要求10所述的計算機程序產(chǎn)品,其中,如果所述應(yīng)用容量的變化大于所述具有較低資源分配的虛擬機的剩余容量,則用于選擇所述縮放策略的指令包括用于垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配以及水平地縮放包括實現(xiàn)其資源分配低于所述通常等同地配置的資源分配的新虛擬機的應(yīng)用的指令。
12.根據(jù)任意前述權(quán)利要求所述的計算機程序產(chǎn)品,其中,用于動態(tài)選擇縮放策略的指令包括用于至少部分基于所預測工作負載連續(xù)選擇縮放策略的指令。
13.根據(jù)權(quán)利要求8-11中任意一個所述的計算機程序產(chǎn)品,其中,確定預測工作負載至少部分基于歷史工作負載需求。
14.根據(jù)權(quán)利要求8-11中任意一個所述的計算機程序產(chǎn)品,其中,用于動態(tài)選擇縮放策略的指令包括用于縮放與所述多級應(yīng)用的確定級相關(guān)聯(lián)的資源的指令。
15.—種系統(tǒng),包括: 處理器; 與處理器連接的存儲器體系結(jié)構(gòu); 可由所述處理器和存儲器體系結(jié)構(gòu)執(zhí)行的第一軟件模塊,該第一軟件模塊配置為確定限定時間段內(nèi)多級應(yīng)用的預測工作負載; 可由所述處理器和存儲器體系結(jié)構(gòu)執(zhí)行的第二軟件模塊,該第二軟件模塊配置為確定所述預測工作負載的應(yīng)用容量的變化;以及 可由所述處理器和存儲器體系結(jié)構(gòu)執(zhí)行的第三軟件模塊,該第三軟件模塊配置為針對所述應(yīng)用容量的變化,動態(tài)選擇縮放策略,所述縮放策略包括垂直縮放和水平縮放。
16.根據(jù)權(quán)利要求15所述的系統(tǒng),其中,所述縮放策略包括實現(xiàn)多個執(zhí)行所述多級應(yīng)用的虛擬機和實現(xiàn)至少一個具有較低資源分配的虛擬機,所述多個虛擬機的每一個具有通常等同地配置的資源分配。
17.根據(jù)權(quán)利要求16所述的系統(tǒng),其中,如果所述應(yīng)用容量的變化小于所述具有較低資源分配的虛擬機的剩余容量,則被配置為選擇所述縮放策略的第三軟件模塊還被配置為垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配。
18.根據(jù)權(quán)利要求17所述的系統(tǒng),其中,如果所述應(yīng)用容量的變化大于所述具有較低資源分配的虛擬機的剩余容量,則被配置為選擇所述縮放策略的第三軟件模塊還被配置為垂直地將所述具有較低資源分配的虛擬機擴大到所述通常等同地配置的資源分配以及水平地縮放包括實現(xiàn)其資源分配低于所述通常等同地配置的資源分配的新虛擬機的應(yīng)用。
19.根據(jù)任意前述權(quán)利要求所述的系統(tǒng),其中,被配置為動態(tài)選擇縮放策略的第三軟件模塊還被配置為至少部分基于所預測工作負載連續(xù)選擇縮放策略。
20.根據(jù)權(quán)利要求15-18中任意一個所述的系統(tǒng),其中,被配置確定預測工作負載的第一軟件模塊被配置為至少部分基于歷史工作負載需求確定預測工作負載。
21.根據(jù)權(quán)利要求15-18中任意一個所述的系統(tǒng),其中,被配置為動態(tài)選擇縮放策略的第三軟件模塊還被配置為縮放與所述多級應(yīng)用的確定級相關(guān)聯(lián)的資源。
22.—種縮放方法,包括: 通過計算設(shè)備,確定限定時間段內(nèi)多級應(yīng)用的預測工作負載; 通過計算設(shè)備, 確定所述預測工作負載的應(yīng)用容量的變化;以及 通過計算設(shè)備,針對所述應(yīng)用容量的變化,動態(tài)選擇縮放策略,所述縮放策略包括實現(xiàn)多個執(zhí)行所述多級應(yīng)用的虛擬機和實現(xiàn)至少一個具有較低資源分配的虛擬機,所述多個虛擬機的每一個具有通常等同地配置的資源分配。
【文檔編號】G06F9/50GK104025055SQ201280065441
【公開日】2014年9月3日 申請日期:2012年11月14日 優(yōu)先權(quán)日:2011年12月30日
【發(fā)明者】G.B.達斯古普塔, S.杰拉, A.弗馬, B.維斯瓦納坦 申請人:國際商業(yè)機器公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
尼勒克县| 兴国县| 舟山市| 武陟县| 怀仁县| 桂阳县| 林芝县| 乾安县| 丽江市| 中江县| 哈巴河县| 南平市| 巨野县| 永昌县| 泰来县| 宜兴市| 天峻县| 永年县| 玛多县| 新野县| 德清县| 金沙县| 山东省| 苗栗县| 盱眙县| 大石桥市| 元阳县| 东乡| 北川| 昌江| 肥城市| 桦南县| 玛纳斯县| 江川县| 山阳县| 昌邑市| 修武县| 乐清市| 武汉市| 杭锦旗| 寻甸|