虛擬機的可靠且確定的實時遷移的制作方法
【專利說明】
【背景技術(shù)】
[0001]數(shù)據(jù)中心越來越依靠虛擬化來向客戶交付服務(wù)。典型的數(shù)據(jù)中心可包括密集填充的計算服務(wù)器集群(叫作節(jié)點)，其中每個節(jié)點潛在地執(zhí)行許多虛擬機。典型地，每個節(jié)點包括管理程序或其他虛擬化框架，并且整個數(shù)據(jù)中心包括一個或多個數(shù)據(jù)中心管理器，其管理特定計算節(jié)點上的虛擬機的例示。虛擬機可通過使虛擬機的完整狀態(tài)從源節(jié)點傳輸?shù)侥康牡毓?jié)點而在節(jié)點之間傳輸或“迀移”。虛擬機迀移可“實時”執(zhí)行，即，在不中斷虛擬機的狀態(tài)并且對提供的服務(wù)具有最小擾亂的情況下。然而，典型的虛擬化數(shù)據(jù)中心可未對虛擬機迀移提供時間關(guān)鍵或高可用性保證。從而，虛擬機迀移在虛擬機不可用時典型地引起一定的停工期，并且該停工期可根據(jù)虛擬機大小、虛擬機負載、網(wǎng)絡(luò)業(yè)務(wù)和可能無法預(yù)測的其他因素而變化。
[0002]電信網(wǎng)絡(luò)功能越來越多地合并到網(wǎng)絡(luò)數(shù)據(jù)中心。例如，在歷史上分布在許多手機信號塔之間的蜂窩基站功能現(xiàn)在可合并到虛擬化網(wǎng)絡(luò)數(shù)據(jù)中心。然而，電信網(wǎng)絡(luò)典型地具有極高的可靠性要求。因此，虛擬機的典型實時迀移一貫地在實現(xiàn)對于電信網(wǎng)絡(luò)功能的可靠性要求方面有困難。
【附圖說明】
[0003]本文描述的概念通過示例而非限制的方式在附圖中圖示。為了圖示的簡單和清楚起見，在圖中圖示的元件不一定按比例繪制。在認為適當(dāng)?shù)牡胤?，?biāo)號在圖之中重復(fù)來指示對應(yīng)或類似元件。
[0004]圖1是對于實時(live)虛擬機迀移的系統(tǒng)的至少一個實施例的簡化框圖；
圖2是圖示可由圖1的系統(tǒng)實現(xiàn)的模擬結(jié)果的圖表；
圖3是可由圖1的系統(tǒng)建立的各種環(huán)境的至少一個實施例的簡化框圖；
圖4是可由圖1和3的系統(tǒng)的計算節(jié)點執(zhí)行的用于實時虛擬機迀移的方法的至少一個實施例的簡化流程圖；
圖5是可由圖1和3的系統(tǒng)的計算節(jié)點執(zhí)行的用于傳送虛擬機頁面的方法的至少一個實施例的簡化流程圖；
圖6是可由圖1和3的系統(tǒng)的計算節(jié)點執(zhí)行的用于接收虛擬機頁面的方法的至少一個實施例的簡化流程圖；
圖7是可由圖1和3的系統(tǒng)的計算節(jié)點執(zhí)行的用于協(xié)商服務(wù)級要求的方法的至少一個實施例的簡化流程圖；
圖8是可由圖1和3的系統(tǒng)的數(shù)據(jù)中心管理器執(zhí)行的用于協(xié)商服務(wù)級要求的方法的至少一個實施例的簡化流程圖。
【具體實施方式】
[0005]盡管本公開的概念易受各種修改和備選形式影響，其特定示范性實施例已通過圖中的示例示出并且將在本文詳細描述。然而應(yīng)該理解沒有將本公開的概念限制于公開的特別形式的意圖，而相反，意圖是要涵蓋所有與本公開和附上的權(quán)利要求一致的所有修改、等同物和備選項。
[0006]在說明書中對“一個實施例”、“實施例”、“說明性實施例”等的引用指示描述的實施例可包括特定特征、結(jié)構(gòu)或特性，但每個實施例可包括或可不一定包括該特定特征、結(jié)構(gòu)或特性。此外，這樣的短語不一定指相同的實施例。此外，當(dāng)特定特征、結(jié)構(gòu)或特性連同實施例描述時，認為連同其他無論是否明確描述的實施例實現(xiàn)這樣的特征、結(jié)構(gòu)或特性，這在本領(lǐng)域內(nèi)技術(shù)人員的知識內(nèi)。另外，應(yīng)意識到采用“A、B和C中的至少一個”形式包括在列表中的項可以意指(A) ; (B) ;(C):(A和B);(八和0;(8和0 ;S(A、B和C)。相似地，采用“A、B或C中的至少一個”形式列出的項可以意指(A) ;(B) ;(C):(A和B) ;(A和C) ;(B和 C) ^(A、B 和 C)。
[0007]公開的實施例在一些情況下可采用硬件、固件、軟件或其任何組合來實現(xiàn)。公開的實施例還可實現(xiàn)為由一個或多個暫時性或非暫時性機器可讀(例如，計算機可讀)存儲介質(zhì)攜帶或在其上存儲的指令，這些指令可由一個或多個處理器讀取并且執(zhí)行。機器可讀存儲介質(zhì)可體現(xiàn)為用于采用機器可讀的形式存儲或傳送信息的任何存儲設(shè)備、機構(gòu)或其他物理結(jié)構(gòu)(例如，易失性或非易失性存儲器、媒體盤或其他媒體設(shè)備)。
[0008]在圖中，一些結(jié)構(gòu)或方法特征可采用特定設(shè)置和/或排序示出。然而，應(yīng)意識到可不需要這樣的特定設(shè)置和/或排序。相反，在一些實施例中，這樣的特征可采用與在說明性圖中示出的不同的方式和/或順序設(shè)置。另外，在特定圖中包括結(jié)構(gòu)或方法特征并不意在暗指在所有實施例中需要這樣的特征，并且在一些實施例中，可不包括這樣的特征或其可與其他特征組合。
[0009]現(xiàn)在參考圖1，在說明性實施例中，對于實時虛擬機器迀移的系統(tǒng)100包括通過網(wǎng)絡(luò)106通信的許多計算節(jié)點102和數(shù)據(jù)中心管理器104。在使用中，如在下文更詳細論述的，每個計算節(jié)點102可例示一個或多個虛擬機來執(zhí)行計算任務(wù)。數(shù)據(jù)中心管理器104可指示源計算節(jié)點102使虛擬機迀移到目的地計算節(jié)點102，從而規(guī)定特定需要的服務(wù)級(例如，最大停工期、總迀移時間或網(wǎng)絡(luò)帶寬使用)。源計算節(jié)點102確定實現(xiàn)規(guī)定服務(wù)級所需要的平臺資源以及那些需要的平臺資源是否可用。如果需要的平臺資源可用，源計算節(jié)點102預(yù)留那些資源并且使用預(yù)留資源來進行迀移。如果需要的平臺資源不可用，源計算節(jié)點102可確定可實現(xiàn)的服務(wù)級并且與數(shù)據(jù)中心管理器104協(xié)商是否使用減少但可實現(xiàn)的服務(wù)級來繼續(xù)迀移。確定需要的資源并且預(yù)留那些資源可提高虛擬機迀移的可靠性和性能，特別是對于大的虛擬機或具有高存儲器負載的虛擬機。另外，停工期和/或迀移的總迀移時間的確定性可提高；即，實際停工期和/或總迀移時間可更加可預(yù)測。另外，數(shù)據(jù)中心管理器104可基于從計算節(jié)點102接收的關(guān)于規(guī)定的服務(wù)級是否可實現(xiàn)的信息來開發(fā)改進的迀移計劃，例如以基于功耗、計算負載、地理位點或用別的方式來分配計算任務(wù)。從而，實時虛擬機迀移的提高的可靠性、性能和確定性可提高電信網(wǎng)絡(luò)工作負載的虛擬化技術(shù)方案的適宜性。
[0010]現(xiàn)在參考圖2，圖表200圖示可使用系統(tǒng)100實現(xiàn)的模擬實驗結(jié)果。曲線圖202圖示以秒計的總虛擬機迀移時間，并且曲線圖204圖示以毫秒計的虛擬機停工期。兩個曲線圖202、204中的第一數(shù)據(jù)點圖示使用QEMU 1.6.0的虛擬機傳輸?shù)哪M結(jié)果，其是典型的開放源機器仿真器和虛擬器。如在圖表200中示出的，典型的虛擬器可實現(xiàn)69.11秒的總迀移時間和489毫秒的停工期，從而給出每秒120000個頁面的臟頁率(其指示虛擬機的存儲器負載)。兩個曲線圖202、204中的第二數(shù)據(jù)點圖示使用QEMU 1.6.0的打補丁版本(其體現(xiàn)本文公開的技術(shù)中的一些)的虛擬機傳輸?shù)哪M結(jié)果。如在圖表200中示出的，打補丁虛擬器可實現(xiàn)41.66秒的總迀移時間和472毫秒的停工期，從而給出每秒400100個頁面的臟頁率。從而，在圖表200中示出的結(jié)果圖示系統(tǒng)100可減少總迀移時間和停工期同時處理高得多的存儲器負載(即，超過三倍的較大負載)。包括如本文描述的硬件支持的系統(tǒng)100的實施例可在性能、確定性和/或可靠性方面提供額外提尚。
[0011]返回參考圖1，每個計算節(jié)點102可體現(xiàn)為能夠執(zhí)行本文描述的功能的任何類型的計算或計算機設(shè)備，其無限制地包括計算機、微處理器系統(tǒng)、服務(wù)器、機架式服務(wù)器、刀片式服務(wù)器、便攜式計算機、筆記本計算機、網(wǎng)絡(luò)家電、web家電、分布式計算系統(tǒng)、基于處理器的系統(tǒng)和/或消費者電子設(shè)備。如在圖1中示出的，每個計算節(jié)點102說明性地包括兩個處理器120、輸入/輸出子系統(tǒng)128、存儲器134、數(shù)據(jù)存儲設(shè)備136和通信電路138。當(dāng)然，在其他實施例中，計算節(jié)點102可包括其他或額外部件，例如通常在服務(wù)器設(shè)備(例如，各種輸入/輸出設(shè)備)中找到的那些。另外，在一些實施例中，說明性部件中的一個或多個可包含在另一個部件中或用別的方式形成另一個部件的一部分。例如，在一些實施例中，存儲器134或其的部分可包含在一個或多個處理器120中。
[0012]每個處理器120可體現(xiàn)為能夠執(zhí)行本文描述的功能的任何類型的處理器。每個說明性處理器120是多核處理器，然而在其他實施例中，每個處理器120可體現(xiàn)為單個或多核處理器、數(shù)字信號處理器、微控制器或其他處理器或處理/控制電路。每個處理器120說明性地包括四個處理器核122、資源監(jiān)視器124和預(yù)留管理器126。處理器核122中的每個是能夠執(zhí)行編程指令的獨立處理單元。盡管說明性計算節(jié)點102中的每個包括兩個處理器120，其具有四個處理器核122 ;在其他實施例中，每個計算節(jié)點102可包括一個、兩個或以上處理器120，其每個具有一個、兩個或以上處理器核122。特別地，本文公開的技術(shù)也能適用于單處理器或單核計算節(jié)點102。
[0013]資源監(jiān)視器124可體現(xiàn)為能夠提供關(guān)于處理器120和/或計算節(jié)點102對平臺資源利用的準(zhǔn)確、實時信息的任何硬件部件。例如，資源監(jiān)視器124可提供關(guān)于處理器120和/或處理器核122的計算或其他執(zhí)行資源的使用、存儲器134的使用或I/O使用(例如通信電路138的使用)的信息。預(yù)留管理器126可體現(xiàn)為能夠為了使用特定軟件上下文(例如，進程或線程)而持續(xù)規(guī)定時段地專門預(yù)留處理器120和/或計算節(jié)點102的一個或多個平臺資源的任何硬件部件。一旦被預(yù)留，特定平臺資源可未被被計算節(jié)點102的其他軟件上下文(其包括計算節(jié)點102的任何操作系統(tǒng)、虛擬機監(jiān)視器或管理程序)搶占、爭奪或用別的方式使用。例如，預(yù)留管理器126可為了使用特定軟件上下文而預(yù)留處理器核122中的一個或多個。在被預(yù)留時，那些處理器核122可未被其他軟件上下文中斷、搶占或用別的方式使用。作為另一個示例，預(yù)留管理器126可預(yù)留存儲器134的特定頁面，其可未調(diào)出到盤或用別的方式被干擾，或預(yù)留可能不減少的特定I/O帶寬量。盡管說明性處理器120包括資源監(jiān)視器124和預(yù)留管理器126，在其他實施例中，處理器120可不包括對那些功能的硬件支持。例如，處理器120可體現(xiàn)為典型的服務(wù)器、臺式機或移動處理器120。
[0014]存儲器134可體現(xiàn)為能夠執(zhí)行本文描述的功能的任何類型的易失性或非易失性存儲器或數(shù)據(jù)存儲。在操作中，存儲器134可存儲在計算節(jié)點102的操作期間使用的各種數(shù)據(jù)和軟件，例如操作系統(tǒng)、應(yīng)用、程序、庫和驅(qū)動器。存儲器134經(jīng)由I/O子系統(tǒng)128通信地耦合于處理器120，該I/O子系統(tǒng)128可體現(xiàn)為用于促進處理器120、存儲器134和計算節(jié)點102的其他部件的輸入/輸出操作的電路和/或部件。例如，I/O子系統(tǒng)128可體現(xiàn)為或用別的方式包括存儲器控制器集線器、輸入/輸出控制集線器、固件設(shè)備、通信鏈路(即，點到點鏈路、總線鏈路、線、電纜、光導(dǎo)、印刷電路板跡線，等)和/或用于促進輸入/輸出操作的其他部件和子系統(tǒng)。在一些實施例中，I/O子系統(tǒng)128可形成片上系統(tǒng)(SoC)的一部分并且連同處理器120、存儲器134和計算節(jié)點102的其他部件一起包含在單個集成電路芯片上。
[0015]說明性I/O子系統(tǒng)128進一步包括資源監(jiān)視器130和預(yù)留管理器132。那些部件執(zhí)行分別與處理器120的資源監(jiān)視器124和預(yù)留管理器126相似的功能，其的描述能適用于I/O子系統(tǒng)128的對應(yīng)部件并且在本文未被重復(fù)以便不掩蓋本公開。另外或備選地，在一些實施例中，資源監(jiān)視器130和/或預(yù)留管理器132可監(jiān)視和/或預(yù)留與處理器120的那些部件不同的平臺資源。例如，I/O子系統(tǒng)128的部件可監(jiān)視并且預(yù)留存儲器134和/或I/O資源，例如通信電路138的帶寬。而且，在一些實施例中，I/O子系統(tǒng)128可包括一個或多個專用資源監(jiān)視器130和/或預(yù)留管理器132，其專用于計算設(shè)備100的特定子系統(tǒng)，例如存儲器子系統(tǒng)。與處理器120相似，在一些實施例中，I/O子系統(tǒng)128可不包括對那些功能的硬件支持。例如，I/O子系統(tǒng)128可體現(xiàn)為典型的服務(wù)器、臺式機或移動芯片集。
[0016]數(shù)據(jù)存儲設(shè)備136可體現(xiàn)為為了數(shù)據(jù)的短期或長期存