專利名稱：實現(xiàn)多核處理器間中斷負載均衡的方法
技術(shù)領域：
本發(fā)明涉及計算機網(wǎng)絡技術(shù)，尤其涉及高速網(wǎng)絡流量監(jiān)測系統(tǒng)多核處理器間操作系統(tǒng)技術(shù)。
背景技術(shù)：
高速網(wǎng)絡流量監(jiān)測過程中，系統(tǒng)每秒鐘將接收海量數(shù)據(jù)包，并對其進行分析處理， 涉及數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)存儲等。系統(tǒng)一般采用高性能的多核硬件平臺，高效的并行接收和處理網(wǎng)絡報文分組。在多核處理器環(huán)境中，如果所有中斷都集中在某一個處理器核上處理，則在某一個處理器核上高優(yōu)先級中斷處理過頻，則會導致低優(yōu)先級中斷丟失，或者由于某處理器核的中斷負載過重，導致一些關鍵實時任務無法運行。
中國專利(公開號CN 1013M664A)文獻中涉及到的一種“多核處理器中斷負載均衡方法和裝置”，該方法預先配置中斷設備對應的調(diào)度內(nèi)核組和默認處理內(nèi)核；當中斷設備的中斷個數(shù)超過中斷閥值或默認處理內(nèi)核的處理量超過中斷負載時，控制中斷控制器將中斷設備路由到默認處理內(nèi)核所屬的調(diào)度內(nèi)核組中的一個或多個內(nèi)核。該方法主要是對中斷設備進行調(diào)度，沒有涉及到具體的數(shù)據(jù)報處理；它需要預先設定中斷設備對應的調(diào)度內(nèi)核， 靈活性差，不能根據(jù)系統(tǒng)負載實時的調(diào)整中斷調(diào)度。中國專利(公開號CN 102004673A)文獻中涉及到的一種“多核處理器負載均衡的處理方法及系統(tǒng)”，該方法提取輸入報文的標識信息，對標識信息進行HASH運算，將輸入報文發(fā)送到與HASH值對應的核中進行處理；以及根據(jù)多核處理器中各個核的負載情況對選擇的HASH散列因子進行調(diào)整。該方法屬于已有的靜態(tài)映射算法，需要對每個輸入報文進行HASH散列計算，在高速網(wǎng)絡環(huán)境下調(diào)度的實時性不高。
與本發(fā)明最接近的中斷負載均衡技術(shù)為irqbalance技術(shù)，irqbalance技術(shù)針對多核以及超線程采用共享緩存的系統(tǒng)只處理一次設備中斷均衡，即以靜態(tài)方式分配各設備中斷對應的處理器核。但在SMP系統(tǒng)的中斷負載均衡處理中，特別是在高速網(wǎng)絡流量測量系統(tǒng)中，irqbalance技術(shù)僅僅以靜態(tài)方式將設備中斷均衡分配到對應的處理器核上是遠遠不夠的。
在高速網(wǎng)絡流量監(jiān)測系統(tǒng)中，不僅要考慮網(wǎng)卡設備硬中斷在各處理器核上的負載均衡，同時還要考慮各處理器后續(xù)對所有數(shù)據(jù)包的處理。跟硬中斷相比，軟中斷消耗的處理器資源則要大得多，所以必須采用一套完整高效的負載均衡方案，解決多處理器核對海量數(shù)據(jù)包的硬中斷和軟中斷的均衡處理。發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有中斷負載均衡技術(shù)中僅以靜態(tài)方式將設備中斷均衡分配到對應的處理器核上，在某一個處理器核上高優(yōu)先級中斷處理過頻，則會導致低優(yōu)先級中斷丟失， 或者由于某處理器核的中斷負載過重，導致一些關鍵實時任務無法運行等技術(shù)問題，本發(fā)明提供一種高速網(wǎng)絡流量監(jiān)測系統(tǒng)中多核處理器間的中斷負載均衡實現(xiàn)方法。該方法具體包括如下步驟 1、建立調(diào)度域
處理器初始化過程中，訪問每個處理器，劃分調(diào)度域，將共享二級緩存的處理器劃分到同一個調(diào)度域中。調(diào)度域內(nèi)部各處理器之間要實現(xiàn)中斷負載均衡。2、IP 分流
根據(jù)源IP地址將所有數(shù)據(jù)包分流到各個調(diào)度域中去，要求各調(diào)度域間沒有重合。具體可采用如下方法將源IP地址跟00000001相與，計算結(jié)果為0的數(shù)據(jù)包進入調(diào)度域一，計算結(jié)果為1的數(shù)據(jù)包進入調(diào)度域二。3、建立 hash 表
針對每個調(diào)度域，以源IP地址和目的IP地址為hash關鍵字分別建立一個hash表，每個調(diào)度域只對自己的hash表進行臨界訪問。4、處理器負載向量計算
獲取CPU工作時間、CPU空閑時間，根據(jù)CPU工作時間Tuse、CPU空閑時間Ti die，調(diào)用公式
PF = Tuse / ( Tuse + Tidle )，計算處理器負載向量PF。5、調(diào)度域內(nèi)的負載均衡
在各調(diào)度域內(nèi)采用加權(quán)輪轉(zhuǎn)調(diào)度算法實現(xiàn)負載均衡。用相應的權(quán)值表示服務器的處理性能，將網(wǎng)卡發(fā)來的中斷分配到各處理器，根據(jù)權(quán)值設置服務器優(yōu)先級，權(quán)值高的服務器優(yōu)先收到中斷并處理，相同權(quán)值的處理器輪轉(zhuǎn)調(diào)度處理中斷。具體技術(shù)方案為訪問每個處理器，將共享二級緩存的處理器劃分到同一個調(diào)度域中；根據(jù)源IP地址將所有數(shù)據(jù)包分流到各個調(diào)度域中；以源IP地址和目的IP地址為 hash關鍵字分別建立一個hash表，每個調(diào)度域只對自己的hash表進行臨界訪問，對數(shù)據(jù)包進行分析統(tǒng)計；根據(jù)CPU工作時間、CPU空閑時間，計算處理器負載向量PF ；在各調(diào)度域內(nèi)采用加權(quán)輪轉(zhuǎn)調(diào)度算法實現(xiàn)負載均衡，將網(wǎng)卡發(fā)來的中斷分配到各處理器，根據(jù)權(quán)值設置服務器優(yōu)先級，權(quán)值高的服務器優(yōu)先收到中斷并處理，相同權(quán)值的處理器輪轉(zhuǎn)調(diào)度處理中斷。在系統(tǒng)對所監(jiān)控網(wǎng)絡的所有數(shù)據(jù)包進行分析統(tǒng)計的過程中，系統(tǒng)將源/目的IP地址相同的數(shù)據(jù)包歸并為同一條“流”，將每個數(shù)據(jù)包的分析結(jié)果按數(shù)據(jù)“流”的方式臨時存儲在緩存中。根據(jù)公式PF = Tuse / ( Tuse + Tidle )計算處理器負載向量PF，其中Tuse 為CPU工作時間，Tidle為CPU空閑時間。根據(jù)上一次調(diào)度選擇的最優(yōu)處理器核及其配置權(quán)值，選舉當前的最優(yōu)處理器核，各調(diào)度域獨自保存自己的最優(yōu)處理器核，調(diào)度域內(nèi)所有處理器核權(quán)值的最大值為“最大權(quán)值”，各調(diào)度域獨立保存自己的當前權(quán)值，配置權(quán)值大于或者等于當前權(quán)值的處理器核才可以被調(diào)度。各個調(diào)度域從處理器核鏈表表頭開始，在該輪次中選擇配置權(quán)值大于或者等于當前權(quán)值的處理器核，當出現(xiàn)配置權(quán)值小于當前權(quán)值的處理器核，或者已經(jīng)到達鏈表表尾時，當前權(quán)值減1，回到表頭，開始新一輪的調(diào)度，如當前權(quán)值減至0，則將其翻轉(zhuǎn)為最大權(quán)值，重新開始加權(quán)輪轉(zhuǎn)。本發(fā)明是一種用于高速網(wǎng)絡環(huán)境下流量監(jiān)測的多核處理器操作系統(tǒng)的負載均衡方法，其主要功能是通過構(gòu)建調(diào)度域，在調(diào)度域內(nèi)部和調(diào)度域之間進行負載的均衡，從而在多核處理器操作系統(tǒng)的調(diào)度下，網(wǎng)卡發(fā)來的中斷被均勻分布在不同的處理器核上，從而提高多處理器核的執(zhí)行效率。
由操作系統(tǒng)對中斷負載進行均衡，使得網(wǎng)卡發(fā)來的中斷能夠均衡的分布在多個處理器核上，提高系統(tǒng)的處理效率。負載均衡能夠提高多核運行的并行度，具有很好的實用性。


圖1本發(fā)明實施過程示意圖；圖2八核二路多處理器調(diào)度域構(gòu)建示意圖。
具體實施方式
在高速網(wǎng)絡流量監(jiān)測過程中，網(wǎng)絡每秒傳輸大于三百萬個數(shù)據(jù)包。對于監(jiān)測系統(tǒng)來說，也就是每秒至少會產(chǎn)生三百萬個中斷(包括硬中斷和軟中斷)?；赟MP平臺的監(jiān)測系統(tǒng)必須將這些中斷均衡的分配到各處理器上，同步并行響應并處理，才能實現(xiàn)系統(tǒng)的高效工作。
本發(fā)明是一種在高速網(wǎng)絡流量監(jiān)測系統(tǒng)中多核處理器間的中斷負載均衡實現(xiàn)方法，下面結(jié)合圖1說明其具體實施過程。
1.建立調(diào)度域。調(diào)度域是中斷負載需要達到平衡的處理器核的集合，對于共享二級高速緩存的處理器核來說，是調(diào)度域構(gòu)建的前提。將共享二級緩存的處理器核劃分到同一個調(diào)度域中。
在計算機執(zhí)行程序的過程中，由于出現(xiàn)某個特殊情況(或稱為“事件”)，使得CPU 中止現(xiàn)行程序，而轉(zhuǎn)去執(zhí)行處理該事件的處理程序(俗稱中斷處理或中斷服務程序)，待中斷服務程序執(zhí)行完畢，再返回斷點繼續(xù)執(zhí)行原來的程序，這個過程稱為中斷。在高速網(wǎng)絡流量監(jiān)測過程中，監(jiān)測系統(tǒng)的流量采集網(wǎng)卡每秒會接收海量數(shù)據(jù)包，并發(fā)出相應中斷，系統(tǒng)處理器均將接受并處理。
在該發(fā)明中，中斷是調(diào)度的基本單位，而負載是不同的處理器核需要響應的所有網(wǎng)卡中斷。多核處理器有三個典型的特點多核處理器、處理器核間共享二級高速緩存、處理器核之間能通過寄存器直接通信。在這樣的處理器上，一級高速緩存是各個處理器核私有的。
調(diào)度域是級層式結(jié)構(gòu)。最高層(第η級的調(diào)度域，若有η層調(diào)度域)包含所有的處理器核，而最底層(第0級，基層調(diào)度域)的調(diào)度域表示調(diào)度中中斷負載關系最為密切的處理器核。兩個處理器核處在同一調(diào)度域中，則需要進行中斷負載均衡。調(diào)度域之間如果有父子、祖先或者兄弟關系，那么調(diào)度域之間的處理器核能進行中斷負載均衡。處理器初始化過程中，訪問每個處理器，劃分調(diào)度域，將共享二級緩存的處理器劃分到同一個調(diào)度域中。調(diào)度域內(nèi)部各處理器之間要實現(xiàn)中斷負載均衡。
調(diào)度域內(nèi)建立哈希存儲鏈表。圖2以八核二路多處理器為例，說明調(diào)度域的結(jié)構(gòu)。
處理器核0、處理器核1、處理器核2和處理器核3為級層調(diào)度域，處理器核4、處理器核5、處理器核6和處理器核7亦為級層調(diào)度域。兩個級層調(diào)度域共同構(gòu)成上一層調(diào)度域。每個處理器核在啟動時都會被分配一個邏輯ID，這些邏輯ID從0開始遞增，建立哈希存儲鏈表。在處理器核初始化的過程中，訪問每個處理器核。共享二級緩存的處理器被劃分到同一個調(diào)度域當中。這樣，就可以形成若干個不同的調(diào)度域?？蓪⑷鐖D2所示的多處理器，建立兩個調(diào)度域(調(diào)度域一CPUO CPUl CPU2 CPU3 調(diào)度域二 CPU4 CPU5 CPU6 CPU7 )。2. IP分流。中斷負載均衡，根據(jù)接收數(shù)據(jù)包的IP地址(比如數(shù)據(jù)包源IP地址) 將所有數(shù)據(jù)包分流到各個調(diào)度域中去。例如，系統(tǒng)有兩個調(diào)度域，可將源IP跟數(shù)據(jù)序列00000001相與，其結(jié)果分別為0 或為1，于是所有的數(shù)據(jù)包被分成均衡的兩部分。將計算結(jié)果為0的數(shù)據(jù)包進入調(diào)度域一， 計算結(jié)果為1的數(shù)據(jù)包進入調(diào)度域二。即，源IP的值為偶數(shù)的數(shù)據(jù)包的中斷響應被劃分進調(diào)度域一，同時，源IP的值為奇數(shù)的數(shù)據(jù)包的中斷響應被劃分進調(diào)度域二。也可采用其他方式，如按照接收數(shù)據(jù)包的IP地址順序、數(shù)據(jù)包的IP地址的奇、偶性等特征進行調(diào)度域分配。如此一來，各調(diào)度域間沒有IP地址重合的數(shù)據(jù)包，這樣可以提高系統(tǒng)工作效率。如采用1)輪詢調(diào)度算法，以輪詢的方式依次將請求調(diào)度不同的服務器，即每次調(diào)度執(zhí)行i = (i + 1) mod η，并選出第i個CPU。2)最小連接調(diào)度，該算法是把新的連接請求分配到當前連接數(shù)最小的CPU。3)IP地址散列調(diào)度，該算法針對IP地址的負載均衡， 但它是一種靜態(tài)映射算法，通過一個散列(Hash )函數(shù)將一個IP地址映射到一個CPU。3.建立哈希hash表。針對每個調(diào)度域，以源IP地址和目的IP地址為hash關鍵字分別建立一個hash表，每個調(diào)度域只對自己的hash表進行臨界訪問，對數(shù)據(jù)包進行分析統(tǒng)計。根據(jù)系統(tǒng)層處理流程，在系統(tǒng)對所監(jiān)控網(wǎng)絡的所有數(shù)據(jù)包進行分析統(tǒng)計的過程中，涉及到數(shù)據(jù)流信息的存儲和查找，采用基于數(shù)據(jù)流的數(shù)據(jù)測量方式進行流歸并，系統(tǒng)可將源/目的IP地址相同的數(shù)據(jù)包歸并為同一條“流”，將每個數(shù)據(jù)包的分析結(jié)果按數(shù)據(jù)“流” 的方式臨時存儲在緩存中。同時，系統(tǒng)采用鏈表存儲結(jié)構(gòu)以及hash算法查找，可以在緩存中高效實現(xiàn)數(shù)據(jù)存儲功能。針對每個調(diào)度域分別建立一個hash表，每個調(diào)度域只對自己的 hash表進行臨界訪問。例如，在上述的兩個調(diào)度域里，為了高效的對數(shù)據(jù)流信息存儲查找， 要分別建立兩個hash表，hash表中hash關鍵字是源IP地址和目的IP地址。顯然，由上述的IP分流可知，兩表之間不會有相同的表項。如果只有一個hash表，對其操作必須是臨界異步的，現(xiàn)在兩表是獨立的，每個調(diào)度域只要對自己的hash表實現(xiàn)臨界異步訪問即可， 效率提高。對于調(diào)度域內(nèi)多核之間共享雙向存儲鏈表，那么必須實現(xiàn)對其臨界訪問，可采用 Linux多核同步機制自旋鎖技術(shù)。自旋鎖最多只能被一個可執(zhí)行線程持有，且不會引起調(diào)用者睡眠。在自旋鎖保持期間的搶占是失效的，只有在可搶占內(nèi)核或SMP情況下才真正需要。4.處理器中斷負載向量計算。根據(jù)CPU工作時間、CPU空閑時間，計算處理器負載向量PF。中斷負載向量是指進行中斷負載比較的尺度。為了對中斷負載均衡進行有效的評估，需要使用中斷負載向量。中斷負載向量，定義為判斷處理器核中斷負載的基本單位。本發(fā)明使用CPU工作時間和CPU空閑時間作為計算中斷負載向量的因子。下面的公式給出了處理器核的中斷處理器負載向量PF的計算方式，其中Tuse為CPU工作時間，Tidle為CPU 空閑時間，有
PF = Tuse / ( Tuse + Tidle )。5.調(diào)度域內(nèi)的負載均衡。在各調(diào)度域內(nèi)采用加權(quán)輪轉(zhuǎn)調(diào)度算法實現(xiàn)負載均衡。用相應的權(quán)值表示服務器的處理性能，將網(wǎng)卡發(fā)來的中斷分配到各處理器，權(quán)值由中斷負載向量PF取倒數(shù)后再取整。根據(jù)權(quán)值設置服務器優(yōu)先級，權(quán)值高的服務器優(yōu)先收到中斷并處理，相同權(quán)值的處理器輪轉(zhuǎn)調(diào)度處理中斷。加權(quán)輪轉(zhuǎn)算法是指在輪轉(zhuǎn)算法中綜合考慮調(diào)度域內(nèi)各處理器核的權(quán)值，在響應新中斷時盡量使調(diào)度域內(nèi)各處理器核的負載趨于平衡。當調(diào)度域內(nèi)各處理器核的權(quán)值相等時，為普通的輪轉(zhuǎn)算法。為了滿足調(diào)度域內(nèi)各處理器核的負載趨于均衡，將調(diào)度域內(nèi)各處理器核的組織結(jié)構(gòu)設置為按權(quán)值高低排列的雙向鏈表。系統(tǒng)根據(jù)計算處理器中斷負載向量PF來表示相應的權(quán)值，處理器核的權(quán)值與其中斷負載向量PF成反比。將網(wǎng)卡發(fā)來的中斷分配到各處理器，權(quán)值高的服務器優(yōu)先收到中斷并處理， 相同權(quán)值的處理器輪轉(zhuǎn)調(diào)度處理中斷。
調(diào)度域內(nèi)的負載均衡具體可采用如下調(diào)度算法當前選中的處理器核為“最優(yōu)處理器核”。根據(jù)上一次調(diào)度選擇的處理器核(上一次的最優(yōu)處理器核)及其配置權(quán)值，選舉當前的最優(yōu)處理器核，最優(yōu)處理器核為權(quán)值最大者。同樣，各調(diào)度域獨自保存自己的最優(yōu)處理器核。
各個處理器核配置的權(quán)值為“配置權(quán)值”，調(diào)度域內(nèi)所有處理器核權(quán)值的最大值為 “最大權(quán)值”，“當前權(quán)值”用于權(quán)衡最優(yōu)處理器核。每個調(diào)度域內(nèi)均有自己當前調(diào)度的當前權(quán)值，初始值為域內(nèi)的最大權(quán)值。各調(diào)度域獨立保存自己的當前權(quán)值，配置權(quán)值大于或者等于當前權(quán)值的處理器核才可以被調(diào)度。當前權(quán)值初始化為最大權(quán)值，各個調(diào)度域內(nèi)加權(quán)輪轉(zhuǎn)調(diào)度過程如表1所示。
表1加權(quán)輪轉(zhuǎn)調(diào)度過程
權(quán)利要求
1.實現(xiàn)多核處理器間中斷負載均衡的方法，其特征在于，訪問每個處理器，將共享二級緩存的處理器劃分到同一個調(diào)度域中；根據(jù)源IP地址將所有數(shù)據(jù)包分流到各個調(diào)度域中； 以源IP地址和目的IP地址為hash關鍵字分別建立一個hash表，每個調(diào)度域只對自己的 hash表進行臨界訪問，對數(shù)據(jù)包進行分析統(tǒng)計；根據(jù)CPU工作時間、CPU空閑時間，計算處理器負載向量PF;在各調(diào)度域內(nèi)采用加權(quán)輪轉(zhuǎn)調(diào)度算法實現(xiàn)負載均衡，將網(wǎng)卡發(fā)來的中斷分配到各處理器，根據(jù)權(quán)值設置服務器優(yōu)先級，權(quán)值高的服務器優(yōu)先收到中斷并處理，相同權(quán)值的處理器輪轉(zhuǎn)調(diào)度處理中斷。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，如系統(tǒng)有兩個調(diào)度域，將數(shù)據(jù)包源IP地址跟數(shù)據(jù)序列00000001相與，其結(jié)果分別為0或為1，將計算結(jié)果為0的數(shù)據(jù)包進入調(diào)度域一，計算結(jié)果為1的數(shù)據(jù)包進入調(diào)度域二。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在系統(tǒng)對所監(jiān)控網(wǎng)絡的所有數(shù)據(jù)包進行分析統(tǒng)計的過程中，系統(tǒng)將源/目的IP地址相同的數(shù)據(jù)包歸并為同一條“流”，將每個數(shù)據(jù)包的分析結(jié)果按數(shù)據(jù)“流”的方式臨時存儲在緩存中。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)公式PF= Tuse / ( Tuse + Tidle )計算處理器負載向量PF，其中Tuse為CPU工作時間，Tidle為CPU空閑時間。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)上一次調(diào)度選擇的最優(yōu)處理器核及其配置權(quán)值，選舉當前的最優(yōu)處理器核，各調(diào)度域獨自保存自己的最優(yōu)處理器核，調(diào)度域內(nèi)所有處理器核權(quán)值的最大值為“最大權(quán)值”，各調(diào)度域獨立保存自己的當前權(quán)值，配置權(quán)值大于或者等于當前權(quán)值的處理器核才可以被調(diào)度。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，各個調(diào)度域從處理器核鏈表表頭開始，在該輪次中選擇配置權(quán)值大于或者等于當前權(quán)值的處理器核，當出現(xiàn)配置權(quán)值小于當前權(quán)值的處理器核，或者已經(jīng)到達鏈表表尾時，當前權(quán)值減1，回到表頭，開始新一輪的調(diào)度，如當前權(quán)值減至0，則將其翻轉(zhuǎn)為最大權(quán)值，重新開始加權(quán)輪轉(zhuǎn)。
全文摘要
本發(fā)明涉及保護網(wǎng)絡中多核處理器間中斷負載均衡的方法，涉及計算機網(wǎng)絡技術(shù)。本發(fā)明均衡方法采用的技術(shù)方案是將共享二級緩存的處理器劃分到同一個調(diào)度域中，根據(jù)源IP地址將所有數(shù)據(jù)包分流到各個調(diào)度域中，建立一個hash表，每個調(diào)度域只對自己的hash表進行臨界訪問，對數(shù)據(jù)包進行分析統(tǒng)計；在各調(diào)度域內(nèi)采用加權(quán)輪轉(zhuǎn)調(diào)度算法實現(xiàn)負載均衡，將網(wǎng)卡發(fā)來的中斷分配到各處理器，根據(jù)權(quán)值設置服務器優(yōu)先級，權(quán)值高的服務器優(yōu)先收到中斷并處理，相同權(quán)值的處理器輪轉(zhuǎn)調(diào)度處理中斷。由操作系統(tǒng)對中斷負載進行均衡，使得網(wǎng)卡發(fā)來的中斷能夠均衡的分布在多個處理器核上，提高系統(tǒng)的處理效率。
文檔編號G06F9/50GK102521047SQ20111036130
公開日2012年6月27日 申請日期2011年11月15日 優(yōu)先權(quán)日2011年11月15日
發(fā)明者唐紅, 張毅, 徐川, 趙國鋒 申請人:重慶郵電大學