實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法，所述方法包括如下步驟：取得前一次調(diào)度后表示各主機(jī)負(fù)載情況的綜合負(fù)載向量；根據(jù)所述綜合負(fù)載向量，得到每臺主機(jī)的第一失衡參數(shù)，選擇所有第一失衡參數(shù)小于設(shè)定閾值的主機(jī)作為參與本次調(diào)度的主機(jī)；按照每臺主機(jī)的第一失衡參數(shù)在所有參與本次調(diào)度主機(jī)的第一失衡參數(shù)之和中所占的比例，將本次調(diào)度的任務(wù)分配到各主機(jī)；依據(jù)每個主機(jī)分配到的任務(wù)數(shù)，組合任務(wù)，準(zhǔn)備數(shù)據(jù)并發(fā)送到各主機(jī)執(zhí)行。本發(fā)明還涉及一種實現(xiàn)上述方法的裝置。實施本發(fā)明的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的及裝置，具有以下有益效果：使得主機(jī)執(zhí)行任務(wù)時間短、負(fù)載較為平衡。
【專利說明】實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，更具體地說，涉及一種實時交通流量統(tǒng)計中均衡統(tǒng)計 任務(wù)的方法及裝置。

【背景技術(shù)】
[0002] 基于網(wǎng)格技術(shù)的城市路網(wǎng)交通流采集和統(tǒng)計通常需要大量的計算資源來保證任 務(wù)在規(guī)定時間內(nèi)完成，網(wǎng)格能夠共享廣域環(huán)境下的大量空閑資源以滿足大規(guī)模任務(wù)的高性 能需求，因而交通流采集和統(tǒng)計的任務(wù)可以利用網(wǎng)格來提高任務(wù)的執(zhí)行效率，降低執(zhí)行時 間。在現(xiàn)有技術(shù)中，在任務(wù)分配時通常不會對網(wǎng)格中的節(jié)點(diǎn)加以區(qū)分，只是將任務(wù)平均地分 配到該網(wǎng)格中的各個節(jié)點(diǎn)。但是，網(wǎng)格是一個動態(tài)共享的環(huán)境，負(fù)載失衡會使得交通流采集 和統(tǒng)計的實時性無法得到保障，各個節(jié)點(diǎn)處理能力的差異，往往使得節(jié)點(diǎn)（通常是主機(jī)）間 出現(xiàn)負(fù)載不均衡的情況，在基于網(wǎng)格的交通流采集和統(tǒng)計任務(wù)中通常表現(xiàn)為超載節(jié)點(diǎn)任務(wù) 執(zhí)行時間過長，使得整個交通流采集和統(tǒng)計任務(wù)的執(zhí)行時間無法滿足要求，造成了系統(tǒng)資 源的浪費(fèi)，直接影響了網(wǎng)格系統(tǒng)的整體性能，違背了網(wǎng)格提高資源利用率的初衷。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的上述對于節(jié)點(diǎn)不加區(qū)分而導(dǎo)致節(jié) 點(diǎn)超載、執(zhí)行任務(wù)時間長、造成網(wǎng)格系統(tǒng)性能下降的缺陷，提供一種區(qū)分網(wǎng)格節(jié)點(diǎn)、執(zhí)行任 務(wù)時間短、網(wǎng)格系統(tǒng)負(fù)載較為平衡的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法及裝置。
[0004] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：構(gòu)造一種實時交通流量統(tǒng)計中均衡 統(tǒng)計任務(wù)的方法，所述統(tǒng)計任務(wù)由統(tǒng)計系統(tǒng)完成，所述統(tǒng)計系統(tǒng)包括多個并行的、用于處理 統(tǒng)計任務(wù)的主機(jī)；所述方法包括如下步驟：
[0005] A)取得前一次調(diào)度后表示各主機(jī)負(fù)載情況的綜合負(fù)載向量；
[0006] B)根據(jù)所述綜合負(fù)載向量，得到每臺主機(jī)的第一失衡參數(shù)，選擇所有第一失衡參 數(shù)小于設(shè)定閾值的主機(jī)作為參與本次調(diào)度的主機(jī)；
[0007] C)按照每臺主機(jī)的第一失衡參數(shù)在所有參與本次調(diào)度主機(jī)的第一失衡參數(shù)之和 中所占的比例，將本次調(diào)度的任務(wù)分配到各主機(jī)；
[0008] D)依據(jù)每個主機(jī)分配到的任務(wù)數(shù)，組合任務(wù)，準(zhǔn)備數(shù)據(jù)并發(fā)送到各主機(jī)執(zhí)行。
[0009] 更進(jìn)一步地，所述步驟A)中進(jìn)一步包括如下步驟：
[0010] Al)取得前一次調(diào)度中各主機(jī)表示其負(fù)載情況的指標(biāo)，得到各主機(jī)上一次調(diào)度的 負(fù)載向量；
[0011] A2)將各主機(jī)的負(fù)載向量依次排列，并對各主機(jī)相同的負(fù)載指標(biāo)乘以相同的設(shè)定 權(quán)值，得到上次調(diào)度的綜合負(fù)載向量。
[0012] 更進(jìn)一步地，所述步驟Al)中表示主機(jī)負(fù)載情況的指標(biāo)為w個，其中至少包 括CPU隊列長度和CPU使用率；其負(fù)載向量表示為：L k= (lkl，Ik2，…，Ikw)，其中，k表示 第k個主機(jī)；在所述w個指標(biāo)中，事先對每個指標(biāo)賦予一定的權(quán)值，加權(quán)后的負(fù)載向量為 (allil，aJm…，aJJ，其中 al，a2,…，aW分別是各負(fù)載指標(biāo)的權(quán)值；所述權(quán)值是事先 設(shè)定的，不同主機(jī)的相同負(fù)載指標(biāo)的權(quán)值相同。
[0013] 更進(jìn)一步地，所述步驟B)進(jìn)一步包括：
[0014] BI)按照上一次調(diào)度各主機(jī)完成任務(wù)的時間，得到上一次調(diào)度中的輕載主機(jī)，并得 到其負(fù)載均衡向量；
[0015] B2)依次對所述輕載主機(jī)綜合負(fù)載向量和負(fù)載均衡向量進(jìn)行運(yùn)算，得到其第一失 衡參數(shù)，并選擇第一失衡參數(shù)小于設(shè)定閾值的主機(jī)參與本次調(diào)度。
[0016] 更進(jìn)一步地，所述步驟BI)中進(jìn)一步包括：
[0017] B11)取得參與上一次調(diào)度各主機(jī)完成任務(wù)的時間，將其相加后除以參與上次調(diào)度 的主機(jī)數(shù)量，得到上次調(diào)度的平均時間；
[0018] B12)計算每個主機(jī)上一次調(diào)度的時間參數(shù)，如果該主機(jī)未參與上次調(diào)度，其時間 參數(shù)為零；如果該主機(jī)參與上次調(diào)度，其時間參數(shù)為其完成上次任務(wù)時間減去上述平均時 間；
[0019] B13)逐個判斷主機(jī)的時間參數(shù)是否小于或等于零，并將時間參數(shù)小于或等于零的 主機(jī)作為輕載主機(jī)，將其時間參數(shù)依次排列后得到負(fù)載均衡向量，即B i = (bn，bi2，…，bis)， 其中，bi:是第1個輕載主機(jī)第i次調(diào)度的時間參數(shù)，s是本次調(diào)度輕載主機(jī)的數(shù)量。
[0020]更進(jìn)一步地，所述步驟B2)中進(jìn)一步包括：
[0021] 按照yk = uk+Bi;k計算每個主機(jī)的第一失衡參數(shù)，選擇該第一失衡參數(shù)小于設(shè)定閾 值TL的主機(jī)參與本次調(diào)度；其中，k是主機(jī)編號，其取值為1到V中的整數(shù)；是上述上一 次調(diào)度的負(fù)載均衡向量中第k個主機(jī)的時間參數(shù)；U k是所述上次調(diào)度中第k個主機(jī)加權(quán)后 的負(fù)載向量。
[0022] 更進(jìn)一步地，所述步驟C)中進(jìn)一步包括：
[0023] 按照

【權(quán)利要求】
1. 一種實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法，所述統(tǒng)計任務(wù)由統(tǒng)計系統(tǒng)完成，所 述統(tǒng)計系統(tǒng)包括多個并行的、用于處理統(tǒng)計任務(wù)的主機(jī)；其特征在于，所述方法包括如下步 驟： A) 取得前一次調(diào)度后表不各主機(jī)負(fù)載情況的綜合負(fù)載向量； B) 根據(jù)所述綜合負(fù)載向量，得到每臺主機(jī)的第一失衡參數(shù)，選擇所有第一失衡參數(shù)小 于設(shè)定閾值的主機(jī)作為參與本次調(diào)度的主機(jī)； C) 按照每臺主機(jī)的第一失衡參數(shù)在所有參與本次調(diào)度主機(jī)的第一失衡參數(shù)之和中所 占的比例,將本次調(diào)度的任務(wù)分配到各主機(jī)； D) 依據(jù)每個主機(jī)分配到的任務(wù)數(shù),組合任務(wù),準(zhǔn)備數(shù)據(jù)并發(fā)送到各主機(jī)執(zhí)行。
2. 根據(jù)權(quán)利要求1所述的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法，其特征在于，所 述步驟A)中進(jìn)一步包括如下步驟： Al)取得前一次調(diào)度中各主機(jī)表示其負(fù)載情況的指標(biāo)，得到各主機(jī)上一次調(diào)度的負(fù)載 向量； A2)將各主機(jī)的負(fù)載向量依次排列，并對各主機(jī)相同的負(fù)載指標(biāo)乘以相同的設(shè)定權(quán)值， 得到上次調(diào)度的綜合負(fù)載向量。
3. 根據(jù)權(quán)利要求2所述的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法，其特征在于，所 述步驟Al)中表示主機(jī)負(fù)載情況的指標(biāo)為w個，其中至少包括CPU隊列長度和CPU使用 率；其負(fù)載向量表示為：Lk= (lkl，Ik2，…，lkw)，其中，k表示第k個主機(jī)；在所述w個指標(biāo) 中，事先對每個指標(biāo)賦予一定的權(quán)值，加權(quán)后的負(fù)載向量為（α山i，a2li2，···，awliw)，其中 a2，…，aw分別是各負(fù)載指標(biāo)的權(quán)值；所述權(quán)值是事先設(shè)定的，不同主機(jī)的相同負(fù)載指 標(biāo)的權(quán)值相同。
4. 根據(jù)權(quán)利要求1所述的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法，其特征在于，所 述步驟B)進(jìn)一步包括： BI)按照上一次調(diào)度各主機(jī)完成任務(wù)的時間，得到上一次調(diào)度中的輕載主機(jī)，并得到其 負(fù)載均衡向量； B2)依次對所述輕載主機(jī)綜合負(fù)載向量和負(fù)載均衡向量進(jìn)行運(yùn)算，得到其第一失衡參 數(shù)，并選擇第一失衡參數(shù)小于設(shè)定閾值的主機(jī)參與本次調(diào)度。
5. 根據(jù)權(quán)利要求1所述的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法，其特征在于，所 述步驟BI)中進(jìn)一步包括： B11)取得參與上一次調(diào)度各主機(jī)完成任務(wù)的時間，將其相加后除以參與上次調(diào)度的主 機(jī)數(shù)量，得到上次調(diào)度的平均時間； B12)計算每個主機(jī)上一次調(diào)度的時間參數(shù)，如果該主機(jī)未參與上次調(diào)度，其時間參數(shù) 為零；如果該主機(jī)參與上次調(diào)度，其時間參數(shù)為其完成上次任務(wù)時間減去上述平均時間； B13)逐個判斷主機(jī)的時間參數(shù)是否小于或等于零，并將時間參數(shù)小于或等于零的主機(jī) 作為輕載主機(jī)，將其時間參數(shù)依次排列后得到負(fù)載均衡向量，即Bi = (bn，bi2，…，bis)，其 中，是第1個輕載主機(jī)第i次調(diào)度的時間參數(shù)，s是本次調(diào)度輕載主機(jī)的數(shù)量。
6. 根據(jù)權(quán)利要求5所述的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法，其特征在于，所 述步驟B2)中進(jìn)一步包括： 按照yk =uk+Bi;k計算每個主機(jī)的第一失衡參數(shù)，選擇該第一失衡參數(shù)小于設(shè)定閾值TL 的主機(jī)參與本次調(diào)度；其中，k是主機(jī)編號，其取值為1到V中的整數(shù)；是上述上一次調(diào) 度的負(fù)載均衡向量中第k個主機(jī)的時間參數(shù)；Uk是所述上次調(diào)度中第k個主機(jī)加權(quán)后的負(fù) 載向量。
7. 根據(jù)權(quán)利要求1所述的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)的方法，其特征在于，所 述步驟C)中進(jìn)一步包括： TL-V丨' % =---xm 按照t/rL-Vi、 逐個計算被選擇執(zhí)行本次調(diào)度的主機(jī)執(zhí)行的子任務(wù)；其中，m J=I 是本次調(diào)度的總?cè)蝿?wù)數(shù)；yk是該主機(jī)上次調(diào)度的第一失衡參數(shù)；Σ?71 _八）是所有被選中 7=1 主機(jī)的第一失衡參數(shù)分別與設(shè)定閾值TL之差的和；s是參與本次調(diào)度的主機(jī)個數(shù)；nk是該 主機(jī)本次調(diào)度分配的任務(wù)數(shù)。
8. -種實現(xiàn)如權(quán)利要求1所述的實時交通流量統(tǒng)計中均衡統(tǒng)計任務(wù)方法的裝置，其特 征在于，包括： 綜合負(fù)載向量取得模塊：用于取得前一次調(diào)度后表不各主機(jī)負(fù)載情況的綜合負(fù)載向 量； 主機(jī)選擇模塊：用于根據(jù)所述綜合負(fù)載向量，得到每臺主機(jī)的第一失衡參數(shù)，選擇所有 第一失衡參數(shù)小于設(shè)定閾值的主機(jī)作為參與本次調(diào)度的主機(jī)； 任務(wù)分配模塊：用于按照每臺主機(jī)的第一失衡參數(shù)在所有參與本次調(diào)度主機(jī)的第一失 衡參數(shù)之和中所占的比例，將本次調(diào)度的任務(wù)分配到各主機(jī)； 任務(wù)發(fā)送模塊：用于依據(jù)每個主機(jī)分配到的任務(wù)數(shù)，組合任務(wù)，準(zhǔn)備數(shù)據(jù)并發(fā)送到各主 機(jī)執(zhí)行。
9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述綜合負(fù)載向量取得模塊進(jìn)一步包括： 負(fù)載向量取得單元：用于取得前一次調(diào)度中各主機(jī)表示其負(fù)載情況的指標(biāo)，得到各主 機(jī)上一次調(diào)度的負(fù)載向量； 綜合負(fù)載向量取得單元：用于將各主機(jī)的負(fù)載向量依次排列，并對各主機(jī)相同的負(fù)載 指標(biāo)乘以相同的設(shè)定權(quán)值，得到上次調(diào)度的綜合負(fù)載向量； 所述表示主機(jī)負(fù)載情況的指標(biāo)為w個，其中至少包括CPU隊列長度和CPU使用率；其負(fù) 載向量表示為：Lk = (lkl,Ik2，…，Ikw),其中，k表示第k個主機(jī)；在所述w個指標(biāo)中，事先對 每個指標(biāo)賦予一定的權(quán)值，加權(quán)后的負(fù)載向量為（Cf1Iil,aJiD…，aJiJ，其中αι，α 2,… ，aw分別是各負(fù)載指標(biāo)的權(quán)值；所述權(quán)值是事先設(shè)定的，不同主機(jī)的相同負(fù)載指標(biāo)的權(quán)值 相同。
10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述主機(jī)選擇模塊進(jìn)一步包括： 負(fù)載均衡向量取得單元：用于按照上一次調(diào)度各主機(jī)完成任務(wù)的時間，得到上一次調(diào) 度中的輕載主機(jī)，并得到其負(fù)載均衡向量； 主機(jī)選擇單元：用于依次對所述輕載主機(jī)綜合負(fù)載向量和負(fù)載均衡向量進(jìn)行運(yùn)算，得 到其第一失衡參數(shù)，并選擇第一失衡參數(shù)小于設(shè)定閾值的主機(jī)參與本次調(diào)度； 所述負(fù)載均衡向量取得單元進(jìn)一步包括： 平均時間取得子單元：用于取得參與上一次調(diào)度各主機(jī)完成任務(wù)的時間，將其相加后 除以參與上次調(diào)度的主機(jī)數(shù)量，得到上次調(diào)度的平均時間； 時間參數(shù)取得子單元：用于計算每個主機(jī)上一次調(diào)度的時間參數(shù)，如果該主機(jī)未參與 上次調(diào)度，其時間參數(shù)為零；如果該主機(jī)參與上次調(diào)度，其時間參數(shù)為其完成上次任務(wù)時間 減去上述平均時間； 負(fù)載均衡向量取得子單元：用于逐個判斷主機(jī)的時間參數(shù)是否小于或等于零，并將時 間參數(shù)小于或等于零的主機(jī)作為輕載主機(jī)，將其時間參數(shù)依次排列后得到負(fù)載均衡向量， 即Bi = (bn，bi2，…，bis)，其中，是第1個輕載主機(jī)第i次調(diào)度的時間參數(shù)，s是本次調(diào)度 輕載主機(jī)的數(shù)量； 所述主機(jī)選擇單元按照yk =uk+Biik計算每個主機(jī)的第一失衡參數(shù)，選擇該第一失衡參 數(shù)小于設(shè)定閾值TL的主機(jī)參與本次調(diào)度；其中，k是主機(jī)編號，其取值為1到V中的整數(shù)； 是上述上一次調(diào)度的負(fù)載均衡向量中第k個主機(jī)的時間參數(shù)；Uk是所述上次調(diào)度中第k 個主機(jī)加權(quán)后的負(fù)載向量。
【文檔編號】G06F9/50GK104317657SQ201410552919
【公開日】2015年1月28日 申請日期:2014年10月17日 優(yōu)先權(quán)日:2014年10月17日
【發(fā)明者】潘大任, 蔣曉鈞, 嚴(yán)晶, 項芒, 劉杰 申請人:深圳市川大智勝科技發(fā)展有限公司